開源大型語言模型（LLM）的世界充滿了刺激與不斷演進。本課程旨在深入探討開源模型。如果你想了解專有模型與開源模型的比較，請參考「探索與比較不同的LLM」課程。本課程也會涵蓋微調的主題，但更詳細的說明可見於「LLM微調」課程。
- 了解開源模型的基本概念
- 理解使用開源模型的優勢
- 探索 Hugging Face 與 Azure AI Studio 上可用的開源模型
開源軟體在各領域的科技發展中扮演了關鍵角色。開源倡議組織（OSI）定義了軟體成為開源的10項標準，其中源碼必須在OSI認可的授權條款下公開分享。
雖然大型語言模型的開發與軟體開發有相似之處，但過程並不完全相同。這也引發社群對於LLM開源定義的熱烈討論。若要符合傳統開源定義，模型應公開以下資訊：
- 用於訓練的資料集
- 訓練過程中的完整模型權重
- 評估程式碼
- 微調程式碼
- 完整模型權重與訓練指標
目前符合這些條件的模型非常少，由 Allen Institute for Artificial Intelligence (AllenAI) 開發的 OLMo 模型 是其中之一。
在本課程中，我們將統稱這些模型為「開源模型」，因為它們在撰寫時可能尚未完全符合上述標準。
高度可定制 — 由於開源模型附帶詳細的訓練資訊，研究人員和開發者可以修改模型內部結構，打造針對特定任務或領域的專門模型。例如程式碼生成、數學運算和生物學等領域。
成本 — 使用與部署這些模型的每個 token 成本低於專有模型。開發生成式 AI 應用時，應根據你的使用案例評估性能與價格的平衡。
來源：Artificial Analysis
彈性 — 使用開源模型讓你能靈活選擇或結合不同模型。例如，HuggingChat 助理 允許使用者直接在介面中選擇所使用的模型：
Meta 開發的 Llama 2 是一款針對聊天應用優化的開源模型。這得益於其微調方法，包含大量對話資料與人類反饋，使模型產出的結果更符合人類期待，提升使用者體驗。
Llama 的微調版本範例包括專注於日語的Japanese Llama，以及基礎模型的強化版Llama Pro。
Mistral 是一款強調高效能與效率的開源模型。它採用 Mixture-of-Experts（專家混合）方法，將多個專門模型組合成一個系統，根據輸入選擇特定模型進行處理，使計算更有效率。
Mistral 的微調版本範例包括專注醫療領域的BioMistral，以及擅長數學運算的OpenMath Mistral。
Falcon 是由 Technology Innovation Institute（TII）開發的 LLM。Falcon-40B 擁有 400 億參數，據稱在較低計算資源下表現優於 GPT-3。這得益於其採用 FlashAttention 演算法與多查詢注意力機制，降低推論時的記憶體需求。推論時間縮短使 Falcon-40B 適合用於聊天應用。
Falcon 的微調版本範例包括基於開源模型打造的OpenAssistant，以及表現優於基礎模型的GPT4ALL。
選擇開源模型沒有唯一答案。建議先利用 Azure AI Studio 的任務篩選功能，了解模型訓練的任務類型。Hugging Face 也維護一個 LLM 排行榜，根據特定指標展示表現最佳的模型。
若想跨類型比較 LLM，Artificial Analysis 是另一個很好的資源：
來源：Artificial Analysis
針對特定使用案例，尋找專注該領域的微調版本會很有效。嘗試多款開源模型，觀察它們是否符合你和使用者的期望，也是很好的做法。
開源模型的最大優點是你可以很快開始使用。請參考Azure AI Studio 模型目錄，其中包含我們在此討論的 Hugging Face 模型集合。
完成本課程後，請瀏覽我們的生成式 AI 學習合集，持續提升你的生成式 AI 知識！
免責聲明：
本文件係使用 AI 翻譯服務 Co-op Translator 進行翻譯。雖然我們致力於確保翻譯的準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤釋負責。