開源大型語言模型（LLM）的世界令人興奮且不斷演進。本課程旨在深入探討開源模型。如果您想了解專有模型與開源模型的比較，請參閱「探索與比較不同的LLM」課程。本課程也會涵蓋微調的主題，但更詳細的說明可在「微調LLM」課程中找到。
- 了解開源模型
- 理解使用開源模型的優勢
- 探索 Hugging Face 與 Azure AI Studio 上可用的開源模型
開源軟體在各領域的技術成長中扮演了關鍵角色。開源倡議組織（Open Source Initiative, OSI）定義了軟體開源的10項標準，源代碼必須在OSI認可的授權下公開分享。
雖然大型語言模型的開發與軟體開發有相似之處，但過程並不完全相同。這在社群中引發了關於LLM開源定義的討論。若要符合傳統開源定義，模型應公開以下資訊：
- 用於訓練模型的資料集。
- 作為訓練一部分的完整模型權重。
- 評估程式碼。
- 微調程式碼。
- 完整模型權重與訓練指標。
目前只有少數模型符合這些標準。由艾倫人工智慧研究所（AllenAI）創建的 OLMo 模型即屬於此類。
在本課程中，我們將稱這些模型為「開源模型」，因為它們在撰寫時可能尚未完全符合上述標準。
高度可定制 — 由於開源模型附有詳細的訓練資訊，研究人員和開發者可以修改模型內部結構，打造專門針對特定任務或領域的高度專業化模型。例如程式碼生成、數學運算和生物學等。
成本 — 使用和部署這些模型的每個 token 成本低於專有模型。建構生成式 AI 應用時，應根據您的使用案例評估性能與價格的平衡。
來源：Artificial Analysis
彈性 — 使用開源模型讓您在使用不同模型或將它們結合時更具彈性。例如，HuggingChat 助理允許使用者直接在介面中選擇所使用的模型：
Meta 開發的 Llama 2是一款針對聊天應用優化的開源模型。這得益於其微調方法，包含大量對話資料與人類反饋，使模型產出更符合人類期望，提升使用者體驗。
Llama 的微調版本範例包括專精日語的Japanese Llama以及基礎模型的增強版Llama Pro。
Mistral是一款注重高效能與效率的開源模型。它採用專家混合（Mixture-of-Experts）方法，將多個專家模型組合成一個系統，根據輸入選擇特定模型使用，使計算更有效率，僅處理其專長的輸入。
Mistral 的微調版本範例包括專注醫療領域的BioMistral以及執行數學運算的OpenMath Mistral。
Falcon是由科技創新研究院（Technology Innovation Institute, TII）打造的LLM。Falcon-40B擁有400億參數，據稱在較低計算資源下表現優於GPT-3。這得益於其使用的FlashAttention演算法與多查詢注意力機制，降低推論時的記憶體需求。推論時間縮短使 Falcon-40B 適合聊天應用。
Falcon 的微調版本範例包括基於開源模型打造的OpenAssistant助理，以及表現優於基礎模型的GPT4ALL。
選擇開源模型沒有唯一答案。建議從 Azure AI Studio 的任務篩選功能開始，了解模型訓練的任務類型。Hugging Face 也維護一個LLM排行榜，根據特定指標展示最佳表現模型。
若想跨類型比較LLM，Artificial Analysis是另一個很好的資源：
來源：Artificial Analysis
針對特定使用案例，搜尋專注於相同領域的微調版本會很有效。嘗試多個開源模型，根據您和使用者的期望評估其表現，也是良好做法。
開源模型的最大優點是您可以很快開始使用。請查看Azure AI Foundry 模型目錄，其中包含我們在此討論的 Hugging Face 模型集合。
完成本課程後，請參考我們的生成式 AI 學習合集，持續提升您的生成式 AI 知識！
免責聲明：
本文件係使用 AI 翻譯服務 Co-op Translator 進行翻譯。雖然我們致力於確保翻譯的準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於重要資訊，建議採用專業人工翻譯。我們不對因使用本翻譯而產生的任何誤解或誤譯負責。