オープンソースのLLMの世界は刺激的で、常に進化しています。このレッスンでは、オープンソースモデルについて詳しく解説します。プロプライエタリモデルとオープンソースモデルの比較に関する情報を探している場合は、"Exploring and Comparing Different LLMs" lessonをご覧ください。また、このレッスンではファインチューニングについても触れますが、より詳細な説明は"Fine-Tuning LLMs" lessonで確認できます。
- オープンソースモデルについて理解を深める
- オープンソースモデルを使用する利点を理解する
- Hugging FaceやAzure AI Studioで利用可能なオープンモデルを探る
オープンソースソフトウェアは、さまざまな分野で技術の発展に重要な役割を果たしてきました。オープンソースイニシアティブ（OSI）は、ソフトウェアをオープンソースとして分類するための10の基準を定義しています。ソースコードは、OSIが承認したライセンスの下で公開されている必要があります。
LLMの開発はソフトウェア開発と似た要素を持っていますが、プロセスは完全に同じではありません。このため、LLMの文脈でのオープンソースの定義についてコミュニティ内で多くの議論が行われています。従来のオープンソースの定義に沿ったモデルであるためには、以下の情報が公開されている必要があります：
- モデルのトレーニングに使用されたデータセット
- トレーニングの一部としての完全なモデルウェイト
- 評価コード
- ファインチューニングコード
- 完全なモデルウェイトとトレーニングメトリクス
現在、この基準を満たすモデルはごくわずかです。Allen Institute for Artificial Intelligence (AllenAI) によって作成されたOLMoモデルは、このカテゴリーに該当します。
このレッスンでは、執筆時点で上記の基準を満たしていない可能性があるため、以降「オープンモデル」と呼ぶことにします。
高度なカスタマイズ性 - オープンモデルは詳細なトレーニング情報とともに公開されているため、研究者や開発者はモデルの内部を変更することができます。これにより、特定のタスクや研究分野に特化したモデルを作成することが可能になります。例としては、コード生成、数学的操作、生物学などがあります。
コスト - これらのモデルを使用・展開する際のトークンあたりのコストは、プロプライエタリモデルよりも低くなります。生成AIアプリケーションを構築する際には、使用ケースに基づいて性能と価格を比較することが重要です。
出典: Artificial Analysis
柔軟性 - オープンモデルを使用することで、異なるモデルを使用したり組み合わせたりする柔軟性が得られます。例としては、HuggingChat Assistantsでは、ユーザーがインターフェース内で使用するモデルを直接選択できます：
LLama2は、Metaによって開発されたオープンモデルで、チャットベースのアプリケーションに最適化されています。これは、大量の対話データと人間のフィードバックを含むファインチューニング方法によるものです。この方法により、モデルは人間の期待に沿った結果を生成し、より良いユーザー体験を提供します。
Llamaのファインチューニング版の例としては、日本語に特化したJapanese Llamaや、ベースモデルを強化したLlama Proがあります。
Mistralは、高性能と効率性に重点を置いたオープンモデルです。Mixture-of-Expertsアプローチを使用しており、専門モデルのグループを1つのシステムに統合し、入力に応じて特定のモデルが選択されます。この方法により、計算が効率的になり、モデルは専門分野の入力にのみ対応します。
Mistralのファインチューニング版の例としては、医療分野に特化したBioMistralや、数学的計算を行うOpenMath Mistralがあります。
Falconは、Technology Innovation Institute (TII)によって作成されたLLMです。Falcon-40Bは40億のパラメータでトレーニングされており、GPT-3よりも少ない計算予算で優れた性能を発揮することが示されています。これは、FlashAttentionアルゴリズムとマルチクエリアテンションを使用して推論時のメモリ要件を削減しているためです。この推論時間の短縮により、Falcon-40Bはチャットアプリケーションに適しています。
Falconのファインチューニング版の例としては、オープンモデルを基盤としたアシスタントOpenAssistantや、ベースモデルよりも高性能を発揮するGPT4ALLがあります。
オープンモデルを選ぶための唯一の正解はありません。まずはAzure AI Studioのタスク別フィルター機能を使用するのが良いでしょう。これにより、モデルがどのようなタスクにトレーニングされているかを理解できます。Hugging Faceも、特定のメトリクスに基づいて最も性能の良いモデルを示すLLMリーダーボードを維持しています。
異なるタイプのLLMを比較する際には、Artificial Analysisも優れたリソースです：
出典: Artificial Analysis
特定の使用ケースに取り組む場合、同じ分野に特化したファインチューニング版を探すのが効果的です。複数のオープンモデルを試して、あなたやユーザーの期待に応じた性能を確認するのも良い方法です。
オープンモデルの最大の利点は、すぐに作業を始められることです。Azure AI Foundry Model Catalogをチェックしてみてください。ここには、今回取り上げたモデルを含むHugging Faceコレクションが特集されています。
このレッスンを終えた後は、Generative AI Learning collectionをチェックして、生成AIの知識をさらに深めてください！
免責事項:
この文書は、AI翻訳サービス Co-op Translator を使用して翻訳されています。正確性を追求しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があることをご承知ください。元の言語で記載された文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤った解釈について、当方は責任を負いません。