オープンソースLLMの世界は刺激的で、常に進化しています。このレッスンでは、オープンソースモデルについて詳しく学びます。プロプライエタリモデルとオープンソースモデルの比較に関する情報を探している場合は、"Exploring and Comparing Different LLMs" レッスンをご覧ください。また、このレッスンではファインチューニングについても触れますが、より詳細な説明は"Fine-Tuning LLMs" レッスンで確認できます。
- オープンソースモデルについて理解する
- オープンソースモデルを使用する利点を理解する
- Hugging FaceやAzure AI Studioで利用可能なオープンモデルを探る
オープンソースソフトウェアは、さまざまな分野で技術の発展に重要な役割を果たしてきました。オープンソースイニシアティブ（OSI）は、ソフトウェアをオープンソースとして分類するための10の基準を定義しています。ソースコードはOSIが承認したライセンスの下で公開される必要があります。
LLMの開発はソフトウェア開発と似た要素を持ちながらも、完全に同じではありません。このため、LLMの文脈でのオープンソースの定義についてコミュニティ内で多くの議論が行われています。従来のオープンソースの定義に沿ったモデルであるためには、以下の情報が公開されている必要があります：
- モデルのトレーニングに使用されたデータセット
- トレーニングの一部としての完全なモデルウェイト
- 評価コード
- ファインチューニングコード
- 完全なモデルウェイトとトレーニングメトリクス
現在、この基準を満たすモデルはごくわずかです。Allen Institute for Artificial Intelligence (AllenAI) によって作成されたOLMoモデルは、このカテゴリーに該当します。
このレッスンでは、執筆時点で上記の基準を満たしていない可能性があるため、以降「オープンモデル」としてモデルを参照します。
高度なカスタマイズ性 - オープンモデルは詳細なトレーニング情報とともに公開されているため、研究者や開発者はモデルの内部を変更することができます。これにより、特定のタスクや研究分野に特化したモデルを作成することが可能になります。例としては、コード生成、数学的操作、生物学などがあります。
コスト - これらのモデルを使用および展開する際のトークンあたりのコストは、プロプライエタリモデルよりも低くなります。生成AIアプリケーションを構築する際には、使用ケースに基づいて性能と価格を比較することが重要です。
出典: Artificial Analysis
柔軟性 - オープンモデルを使用することで、異なるモデルを使用したり組み合わせたりする柔軟性が得られます。例としては、HuggingChat Assistantsでは、ユーザーがインターフェース内で使用するモデルを直接選択できます：
LLama2は、Metaによって開発されたオープンモデルで、チャットベースのアプリケーションに最適化されています。これは、大量の対話データと人間のフィードバックを含むファインチューニング方法によるものです。この方法により、モデルは人間の期待に沿った結果を生成し、より良いユーザー体験を提供します。
Llamaのファインチューニング版の例としては、日本語に特化したJapanese Llamaや、ベースモデルを強化したLlama Proがあります。
Mistralは、高性能と効率性に重点を置いたオープンモデルです。Mixture-of-Expertsアプローチを使用しており、専門的なモデル群を1つのシステムに統合し、入力に応じて特定のモデルが選択されます。これにより、計算が効率的になり、モデルは専門分野の入力にのみ対応します。
Mistralのファインチューニング版の例としては、医療分野に特化したBioMistralや、数学的計算を行うOpenMath Mistralがあります。
Falconは、Technology Innovation Institute (TII)によって作成されたLLMです。Falcon-40Bは400億のパラメータでトレーニングされており、GPT-3よりも少ない計算予算で優れた性能を発揮することが示されています。これは、FlashAttentionアルゴリズムとマルチクエリアテンションを使用して、推論時のメモリ要件を削減しているためです。この推論時間の短縮により、Falcon-40Bはチャットアプリケーションに適しています。
Falconのファインチューニング版の例としては、オープンモデルを基にしたアシスタントOpenAssistantや、ベースモデルよりも高性能を発揮するGPT4ALLがあります。
オープンモデルを選ぶための唯一の正解はありません。まずはAzure AI Studioのタスク別フィルタ機能を使用するのが良いでしょう。これにより、モデルがどのようなタスクにトレーニングされているかを理解できます。Hugging Faceも、特定のメトリクスに基づいて最も性能の高いモデルを示すLLMリーダーボードを維持しています。
さまざまなタイプのLLMを比較する際には、Artificial Analysisも優れたリソースです：
出典: Artificial Analysis
特定のユースケースに取り組む場合、同じ分野に特化したファインチューニング版を探すことが効果的です。複数のオープンモデルを試して、自分やユーザーの期待にどのように応えるかを確認するのも良い方法です。
オープンモデルの最も良い点は、すぐに作業を始められることです。Azure AI Foundry Model Catalogをチェックしてみてください。ここでは、今回取り上げたモデルを含む特定のHugging Faceコレクションが紹介されています。
このレッスンを完了した後は、Generative AI Learning collectionをチェックして、生成AIの知識をさらに深めてください！
免責事項:
この文書はAI翻訳サービスCo-op Translatorを使用して翻訳されています。正確性を追求しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。元の言語で記載された文書を正式な情報源としてご参照ください。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤認について、当方は一切の責任を負いません。