オープンソースのLLMの世界は刺激的で常に進化しています。このレッスンではオープンソースモデルについて詳しく解説します。プロプライエタリモデルとオープンソースモデルの比較に関する情報をお探しの場合は、「さまざまなLLMの探索と比較」レッスンをご覧ください。このレッスンではファインチューニングのトピックも扱いますが、より詳細な説明は「LLMのファインチューニング」レッスンにあります。
- オープンソースモデルの理解を深める
- オープンソースモデルを使う利点を理解する
- Hugging FaceやAzure AI Studioで利用可能なオープンモデルを探る
オープンソースソフトウェアはさまざまな分野で技術の成長に重要な役割を果たしてきました。Open Source Initiative（OSI）は、ソフトウェアがオープンソースと分類されるための10の基準を定めています。ソースコードはOSI承認のライセンスの下で公開されなければなりません。
LLMの開発はソフトウェア開発と似た要素を持ちますが、プロセスは完全に同じではありません。このため、LLMの文脈でのオープンソースの定義についてコミュニティ内で多くの議論がなされています。伝統的なオープンソースの定義に沿うモデルであるためには、以下の情報が公開されている必要があります：
- モデルのトレーニングに使用されたデータセット
- トレーニングの一部としての完全なモデル重み
- 評価コード
- ファインチューニングコード
- 完全なモデル重みとトレーニングメトリクス
現在、この基準を満たすモデルはごくわずかです。Allen Institute for Artificial Intelligence (AllenAI) が作成したOLMoモデルはこのカテゴリに該当します。
本レッスンでは、執筆時点で上記の基準に完全に合致しない可能性があるため、今後「オープンモデル」と呼びます。
高度なカスタマイズ性 - オープンモデルは詳細なトレーニング情報と共に公開されているため、研究者や開発者はモデルの内部を修正できます。これにより、特定のタスクや研究分野に特化した高度に専門化されたモデルを作成できます。例としてはコード生成、数学的演算、生物学などがあります。
コスト - これらのモデルの使用および展開にかかるトークンあたりのコストは、プロプライエタリモデルよりも低くなっています。生成AIアプリケーションを構築する際には、これらのモデルを使った場合のパフォーマンスと価格のバランスを検討することが重要です。
出典: Artificial Analysis
柔軟性 - オープンモデルを使うことで、異なるモデルを使い分けたり組み合わせたりする柔軟性が得られます。例として、HuggingChatアシスタントでは、ユーザーがUI上で直接使用するモデルを選択できます：
Metaが開発したLlama2はチャットベースのアプリケーションに最適化されたオープンモデルです。これは大量の対話データと人間のフィードバックを用いたファインチューニング手法によるもので、この方法によりモデルは人間の期待により沿った結果を出し、より良いユーザー体験を提供します。
Llamaのファインチューニング版の例としては、日本語に特化したJapanese Llamaや、ベースモデルを強化したLlama Proがあります。
Mistralは高性能と効率性に重点を置いたオープンモデルです。Mixture-of-Expertsアプローチを採用しており、専門化された複数のエキスパートモデルを組み合わせ、入力に応じて特定のモデルを選択して使用します。これにより、モデルは専門分野の入力のみを処理するため計算効率が向上します。
Mistralのファインチューニング版の例には、医療分野に特化したBioMistralや、数学計算を行うOpenMath Mistralがあります。
FalconはTechnology Innovation Institute（TII）によって作成されたLLMです。Falcon-40Bは400億パラメータでトレーニングされており、GPT-3よりも少ない計算リソースで優れた性能を示しています。これはFlashAttentionアルゴリズムとマルチクエリアテンションの使用により、推論時のメモリ要件を削減できるためです。この推論時間の短縮により、Falcon-40Bはチャットアプリケーションに適しています。
Falconのファインチューニング版の例には、オープンモデルを基にしたアシスタントであるOpenAssistantや、ベースモデルより高性能なGPT4ALLがあります。
オープンモデルの選択に正解はありません。まずはAzure AI Studioのタスク別フィルター機能を使うのが良い出発点です。これによりモデルがどのようなタスクにトレーニングされているかを理解できます。Hugging Faceも特定の指標に基づくLLMリーダーボードを維持しています。
異なるタイプのLLMを比較したい場合は、Artificial Analysisも優れたリソースです：
出典: Artificial Analysis
特定のユースケースに取り組む場合は、同じ分野に特化したファインチューニング版を探すのが効果的です。複数のオープンモデルを試して、自分やユーザーの期待にどのように応えるかを評価するのも良い方法です。
オープンモデルの最大の利点は、すぐに使い始められることです。ここで紹介したモデルを含むHugging Faceコレクションを特徴とするAzure AI Foundry Model Catalogをぜひご覧ください。
このレッスンを終えたら、Generative AI Learning collectionで生成AIの知識をさらに深めていきましょう！
免責事項：
本書類はAI翻訳サービス「Co-op Translator」（https://github.com/Azure/co-op-translator）を使用して翻訳されました。正確性の向上に努めておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語による文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や誤訳についても、当方は責任を負いかねます。