オープンソースのLLMの世界は刺激的で常に進化しています。このレッスンでは、オープンソースモデルについて詳しく解説します。もし、プロプライエタリモデルとオープンソースモデルの比較に関心がある場合は、「さまざまなLLMの探索と比較」レッスンをご覧ください。また、このレッスンではファインチューニングについても触れますが、より詳しい説明は「LLMのファインチューニング」レッスンで確認できます。
- オープンソースモデルの理解を深める
- オープンソースモデルを使うメリットを理解する
- Hugging FaceやAzure AI Studioで利用可能なオープンモデルを探る
オープンソースソフトウェアは、さまざまな分野で技術の発展に重要な役割を果たしてきました。Open Source Initiative（OSI）は、ソフトウェアがオープンソースと認められるための10の基準を定めています。ソースコードはOSIが承認したライセンスのもとで公開されている必要があります。
LLMの開発はソフトウェア開発と似た要素を持ちますが、完全に同じプロセスではありません。このため、LLMの文脈でのオープンソースの定義についてコミュニティ内で多くの議論がされています。伝統的なオープンソースの定義に沿うモデルであれば、以下の情報が公開されているべきです：
- モデルの学習に使われたデータセット
- 学習済みの完全なモデルの重み
- 評価用のコード
- ファインチューニング用のコード
- モデルの重みと学習時のメトリクス全て
現在、この基準を満たすモデルはごくわずかです。Allen Institute for Artificial Intelligence (AllenAI) が作成した OLMo モデルがその一例です。
本レッスンでは、執筆時点で上記の基準を完全に満たしていない場合もあるため、これらのモデルを「オープンモデル」と呼びます。
高いカスタマイズ性 - オープンモデルは詳細な学習情報とともに公開されているため、研究者や開発者はモデルの内部を自由に改変できます。これにより、特定のタスクや分野に特化した高度に専門化されたモデルを作成可能です。例としては、コード生成、数学的演算、生物学などがあります。
コスト - これらのモデルの利用や展開にかかるトークンあたりのコストは、プロプライエタリモデルよりも低くなっています。ジェネレーティブAIアプリケーションを構築する際は、パフォーマンスと価格のバランスを考慮してモデルを選ぶことが重要です。
出典: Artificial Analysis
柔軟性 - オープンモデルを使うことで、異なるモデルを使い分けたり組み合わせたりする柔軟性が得られます。例えば、HuggingChat Assistantsでは、ユーザーがUI上で直接使用するモデルを選択できます。
Metaが開発したLlama2は、チャットベースのアプリケーションに最適化されたオープンモデルです。これは、大量の対話データと人間のフィードバックを用いたファインチューニング手法によるものです。この方法により、モデルは人間の期待により沿った結果を出し、より良いユーザー体験を提供します。
Llamaのファインチューニング版の例としては、日本語に特化したJapanese Llamaや、ベースモデルを強化したLlama Proがあります。
Mistralは、高性能と効率性に重点を置いたオープンモデルです。Mixture-of-Experts（専門家混合）アプローチを採用しており、複数の専門モデルを組み合わせ、入力に応じて特定のモデルを選択して処理します。これにより、専門分野に特化したモデルだけが計算を行うため、効率的な処理が可能です。
Mistralのファインチューニング版の例には、医療分野に特化したBioMistralや、数学的計算を行うOpenMath Mistralがあります。
FalconはTechnology Innovation Institute（TII）によって作られたLLMです。Falcon-40Bは400億パラメータで学習されており、GPT-3よりも少ない計算リソースで高い性能を発揮すると示されています。これはFlashAttentionアルゴリズムとマルチクエリアテンションを活用し、推論時のメモリ使用量を削減しているためです。推論時間が短縮されているため、Falcon-40Bはチャットアプリケーションに適しています。
Falconのファインチューニング版の例には、オープンモデルをベースにしたアシスタントであるOpenAssistantや、ベースモデルより高性能なGPT4ALLがあります。
オープンモデルの選択に正解はありません。まずはAzure AI Studioのタスク別フィルター機能を使って、モデルがどのようなタスクに対応しているかを確認するのが良いでしょう。Hugging Faceも特定のメトリクスに基づくLLMリーダーボードを管理しており、性能の高いモデルを知ることができます。
異なるタイプのLLMを比較したい場合は、Artificial Analysisも優れたリソースです。
出典: Artificial Analysis
特定のユースケースに取り組む場合は、同じ分野に特化したファインチューニング版を探すのが効果的です。また、複数のオープンモデルを試して、自分やユーザーの期待にどのように応えるかを比較するのも良い方法です。
オープンモデルの最大の魅力は、すぐに使い始められることです。ここで紹介したモデルを含むHugging FaceのコレクションがあるAzure AI Studio Model Catalogをぜひチェックしてみてください。
このレッスンを終えたら、Generative AI Learning collectionでジェネレーティブAIの知識をさらに深めていきましょう！
免責事項：
本書類はAI翻訳サービス「Co-op Translator」を使用して翻訳されました。正確性の向上に努めておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や誤訳についても、当方は責任を負いかねます。