このレッスンは、用語やチュートリアルの参考としてOpenAIおよびAzure OpenAIの主要なリソースをいくつか使用して作成されました。以下は、あなた自身の自主学習の旅に役立つ非網羅的なリストです。
| タイトル/リンク | 説明 |
|---|---|
| Fine-tuning with OpenAI Models | ファインチューニングは、プロンプトに収まる数よりも多くの例で学習することで、少数ショット学習を改善し、コスト削減、応答品質の向上、低遅延リクエストを可能にします。OpenAIによるファインチューニングの概要を確認しましょう。 |
| What is Fine-Tuning with Azure OpenAI? | ファインチューニングとは何か（概念）、なぜ検討すべきか（動機となる問題）、どのデータを使うか（トレーニング）、そして品質の測定方法を理解しましょう。 |
| Customize a model with fine-tuning | Azure OpenAI Serviceでは、ファインチューニングを使ってモデルをあなたのデータセットに合わせてカスタマイズできます。Azure AI Studio、Python SDK、REST APIを使った**ファインチューニングの方法（プロセス）**を学びましょう。 |
| Recommendations for LLM fine-tuning | LLMは特定のドメインやタスク、データセットでうまく機能しないことや、不正確または誤解を招く出力を生成することがあります。ファインチューニングを検討すべきタイミングについて解説しています。 |
| Continuous Fine Tuning | 継続的ファインチューニングは、すでにファインチューニングされたモデルをベースモデルとして選び、新しいトレーニング例でさらにファインチューニングを行う反復的なプロセスです。 |
| Fine-tuning and function calling | 関数呼び出しの例を使ったファインチューニングにより、より正確で一貫した出力が得られ、同様のフォーマットの応答やコスト削減が可能になります。 |
| Fine-tuning Models: Azure OpenAI Guidance | Azure OpenAIでファインチューニング可能なモデルや利用可能なリージョン、トークン制限、トレーニングデータの有効期限を確認できる表です。 |
| To Fine Tune or Not To Fine Tune? That is the Question | 2023年10月の30分間のAI Showエピソードで、ファインチューニングの利点や欠点、実践的な洞察を紹介し、この判断を助けます。 |
| Getting Started With LLM Fine-Tuning | このAIプレイブックでは、データ要件、フォーマット、ハイパーパラメータのファインチューニング、知っておくべき課題や制限について解説しています。 |
| Tutorial: Azure OpenAI GPT3.5 Turbo Fine-Tuning | サンプルのファインチューニングデータセットの作成、ファインチューニングの準備、ジョブの作成、Azure上でのファインチューニングモデルのデプロイ方法を学べます。 |
| Tutorial: Fine-tune a Llama 2 model in Azure AI Studio | Azure AI Studioでは、ローコード開発者向けのUIベースのワークフローを使って、大規模言語モデルをあなたのデータセットに合わせてカスタマイズできます。この例を参照してください。 |
| Tutorial:Fine-tune Hugging Face models for a single GPU on Azure | Azure DataBricksとHugging Face Trainerライブラリを使い、単一GPUでHugging Faceモデルをファインチューニングする方法を説明しています。 |
| Training: Fine-tune a foundation model with Azure Machine Learning | Azure Machine Learningのモデルカタログには、特定のタスク向けにファインチューニング可能な多くのオープンソースモデルがあります。このモジュールはAzureML Generative AI Learning Pathの一部です。 |
| Tutorial: Azure OpenAI Fine-Tuning | Microsoft Azure上でW&Bを使ってGPT-3.5やGPT-4モデルをファインチューニングし、モデル性能の詳細な追跡と分析が可能です。このガイドはOpenAIのファインチューニングガイドの概念を拡張し、Azure OpenAI向けの具体的な手順と機能を紹介しています。 |
このセクションでは、今回のレッスンで時間の都合上カバーできなかったが、探求する価値のある追加リソースを紹介します。将来的なレッスンや副課題として取り上げられる可能性があります。今のところは、これらを使ってこのトピックに関する知識と専門性を深めてください。
| タイトル/リンク | 説明 |
|---|---|
| OpenAI Cookbook: Data preparation and analysis for chat model fine-tuning | このノートブックは、チャットモデルのファインチューニングに使うチャットデータセットの前処理と分析ツールです。フォーマットエラーのチェック、基本統計の提供、ファインチューニングコストのためのトークン数推定を行います。詳細はFine-tuning method for gpt-3.5-turboを参照してください。 |
| OpenAI Cookbook: Fine-Tuning for Retrieval Augmented Generation (RAG) with Qdrant | このノートブックは、Retrieval Augmented Generation (RAG)のためにOpenAIモデルをファインチューニングする包括的な例を紹介します。QdrantとFew-Shot Learningを統合して、モデル性能の向上と誤情報の削減を目指します。 |
| OpenAI Cookbook: Fine-tuning GPT with Weights & Biases | Weights & Biases (W&B)は、モデルのトレーニングやファインチューニング、基盤モデルの活用に役立つAI開発プラットフォームです。まずOpenAI Fine-Tuningガイドを読み、その後Cookbookの演習に挑戦してください。 |
| Community Tutorial Phinetuning 2.0 - Small Language Models向けファインチューニング | Microsoftの新しい小型モデルPhi-2は、驚くほど強力でコンパクトです。このチュートリアルでは、独自のデータセット作成とQLoRAを使ったPhi-2のファインチューニング方法を案内します。 |
| Hugging Face Tutorial 2024年のHugging FaceによるLLMファインチューニング方法 | このブログ記事では、Hugging Face TRL、Transformers、datasetsを使ったオープンLLMのファインチューニング方法を2024年版として解説します。ユースケースの定義、開発環境のセットアップ、データセット準備、モデルのファインチューニング、テスト評価、そして本番環境へのデプロイまでをカバーします。 |
| Hugging Face: AutoTrain Advanced | 最新の最先端機械学習モデルの高速かつ簡単なトレーニングとデプロイを実現します。Colab対応のチュートリアルとYouTube動画ガイドがあり、ファインチューニングに最適です。最近のlocal-firstアップデートを反映しています。 AutoTrainドキュメントもご覧ください。 |
免責事項：
本書類はAI翻訳サービス「Co-op Translator」を使用して翻訳されました。正確性の向上に努めておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文の言語によるオリジナル文書が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や誤訳についても、当方は一切の責任を負いかねます。