Die Lektion wurde mit einer Reihe von Kernressourcen von OpenAI und Azure OpenAI erstellt, die als Referenzen für die Terminologie und Tutorials dienen. Hier ist eine nicht umfassende Liste für eure eigenen selbstgesteuerten Lernreisen.
| Titel/Link | Beschreibung |
|---|---|
| Feinabstimmung mit OpenAI-Modellen | Feinabstimmung verbessert das Few-Shot-Learning, indem auf viele mehr Beispiele trainiert wird, als in den Prompt passen, wodurch Kosten gespart, die Antwortqualität verbessert und Anfragen mit geringerer Latenz ermöglicht werden. Erhaltet einen Überblick über die Feinabstimmung von OpenAI. |
| Was ist Feinabstimmung mit Azure OpenAI? | Versteht was Feinabstimmung ist (Konzept), warum ihr es in Betracht ziehen solltet (motiviertes Problem), welche Daten verwendet werden sollen (Training) und wie die Qualität gemessen wird. |
| Anpassen eines Modells mit Feinabstimmung | Der Azure OpenAI Service ermöglicht es euch, unsere Modelle mit Feinabstimmung auf eure persönlichen Datensätze abzustimmen. Lernt wie man Modelle auswählt (Prozess) und mit Azure AI Studio, Python SDK oder REST API feinabstimmt. |
| Empfehlungen für LLM-Feinabstimmung | LLMs können in bestimmten Domänen, Aufgaben oder Datensätzen nicht gut abschneiden oder ungenaue oder irreführende Ausgaben erzeugen. Wann solltet ihr Feinabstimmung als mögliche Lösung in Betracht ziehen? |
| Kontinuierliche Feinabstimmung | Kontinuierliche Feinabstimmung ist der iterative Prozess, ein bereits feinabgestimmtes Modell als Basismodell auszuwählen und es weiter auf neuen Sets von Trainingsbeispielen zu verfeinern. |
| Feinabstimmung und Funktionsaufrufe | Die Feinabstimmung eures Modells mit Beispielen für Funktionsaufrufe kann die Modellausgabe verbessern, indem genauere und konsistentere Ausgaben erzielt werden - mit ähnlich formatierten Antworten und Kosteneinsparungen. |
| Feinabstimmung von Modellen: Azure OpenAI Anleitung | Schaut euch diese Tabelle an, um zu verstehen, welche Modelle in Azure OpenAI feinabgestimmt werden können und in welchen Regionen diese verfügbar sind. Schaut euch bei Bedarf deren Tokenlimits und Ablaufdaten der Trainingsdaten an. |
| Feinabstimmen oder nicht Feinabstimmen? Das ist die Frage | Diese 30-minütige Okt 2023 Episode der AI Show diskutiert Vorteile, Nachteile und praktische Einblicke, die euch bei dieser Entscheidung helfen. |
| Erste Schritte mit LLM-Feinabstimmung | Diese AI Playbook-Ressource führt euch durch Datenanforderungen, Formatierung, Hyperparameter-Feinabstimmung und Herausforderungen/Beschränkungen, die ihr kennen solltet. |
| Tutorial: Azure OpenAI GPT3.5 Turbo Feinabstimmung | Lernt, wie ihr einen Beispiel-Feinabstimmungsdatensatz erstellt, euch auf die Feinabstimmung vorbereitet, einen Feinabstimmungsjob erstellt und das feinabgestimmte Modell auf Azure bereitstellt. |
| Tutorial: Ein Llama 2 Modell in Azure AI Studio feinabstimmen | Azure AI Studio ermöglicht es euch, große Sprachmodelle auf eure persönlichen Datensätze zuzuschneiden mithilfe eines UI-basierten Workflows, der für Low-Code-Entwickler geeignet ist. Seht euch dieses Beispiel an. |
| Tutorial: Hugging Face Modelle für eine einzelne GPU auf Azure feinabstimmen | Dieser Artikel beschreibt, wie man ein Hugging Face Modell mit der Hugging Face Transformers-Bibliothek auf einer einzelnen GPU mit Azure DataBricks + Hugging Face Trainer Bibliotheken feinabstimmt. |
| Training: Ein Foundation-Modell mit Azure Machine Learning feinabstimmen | Der Modellkatalog in Azure Machine Learning bietet viele Open-Source-Modelle, die ihr für eure spezifische Aufgabe feinabstimmen könnt. Probiert dieses Modul aus aus dem AzureML Generative AI Learning Path. |
| Tutorial: Azure OpenAI Feinabstimmung | Die Feinabstimmung von GPT-3.5 oder GPT-4 Modellen auf Microsoft Azure mit W&B ermöglicht eine detaillierte Nachverfolgung und Analyse der Modellleistung. Dieser Leitfaden erweitert die Konzepte aus dem OpenAI Feinabstimmungsleitfaden mit spezifischen Schritten und Funktionen für Azure OpenAI. |
Dieser Abschnitt erfasst zusätzliche Ressourcen, die es wert sind, erkundet zu werden, die wir aber in dieser Lektion nicht behandelt haben. Sie könnten in einer zukünftigen Lektion oder als sekundäre Aufgabenoption zu einem späteren Zeitpunkt behandelt werden. Für jetzt könnt ihr sie nutzen, um euer eigenes Fachwissen und Wissen zu diesem Thema aufzubauen.
| Titel/Link | Beschreibung |
|---|---|
| OpenAI Cookbook: Datenvorbereitung und -analyse für die Feinabstimmung von Chatmodellen | Dieses Notizbuch dient als Werkzeug zur Vorverarbeitung und Analyse des Chat-Datensatzes, der zur Feinabstimmung eines Chatmodells verwendet wird. Es überprüft Formatfehler, bietet grundlegende Statistiken und schätzt Token-Anzahlen für Feinabstimmungskosten. Siehe: Feinabstimmungsmethode für gpt-3.5-turbo. |
| OpenAI Cookbook: Feinabstimmung für Retrieval Augmented Generation (RAG) mit Qdrant | Das Ziel dieses Notizbuchs ist es, ein umfassendes Beispiel zu geben, wie OpenAI-Modelle für Retrieval Augmented Generation (RAG) feinabgestimmt werden können. Wir werden auch Qdrant und Few-Shot Learning integrieren, um die Modellleistung zu steigern und Erfindungen zu reduzieren. |
| OpenAI Cookbook: Feinabstimmung von GPT mit Weights & Biases | Weights & Biases (W&B) ist die AI-Entwicklerplattform mit Werkzeugen zum Trainieren von Modellen, Feinabstimmen von Modellen und Nutzen von Foundation-Modellen. Lest zuerst ihren OpenAI Feinabstimmungsleitfaden, dann probiert die Cookbook-Übung. |
| Community Tutorial Phinetuning 2.0 - Feinabstimmung für kleine Sprachmodelle | Lernt Phi-2 kennen, Microsofts neues kleines Modell, bemerkenswert leistungsfähig und doch kompakt. Dieses Tutorial führt euch durch die Feinabstimmung von Phi-2 und zeigt, wie man einen einzigartigen Datensatz erstellt und das Modell mit QLoRA feinabstimmt. |
| Hugging Face Tutorial Wie man LLMs im Jahr 2024 mit Hugging Face feinabstimmt | Dieser Blogbeitrag führt euch durch die Feinabstimmung von offenen LLMs mit Hugging Face TRL, Transformers & Datensätzen im Jahr 2024. Ihr definiert einen Anwendungsfall, richtet eine Entwicklungsumgebung ein, bereitet einen Datensatz vor, stimmt das Modell fein ab, testet-evaluiert es und stellt es dann in der Produktion bereit. |
| Hugging Face: AutoTrain Advanced | Ermöglicht schnellere und einfachere Trainings und Bereitstellungen von State-of-the-Art-Maschinenlernmodellen. Das Repo bietet Colab-freundliche Tutorials mit YouTube-Videoanleitungen zur Feinabstimmung. Reflektiert das aktuelle local-first Update. Lest die AutoTrain Dokumentation. |
Haftungsausschluss:
Dieses Dokument wurde mit dem KI-Übersetzungsdienst Co-op Translator übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner ursprünglichen Sprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir haften nicht für Missverständnisse oder Fehlinterpretationen, die sich aus der Verwendung dieser Übersetzung ergeben.