Die Welt der Open-Source-LLMs ist spannend und entwickelt sich ständig weiter. Diese Lektion soll einen tiefen Einblick in Open-Source-Modelle geben. Wenn Sie Informationen darüber suchen, wie proprietäre Modelle im Vergleich zu Open-Source-Modellen abschneiden, besuchen Sie die Lektion "Untersuchung und Vergleich verschiedener LLMs". Diese Lektion behandelt auch das Thema Fine-Tuning, eine ausführlichere Erklärung finden Sie jedoch in der Lektion "Fine-Tuning von LLMs".
- Verständnis für Open-Source-Modelle gewinnen
- Die Vorteile der Arbeit mit Open-Source-Modellen verstehen
- Erkundung der verfügbaren Open-Source-Modelle auf Hugging Face und im Azure AI Studio
Open-Source-Software hat eine entscheidende Rolle beim Wachstum der Technologie in verschiedenen Bereichen gespielt. Die Open Source Initiative (OSI) hat 10 Kriterien für Software definiert, um als Open Source klassifiziert zu werden. Der Quellcode muss unter einer von der OSI genehmigten Lizenz offen geteilt werden.
Während die Entwicklung von LLMs ähnliche Elemente wie die Softwareentwicklung aufweist, ist der Prozess nicht genau derselbe. Dies hat in der Community zu vielen Diskussionen über die Definition von Open Source im Kontext von LLMs geführt. Damit ein Modell der traditionellen Definition von Open Source entspricht, sollten folgende Informationen öffentlich zugänglich sein:
- Datensätze, die zur Modellschulung verwendet wurden.
- Vollständige Modellgewichte als Teil des Trainings.
- Der Evaluierungscode.
- Der Fine-Tuning-Code.
- Vollständige Modellgewichte und Trainingsmetriken.
Derzeit gibt es nur wenige Modelle, die diese Kriterien erfüllen. Das OLMo-Modell, erstellt vom Allen Institute for Artificial Intelligence (AllenAI), gehört zu dieser Kategorie.
Für diese Lektion werden wir die Modelle im Folgenden als "Open Models" bezeichnen, da sie möglicherweise zum Zeitpunkt des Schreibens nicht den oben genannten Kriterien entsprechen.
Hochgradig anpassbar - Da Open Models mit detaillierten Trainingsinformationen veröffentlicht werden, können Forscher und Entwickler die internen Strukturen des Modells modifizieren. Dies ermöglicht die Erstellung hochspezialisierter Modelle, die für eine bestimmte Aufgabe oder ein bestimmtes Studiengebiet optimiert sind. Beispiele hierfür sind Codegenerierung, mathematische Operationen und Biologie.
Kosten - Die Kosten pro Token für die Nutzung und Bereitstellung dieser Modelle sind niedriger als bei proprietären Modellen. Beim Aufbau von Generative-AI-Anwendungen sollte die Leistung im Vergleich zu den Kosten für Ihren Anwendungsfall berücksichtigt werden.
Quelle: Artificial Analysis
Flexibilität - Die Arbeit mit Open Models ermöglicht Flexibilität bei der Nutzung verschiedener Modelle oder deren Kombination. Ein Beispiel hierfür sind die HuggingChat-Assistenten, bei denen der Benutzer direkt in der Benutzeroberfläche das verwendete Modell auswählen kann:
LLama2, entwickelt von Meta, ist ein Open Model, das für chatbasierte Anwendungen optimiert ist. Dies liegt an seiner Fine-Tuning-Methode, die eine große Menge an Dialogen und menschlichem Feedback umfasst. Mit dieser Methode liefert das Modell mehr Ergebnisse, die den menschlichen Erwartungen entsprechen, was eine bessere Benutzererfahrung bietet.
Einige Beispiele für Fine-Tuning-Versionen von Llama sind Japanese Llama, das sich auf Japanisch spezialisiert hat, und Llama Pro, eine verbesserte Version des Basismodells.
Mistral ist ein Open Model mit starkem Fokus auf hohe Leistung und Effizienz. Es verwendet den Mixture-of-Experts-Ansatz, bei dem eine Gruppe spezialisierter Expertenmodelle zu einem System kombiniert wird, in dem je nach Eingabe bestimmte Modelle ausgewählt werden. Dies macht die Berechnung effektiver, da Modelle nur die Eingaben bearbeiten, auf die sie spezialisiert sind.
Einige Beispiele für Fine-Tuning-Versionen von Mistral sind BioMistral, das sich auf den medizinischen Bereich konzentriert, und OpenMath Mistral, das mathematische Berechnungen durchführt.
Falcon ist ein LLM, das vom Technology Innovation Institute (TII) entwickelt wurde. Der Falcon-40B wurde mit 40 Milliarden Parametern trainiert und hat gezeigt, dass er mit weniger Rechenaufwand besser abschneidet als GPT-3. Dies liegt an der Verwendung des FlashAttention-Algorithmus und der Multiquery-Attention, die es ermöglichen, den Speicherbedarf zur Inferenzzeit zu reduzieren. Mit dieser verkürzten Inferenzzeit eignet sich der Falcon-40B für Chat-Anwendungen.
Einige Beispiele für Fine-Tuning-Versionen von Falcon sind der OpenAssistant, ein Assistent, der auf Open Models basiert, und GPT4ALL, das eine höhere Leistung als das Basismodell bietet.
Es gibt keine allgemeingültige Antwort darauf, wie man ein Open Model auswählt. Ein guter Ausgangspunkt ist die Verwendung der Filterfunktion nach Aufgaben im Azure AI Studio. Dies hilft Ihnen zu verstehen, für welche Arten von Aufgaben das Modell trainiert wurde. Hugging Face führt auch ein LLM-Leaderboard, das die leistungsstärksten Modelle basierend auf bestimmten Metriken zeigt.
Wenn Sie LLMs über verschiedene Typen hinweg vergleichen möchten, ist Artificial Analysis eine weitere großartige Ressource:
Quelle: Artificial Analysis
Wenn Sie an einem spezifischen Anwendungsfall arbeiten, kann die Suche nach Fine-Tuning-Versionen, die sich auf denselben Bereich konzentrieren, effektiv sein. Das Experimentieren mit mehreren Open Models, um zu sehen, wie sie gemäß Ihren und den Erwartungen Ihrer Benutzer abschneiden, ist ebenfalls eine gute Praxis.
Das Beste an Open Models ist, dass Sie schnell mit ihnen arbeiten können. Schauen Sie sich den Azure AI Foundry Model Catalog an, der eine spezielle Hugging Face-Sammlung mit den hier besprochenen Modellen enthält.
Nachdem Sie diese Lektion abgeschlossen haben, sehen Sie sich unsere Generative AI Learning Collection an, um Ihr Wissen über Generative AI weiter zu vertiefen!
Haftungsausschluss:
Dieses Dokument wurde mit dem KI-Übersetzungsdienst Co-op Translator übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner ursprünglichen Sprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die sich aus der Nutzung dieser Übersetzung ergeben.