Aufgaben können so eingerichtet werden, dass sie mit einer oder mehreren Bereitstellungen von Large Language Models (LLM) über einen unterstützten Dienstanbieter wie OpenAI, Azure oder Hugging Face funktionieren. Diese stellen einen gehosteten Endpunkt (API) bereit, auf den wir mit den richtigen Zugangsdaten (API-Schlüssel oder Token) programmatisch zugreifen können. In diesem Kurs besprechen wir folgende Anbieter:
- OpenAI mit verschiedenen Modellen, darunter die zentrale GPT-Reihe.
- Azure OpenAI für OpenAI-Modelle mit Fokus auf Unternehmensanforderungen
- Hugging Face für Open-Source-Modelle und Inferenz-Server
Für diese Übungen benötigst du eigene Konten. Die Aufgaben sind optional, du kannst also je nach Interesse einen, alle oder keinen der Anbieter einrichten. Einige Hinweise zur Anmeldung:
| Anmeldung | Kosten | API-Schlüssel | Playground | Hinweise |
|---|---|---|---|---|
| OpenAI | Preise | Projektbasiert | No-Code, Web | Mehrere Modelle verfügbar |
| Azure | Preise | SDK Schnellstart | Studio Schnellstart | Zugang muss vorab beantragt werden |
| Hugging Face | Preise | Access Tokens | Hugging Chat | Hugging Chat bietet nur begrenzte Modelle |
Folge den untenstehenden Anweisungen, um dieses Repository für die Nutzung mit verschiedenen Anbietern zu konfigurieren. Aufgaben, die einen bestimmten Anbieter benötigen, enthalten einen dieser Tags im Dateinamen:
aoai– benötigt Azure OpenAI-Endpunkt und Schlüsseloai– benötigt OpenAI-Endpunkt und Schlüsselhf– benötigt Hugging Face Token
Du kannst einen, keinen oder alle Anbieter konfigurieren. Zugehörige Aufgaben schlagen einfach fehl, wenn Zugangsdaten fehlen.
Wir gehen davon aus, dass du die obigen Hinweise gelesen, dich beim jeweiligen Anbieter angemeldet und die erforderlichen Zugangsdaten (API_KEY oder Token) erhalten hast. Im Fall von Azure OpenAI gehen wir davon aus, dass du bereits eine gültige Bereitstellung eines Azure OpenAI-Dienstes (Endpunkt) mit mindestens einem GPT-Modell für Chat Completion hast.
Der nächste Schritt ist, deine lokalen Umgebungsvariablen wie folgt zu konfigurieren:
-
Suche im Hauptverzeichnis nach einer Datei namens
.env.copy, die in etwa so aussieht:# OpenAI Provider OPENAI_API_KEY='<add your OpenAI API key here>' ## Azure OpenAI AZURE_OPENAI_API_VERSION='2024-02-01' # Default is set! AZURE_OPENAI_API_KEY='<add your AOAI key here>' AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>' AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>' ## Hugging Face HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'
-
Kopiere diese Datei mit folgendem Befehl nach
.env. Diese Datei ist gitignore-d, damit Geheimnisse sicher bleiben.cp .env.copy .env
-
Trage die Werte ein (ersetze Platzhalter rechts vom
=) wie im nächsten Abschnitt beschrieben. -
(Optional) Wenn du GitHub Codespaces verwendest, kannst du Umgebungsvariablen als Codespaces secrets für dieses Repository speichern. In diesem Fall musst du keine lokale .env-Datei anlegen. Beachte jedoch, dass diese Option nur mit GitHub Codespaces funktioniert. Wenn du stattdessen Docker Desktop verwendest, musst du weiterhin die .env-Datei einrichten.
Schauen wir uns kurz die Variablennamen an, um zu verstehen, was sie bedeuten:
| Variable | Beschreibung |
|---|---|
| HUGGING_FACE_API_KEY | Das ist das Benutzer-Access-Token, das du in deinem Profil eingerichtet hast |
| OPENAI_API_KEY | Das ist der Autorisierungsschlüssel für die Nutzung des Dienstes bei nicht-Azure OpenAI-Endpunkten |
| AZURE_OPENAI_API_KEY | Das ist der Autorisierungsschlüssel für diesen Dienst |
| AZURE_OPENAI_ENDPOINT | Das ist der bereitgestellte Endpunkt für eine Azure OpenAI-Ressource |
| AZURE_OPENAI_DEPLOYMENT | Das ist der Endpunkt für das Textgenerierungsmodell |
| AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT | Das ist der Endpunkt für das Text-Embeddings-Modell |
Hinweis: Die letzten beiden Azure OpenAI-Variablen stehen jeweils für ein Standardmodell für Chat Completion (Textgenerierung) und Vektorsuche (Embeddings). Anweisungen zur Einrichtung findest du in den jeweiligen Aufgaben.
Die Werte für Azure OpenAI-Endpunkt und -Schlüssel findest du im Azure Portal. Gehe dazu wie folgt vor:
- Gehe zum Azure Portal
- Klicke im Seitenmenü (links) auf Schlüssel und Endpunkt.
- Klicke auf Schlüssel anzeigen – du solltest nun sehen: SCHLÜSSEL 1, SCHLÜSSEL 2 und Endpunkt.
- Verwende den Wert von SCHLÜSSEL 1 für AZURE_OPENAI_API_KEY
- Verwende den Wert von Endpunkt für AZURE_OPENAI_ENDPOINT
Als Nächstes benötigen wir die Endpunkte für die spezifischen Modelle, die wir bereitgestellt haben.
- Klicke im Seitenmenü (links) der Azure OpenAI-Ressource auf Modellbereitstellungen.
- Klicke auf der Zielseite auf Bereitstellungen verwalten
Das führt dich zur Azure OpenAI Studio-Website, wo wir die weiteren Werte wie unten beschrieben finden.
- Navigiere zu Azure OpenAI Studio ausgehend von deiner Ressource wie oben beschrieben.
- Klicke auf den Tab Bereitstellungen (Seitenleiste links), um die aktuell bereitgestellten Modelle zu sehen.
- Falls dein gewünschtes Modell nicht bereitgestellt ist, verwende Neue Bereitstellung erstellen, um es bereitzustellen.
- Du benötigst ein Textgenerierungsmodell – wir empfehlen: gpt-35-turbo
- Du benötigst ein Text-Embeddings-Modell – wir empfehlen text-embedding-ada-002
Aktualisiere nun die Umgebungsvariablen entsprechend dem verwendeten Bereitstellungsnamen. Dieser ist in der Regel identisch mit dem Modellnamen, sofern du ihn nicht explizit geändert hast. Zum Beispiel könntest du folgendes haben:
AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'Vergiss nicht, die .env-Datei nach dem Ausfüllen zu speichern. Du kannst die Datei nun schließen und zu den Anweisungen zum Ausführen des Notebooks zurückkehren.
Deinen OpenAI API-Schlüssel findest du in deinem OpenAI-Konto. Falls du noch keinen hast, kannst du ein Konto anlegen und einen API-Schlüssel erstellen. Sobald du den Schlüssel hast, kannst du ihn in der .env-Datei in die Variable OPENAI_API_KEY eintragen.
Dein Hugging Face Token findest du in deinem Profil unter Access Tokens. Teile diese Tokens nicht öffentlich. Erstelle stattdessen ein neues Token speziell für dieses Projekt und trage es in der .env-Datei unter der Variable HUGGING_FACE_API_KEY ein. Hinweis: Technisch gesehen ist dies kein API-Schlüssel, wird aber zur Authentifizierung verwendet, daher behalten wir diese Bezeichnung zur Konsistenz bei.
Haftungsausschluss:
Dieses Dokument wurde mit dem KI-Übersetzungsdienst Co-op Translator übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ausgangssprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die durch die Nutzung dieser Übersetzung entstehen.