Temele pot fi configurate să funcționeze cu una sau mai multe implementări de Large Language Model (LLM) prin intermediul unui furnizor de servicii suportat, precum OpenAI, Azure sau Hugging Face. Acestea oferă un endpoint găzduit (API) la care putem accesa programatic cu acreditările potrivite (cheie API sau token). În acest curs, discutăm despre următorii furnizori:
- OpenAI cu modele diverse, inclusiv seria principală GPT.
- Azure OpenAI pentru modelele OpenAI cu accent pe utilizarea în mediul enterprise
- Hugging Face pentru modele open-source și server de inferență
Va trebui să folosești propriile conturi pentru aceste exerciții. Temele sunt opționale, așa că poți alege să configurezi unul, toate - sau niciunul - dintre furnizori, în funcție de interesele tale. Câteva indicații pentru înscriere:
| Înscriere | Cost | Cheie API | Playground | Comentarii |
|---|---|---|---|---|
| OpenAI | Prețuri | Pe proiect | No-Code, Web | Sunt disponibile mai multe modele |
| Azure | Prețuri | SDK Quickstart | Studio Quickstart | Trebuie să aplici în avans pentru acces |
| Hugging Face | Prețuri | Access Tokens | Hugging Chat | Hugging Chat are modele limitate |
Urmează instrucțiunile de mai jos pentru a configura acest depozit pentru utilizarea cu diferiți furnizori. Temele care necesită un anumit furnizor vor conține unul dintre aceste tag-uri în numele fișierului:
aoai- necesită endpoint și cheie Azure OpenAIoai- necesită endpoint și cheie OpenAIhf- necesită token Hugging Face
Poți configura unul, niciunul sau toți furnizorii. Temele aferente vor da eroare dacă lipsesc acreditările.
Presupunem că ai citit deja indicațiile de mai sus, te-ai înscris la furnizorul relevant și ai obținut acreditările necesare pentru autentificare (API_KEY sau token). În cazul Azure OpenAI, presupunem că ai și o implementare validă a serviciului Azure OpenAI (endpoint) cu cel puțin un model GPT implementat pentru chat completion.
Următorul pas este să configurezi variabilele de mediu locale astfel:
-
Caută în folderul rădăcină un fișier
.env.copycare ar trebui să aibă conținut similar cu acesta:# OpenAI Provider OPENAI_API_KEY='<add your OpenAI API key here>' ## Azure OpenAI AZURE_OPENAI_API_VERSION='2024-02-01' # Default is set! AZURE_OPENAI_API_KEY='<add your AOAI key here>' AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>' AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>' ## Hugging Face HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'
-
Copiază acel fișier ca
.envfolosind comanda de mai jos. Acest fișier este gitignore-d, astfel încât secretele rămân în siguranță.cp .env.copy .env
-
Completează valorile (înlocuiește placeholder-ele din dreapta semnului
=) așa cum este descris în secțiunea următoare. -
(Opțional) Dacă folosești GitHub Codespaces, ai opțiunea să salvezi variabilele de mediu ca Codespaces secrets asociate acestui depozit. În acest caz, nu va mai fi nevoie să configurezi un fișier .env local. Totuși, reține că această opțiune funcționează doar dacă folosești GitHub Codespaces. Va trebui totuși să configurezi fișierul .env dacă folosești Docker Desktop.
Să aruncăm o privire rapidă asupra numelor variabilelor pentru a înțelege ce reprezintă:
| Variabilă | Descriere |
|---|---|
| HUGGING_FACE_API_KEY | Acesta este token-ul de acces pe care îl setezi în profilul tău |
| OPENAI_API_KEY | Aceasta este cheia de autorizare pentru utilizarea serviciului pentru endpoint-urile non-Azure OpenAI |
| AZURE_OPENAI_API_KEY | Aceasta este cheia de autorizare pentru utilizarea acelui serviciu |
| AZURE_OPENAI_ENDPOINT | Acesta este endpoint-ul implementat pentru o resursă Azure OpenAI |
| AZURE_OPENAI_DEPLOYMENT | Acesta este endpoint-ul de implementare a modelului text generation |
| AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT | Acesta este endpoint-ul de implementare a modelului text embeddings |
Notă: Ultimele două variabile Azure OpenAI reflectă un model implicit pentru chat completion (generare de text) și căutare vectorială (embeddings). Instrucțiunile pentru setarea lor vor fi definite în temele relevante.
Valorile pentru endpoint și cheie Azure OpenAI se găsesc în Azure Portal, așa că să începem de acolo.
- Accesează Azure Portal
- Dă click pe opțiunea Keys and Endpoint din bara laterală (meniul din stânga).
- Apasă pe Show Keys - ar trebui să vezi următoarele: KEY 1, KEY 2 și Endpoint.
- Folosește valoarea KEY 1 pentru AZURE_OPENAI_API_KEY
- Folosește valoarea Endpoint pentru AZURE_OPENAI_ENDPOINT
În continuare, avem nevoie de endpoint-urile pentru modelele specifice pe care le-am implementat.
- Dă click pe opțiunea Model deployments din bara laterală (meniul din stânga) pentru resursa Azure OpenAI.
- Pe pagina de destinație, apasă pe Manage Deployments
Acest lucru te va duce pe site-ul Azure OpenAI Studio, unde vom găsi celelalte valori, așa cum este descris mai jos.
- Navighează la Azure OpenAI Studio din resursa ta așa cum am descris mai sus.
- Dă click pe tab-ul Deployments (bara laterală, stânga) pentru a vedea modelele implementate în prezent.
- Dacă modelul dorit nu este implementat, folosește Create new deployment pentru a-l implementa.
- Vei avea nevoie de un model text-generation - recomandăm: gpt-35-turbo
- Vei avea nevoie de un model text-embedding - recomandăm text-embedding-ada-002
Acum actualizează variabilele de mediu pentru a reflecta Deployment name folosit. De obicei, acesta va fi același cu numele modelului, dacă nu l-ai schimbat explicit. De exemplu, ai putea avea:
AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'Nu uita să salvezi fișierul .env când ai terminat. Poți ieși acum din fișier și să revii la instrucțiunile pentru rularea notebook-ului.
Cheia ta OpenAI API poate fi găsită în contul tău OpenAI. Dacă nu ai una, poți să-ți faci un cont și să creezi o cheie API. Odată ce ai cheia, o poți folosi pentru a completa variabila OPENAI_API_KEY în fișierul .env.
Token-ul tău Hugging Face poate fi găsit în profilul tău, la secțiunea Access Tokens. Nu posta sau distribui aceste date public. Creează un token nou pentru acest proiect și copiază-l în fișierul .env la variabila HUGGING_FACE_API_KEY. Notă: Tehnic, acesta nu este o cheie API, dar este folosit pentru autentificare, așa că păstrăm această denumire pentru consistență.
Declarație de responsabilitate: Acest document a fost tradus folosind serviciul de traducere AI Co-op Translator. Deși ne străduim să asigurăm acuratețea, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original, în limba sa nativă, trebuie considerat sursa autoritară. Pentru informații critice, se recomandă traducerea profesională realizată de oameni. Nu ne asumăm răspunderea pentru eventuale neînțelegeri sau interpretări greșite care pot apărea din utilizarea acestei traduceri.