Gli esercizi possono essere configurati per funzionare con uno o più deployment di Large Language Model (LLM) tramite un provider supportato come OpenAI, Azure o Hugging Face. Questi offrono un endpoint ospitato (API) a cui possiamo accedere in modo programmatico con le credenziali corrette (API key o token). In questo corso, parliamo di questi provider:
- OpenAI con una vasta gamma di modelli, inclusa la serie principale GPT.
- Azure OpenAI per i modelli OpenAI con attenzione alle esigenze aziendali
- Hugging Face per modelli open-source e server di inferenza
Dovrai utilizzare i tuoi account per questi esercizi. Gli esercizi sono facoltativi, quindi puoi scegliere di configurare uno, tutti - o nessuno - dei provider in base ai tuoi interessi. Ecco alcune indicazioni per la registrazione:
| Registrazione | Costo | API Key | Playground | Commenti |
|---|---|---|---|---|
| OpenAI | Prezzi | Basata su progetto | No-Code, Web | Disponibili più modelli |
| Azure | Prezzi | SDK Quickstart | Studio Quickstart | Richiesta preventiva di accesso |
| Hugging Face | Prezzi | Access Tokens | Hugging Chat | Hugging Chat ha modelli limitati |
Segui le istruzioni qui sotto per configurare questo repository per l’uso con diversi provider. Gli esercizi che richiedono un provider specifico avranno uno di questi tag nel nome del file:
aoai- richiede endpoint e chiave Azure OpenAIoai- richiede endpoint e chiave OpenAIhf- richiede token Hugging Face
Puoi configurare uno, nessuno o tutti i provider. Gli esercizi collegati daranno semplicemente errore se mancano le credenziali.
Si presume che tu abbia già letto le indicazioni sopra, ti sia registrato al provider scelto e abbia ottenuto le credenziali di autenticazione necessarie (API_KEY o token). Nel caso di Azure OpenAI, si presume anche che tu abbia un deployment valido di Azure OpenAI Service (endpoint) con almeno un modello GPT distribuito per chat completion.
Il prossimo passo è configurare le variabili d’ambiente locali come segue:
-
Cerca nella cartella principale il file
.env.copyche dovrebbe avere contenuti simili a questi:# OpenAI Provider OPENAI_API_KEY='<add your OpenAI API key here>' ## Azure OpenAI AZURE_OPENAI_API_VERSION='2024-02-01' # Default is set! AZURE_OPENAI_API_KEY='<add your AOAI key here>' AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>' AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>' ## Hugging Face HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'
-
Copia quel file in
.envusando il comando qui sotto. Questo file è gitignore-d, quindi mantiene le credenziali al sicuro.cp .env.copy .env
-
Inserisci i valori (sostituisci i segnaposto a destra di
=) come descritto nella sezione successiva. -
(Opzione) Se usi GitHub Codespaces, puoi salvare le variabili d’ambiente come segreti di Codespaces associati a questo repository. In questo caso, non sarà necessario configurare un file .env locale. Tieni presente però che questa opzione funziona solo se usi GitHub Codespaces. Dovrai comunque configurare il file .env se usi Docker Desktop.
Vediamo rapidamente i nomi delle variabili per capire cosa rappresentano:
| Variabile | Descrizione |
|---|---|
| HUGGING_FACE_API_KEY | Questo è il token di accesso utente che hai impostato nel tuo profilo |
| OPENAI_API_KEY | Questa è la chiave di autorizzazione per usare il servizio su endpoint OpenAI non Azure |
| AZURE_OPENAI_API_KEY | Questa è la chiave di autorizzazione per usare quel servizio |
| AZURE_OPENAI_ENDPOINT | Questo è l’endpoint distribuito per una risorsa Azure OpenAI |
| AZURE_OPENAI_DEPLOYMENT | Questo è l’endpoint di deployment del modello text generation |
| AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT | Questo è l’endpoint di deployment del modello text embeddings |
Nota: Le ultime due variabili di Azure OpenAI si riferiscono rispettivamente al modello predefinito per chat completion (text generation) e per la ricerca vettoriale (embeddings). Le istruzioni per impostarle saranno fornite negli esercizi pertinenti.
I valori di endpoint e chiave di Azure OpenAI si trovano nel Azure Portal, quindi partiamo da lì.
- Vai al Azure Portal
- Clicca sull’opzione Keys and Endpoint nella barra laterale (menu a sinistra).
- Clicca su Show Keys - dovresti vedere: KEY 1, KEY 2 e Endpoint.
- Usa il valore di KEY 1 per AZURE_OPENAI_API_KEY
- Usa il valore di Endpoint per AZURE_OPENAI_ENDPOINT
Ora servono gli endpoint per i modelli specifici che hai distribuito.
- Clicca sull’opzione Model deployments nella barra laterale (menu a sinistra) della risorsa Azure OpenAI.
- Nella pagina di destinazione, clicca su Manage Deployments
Questo ti porterà al sito Azure OpenAI Studio, dove troverai gli altri valori come descritto sotto.
- Vai su Azure OpenAI Studio dalla tua risorsa come descritto sopra.
- Clicca sulla scheda Deployments (barra laterale, sinistra) per vedere i modelli attualmente distribuiti.
- Se il modello desiderato non è distribuito, usa Create new deployment per distribuirlo.
- Ti servirà un modello text-generation - consigliamo: gpt-35-turbo
- Ti servirà un modello text-embedding - consigliamo text-embedding-ada-002
Ora aggiorna le variabili d’ambiente con il nome del deployment usato. Di solito coincide con il nome del modello, a meno che tu non l’abbia cambiato esplicitamente. Ad esempio, potresti avere:
AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'Ricordati di salvare il file .env quando hai finito. Ora puoi chiudere il file e tornare alle istruzioni per eseguire il notebook.
La tua API key di OpenAI si trova nel tuo account OpenAI. Se non ne hai una, puoi registrarti e crearne una. Una volta ottenuta la chiave, puoi usarla per compilare la variabile OPENAI_API_KEY nel file .env.
Il tuo token Hugging Face si trova nel profilo sotto Access Tokens. Non pubblicare o condividere questi token. Crea invece un nuovo token per questo progetto e copialo nel file .env sotto la variabile HUGGING_FACE_API_KEY. Nota: Tecnicamente non è una API key, ma viene usato per l’autenticazione, quindi manteniamo questa convenzione per coerenza.
Disclaimer:
Questo documento è stato tradotto utilizzando il servizio di traduzione AI Co-op Translator. Pur impegnandoci per garantire l’accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall’uso di questa traduzione.