Skip to content

03-providers.md

Latest commit

 

History

History
122 lines (83 loc) · 8.76 KB

03-providers.md

File metadata and controls

122 lines (83 loc) · 8.76 KB

Izbira in konfiguracija ponudnika LLM 🔑

Naloge lahko nastavite tudi za delo z enim ali več razporeditvami velikih jezikovnih modelov (LLM) prek podprtega ponudnika storitev, kot so OpenAI, Azure ali Hugging Face. Ti zagotavljajo gostujočo končno točko (API), do katere lahko dostopamo programsko z ustreznimi poverilnicami (API ključ ali žeton). V tem tečaju obravnavamo te ponudnike:

  • OpenAI z različnimi modeli, vključno z osnovno serijo GPT.
  • Azure OpenAI za OpenAI modele s poudarkom na pripravljenosti za podjetja
  • Hugging Face za odprtokodne modele in strežnik za sklepanje

Za te vaje boste morali uporabiti svoje račune. Naloge so neobvezne, zato lahko izberete nastavitev enega, vseh ali nobenega ponudnika glede na vaše interese. Nekaj navodil za prijavo:

Prijava Stroški API ključ Igralnica Komentarji
OpenAI Cenik Na projekt osnovan Brez kode, splet Več modelov na voljo
Azure Cenik SDK hitri začetek Studio hitri začetek Dostop je treba predhodno zaprositi
Hugging Face Cenik Dostopni žetoni Hugging Chat Hugging Chat ima omejene modele

Sledite spodnjim navodilom za konfiguracijo tega repozitorija za uporabo z različnimi ponudniki. Naloge, ki zahtevajo določenega ponudnika, bodo v imenu datoteke vsebovale eno od teh oznak:

  • aoai - zahteva Azure OpenAI končno točko, ključ
  • oai - zahteva OpenAI končno točko, ključ
  • hf - zahteva Hugging Face žeton

Lahko konfigurirate enega, nobenega ali vse ponudnike. Sorodne naloge bodo preprosto javljale napako ob manjkajočih poverilnicah.

Ustvarite datoteko .env

Predpostavljamo, da ste že prebrali zgornja navodila, se prijavili pri ustreznem ponudniku in pridobili zahtevane poverilnice za avtentikacijo (API_KEY ali žeton). V primeru Azure OpenAI predpostavljamo tudi, da imate veljavno razporeditev storitve Azure OpenAI (končna točka) z vsaj enim GPT modelom za dokončanje klepeta.

Naslednji korak je konfiguracija vaših lokalnih okoljskih spremenljivk na naslednji način:

  1. Poiščite v korenski mapi datoteko .env.copy, ki naj bi vsebovala nekaj takega:

    # Ponudnik OpenAI
OPENAI_API_KEY='<add your OpenAI API key here>'

## Azure OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # Privzeto je nastavljeno!
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## Hugging Face
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. Kopirajte to datoteko v .env z naslednjim ukazom. Ta datoteka je gitignore-ana, kar varuje skrivnosti.

    cp .env.copy .env

  3. Izpolnite vrednosti (zamenjajte nadomestne znake na desni strani =) kot je opisano v naslednjem razdelku.

  4. (Opcijsko) Če uporabljate GitHub Codespaces, imate možnost shraniti okoljske spremenljivke kot Codespaces skrivnosti, povezane s tem repozitorijem. V tem primeru ne boste potrebovali lokalne datoteke .env. Vendar pa ta možnost deluje samo, če uporabljate GitHub Codespaces. Datoteko .env boste morali nastaviti, če uporabljate Docker Desktop.

Izpolnite datoteko .env

Poglejmo hitro imena spremenljivk, da razumemo, kaj predstavljajo:

Spremenljivka Opis
HUGGING_FACE_API_KEY To je uporabniški dostopni žeton, ki ste ga nastavili v svojem profilu
OPENAI_API_KEY To je avtentikacijski ključ za uporabo storitve za ne-Azure OpenAI končne točke
AZURE_OPENAI_API_KEY To je avtentikacijski ključ za uporabo te storitve
AZURE_OPENAI_ENDPOINT To je razporejena končna točka za Azure OpenAI vir
AZURE_OPENAI_DEPLOYMENT To je končna točka razporeditve modela za generiranje besedila
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT To je končna točka razporeditve modela za vdelave besedila

Opomba: Zadnji dve spremenljivki Azure OpenAI predstavljata privzeti model za dokončanje klepeta (generiranje besedila) in iskanje vektorjev (vdelave). Navodila za njihovo nastavitev bodo opredeljena v ustreznih nalogah.

Konfiguracija Azure: iz portala

Vrednosti končne točke in ključa Azure OpenAI boste našli v Azure portalu, zato začnimo tam.

  1. Pojdite na Azure portal
  2. Kliknite možnost Ključi in končna točka v stranski vrstici (meni na levi).
  3. Kliknite Prikaži ključe - videti bi morali naslednje: KLJUČ 1, KLJUČ 2 in Končna točka.
  4. Uporabite vrednost KLJUČ 1 za AZURE_OPENAI_API_KEY
  5. Uporabite vrednost Končna točka za AZURE_OPENAI_ENDPOINT

Nato potrebujemo končne točke za specifične modele, ki smo jih razporedili.

  1. Kliknite možnost Razporeditve modelov v stranski vrstici (levi meni) za Azure OpenAI vir.
  2. Na ciljni strani kliknite Upravljanje razporeditev

To vas bo pripeljalo do spletnega mesta Azure OpenAI Studio, kjer bomo našli ostale vrednosti, kot je opisano spodaj.

Konfiguracija Azure: iz studia

  1. Pojdite na Azure OpenAI Studio iz vašega vira, kot je opisano zgoraj.
  2. Kliknite zavihek Razporeditve (stranska vrstica, levo), da si ogledate trenutno razporejene modele.
  3. Če vaš želeni model ni razporejen, uporabite Ustvari novo razporeditev, da ga razporedite.
  4. Potrebovali boste model za generiranje besedila - priporočamo: gpt-35-turbo
  5. Potrebovali boste model za vdelave besedila - priporočamo text-embedding-ada-002

Zdaj posodobite okoljske spremenljivke, da odražajo uporabljeno ime razporeditve. To bo običajno enako imenu modela, razen če ste ga izrecno spremenili. Na primer, lahko imate:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

Ne pozabite shraniti datoteke .env, ko končate. Sedaj lahko zaprete datoteko in se vrnete k navodilom za zagon zvezka.

Konfiguracija OpenAI: iz profila

Vaš OpenAI API ključ najdete v svojem OpenAI računu. Če ga nimate, se lahko prijavite in ustvarite API ključ. Ko imate ključ, ga lahko uporabite za izpolnitev spremenljivke OPENAI_API_KEY v datoteki .env.

Konfiguracija Hugging Face: iz profila

Vaš Hugging Face žeton najdete v svojem profilu pod Dostopnimi žetoni. Ne objavljajte jih ali delite javno. Namesto tega ustvarite nov žeton za uporabo v tem projektu in ga kopirajte v datoteko .env pod spremenljivko HUGGING_FACE_API_KEY. Opomba: Tehnično to ni API ključ, vendar se uporablja za avtentikacijo, zato ohranjamo to poimenovanje zaradi doslednosti.

Omejitev odgovornosti: Ta dokument je bil preveden z uporabo storitve za prevajanje z umetno inteligenco Co-op Translator. Čeprav si prizadevamo za natančnost, vas opozarjamo, da avtomatizirani prevodi lahko vsebujejo napake ali netočnosti. Izvirni dokument v njegovem izvirnem jeziku velja za avtoritativni vir. Za ključne informacije priporočamo strokovni človeški prevod. Za morebitna nesporazume ali napačne interpretacije, ki izhajajo iz uporabe tega prevoda, ne odgovarjamo.