Skip to content

03-providers.md

Latest commit

 

History

History
122 lines (83 loc) · 9.14 KB

03-providers.md

File metadata and controls

122 lines (83 loc) · 9.14 KB

Výber a konfigurácia poskytovateľa LLM 🔑

Úlohy môžu byť tiež nastavené tak, aby pracovali s jedným alebo viacerými nasadeniami veľkých jazykových modelov (LLM) prostredníctvom podporovaného poskytovateľa služieb ako OpenAI, Azure alebo Hugging Face. Tieto poskytujú hostovaný endpoint (API), ku ktorému môžeme programovo pristupovať s príslušnými povereniami (API kľúč alebo token). V tomto kurze sa venujeme týmto poskytovateľom:

  • OpenAI s rôznymi modelmi vrátane základnej série GPT.
  • Azure OpenAI pre modely OpenAI so zameraním na pripravenosť pre podniky
  • Hugging Face pre open-source modely a inference server

Pre tieto cvičenia budete potrebovať vlastné účty. Úlohy sú voliteľné, takže si môžete vybrať nastavenie jedného, všetkých alebo žiadneho z poskytovateľov podľa svojich záujmov. Niekoľko rád pre registráciu:

Registrácia Cena API kľúč Playground Komentáre
OpenAI Cenník Na základe projektu Bez kódu, Web Viacero dostupných modelov
Azure Cenník Rýchly štart SDK Rýchly štart Studio Nutné požiadať o prístup vopred
Hugging Face Cenník Prístupové tokeny Hugging Chat Hugging Chat má obmedzené modely

Postupujte podľa nižšie uvedených pokynov na konfiguráciu tohto repozitára pre použitie s rôznymi poskytovateľmi. Úlohy, ktoré vyžadujú konkrétneho poskytovateľa, budú mať v názve súboru jednu z týchto značiek:

  • aoai - vyžaduje Azure OpenAI endpoint, kľúč
  • oai - vyžaduje OpenAI endpoint, kľúč
  • hf - vyžaduje Hugging Face token

Môžete nakonfigurovať jedného, žiadneho alebo všetkých poskytovateľov. Súvisiace úlohy jednoducho zlyhajú pri chýbajúcich povereniach.

Vytvorenie súboru .env

Predpokladáme, že ste si už prečítali vyššie uvedené pokyny, zaregistrovali sa u príslušného poskytovateľa a získali potrebné autentifikačné poverenia (API_KEY alebo token). V prípade Azure OpenAI predpokladáme, že máte tiež platné nasadenie služby Azure OpenAI (endpoint) s aspoň jedným GPT modelom nasadeným pre chatovacie dokončenie.

Ďalším krokom je nastavenie vašich lokálnych premenných prostredia nasledovne:

  1. Pozrite sa v koreňovom priečinku na súbor .env.copy, ktorý by mal obsahovať niečo takéto:

    # Poskytovateľ OpenAI
OPENAI_API_KEY='<add your OpenAI API key here>'

## Azure OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # Predvolené je nastavené!
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## Hugging Face
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. Skopírujte tento súbor do .env pomocou nasledujúceho príkazu. Tento súbor je gitignore-ovaný, aby boli tajomstvá v bezpečí.

    cp .env.copy .env

  3. Vyplňte hodnoty (nahraďte zástupné symboly napravo od =) podľa popisu v nasledujúcej sekcii.

  4. (Voliteľné) Ak používate GitHub Codespaces, máte možnosť uložiť premenné prostredia ako Codespaces secrets priradené k tomuto repozitáru. V takom prípade nebudete musieť nastavovať lokálny súbor .env. Avšak, táto možnosť funguje iba ak používate GitHub Codespaces. Ak používate Docker Desktop, stále budete musieť nastaviť súbor .env.

Vyplnenie súboru .env

Pozrime sa rýchlo na názvy premenných, aby sme pochopili, čo predstavujú:

Premenná Popis
HUGGING_FACE_API_KEY Toto je používateľský prístupový token, ktorý ste nastavili vo svojom profile
OPENAI_API_KEY Toto je autorizačný kľúč pre používanie služby mimo Azure OpenAI endpointov
AZURE_OPENAI_API_KEY Toto je autorizačný kľúč pre používanie tejto služby
AZURE_OPENAI_ENDPOINT Toto je nasadený endpoint pre Azure OpenAI zdroj
AZURE_OPENAI_DEPLOYMENT Toto je endpoint nasadenia modelu pre generovanie textu
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT Toto je endpoint nasadenia modelu pre textové vektory (embeddings)

Poznámka: Posledné dve premenné Azure OpenAI odrážajú predvolený model pre chatovacie dokončenie (generovanie textu) a vyhľadávanie vektorov (embeddings). Pokyny na ich nastavenie budú definované v príslušných úlohách.

Konfigurácia Azure: z portálu

Hodnoty endpointu a kľúča Azure OpenAI nájdete v Azure Portáli, začnime teda tam.

  1. Prejdite na Azure Portál
  2. Kliknite na možnosť Kľúče a endpoint v bočnom paneli (menu vľavo).
  3. Kliknite na Zobraziť kľúče - mali by ste vidieť: KĽÚČ 1, KĽÚČ 2 a Endpoint.
  4. Použite hodnotu KĽÚČ 1 pre AZURE_OPENAI_API_KEY
  5. Použite hodnotu Endpoint pre AZURE_OPENAI_ENDPOINT

Ďalej potrebujeme endpointy pre konkrétne modely, ktoré sme nasadili.

  1. Kliknite na možnosť Nasadenia modelov v bočnom paneli (ľavé menu) pre Azure OpenAI zdroj.
  2. Na cieľovej stránke kliknite na Spravovať nasadenia

Tým sa dostanete na web Azure OpenAI Studio, kde nájdeme ďalšie hodnoty, ako je popísané nižšie.

Konfigurácia Azure: zo Studio

  1. Prejdite na Azure OpenAI Studio zo svojho zdroja podľa vyššie uvedeného postupu.
  2. Kliknite na záložku Nasadenia (bočný panel, vľavo) pre zobrazenie aktuálne nasadených modelov.
  3. Ak váš požadovaný model nie je nasadený, použite Vytvoriť nové nasadenie na jeho nasadenie.
  4. Budete potrebovať model text-generation - odporúčame: gpt-35-turbo
  5. Budete potrebovať model text-embedding - odporúčame text-embedding-ada-002

Teraz aktualizujte premenné prostredia tak, aby odrážali použité Meno nasadenia. Zvyčajne to bude rovnaké ako názov modelu, pokiaľ ste ho explicitne nezmenili. Napríklad môžete mať:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

Nezabudnite uložiť súbor .env po dokončení. Teraz môžete súbor zatvoriť a vrátiť sa k pokynom na spustenie notebooku.

Konfigurácia OpenAI: z profilu

Váš OpenAI API kľúč nájdete vo svojom OpenAI účte. Ak ho ešte nemáte, môžete si vytvoriť účet a vygenerovať API kľúč. Po získaní kľúča ho môžete použiť na vyplnenie premennej OPENAI_API_KEY v súbore .env.

Konfigurácia Hugging Face: z profilu

Váš Hugging Face token nájdete vo svojom profile pod Prístupové tokeny. Nezverejňujte ich ani nezdieľajte verejne. Namiesto toho si vytvorte nový token pre použitie v tomto projekte a skopírujte ho do súboru .env pod premennú HUGGING_FACE_API_KEY. Poznámka: Technicky to nie je API kľúč, ale používa sa na autentifikáciu, preto zachovávame toto pomenovanie pre konzistenciu.

Zrieknutie sa zodpovednosti: Tento dokument bol preložený pomocou AI prekladateľskej služby Co-op Translator. Aj keď sa snažíme o presnosť, prosím, majte na pamäti, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.