Skip to content

03-providers.md

Latest commit

 

History

History
122 lines (83 loc) · 9.12 KB

03-providers.md

File metadata and controls

122 lines (83 loc) · 9.12 KB

Výběr a konfigurace poskytovatele LLM 🔑

Úkoly mohou být také nastaveny tak, aby pracovaly s jedním nebo více nasazeními velkých jazykových modelů (LLM) prostřednictvím podporovaného poskytovatele služeb, jako jsou OpenAI, Azure nebo Hugging Face. Tyto poskytují hostovaný endpoint (API), ke kterému můžeme programově přistupovat s příslušnými přihlašovacími údaji (API klíč nebo token). V tomto kurzu diskutujeme tyto poskytovatele:

  • OpenAI s různými modely včetně základní série GPT.
  • Azure OpenAI pro modely OpenAI s důrazem na připravenost pro podnikové použití
  • Hugging Face pro open-source modely a inference server

Pro tyto cvičení budete potřebovat vlastní účty. Úkoly jsou nepovinné, takže si můžete vybrat nastavení jednoho, všech nebo žádného z poskytovatelů podle svých zájmů. Několik rad pro registraci:

Registrace Cena API klíč Playground Komentáře
OpenAI Ceník Projektově založené Bez kódu, web Více dostupných modelů
Azure Ceník Rychlý start SDK Rychlý start Studio Přístup je nutné předem požádat
Hugging Face Ceník Přístupové tokeny Hugging Chat Hugging Chat má omezené modely

Postupujte podle níže uvedených pokynů pro konfiguraci tohoto repozitáře pro použití s různými poskytovateli. Úkoly, které vyžadují konkrétního poskytovatele, budou mít v názvu souboru jednu z těchto značek:

  • aoai - vyžaduje Azure OpenAI endpoint, klíč
  • oai - vyžaduje OpenAI endpoint, klíč
  • hf - vyžaduje Hugging Face token

Můžete nakonfigurovat jednoho, žádného nebo všechny poskytovatele. Příslušné úkoly jednoduše skončí chybou při chybějících přihlašovacích údajích.

Vytvoření souboru .env

Předpokládáme, že jste již přečetli výše uvedené pokyny, zaregistrovali se u příslušného poskytovatele a získali požadované autentizační údaje (API_KEY nebo token). V případě Azure OpenAI předpokládáme, že máte také platné nasazení služby Azure OpenAI (endpoint) s alespoň jedním GPT modelem nasazeným pro chat completion.

Dalším krokem je nastavení vašich lokálních proměnných prostředí následovně:

  1. Podívejte se v kořenové složce na soubor .env.copy, který by měl obsahovat něco takového:

    # Poskytovatel OpenAI
OPENAI_API_KEY='<add your OpenAI API key here>'

## Azure OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # Výchozí je nastaven!
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## Hugging Face
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. Zkopírujte tento soubor do .env pomocí níže uvedeného příkazu. Tento soubor je gitignore-ován, aby byly tajné údaje v bezpečí.

    cp .env.copy .env

  3. Vyplňte hodnoty (nahraďte zástupné symboly napravo od =) podle popisu v další sekci.

  4. (Volitelné) Pokud používáte GitHub Codespaces, máte možnost uložit proměnné prostředí jako Codespaces secrets spojené s tímto repozitářem. V takovém případě nebudete muset nastavovat lokální soubor .env. Poznámka: tato možnost funguje pouze pokud používáte GitHub Codespaces. Pokud používáte Docker Desktop, stále budete muset nastavit soubor .env.

Vyplnění souboru .env

Podívejme se rychle na názvy proměnných, abychom pochopili, co představují:

Proměnná Popis
HUGGING_FACE_API_KEY Toto je uživatelský přístupový token, který nastavíte ve svém profilu
OPENAI_API_KEY Toto je autorizační klíč pro použití služby mimo Azure OpenAI endpointy
AZURE_OPENAI_API_KEY Toto je autorizační klíč pro použití této služby
AZURE_OPENAI_ENDPOINT Toto je nasazený endpoint pro zdroj Azure OpenAI
AZURE_OPENAI_DEPLOYMENT Toto je endpoint nasazení modelu pro generování textu
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT Toto je endpoint nasazení modelu pro textové embeddingy

Poznámka: Poslední dvě proměnné Azure OpenAI odrážejí výchozí model pro chat completion (generování textu) a vyhledávání vektorů (embeddingy). Pokyny k jejich nastavení budou definovány v příslušných úkolech.

Konfigurace Azure: z portálu

Hodnoty endpointu a klíče Azure OpenAI najdete v Azure Portálu, začněme tedy tam.

  1. Přejděte na Azure Portal
  2. Klikněte na možnost Keys and Endpoint v postranním panelu (menu vlevo).
  3. Klikněte na Show Keys - měli byste vidět následující: KEY 1, KEY 2 a Endpoint.
  4. Použijte hodnotu KEY 1 pro AZURE_OPENAI_API_KEY
  5. Použijte hodnotu Endpoint pro AZURE_OPENAI_ENDPOINT

Dále potřebujeme endpointy pro konkrétní nasazené modely.

  1. Klikněte na možnost Model deployments v postranním panelu (levé menu) pro zdroj Azure OpenAI.
  2. Na cílové stránce klikněte na Manage Deployments

Tím se dostanete na web Azure OpenAI Studio, kde najdeme další hodnoty, jak je popsáno níže.

Konfigurace Azure: ze Studia

  1. Přejděte na Azure OpenAI Studio ze svého zdroje, jak je popsáno výše.
  2. Klikněte na záložku Deployments (postranní panel, vlevo) pro zobrazení aktuálně nasazených modelů.
  3. Pokud váš požadovaný model není nasazen, použijte Create new deployment k jeho nasazení.
  4. Budete potřebovat model pro generování textu - doporučujeme: gpt-35-turbo
  5. Budete potřebovat model pro textové embeddingy - doporučujeme text-embedding-ada-002

Nyní aktualizujte proměnné prostředí tak, aby odrážely použité Deployment name. Obvykle to bude stejné jako název modelu, pokud jste jej explicitně nezměnili. Například můžete mít:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

Nezapomeňte soubor .env po úpravě uložit. Nyní můžete soubor zavřít a vrátit se k pokynům pro spuštění notebooku.

Konfigurace OpenAI: z profilu

Váš OpenAI API klíč najdete ve svém OpenAI účtu. Pokud jej nemáte, můžete si vytvořit účet a vytvořit API klíč. Jakmile klíč máte, můžete jej použít k vyplnění proměnné OPENAI_API_KEY v souboru .env.

Konfigurace Hugging Face: z profilu

Váš Hugging Face token najdete ve svém profilu pod Access Tokens. Nezveřejňujte je ani nesdílejte veřejně. Místo toho si vytvořte nový token pro použití v tomto projektu a zkopírujte jej do souboru .env pod proměnnou HUGGING_FACE_API_KEY. Poznámka: Technicky to není API klíč, ale používá se pro autentizaci, proto zachováváme toto pojmenování pro konzistenci.

Prohlášení o vyloučení odpovědnosti:
Tento dokument byl přeložen pomocí AI překladatelské služby Co-op Translator. Přestože usilujeme o přesnost, mějte prosím na paměti, že automatické překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho mateřském jazyce by měl být považován za autoritativní zdroj. Pro důležité informace se doporučuje profesionální lidský překlad. Nejsme odpovědní za jakékoliv nedorozumění nebo nesprávné výklady vyplývající z použití tohoto překladu.