Skip to content

03-providers.md

Latest commit

 

History

History
122 lines (83 loc) · 8.86 KB

03-providers.md

File metadata and controls

122 lines (83 loc) · 8.86 KB

LLM-toimittajan valinta ja konfigurointi 🔑

Tehtävät voivat myös olla asetettu toimimaan yhtä tai useampaa Suurten Kielen Mallien (LLM) käyttöönottoa vastaan tuetun palveluntarjoajan, kuten OpenAI:n, Azuren tai Hugging Facen kautta. Nämä tarjoavat isännöidyn päätepisteen (API), johon voimme ohjelmallisesti päästä käsiksi oikeilla tunnistetiedoilla (API-avain tai token). Tässä kurssissa käsittelemme näitä palveluntarjoajia:

  • OpenAI monipuolisilla malleilla, mukaan lukien ydinsarja GPT.
  • Azure OpenAI OpenAI-malleille, joissa painotetaan yritysvalmiutta
  • Hugging Face avoimen lähdekoodin malleille ja päättelypalvelimelle

Tarvitset omat tilisi näitä harjoituksia varten. Tehtävät ovat valinnaisia, joten voit valita yhden, kaikki tai ei yhtään palveluntarjoajaa kiinnostuksesi mukaan. Rekisteröitymisohjeita:

Rekisteröityminen Hinta API-avain Playground Kommentit
OpenAI Hinnoittelu Projektikohtainen Ei-koodia, Web Useita malleja saatavilla
Azure Hinnoittelu SDK pika-aloitus Studio pika-aloitus Pääsyyn on haettava etukäteen
Hugging Face Hinnoittelu Käyttöoikeustokenit Hugging Chat Hugging Chatissa on rajattu määrä malleja

Seuraa alla olevia ohjeita tämän repositorion konfiguroimiseksi eri palveluntarjoajien käyttöön. Tehtävissä, jotka vaativat tietyn palveluntarjoajan, tiedoston nimessä on jokin näistä tunnisteista:

  • aoai - vaatii Azure OpenAI -päätepisteen ja avaimen
  • oai - vaatii OpenAI-päätepisteen ja avaimen
  • hf - vaatii Hugging Face -tokenin

Voit konfiguroida yhden, ei yhtään tai kaikki palveluntarjoajat. Asiaankuuluvat tehtävät antavat virheen puuttuvista tunnistetiedoista.

Luo .env-tiedosto

Oletamme, että olet jo lukenut yllä olevan ohjeistuksen, rekisteröitynyt asianmukaiselle palveluntarjoajalle ja saanut tarvittavat tunnistetiedot (API_KEY tai token). Azuren OpenAI:n tapauksessa oletamme myös, että sinulla on voimassa oleva käyttöönotto Azure OpenAI -palvelusta (päätepiste) ja vähintään yksi GPT-malli on otettu käyttöön keskustelun täydentämistä varten.

Seuraava vaihe on konfiguroida paikalliset ympäristömuuttujat seuraavasti:

  1. Etsi juurihakemistosta .env.copy-tiedosto, jonka sisältö on suunnilleen seuraava:

    # OpenAI-palveluntarjoaja
OPENAI_API_KEY='<add your OpenAI API key here>'

## Azure OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # Oletus on asetettu!
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## Hugging Face
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. Kopioi tiedosto nimellä .env alla olevalla komennolla. Tämä tiedosto on gitignore-merkattu, joten salaisuudet pysyvät turvassa.

    cp .env.copy .env

  3. Täytä arvot (korvaa oikealla puolella olevat paikkamerkit) seuraavan osion ohjeiden mukaan.

  4. (Valinnainen) Jos käytät GitHub Codespacesia, voit tallentaa ympäristömuuttujat Codespaces-salaisuuksina tähän repositorioon liittyen. Tällöin sinun ei tarvitse luoda paikallista .env-tiedostoa. Huomaa kuitenkin, että tämä vaihtoehto toimii vain GitHub Codespacesin kanssa. Jos käytät Docker Desktopia, sinun on silti luotava .env-tiedosto.

Täytä .env-tiedosto

Katsotaan nopeasti muuttujien nimet ja mitä ne tarkoittavat:

Muuttuja Kuvaus
HUGGING_FACE_API_KEY Tämä on käyttäjän käyttöoikeustoken, jonka olet asettanut profiilissasi
OPENAI_API_KEY Tämä on valtuutusavain palvelun käyttöön ei-Azure OpenAI -päätepisteissä
AZURE_OPENAI_API_KEY Tämä on valtuutusavain kyseisen palvelun käyttöön
AZURE_OPENAI_ENDPOINT Tämä on otettu käyttöön oleva päätepiste Azure OpenAI -resurssille
AZURE_OPENAI_DEPLOYMENT Tämä on tekstin generoinnin mallin käyttöönoton päätepiste
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT Tämä on tekstin upotusten mallin käyttöönoton päätepiste

Huom: Viimeiset kaksi Azure OpenAI -muuttujaa viittaavat oletusmalliin keskustelun täydentämiseen (tekstin generointi) ja vektorihakuihin (upotukset). Niiden asetusohjeet löytyvät asiaankuuluvista tehtävistä.

Konfiguroi Azure: Portaalista

Azure OpenAI -päätepisteen ja avaimen arvot löytyvät Azure-portaalista, aloitetaan sieltä.

  1. Mene Azure-portaaliin
  2. Klikkaa sivupalkista (vasen valikko) Keys and Endpoint -vaihtoehtoa.
  3. Klikkaa Show Keys -näet seuraavat: KEY 1, KEY 2 ja Endpoint.
  4. Käytä KEY 1 -arvoa AZURE_OPENAI_API_KEY:na
  5. Käytä Endpoint-arvoa AZURE_OPENAI_ENDPOINT:na

Seuraavaksi tarvitsemme käyttöönotettujen mallien päätepisteet.

  1. Klikkaa Azure OpenAI -resurssin sivupalkista (vasen valikko) Model deployments -vaihtoehtoa.
  2. Kohdesivulla klikkaa Manage Deployments

Tämä vie sinut Azure OpenAI Studio -sivustolle, josta löydämme muut arvot alla kuvatulla tavalla.

Konfiguroi Azure: Studiosta

  1. Siirry Azure OpenAI Studioon resurssiltasi kuten yllä on kuvattu.
  2. Klikkaa vasemman laidan Deployments-välilehteä nähdäksesi käytössä olevat mallit.
  3. Jos haluamaasi mallia ei ole otettu käyttöön, käytä Create new deployment -toimintoa ottaaksesi sen käyttöön.
  4. Tarvitset tekstin generointiin mallin - suosittelemme: gpt-35-turbo
  5. Tarvitset tekstin upotuksiin mallin - suosittelemme text-embedding-ada-002

Päivitä nyt ympäristömuuttujat vastaamaan käytettyä Deployment name -arvoa. Tämä on tyypillisesti sama kuin mallin nimi, ellei sitä ole erikseen muutettu. Esimerkiksi:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

Muista tallentaa .env-tiedosto, kun olet valmis. Voit nyt sulkea tiedoston ja palata ohjeisiin muistiokirjan suorittamiseksi.

Konfiguroi OpenAI: Profiilista

OpenAI API -avaimesi löytyy OpenAI-tililtäsi. Jos sinulla ei ole avainta, voit rekisteröityä tilille ja luoda API-avaimen. Saatuasi avaimen voit täyttää OPENAI_API_KEY-muuttujan .env-tiedostossa.

Konfiguroi Hugging Face: Profiilista

Hugging Face -tokenisi löytyy profiilistasi kohdasta Access Tokens. Älä julkaise tai jaa näitä julkisesti. Sen sijaan luo uusi token tätä projektia varten ja kopioi se .env-tiedostoon HUGGING_FACE_API_KEY-muuttujan alle. Huom: Tämä ei teknisesti ole API-avain, mutta sitä käytetään tunnistautumiseen, joten pidämme nimeämiskäytännön johdonmukaisena.

Vastuuvapauslauseke:
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua Co-op Translator. Vaikka pyrimme tarkkuuteen, huomioithan, että automaattikäännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäinen asiakirja sen alkuperäisellä kielellä on virallinen lähde. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista.