Skip to content

03-providers.md

Latest commit

 

History

History
122 lines (83 loc) · 13.5 KB

03-providers.md

File metadata and controls

122 lines (83 loc) · 13.5 KB

Избор и конфигуриране на доставчик на LLM 🔑

Задачите могат да бъдат настроени да работят с една или повече инсталации на големи езикови модели (LLM) чрез поддържан доставчик на услуги като OpenAI, Azure или Hugging Face. Те предоставят хоствана крайна точка (API), до която можем да имаме програматичен достъп с правилните идентификационни данни (API ключ или токен). В този курс обсъждаме тези доставчици:

  • OpenAI с разнообразни модели, включително основната серия GPT.
  • Azure OpenAI за OpenAI модели с фокус върху готовност за предприятия
  • Hugging Face за отворени модели и сървър за извеждане

Ще трябва да използвате собствени акаунти за тези упражнения. Задачите са по избор, така че можете да изберете да настроите един, всички или нито един от доставчиците според вашите интереси. Някои насоки за регистрация:

Регистрация Цена API ключ Пясъчник Коментари
OpenAI Ценоразпис Базиран на проект Без код, уеб Налични множество модели
Azure Ценоразпис SDK бърз старт Studio бърз старт Трябва да кандидатствате предварително за достъп
Hugging Face Ценоразпис Достъпни токени Hugging Chat Hugging Chat има ограничени модели

Следвайте указанията по-долу, за да конфигурирате това хранилище за използване с различни доставчици. Задачите, които изискват конкретен доставчик, ще съдържат един от тези тагове в името на файла:

  • aoai - изисква крайна точка и ключ на Azure OpenAI
  • oai - изисква крайна точка и ключ на OpenAI
  • hf - изисква токен на Hugging Face

Можете да конфигурирате един, нито един или всички доставчици. Свързаните задачи просто ще дадат грешка при липса на идентификационни данни.

Създаване на .env файл

Предполагаме, че вече сте прочели горните указания, регистрирали сте се при съответния доставчик и сте получили необходимите удостоверителни данни (API_KEY или токен). В случая с Azure OpenAI, предполагаме, че имате валидна инсталация на Azure OpenAI Service (крайна точка) с поне един GPT модел, разположен за чат завършване.

Следващата стъпка е да конфигурирате вашите локални променливи на средата по следния начин:

  1. Потърсете в кореновата папка файл .env.copy, който трябва да съдържа нещо подобно на това:

    # Доставчик OpenAI
OPENAI_API_KEY='<add your OpenAI API key here>'

## Azure OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # По подразбиране е зададено!
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## Hugging Face
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. Копирайте този файл като .env с командата по-долу. Този файл е gitignore-нат, за да се пазят тайните.

    cp .env.copy .env

  3. Попълнете стойностите (заменете плейсхолдърите вдясно от =) както е описано в следващия раздел.

  4. (Опция) Ако използвате GitHub Codespaces, имате възможност да запазите променливите на средата като Codespaces тайни, свързани с това хранилище. В този случай няма да е необходимо да настройвате локален .env файл. Въпреки това, имайте предвид, че тази опция работи само ако използвате GitHub Codespaces. Все пак ще трябва да настроите .env файла, ако използвате Docker Desktop.

Попълване на .env файл

Нека бързо разгледаме имената на променливите, за да разберем какво представляват:

Променлива Описание
HUGGING_FACE_API_KEY Това е потребителският токен за достъп, който сте настроили в профила си
OPENAI_API_KEY Това е ключът за упълномощаване за използване на услугата за не-Azure OpenAI крайни точки
AZURE_OPENAI_API_KEY Това е ключът за упълномощаване за използване на тази услуга
AZURE_OPENAI_ENDPOINT Това е разположената крайна точка за ресурс Azure OpenAI
AZURE_OPENAI_DEPLOYMENT Това е крайна точка за разполагане на модел за генериране на текст
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT Това е крайна точка за разполагане на модел за текстови вграждания

Забележка: Последните две променливи на Azure OpenAI отразяват подразбиращ се модел за чат завършване (генериране на текст) и векторно търсене (вграждания) съответно. Инструкциите за настройка ще бъдат дефинирани в съответните задачи.

Конфигуриране на Azure: От портала

Стойностите за крайна точка и ключ на Azure OpenAI ще намерите в Azure портала, така че нека започнем от там.

  1. Отидете в Azure портала
  2. Кликнете върху опцията Keys and Endpoint в страничната лента (меню вляво).
  3. Кликнете Show Keys - трябва да видите следното: KEY 1, KEY 2 и Endpoint.
  4. Използвайте стойността на KEY 1 за AZURE_OPENAI_API_KEY
  5. Използвайте стойността на Endpoint за AZURE_OPENAI_ENDPOINT

След това ни трябват крайните точки за конкретните модели, които сме разположили.

  1. Кликнете върху опцията Model deployments в страничната лента (ляво меню) за ресурса Azure OpenAI.
  2. В страницата, която се отваря, кликнете Manage Deployments

Това ще ви отведе до уебсайта на Azure OpenAI Studio, където ще намерим другите стойности, както е описано по-долу.

Конфигуриране на Azure: От Studio

  1. Навигирайте до Azure OpenAI Studio от вашия ресурс, както е описано по-горе.
  2. Кликнете върху таба Deployments (странична лента, вляво), за да видите текущо разположените модели.
  3. Ако желаният модел не е разположен, използвайте Create new deployment, за да го разположите.
  4. Ще ви трябва модел за генериране на текст - препоръчваме: gpt-35-turbo
  5. Ще ви трябва модел за текстови вграждания - препоръчваме text-embedding-ada-002

Сега актуализирайте променливите на средата, за да отразяват използваното име на разполагането. Обикновено това ще е същото като името на модела, освен ако не сте го променили изрично. Така например, може да имате:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

Не забравяйте да запазите .env файла след като приключите. Можете сега да излезете от файла и да се върнете към инструкциите за стартиране на тетрадката.

Конфигуриране на OpenAI: От профила

Вашият OpenAI API ключ може да бъде намерен във вашия OpenAI акаунт. Ако нямате такъв, можете да се регистрирате и да създадете API ключ. След като имате ключа, можете да го използвате, за да попълните променливата OPENAI_API_KEY в .env файла.

Конфигуриране на Hugging Face: От профила

Вашият токен за Hugging Face може да бъде намерен във вашия профил под Access Tokens. Не публикувайте и не споделяйте тези публично. Вместо това, създайте нов токен за използване в този проект и го копирайте в .env файла под променливата HUGGING_FACE_API_KEY. Забележка: Технически това не е API ключ, но се използва за удостоверяване, затова запазваме това наименование за последователност.

Отказ от отговорност: Този документ е преведен с помощта на AI преводаческа услуга Co-op Translator. Въпреки че се стремим към точност, моля, имайте предвид, че автоматизираните преводи могат да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за каквито и да е недоразумения или неправилни тълкувания, произтичащи от използването на този превод.