Skip to content

03-providers.md

Latest commit

 

History

History
122 lines (83 loc) · 18.3 KB

03-providers.md

File metadata and controls

122 lines (83 loc) · 18.3 KB

LLM പ്രൊവൈഡർ തിരഞ്ഞെടുക്കൽ & കോൺഫിഗർ ചെയ്യൽ 🔑

അസൈൻമെന്റുകൾ കൂടാതെ OpenAI, Azure, Hugging Face പോലുള്ള പിന്തുണയുള്ള സർവീസ് പ്രൊവൈഡറുകളിലൂടെ ഒരു അല്ലെങ്കിൽ കൂടുതൽ വലിയ ഭാഷാ മോഡൽ (LLM) ഡിപ്ലോയ്മെന്റുകളെ എതിര്‍ക്കാൻ സജ്ജമാക്കാവുന്നതാണ്. ഇവ ഒരു ഹോസ്റ്റഡ് എന്റ്പോയിന്റ് (API) നൽകുന്നു, അത് ശരിയായ ക്രെഡൻഷ്യലുകളോടെ (API കീ അല്ലെങ്കിൽ ടോക്കൺ) പ്രോഗ്രാമാറ്റിക്കായി ആക്സസ് ചെയ്യാം. ഈ കോഴ്സിൽ, നാം ഈ പ്രൊവൈഡറുകളെ ചർച്ച ചെയ്യുന്നു:

  • OpenAI വിവിധ മോഡലുകളുമായി, കോർ GPT സീരീസ് ഉൾപ്പെടെ.
  • Azure OpenAI OpenAI മോഡലുകൾക്ക് എന്റർപ്രൈസ് റെഡിനസ്സ് മുൻനിർത്തി
  • Hugging Face ഓപ്പൺ-സോഴ്‌സ് മോഡലുകൾക്കും ഇൻഫറൻസ് സർവറിനും

ഈ അഭ്യാസങ്ങൾക്ക് നിങ്ങൾക്ക് നിങ്ങളുടെ സ്വന്തം അക്കൗണ്ടുകൾ ഉപയോഗിക്കേണ്ടതുണ്ട്. അസൈൻമെന്റുകൾ ഓപ്ഷണലാണ്, അതിനാൽ നിങ്ങളുടെ താൽപ്പര്യങ്ങൾ അനുസരിച്ച് ഒരു, എല്ലാം, അല്ലെങ്കിൽ ഒന്നും സജ്ജമാക്കാതിരിക്കാൻ നിങ്ങൾക്ക് കഴിയും. സൈൻഅപ്പ് സംബന്ധിച്ച ചില മാർഗ്ഗനിർദ്ദേശങ്ങൾ:

സൈൻഅപ്പ് ചെലവ് API കീ പ്ലേഗ്രൗണ്ട് കമന്റുകൾ
OpenAI പ്രൈസിംഗ് പ്രോജക്ട് അടിസ്ഥാനമാക്കിയുള്ളത് നോ-കോഡ്, വെബ് നിരവധി മോഡലുകൾ ലഭ്യമാണ്
Azure പ്രൈസിംഗ് SDK ക്വിക്ക്‌സ്റ്റാർട്ട് സ്റ്റുഡിയോ ക്വിക്ക്‌സ്റ്റാർട്ട് ആക്സസ് ലഭിക്കാൻ മുൻകൂർ അപേക്ഷിക്കണം
Hugging Face പ്രൈസിംഗ് ആക്സസ് ടോക്കണുകൾ Hugging Chat Hugging Chat-ന് പരിമിതമായ മോഡലുകൾ ഉണ്ട്

വിവിധ പ്രൊവൈഡറുകളുമായി ഉപയോഗിക്കാൻ ഈ റിപോസിറ്ററി കോൺഫിഗർ ചെയ്യാൻ താഴെയുള്ള നിർദ്ദേശങ്ങൾ പിന്തുടരുക. ഒരു പ്രത്യേക പ്രൊവൈഡർ ആവശ്യമായ അസൈൻമെന്റുകൾ അവരുടെ ഫയൽനാമത്തിൽ താഴെപ്പറയുന്ന ടാഗുകളിൽ ഒന്നും ഉൾക്കൊള്ളും:

  • aoai - Azure OpenAI എന്റ്പോയിന്റ്, കീ ആവശ്യമാണ്
  • oai - OpenAI എന്റ്പോയിന്റ്, കീ ആവശ്യമാണ്
  • hf - Hugging Face ടോക്കൺ ആവശ്യമാണ്

നിങ്ങൾക്ക് ഒരു, ഒന്നും അല്ലെങ്കിൽ എല്ലാം പ്രൊവൈഡറുകളും കോൺഫിഗർ ചെയ്യാം. ബന്ധപ്പെട്ട അസൈൻമെന്റുകൾ ക്രെഡൻഷ്യലുകൾ ഇല്ലെങ്കിൽ എറർ കാണിക്കും.

.env ഫയൽ സൃഷ്ടിക്കുക

മുകളിൽ നൽകിയ മാർഗ്ഗനിർദ്ദേശങ്ങൾ നിങ്ങൾ വായിച്ച് ബന്ധപ്പെട്ട പ്രൊവൈഡറിൽ സൈൻ അപ്പ് ചെയ്ത് ആവശ്യമായ ഓതന്റിക്കേഷൻ ക്രെഡൻഷ്യലുകൾ (API_KEY അല്ലെങ്കിൽ ടോക്കൺ) ലഭിച്ചിട്ടുണ്ടെന്ന് ഞങ്ങൾ കരുതുന്നു. Azure OpenAI-യുടെ കാര്യത്തിൽ, കുറഞ്ഞത് ഒരു GPT മോഡൽ ചാറ്റ് പൂർത്തീകരണത്തിനായി ഡിപ്ലോയുചെയ്ത ഒരു Azure OpenAI സർവീസ് (എന്റ്പോയിന്റ്) നിങ്ങൾക്കുണ്ടെന്ന് ഞങ്ങൾ കരുതുന്നു.

അടുത്ത ഘട്ടം നിങ്ങളുടെ ലോകൽ എൻവയോൺമെന്റ് വേരിയബിളുകൾ താഴെപ്പറയുന്ന വിധം കോൺഫിഗർ ചെയ്യുക:

  1. റൂട്ട് ഫോൾഡറിൽ .env.copy എന്ന ഫയൽ കാണുക, അതിൽ താഴെപോലുള്ള ഉള്ളടക്കം ഉണ്ടായിരിക്കണം:

    # OpenAI പ്രൊവൈഡർ
OPENAI_API_KEY='<add your OpenAI API key here>'

## ആസ്യൂർ OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # ഡിഫോൾട്ട് സജ്ജമാക്കി!
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## ഹഗ്ഗിംഗ് ഫെയ്‌സ്
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. താഴെ കൊടുത്ത കമാൻഡ് ഉപയോഗിച്ച് ആ ഫയൽ .env ആയി കോപ്പി ചെയ്യുക. ഈ ഫയൽ gitignore-ചെയ്തതാണ്, രഹസ്യങ്ങൾ സുരക്ഷിതമാക്കുന്നു.

    cp .env.copy .env

  3. അടുത്ത സെക്ഷനിൽ വിവരിച്ചിരിക്കുന്നതുപോലെ മൂല്യങ്ങൾ (== വലതുവശത്തെ പ്ലേസ്ഹോൾഡറുകൾ) പൂരിപ്പിക്കുക.

  4. (ഓപ്ഷൻ) നിങ്ങൾ GitHub Codespaces ഉപയോഗിക്കുന്നുവെങ്കിൽ, ഈ റിപോസിറ്ററിയുമായി ബന്ധപ്പെട്ട് എൻവയോൺമെന്റ് വേരിയബിളുകൾ Codespaces secrets ആയി സേവ് ചെയ്യാനുള്ള ഓപ്ഷൻ ഉണ്ട്. അപ്പോൾ, നിങ്ങൾക്ക് ലോക്കൽ .env ഫയൽ സജ്ജമാക്കേണ്ടതില്ല. എങ്കിലും, ഈ ഓപ്ഷൻ GitHub Codespaces ഉപയോഗിക്കുമ്പോഴേ പ്രവർത്തിക്കുക. Docker Desktop ഉപയോഗിക്കുന്നുവെങ്കിൽ .env ഫയൽ സജ്ജമാക്കേണ്ടതുണ്ട്.

.env ഫയൽ പൂരിപ്പിക്കുക

വേരിയബിൾ നാമങ്ങൾ എന്ത് പ്രതിനിധാനം ചെയ്യുന്നതാണെന്ന് മനസ്സിലാക്കാൻ ഒരു ദ്രുത ദൃശ്യം നോക്കാം:

വേരിയബിൾ വിവരണം
HUGGING_FACE_API_KEY നിങ്ങളുടെ പ്രൊഫൈലിൽ സജ്ജമാക്കിയ ഉപയോക്തൃ ആക്സസ് ടോക്കൺ
OPENAI_API_KEY നോൺ-Azure OpenAI എന്റ്പോയിന്റുകൾക്കായി സർവീസ് ഉപയോഗിക്കുന്നതിനുള്ള ഓതറൈസേഷൻ കീ
AZURE_OPENAI_API_KEY ആ സർവീസ് ഉപയോഗിക്കുന്നതിനുള്ള ഓതറൈസേഷൻ കീ
AZURE_OPENAI_ENDPOINT Azure OpenAI റിസോഴ്‌സിന്റെ ഡിപ്ലോയുചെയ്ത എന്റ്പോയിന്റ്
AZURE_OPENAI_DEPLOYMENT ടെക്സ്റ്റ് ജനറേഷൻ മോഡൽ ഡിപ്ലോയ്മെന്റ് എന്റ്പോയിന്റ്
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT ടെക്സ്റ്റ് എംബെഡ്ഡിംഗ്സ് മോഡൽ ഡിപ്ലോയ്മെന്റ് എന്റ്പോയിന്റ്

കുറിപ്പ്: അവസാന രണ്ട് Azure OpenAI വേരിയബിളുകൾ ചാറ്റ് പൂർത്തീകരണത്തിനുള്ള (ടെക്സ്റ്റ് ജനറേഷൻ) മോഡലിനും വെക്ടർ സെർച്ച് (എംബെഡ്ഡിംഗ്സ്) മോഡലിനും ഡിഫോൾട്ട് മോഡലുകളെ പ്രതിനിധാനം ചെയ്യുന്നു. അവ സജ്ജമാക്കാനുള്ള നിർദ്ദേശങ്ങൾ ബന്ധപ്പെട്ട അസൈൻമെന്റുകളിൽ നൽകും.

Azure കോൺഫിഗർ ചെയ്യുക: പോർട്ടലിൽ നിന്ന്

Azure OpenAI എന്റ്പോയിന്റും കീ മൂല്യങ്ങളും Azure പോർട്ടൽ ൽ കണ്ടെത്താം, അതിനാൽ അവിടെ നിന്നാരംഭിക്കാം.

  1. Azure പോർട്ടലിലേക്ക് പോവുക
  2. സൈഡ്ബാറിൽ (ഇടതുവശം മെനു) Keys and Endpoint ഓപ്ഷൻ ക്ലിക്ക് ചെയ്യുക.
  3. Show Keys ക്ലിക്ക് ചെയ്യുക - KEY 1, KEY 2, Endpoint എന്നിവ കാണാം.
  4. AZURE_OPENAI_API_KEY ആയി KEY 1 മൂല്യം ഉപയോഗിക്കുക
  5. AZURE_OPENAI_ENDPOINT ആയി Endpoint മൂല്യം ഉപയോഗിക്കുക

അടുത്തതായി, നാം ഡിപ്ലോയുചെയ്ത പ്രത്യേക മോഡലുകളുടെ എന്റ്പോയിന്റുകൾ വേണം.

  1. Azure OpenAI റിസോഴ്‌സിന്റെ സൈഡ്ബാറിൽ (ഇടതുവശം മെനു) Model deployments ഓപ്ഷൻ ക്ലിക്ക് ചെയ്യുക.
  2. ലക്ഷ്യ പേജിൽ Manage Deployments ക്ലിക്ക് ചെയ്യുക

ഇത് Azure OpenAI സ്റ്റുഡിയോ വെബ്സൈറ്റിലേക്ക് നിങ്ങളെ കൊണ്ടുപോകും, അവിടെ താഴെപ്പറയുന്ന മൂല്യങ്ങൾ കണ്ടെത്താം.

Azure കോൺഫിഗർ ചെയ്യുക: സ്റ്റുഡിയോയിൽ നിന്ന്

  1. മുകളിൽ പറഞ്ഞതുപോലെ നിങ്ങളുടെ റിസോഴ്‌സിൽ നിന്നുള്ള Azure OpenAI Studio സന്ദർശിക്കുക.
  2. നിലവിൽ ഡിപ്ലോയുചെയ്ത മോഡലുകൾ കാണാൻ സൈഡ്ബാറിൽ (ഇടത്) Deployments ടാബ് ക്ലിക്ക് ചെയ്യുക.
  3. നിങ്ങൾക്ക് വേണ്ട മോഡൽ ഡിപ്ലോയുചെയ്തിട്ടില്ലെങ്കിൽ, Create new deployment ഉപയോഗിച്ച് ഡിപ്ലോയുചെയ്യുക.
  4. നിങ്ങൾക്ക് ടെക്സ്റ്റ്-ജനറേഷൻ മോഡൽ വേണം - ഞങ്ങൾ ശുപാർശ ചെയ്യുന്നത്: gpt-35-turbo
  5. നിങ്ങൾക്ക് ടെക്സ്റ്റ്-എംബെഡ്ഡിംഗ് മോഡൽ വേണം - ഞങ്ങൾ ശുപാർശ ചെയ്യുന്നത് text-embedding-ada-002

ഇപ്പോൾ Deployment name ഉപയോഗിച്ച് എൻവയോൺമെന്റ് വേരിയബിളുകൾ അപ്ഡേറ്റ് ചെയ്യുക. സാധാരണയായി മോഡൽ നാമം തന്നെയാണ് ഡിപ്ലോയ്മെന്റ് നാമം, നിങ്ങൾ വ്യക്തമായി മാറ്റിയിട്ടില്ലെങ്കിൽ. ഉദാഹരണമായി, നിങ്ങൾക്ക് ഇങ്ങനെ ഉണ്ടാകാം:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

പൂർത്തിയാക്കിയ ശേഷം .env ഫയൽ സേവ് ചെയ്യാൻ മറക്കരുത്. ഇനി ഫയൽ നിന്ന് പുറത്തുകടന്ന് നോട്ട്‌ബുക്ക് ഓടിക്കുന്നതിനുള്ള നിർദ്ദേശങ്ങളിലേക്ക് മടങ്ങാം.

OpenAI കോൺഫിഗർ ചെയ്യുക: പ്രൊഫൈലിൽ നിന്ന്

നിങ്ങളുടെ OpenAI API കീ നിങ്ങളുടെ OpenAI അക്കൗണ്ടിൽ കണ്ടെത്താം. ഇല്ലെങ്കിൽ, അക്കൗണ്ട് സൈൻ അപ്പ് ചെയ്ത് API കീ സൃഷ്ടിക്കാം. കീ ലഭിച്ചാൽ, .env ഫയലിലെ OPENAI_API_KEY വേരിയബിളിൽ അത് പൂരിപ്പിക്കാം.

Hugging Face കോൺഫിഗർ ചെയ്യുക: പ്രൊഫൈലിൽ നിന്ന്

നിങ്ങളുടെ Hugging Face ടോക്കൺ നിങ്ങളുടെ പ്രൊഫൈലിൽ Access Tokens എന്ന ഭാഗത്ത് കണ്ടെത്താം. ഇവ പൊതു ആയി പോസ്റ്റ് ചെയ്യരുത് അല്ലെങ്കിൽ പങ്കുവെക്കരുത്. പകരം, ഈ പ്രോജക്റ്റിനായി പുതിയ ടോക്കൺ സൃഷ്ടിച്ച് അത് .env ഫയലിലെ HUGGING_FACE_API_KEY വേരിയബിളിൽ പകർത്തുക. കുറിപ്പ്: ഇത് സാങ്കേതികമായി API കീ അല്ല, എന്നാൽ ഓതന്റിക്കേഷനായി ഉപയോഗിക്കുന്നതിനാൽ സുസ്ഥിരതയ്ക്കായി ഈ നാമകരണം തുടരുന്നു.

അസൂയാ:
ഈ രേഖ AI വിവർത്തന സേവനം Co-op Translator ഉപയോഗിച്ച് വിവർത്തനം ചെയ്തതാണ്. നാം കൃത്യതയ്ക്ക് ശ്രമിച്ചിട്ടുണ്ടെങ്കിലും, സ്വയം പ്രവർത്തിക്കുന്ന വിവർത്തനങ്ങളിൽ പിശകുകൾ അല്ലെങ്കിൽ തെറ്റുകൾ ഉണ്ടാകാമെന്ന് ദയവായി ശ്രദ്ധിക്കുക. അതിന്റെ മാതൃഭാഷയിലുള്ള യഥാർത്ഥ രേഖ അധികാരപരമായ ഉറവിടമായി കണക്കാക്കപ്പെടണം. നിർണായക വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ വിവർത്തനം ശുപാർശ ചെയ്യപ്പെടുന്നു. ഈ വിവർത്തനം ഉപയോഗിക്കുന്നതിൽ നിന്നുണ്ടാകുന്ന ഏതെങ്കിലും തെറ്റിദ്ധാരണകൾക്കോ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കോ ഞങ്ങൾ ഉത്തരവാദികളല്ല.