03-providers.md

LLM ప్రొవైడర్‌ను ఎంచుకోవడం & కాన్ఫిగర్ చేయడం 🔑

అసైన్‌మెంట్లు కూడా OpenAI, Azure లేదా Hugging Face వంటి మద్దతు ఉన్న సర్వీస్ ప్రొవైడర్ ద్వారా ఒకటి లేదా ఎక్కువ Large Language Model (LLM) డిప్లాయ్‌మెంట్‌లపై పనిచేయడానికి సెటప్ చేయబడవచ్చు. ఇవి మనం సరైన క్రెడెన్షియల్స్ (API కీ లేదా టోకెన్) తో ప్రోగ్రామాటిక్గా యాక్సెస్ చేయగల హోస్టెడ్ ఎండ్‌పాయింట్ (API) ను అందిస్తాయి. ఈ కోర్సులో, మనం ఈ ప్రొవైడర్ల గురించి చర్చిస్తాము:

• OpenAI వివిధ మోడల్స్‌తో సహా కోర్ GPT సిరీస్.
• Azure OpenAI OpenAI మోడల్స్ కోసం ఎంటర్ప్రైజ్ రెడినెస్‌పై దృష్టి
• Hugging Face ఓపెన్-సోర్స్ మోడల్స్ మరియు ఇన్ఫరెన్స్ సర్వర్ కోసం

ఈ వ్యాయామాల కోసం మీరు మీ స్వంత ఖాతాలను ఉపయోగించాలి. అసైన్‌మెంట్లు ఐచ్ఛికం కాబట్టి మీరు మీ ఆసక్తుల ఆధారంగా ఒకటి, అన్ని లేదా ఏదీ కాన్ఫిగర్ చేయకూడదు. సైన్ అప్ కోసం కొన్ని మార్గదర్శకాలు:

సైన్ అప్	ఖర్చు	API కీ	ప్లేగ్రౌండ్	వ్యాఖ్యలు
OpenAI	ధరలు	ప్రాజెక్ట్-ఆధారిత	నో-కోడ్, వెబ్	బహుళ మోడల్స్ అందుబాటులో ఉన్నాయి
Azure	ధరలు	SDK క్విక్‌స్టార్ట్	స్టూడియో క్విక్‌స్టార్ట్	ప్రవేశానికి ముందుగా దరఖాస్తు చేయాలి
Hugging Face	ధరలు	యాక్సెస్ టోకెన్లు	Hugging Chat	Hugging Chat కు పరిమిత మోడల్స్ ఉన్నాయి

విభిన్న ప్రొవైడర్లతో ఉపయోగించడానికి ఈ రిపోజిటరీని కాన్ఫిగర్ చేయడానికి క్రింది సూచనలను అనుసరించండి. నిర్దిష్ట ప్రొవైడర్ అవసరమయ్యే అసైన్‌మెంట్ల ఫైల్ పేరులో ఈ ట్యాగ్‌లలో ఒకటి ఉంటుంది:

• aoai - Azure OpenAI ఎండ్‌పాయింట్, కీ అవసరం
• oai - OpenAI ఎండ్‌పాయింట్, కీ అవసరం
• hf - Hugging Face టోకెన్ అవసరం

మీరు ఒకటి, ఏదీ కాన్ఫిగర్ చేయకూడదు లేదా అన్ని ప్రొవైడర్లను కాన్ఫిగర్ చేయవచ్చు. సంబంధిత అసైన్‌మెంట్లు క్రెడెన్షియల్స్ లేకపోతే తప్పిదం చూపిస్తాయి.

.env ఫైల్ సృష్టించండి

మీరు పై మార్గదర్శకాలను చదివి సంబంధిత ప్రొవైడర్‌తో సైన్ అప్ చేసి అవసరమైన ఆథెంటికేషన్ క్రెడెన్షియల్స్ (API_KEY లేదా టోకెన్) పొందారని మేము అనుకుంటున్నాము. Azure OpenAI సందర్భంలో, మీరు కనీసం ఒక GPT మోడల్ చాట్ కంప్లీషన్ కోసం డిప్లాయ్ చేసిన Azure OpenAI సర్వీస్ (ఎండ్‌పాయింట్) కూడా కలిగి ఉన్నారని మేము అనుకుంటున్నాము.

తదుపరి దశ మీ లోకల్ ఎన్విరాన్‌మెంట్ వేరియబుల్స్ ను క్రింది విధంగా కాన్ఫిగర్ చేయడం:

1. రూట్ ఫోల్డర్‌లో .env.copy ఫైల్ ఉందో చూడండి, దాని కంటెంట్ ఇలా ఉండాలి:

   # OpenAI ప్రొవైడర్
   OPENAI_API_KEY='<add your OpenAI API key here>'
   
   ## Azure OpenAI
   AZURE_OPENAI_API_VERSION='2024-02-01' # డిఫాల్ట్ సెట్ చేయబడింది!
   AZURE_OPENAI_API_KEY='<add your AOAI key here>'
   AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
   AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
   AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'
   
   ## Hugging Face
   HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

2. క్రింది కమాండ్ ఉపయోగించి ఆ ఫైల్‌ను .env గా కాపీ చేయండి. ఈ ఫైల్ gitignore చేయబడింది, రహస్యాలను సురక్షితం చేస్తుంది.

   cp .env.copy .env

3. విలువలను (== కుడి వైపు ప్లేస్‌హోల్డర్లను) తదుపరి విభాగంలో వివరించినట్లుగా పూరించండి.

4. (ఐచ్ఛికం) మీరు GitHub Codespaces ఉపయోగిస్తే, ఈ రిపోజిటరీకి సంబంధించిన Codespaces సీక్రెట్స్ గా ఎన్విరాన్‌మెంట్ వేరియబుల్స్‌ను సేవ్ చేయవచ్చు. ఆ సందర్భంలో, మీరు లోకల్ .env ఫైల్ సెటప్ చేయాల్సిన అవసరం లేదు. కానీ, ఈ ఎంపిక GitHub Codespaces ఉపయోగించినప్పుడు మాత్రమే పనిచేస్తుంది. Docker Desktop ఉపయోగిస్తే మీరు ఇంకా .env ఫైల్ సెటప్ చేయాలి.

.env ఫైల్‌ను పూరించండి

వేరియబుల్ పేర్లను త్వరగా చూద్దాం, అవి ఏమి సూచిస్తున్నాయో అర్థం చేసుకుందాం:

వేరియబుల్	వివరణ
HUGGING_FACE_API_KEY	ఇది మీరు మీ ప్రొఫైల్‌లో సెటప్ చేసిన యూజర్ యాక్సెస్ టోకెన్
OPENAI_API_KEY	ఇది నాన్-Azure OpenAI ఎండ్‌పాయింట్ల కోసం సర్వీస్ ఉపయోగించడానికి ఆథరైజేషన్ కీ
AZURE_OPENAI_API_KEY	ఈ సర్వీస్ ఉపయోగించడానికి ఆథరైజేషన్ కీ
AZURE_OPENAI_ENDPOINT	Azure OpenAI రిసోర్స్ కోసం డిప్లాయ్ చేసిన ఎండ్‌పాయింట్
AZURE_OPENAI_DEPLOYMENT	టెక్స్ట్ జనరేషన్ మోడల్ డిప్లాయ్‌మెంట్ ఎండ్‌పాయింట్
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT	టెక్స్ట్ ఎంబెడ్డింగ్స్ మోడల్ డిప్లాయ్‌మెంట్ ఎండ్‌పాయింట్

గమనిక: చివరి రెండు Azure OpenAI వేరియబుల్స్ చాట్ కంప్లీషన్ (టెక్స్ట్ జనరేషన్) మరియు వెక్టర్ సెర్చ్ (ఎంబెడ్డింగ్స్) కోసం డిఫాల్ట్ మోడల్‌ను సూచిస్తాయి. వాటిని సెటప్ చేయడానికి సూచనలు సంబంధిత అసైన్‌మెంట్లలో ఇవ్వబడతాయి.

Azure ను కాన్ఫిగర్ చేయండి: పోర్టల్ నుండి

Azure OpenAI ఎండ్‌పాయింట్ మరియు కీ విలువలు Azure పోర్టల్ లో ఉంటాయి, కాబట్టి అక్కడి నుండి ప్రారంభిద్దాం.

1. Azure పోర్టల్ కు వెళ్లండి
2. సైడ్‌బార్ (ఎడమ మెనూ) లో Keys and Endpoint ఎంపికపై క్లిక్ చేయండి.
3. Show Keys క్లిక్ చేయండి - మీరు KEY 1, KEY 2 మరియు ఎండ్‌పాయింట్ చూడగలుగుతారు.
4. AZURE_OPENAI_API_KEY కోసం KEY 1 విలువను ఉపయోగించండి
5. AZURE_OPENAI_ENDPOINT కోసం ఎండ్‌పాయింట్ విలువను ఉపయోగించండి

తర్వాత, మనం డిప్లాయ్ చేసిన నిర్దిష్ట మోడల్స్ కోసం ఎండ్‌పాయింట్లను అవసరం.

1. Azure OpenAI రిసోర్స్ కోసం సైడ్‌బార్ (ఎడమ మెనూ) లో Model deployments ఎంపికపై క్లిక్ చేయండి.
2. గమ్యస్థాన పేజీలో, Manage Deployments క్లిక్ చేయండి

ఇది Azure OpenAI స్టూడియో వెబ్‌సైట్‌కు తీసుకెళ్తుంది, అక్కడ మనం క్రింది విధంగా ఇతర విలువలను కనుగొంటాము.

Azure ను కాన్ఫిగర్ చేయండి: స్టూడియో నుండి

1. పై విధంగా మీ రిసోర్స్ నుండి Azure OpenAI Studio కి వెళ్లండి.
2. ప్రస్తుత డిప్లాయ్ చేసిన మోడల్స్ చూడటానికి సైడ్‌బార్ (ఎడమ) లో Deployments ట్యాబ్ క్లిక్ చేయండి.
3. మీ కావలసిన మోడల్ డిప్లాయ్ చేయబడకపోతే, Create new deployment ఉపయోగించి డిప్లాయ్ చేయండి.
4. మీరు టెక్స్ట్-జనరేషన్ మోడల్ అవసరం - మేము సిఫార్సు చేస్తున్నది: gpt-35-turbo
5. మీరు టెక్స్ట్-ఎంబెడ్డింగ్ మోడల్ అవసరం - మేము సిఫార్సు చేస్తున్నది text-embedding-ada-002

ఇప్పుడు వాతావరణ వేరియబుల్స్‌ను డిప్లాయ్‌మెంట్ పేరు ను ప్రతిబింబించేలా నవీకరించండి. ఇది సాధారణంగా మోడల్ పేరుతో సమానం ఉంటుంది, మీరు స్పష్టంగా మార్చకపోతే. ఉదాహరణకు, మీరు ఇలా ఉండవచ్చు:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

పూర్తయిన తర్వాత .env ఫైల్ సేవ్ చేయడం మర్చిపోకండి. మీరు ఇప్పుడు ఫైల్ నుండి బయటకు వచ్చి నోట్బుక్ నడపడానికి సూచనలకు తిరిగి వెళ్లవచ్చు.

OpenAI ను కాన్ఫిగర్ చేయండి: ప్రొఫైల్ నుండి

మీ OpenAI API కీ మీ OpenAI ఖాతాలో కనుగొనవచ్చు. మీకు ఒకటి లేకపోతే, ఖాతా సృష్టించి API కీ సృష్టించవచ్చు. కీ పొందిన తర్వాత, .env ఫైల్‌లో OPENAI_API_KEY వేరియబుల్‌ను పూరించడానికి ఉపయోగించండి.

Hugging Face ను కాన్ఫిగర్ చేయండి: ప్రొఫైల్ నుండి

మీ Hugging Face టోకెన్ మీ ప్రొఫైల్‌లో Access Tokens కింద ఉంటుంది. వీటిని పబ్లిక్‌గా పోస్ట్ చేయవద్దు లేదా పంచుకోకండి. బదులుగా, ఈ ప్రాజెక్ట్ ఉపయోగానికి కొత్త టోకెన్ సృష్టించి దాన్ని .env ఫైల్‌లో HUGGING_FACE_API_KEY వేరియబుల్ కింద కాపీ చేయండి. గమనిక: ఇది సాంకేతికంగా API కీ కాదు కానీ ఆథెంటికేషన్ కోసం ఉపయోగిస్తారు కాబట్టి సారూప్యత కోసం ఆ పేరును ఉంచుతున్నాము.

---

అస్పష్టత:
ఈ పత్రాన్ని AI అనువాద సేవ Co-op Translator ఉపయోగించి అనువదించబడింది. మేము ఖచ్చితత్వానికి ప్రయత్నించినప్పటికీ, ఆటోమేటెడ్ అనువాదాల్లో పొరపాట్లు లేదా తప్పిదాలు ఉండవచ్చు. మూల పత్రం దాని స్వదేశీ భాషలో అధికారిక మూలంగా పరిగణించాలి. ముఖ్యమైన సమాచారానికి, ప్రొఫెషనల్ మానవ అనువాదం సిఫార్సు చేయబడుతుంది. ఈ అనువాదం వాడకంలో ఏర్పడిన ఏవైనా అపార్థాలు లేదా తప్పుదారితీసే అర్థాలు కోసం మేము బాధ్యత వహించము.