ఈ పాఠం OpenAI మరియు Azure OpenAI నుండి పలు ప్రాథమిక వనరులను సూచనలుగా ఉపయోగించి నిర్మించబడింది, టర్మినాలజీ మరియు పాఠ్యాంశాల కోసం. మీ స్వీయ-నిర్దేశిత అభ్యాస ప్రయాణాల కోసం ఇది ఒక సంపూర్ణమైన జాబితా కాదు.
| శీర్షిక/లింక్ | వివరణ |
|---|---|
| OpenAI మోడల్స్తో ఫైన్-ట్యూనింగ్ | ఫైన్-ట్యూనింగ్ ప్రాంప్ట్లో సరిపోని అనేక ఉదాహరణలపై శిక్షణ ఇచ్చి, కొంత-షాట్ లెర్నింగ్ను మెరుగుపరుస్తుంది, మీ ఖర్చులను ఆదా చేస్తుంది, ప్రతిస్పందన నాణ్యతను మెరుగుపరుస్తుంది, మరియు తక్కువ-విలంబన అభ్యర్థనలను సాధ్యమవుతుంది. OpenAI నుండి ఫైన్-ట్యూనింగ్ యొక్క అవలోకనం పొందండి. |
| Azure OpenAI తో ఫైన్-ట్యూనింగ్ అంటే ఏమిటి? | ఫైన్-ట్యూనింగ్ అంటే ఏమిటి (సంకల్పన), మీరు దానిని ఎందుకు పరిశీలించాలి (ప్రేరేపించే సమస్య), ఏ డేటాను ఉపయోగించాలి (శిక్షణ) మరియు నాణ్యతను ఎలా కొలవాలి అనే విషయాలను అర్థం చేసుకోండి |
| ఫైన్-ట్యూనింగ్తో మోడల్ను అనుకూలీకరించండి | Azure OpenAI సర్వీస్ మీ వ్యక్తిగత డేటాసెట్లకు అనుగుణంగా మా మోడల్స్ను ఫైన్-ట్యూనింగ్ ద్వారా అనుకూలీకరించడానికి అనుమతిస్తుంది. Azure AI స్టూడియో, Python SDK లేదా REST API ఉపయోగించి ఫైన్-ట్యూనింగ్ ఎలా చేయాలో (ప్రక్రియ) నేర్చుకోండి. |
| LLM ఫైన్-ట్యూనింగ్ కోసం సిఫార్సులు | LLMలు నిర్దిష్ట డొమైన్లు, పనులు లేదా డేటాసెట్లపై బాగా పనిచేయకపోవచ్చు, లేదా తప్పు లేదా మోసపూరిత అవుట్పుట్లను ఉత్పత్తి చేయవచ్చు. ఫైన్-ట్యూనింగ్ను ఎప్పుడు పరిగణించాలి అనే విషయాన్ని తెలుసుకోండి. |
| కొనసాగుతున్న ఫైన్-ట్యూనింగ్ | కొనసాగుతున్న ఫైన్-ట్యూనింగ్ అనేది ఇప్పటికే ఫైన్-ట్యూన్ చేయబడిన మోడల్ను బేస్ మోడల్గా ఎంచుకుని, కొత్త శిక్షణ ఉదాహరణలపై దాన్ని మరింత ఫైన్-ట్యూన్ చేయడం అనే పునరావృత ప్రక్రియ. |
| ఫైన్-ట్యూనింగ్ మరియు ఫంక్షన్ కాలింగ్ | ఫంక్షన్ కాలింగ్ ఉదాహరణలతో మీ మోడల్ను ఫైన్-ట్యూన్ చేయడం ద్వారా, సమానమైన ఫార్మాట్లో ఉన్న ప్రతిస్పందనలతో మరింత ఖచ్చితమైన మరియు సुसంగత అవుట్పుట్లను పొందడం ద్వారా మోడల్ అవుట్పుట్ మెరుగుపడుతుంది - అలాగే ఖర్చు ఆదా కూడా. |
| ఫైన్-ట్యూనింగ్ మోడల్స్: Azure OpenAI మార్గదర్శకం | Azure OpenAIలో ఏ మోడల్స్ను ఫైన్-ట్యూన్ చేయవచ్చో మరియు అవి ఏ ప్రాంతాల్లో అందుబాటులో ఉన్నాయో అర్థం చేసుకోవడానికి ఈ పట్టికను చూడండి. అవసరమైతే వాటి టోకెన్ పరిమితులు మరియు శిక్షణ డేటా గడువు తేదీలను చూడండి. |
| ఫైన్-ట్యూన్ చేయాలా లేదా చేయకూడదా? అదే ప్రశ్న | ఈ 30 నిమిషాల అక్టోబర్ 2023 AI షో ఎపిసోడ్ లాభాలు, లోపాలు మరియు ఈ నిర్ణయం తీసుకోవడంలో సహాయపడే ప్రాక్టికల్ అవగాహనలను చర్చిస్తుంది. |
| LLM ఫైన్-ట్యూనింగ్ ప్రారంభం | ఈ AI ప్లేబుక్ వనరు డేటా అవసరాలు, ఫార్మాటింగ్, హైపర్పారామీటర్ ఫైన్-ట్యూనింగ్ మరియు మీరు తెలుసుకోవలసిన సవాళ్లు/పరిమితులను మీకు చూపిస్తుంది. |
| పాఠం: Azure OpenAI GPT3.5 Turbo ఫైన్-ట్యూనింగ్ | ఒక నమూనా ఫైన్-ట్యూనింగ్ డేటాసెట్ సృష్టించడం, ఫైన్-ట్యూనింగ్కు సిద్ధం కావడం, ఫైన్-ట్యూనింగ్ జాబ్ సృష్టించడం మరియు Azureలో ఫైన్-ట్యూన్ చేసిన మోడల్ను డిప్లాయ్ చేయడం నేర్చుకోండి. |
| పాఠం: Azure AI స్టూడియోలో Llama 2 మోడల్ను ఫైన్-ట్యూన్ చేయండి | Azure AI స్టూడియో మీ వ్యక్తిగత డేటాసెట్లకు పెద్ద భాషా మోడల్స్ను అనుకూలీకరించడానికి తక్కువ-కోడ్ డెవలపర్లకు అనుకూలమైన UI-ఆధారిత వర్క్ఫ్లో అందిస్తుంది. ఈ ఉదాహరణను చూడండి. |
| పాఠం:Azureలో ఒకే GPUపై Hugging Face మోడల్స్ను ఫైన్-ట్యూన్ చేయడం | ఈ వ్యాసం Azure DataBricks + Hugging Face Trainer లైబ్రరీలతో Hugging Face ట్రాన్స్ఫార్మర్స్ లైబ్రరీ ఉపయోగించి ఒకే GPUపై Hugging Face మోడల్ను ఎలా ఫైన్-ట్యూన్ చేయాలో వివరిస్తుంది. |
| శిక్షణ: Azure Machine Learningతో ఫౌండేషన్ మోడల్ను ఫైన్-ట్యూన్ చేయండి | Azure Machine Learningలో మోడల్ క్యాటలాగ్ మీ నిర్దిష్ట పనికి అనుగుణంగా ఫైన్-ట్యూన్ చేయగల అనేక ఓపెన్ సోర్స్ మోడల్స్ను అందిస్తుంది. ఈ మాడ్యూల్ AzureML జనరేటివ్ AI లెర్నింగ్ పాత్ నుండి ఉంది. |
| పాఠం: Azure OpenAI ఫైన్-ట్యూనింగ్ | Microsoft Azureలో W&B ఉపయోగించి GPT-3.5 లేదా GPT-4 మోడల్స్ను ఫైన్-ట్యూన్ చేయడం ద్వారా మోడల్ పనితీరు యొక్క వివరమైన ట్రాకింగ్ మరియు విశ్లేషణ సాధ్యం అవుతుంది. ఈ గైడ్ OpenAI ఫైన్-ట్యూనింగ్ గైడ్ నుండి సూత్రాలను Azure OpenAIకి ప్రత్యేకమైన దశలు మరియు ఫీచర్లతో విస్తరించుతుంది. |
ఈ విభాగం అదనపు వనరులను అందిస్తుంది, ఇవి పరిశీలించదగినవి కానీ ఈ పాఠంలో సమయం లేకపోవడంతో కవర్ చేయలేదు. అవి భవిష్యత్తులో పాఠంలో లేదా ద్వితీయ అసైన్మెంట్ ఎంపికగా కవర్ చేయబడవచ్చు. ఇప్పటివరకు, ఈ అంశం చుట్టూ మీ స్వంత నైపుణ్యం మరియు జ్ఞానాన్ని నిర్మించడానికి వీటిని ఉపయోగించండి.
| శీర్షిక/లింక్ | వివరణ |
|---|---|
| OpenAI కుక్బుక్: చాట్ మోడల్ ఫైన్-ట్యూనింగ్ కోసం డేటా సిద్ధం మరియు విశ్లేషణ | ఈ నోట్బుక్ చాట్ మోడల్ ఫైన్-ట్యూనింగ్ కోసం ఉపయోగించే చాట్ డేటాసెట్ను ప్రీప్రాసెస్ చేయడానికి మరియు విశ్లేషించడానికి ఒక సాధనం. ఇది ఫార్మాట్ లోపాలను తనిఖీ చేస్తుంది, ప్రాథమిక గణాంకాలను అందిస్తుంది, మరియు ఫైన్-ట్యూనింగ్ ఖర్చుల కోసం టోకెన్ లెక్కింపులను అంచనా వేస్తుంది. చూడండి: gpt-3.5-turbo కోసం ఫైన్-ట్యూనింగ్ పద్ధతి. |
| OpenAI కుక్బుక్: Qdrantతో రిట్రీవల్ ఆగ్మెంటెడ్ జనరేషన్ (RAG) కోసం ఫైన్-ట్యూనింగ్ | ఈ నోట్బుక్ యొక్క లక్ష్యం రిట్రీవల్ ఆగ్మెంటెడ్ జనరేషన్ (RAG) కోసం OpenAI మోడల్స్ను ఎలా ఫైన్-ట్యూన్ చేయాలో సమగ్ర ఉదాహరణ ద్వారా నడిపించడం. మేము Qdrant మరియు ఫ్యూ-షాట్ లెర్నింగ్ను కూడా సమీకరించి మోడల్ పనితీరును పెంచడం మరియు తప్పిదాలను తగ్గించడం చేస్తాము. |
| OpenAI కుక్బుక్: Weights & Biasesతో GPT ఫైన్-ట్యూనింగ్ | Weights & Biases (W&B) అనేది AI డెవలపర్ ప్లాట్ఫారమ్, మోడల్స్ శిక్షణ, ఫైన్-ట్యూనింగ్ మరియు ఫౌండేషన్ మోడల్స్ను ఉపయోగించడానికి టూల్స్తో. ముందుగా వారి OpenAI ఫైన్-ట్యూనింగ్ గైడ్ చదవండి, ఆపై కుక్బుక్ వ్యాయామాన్ని ప్రయత్నించండి. |
| కమ్యూనిటీ పాఠం Phinetuning 2.0 - చిన్న భాషా మోడల్స్ కోసం ఫైన్-ట్యూనింగ్ | Microsoft యొక్క కొత్త చిన్న మోడల్ Phi-2 ను పరిచయం చేయండి, ఇది ఆశ్చర్యకరంగా శక్తివంతమైనది కానీ సంక్షిప్తం. ఈ పాఠం Phi-2ని ఫైన్-ట్యూన్ చేయడం ఎలా అనేది, ప్రత్యేక డేటాసెట్ను ఎలా నిర్మించాలో మరియు QLoRA ఉపయోగించి మోడల్ను ఎలా ఫైన్-ట్యూన్ చేయాలో చూపిస్తుంది. |
| Hugging Face పాఠం 2024లో Hugging Faceతో LLMలను ఎలా ఫైన్-ట్యూన్ చేయాలి | ఈ బ్లాగ్ పోస్ట్ 2024లో Hugging Face TRL, Transformers & datasets ఉపయోగించి ఓపెన్ LLMలను ఎలా ఫైన్-ట్యూన్ చేయాలో మీకు చూపిస్తుంది. మీరు ఒక ఉపయోగకేసును నిర్వచిస్తారు, డెవలప్మెంట్ వాతావరణాన్ని సెట్ చేస్తారు, డేటాసెట్ సిద్ధం చేస్తారు, మోడల్ను ఫైన్-ట్యూన్ చేస్తారు, పరీక్షించి-మూల్యాంకనం చేస్తారు, ఆపై ప్రొడక్షన్కు డిప్లాయ్ చేస్తారు. |
| Hugging Face: AutoTrain Advanced | అత్యాధునిక మెషీన్ లెర్నింగ్ మోడల్స్ శిక్షణ మరియు డిప్లాయ్మెంట్లను వేగవంతం మరియు సులభతరం చేస్తుంది. ఈ రిపోలో Colab-స్నేహపూర్వక పాఠాలు మరియు YouTube వీడియో మార్గదర్శకాలు ఉన్నాయి, ఫైన్-ట్యూనింగ్ కోసం. ఇది ఇటీవల local-first నవీకరణను ప్రతిబింబిస్తుంది. AutoTrain డాక్యుమెంటేషన్ చదవండి. |
అస్పష్టత:
ఈ పత్రాన్ని AI అనువాద సేవ Co-op Translator ఉపయోగించి అనువదించబడింది. మేము ఖచ్చితత్వానికి ప్రయత్నించినప్పటికీ, ఆటోమేటెడ్ అనువాదాల్లో పొరపాట్లు లేదా తప్పిదాలు ఉండవచ్చు. మూల పత్రం దాని స్వదేశీ భాషలోనే అధికారిక మూలంగా పరిగణించాలి. ముఖ్యమైన సమాచారానికి, ప్రొఫెషనల్ మానవ అనువాదం సిఫార్సు చేయబడుతుంది. ఈ అనువాదం వాడకంలో ఏర్పడిన ఏవైనా అపార్థాలు లేదా తప్పుదారుల కోసం మేము బాధ్యత వహించము.