Skip to content

Latest commit

 

History

History
44 lines (36 loc) · 26.3 KB

File metadata and controls

44 lines (36 loc) · 26.3 KB

స్వీయ-నిర్దేశిత అభ్యాసం కోసం వనరులు

ఈ పాఠం OpenAI మరియు Azure OpenAI నుండి పలు ప్రాథమిక వనరులను సూచనలుగా ఉపయోగించి నిర్మించబడింది, టర్మినాలజీ మరియు పాఠ్యాంశాల కోసం. మీ స్వీయ-నిర్దేశిత అభ్యాస ప్రయాణాల కోసం ఇది ఒక సంపూర్ణమైన జాబితా కాదు.

1. ప్రాథమిక వనరులు

శీర్షిక/లింక్ వివరణ
OpenAI మోడల్స్‌తో ఫైన్-ట్యూనింగ్ ఫైన్-ట్యూనింగ్ ప్రాంప్ట్‌లో సరిపోని అనేక ఉదాహరణలపై శిక్షణ ఇచ్చి, కొంత-షాట్ లెర్నింగ్‌ను మెరుగుపరుస్తుంది, మీ ఖర్చులను ఆదా చేస్తుంది, ప్రతిస్పందన నాణ్యతను మెరుగుపరుస్తుంది, మరియు తక్కువ-విలంబన అభ్యర్థనలను సాధ్యమవుతుంది. OpenAI నుండి ఫైన్-ట్యూనింగ్ యొక్క అవలోకనం పొందండి.
Azure OpenAI తో ఫైన్-ట్యూనింగ్ అంటే ఏమిటి? ఫైన్-ట్యూనింగ్ అంటే ఏమిటి (సంకల్పన), మీరు దానిని ఎందుకు పరిశీలించాలి (ప్రేరేపించే సమస్య), ఏ డేటాను ఉపయోగించాలి (శిక్షణ) మరియు నాణ్యతను ఎలా కొలవాలి అనే విషయాలను అర్థం చేసుకోండి
ఫైన్-ట్యూనింగ్‌తో మోడల్‌ను అనుకూలీకరించండి Azure OpenAI సర్వీస్ మీ వ్యక్తిగత డేటాసెట్‌లకు అనుగుణంగా మా మోడల్స్‌ను ఫైన్-ట్యూనింగ్ ద్వారా అనుకూలీకరించడానికి అనుమతిస్తుంది. Azure AI స్టూడియో, Python SDK లేదా REST API ఉపయోగించి ఫైన్-ట్యూనింగ్ ఎలా చేయాలో (ప్రక్రియ) నేర్చుకోండి.
LLM ఫైన్-ట్యూనింగ్ కోసం సిఫార్సులు LLMలు నిర్దిష్ట డొమైన్‌లు, పనులు లేదా డేటాసెట్‌లపై బాగా పనిచేయకపోవచ్చు, లేదా తప్పు లేదా మోసపూరిత అవుట్పుట్‌లను ఉత్పత్తి చేయవచ్చు. ఫైన్-ట్యూనింగ్‌ను ఎప్పుడు పరిగణించాలి అనే విషయాన్ని తెలుసుకోండి.
కొనసాగుతున్న ఫైన్-ట్యూనింగ్ కొనసాగుతున్న ఫైన్-ట్యూనింగ్ అనేది ఇప్పటికే ఫైన్-ట్యూన్ చేయబడిన మోడల్‌ను బేస్ మోడల్‌గా ఎంచుకుని, కొత్త శిక్షణ ఉదాహరణలపై దాన్ని మరింత ఫైన్-ట్యూన్ చేయడం అనే పునరావృత ప్రక్రియ.
ఫైన్-ట్యూనింగ్ మరియు ఫంక్షన్ కాలింగ్ ఫంక్షన్ కాలింగ్ ఉదాహరణలతో మీ మోడల్‌ను ఫైన్-ట్యూన్ చేయడం ద్వారా, సమానమైన ఫార్మాట్‌లో ఉన్న ప్రతిస్పందనలతో మరింత ఖచ్చితమైన మరియు సुसంగత అవుట్పుట్‌లను పొందడం ద్వారా మోడల్ అవుట్పుట్ మెరుగుపడుతుంది - అలాగే ఖర్చు ఆదా కూడా.
ఫైన్-ట్యూనింగ్ మోడల్స్: Azure OpenAI మార్గదర్శకం Azure OpenAIలో ఏ మోడల్స్‌ను ఫైన్-ట్యూన్ చేయవచ్చో మరియు అవి ఏ ప్రాంతాల్లో అందుబాటులో ఉన్నాయో అర్థం చేసుకోవడానికి ఈ పట్టికను చూడండి. అవసరమైతే వాటి టోకెన్ పరిమితులు మరియు శిక్షణ డేటా గడువు తేదీలను చూడండి.
ఫైన్-ట్యూన్ చేయాలా లేదా చేయకూడదా? అదే ప్రశ్న ఈ 30 నిమిషాల అక్టోబర్ 2023 AI షో ఎపిసోడ్ లాభాలు, లోపాలు మరియు ఈ నిర్ణయం తీసుకోవడంలో సహాయపడే ప్రాక్టికల్ అవగాహనలను చర్చిస్తుంది.
LLM ఫైన్-ట్యూనింగ్ ప్రారంభం AI ప్లేబుక్ వనరు డేటా అవసరాలు, ఫార్మాటింగ్, హైపర్‌పారామీటర్ ఫైన్-ట్యూనింగ్ మరియు మీరు తెలుసుకోవలసిన సవాళ్లు/పరిమితులను మీకు చూపిస్తుంది.
పాఠం: Azure OpenAI GPT3.5 Turbo ఫైన్-ట్యూనింగ్ ఒక నమూనా ఫైన్-ట్యూనింగ్ డేటాసెట్ సృష్టించడం, ఫైన్-ట్యూనింగ్‌కు సిద్ధం కావడం, ఫైన్-ట్యూనింగ్ జాబ్ సృష్టించడం మరియు Azureలో ఫైన్-ట్యూన్ చేసిన మోడల్‌ను డిప్లాయ్ చేయడం నేర్చుకోండి.
పాఠం: Azure AI స్టూడియోలో Llama 2 మోడల్‌ను ఫైన్-ట్యూన్ చేయండి Azure AI స్టూడియో మీ వ్యక్తిగత డేటాసెట్‌లకు పెద్ద భాషా మోడల్స్‌ను అనుకూలీకరించడానికి తక్కువ-కోడ్ డెవలపర్లకు అనుకూలమైన UI-ఆధారిత వర్క్‌ఫ్లో అందిస్తుంది. ఈ ఉదాహరణను చూడండి.
పాఠం:Azureలో ఒకే GPUపై Hugging Face మోడల్స్‌ను ఫైన్-ట్యూన్ చేయడం ఈ వ్యాసం Azure DataBricks + Hugging Face Trainer లైబ్రరీలతో Hugging Face ట్రాన్స్‌ఫార్మర్స్ లైబ్రరీ ఉపయోగించి ఒకే GPUపై Hugging Face మోడల్‌ను ఎలా ఫైన్-ట్యూన్ చేయాలో వివరిస్తుంది.
శిక్షణ: Azure Machine Learningతో ఫౌండేషన్ మోడల్‌ను ఫైన్-ట్యూన్ చేయండి Azure Machine Learningలో మోడల్ క్యాటలాగ్ మీ నిర్దిష్ట పనికి అనుగుణంగా ఫైన్-ట్యూన్ చేయగల అనేక ఓపెన్ సోర్స్ మోడల్స్‌ను అందిస్తుంది. ఈ మాడ్యూల్ AzureML జనరేటివ్ AI లెర్నింగ్ పాత్ నుండి ఉంది.
పాఠం: Azure OpenAI ఫైన్-ట్యూనింగ్ Microsoft Azureలో W&B ఉపయోగించి GPT-3.5 లేదా GPT-4 మోడల్స్‌ను ఫైన్-ట్యూన్ చేయడం ద్వారా మోడల్ పనితీరు యొక్క వివరమైన ట్రాకింగ్ మరియు విశ్లేషణ సాధ్యం అవుతుంది. ఈ గైడ్ OpenAI ఫైన్-ట్యూనింగ్ గైడ్ నుండి సూత్రాలను Azure OpenAIకి ప్రత్యేకమైన దశలు మరియు ఫీచర్లతో విస్తరించుతుంది.

2. ద్వితీయ వనరులు

ఈ విభాగం అదనపు వనరులను అందిస్తుంది, ఇవి పరిశీలించదగినవి కానీ ఈ పాఠంలో సమయం లేకపోవడంతో కవర్ చేయలేదు. అవి భవిష్యత్తులో పాఠంలో లేదా ద్వితీయ అసైన్‌మెంట్ ఎంపికగా కవర్ చేయబడవచ్చు. ఇప్పటివరకు, ఈ అంశం చుట్టూ మీ స్వంత నైపుణ్యం మరియు జ్ఞానాన్ని నిర్మించడానికి వీటిని ఉపయోగించండి.

శీర్షిక/లింక్ వివరణ
OpenAI కుక్బుక్: చాట్ మోడల్ ఫైన్-ట్యూనింగ్ కోసం డేటా సిద్ధం మరియు విశ్లేషణ ఈ నోట్‌బుక్ చాట్ మోడల్ ఫైన్-ట్యూనింగ్ కోసం ఉపయోగించే చాట్ డేటాసెట్‌ను ప్రీప్రాసెస్ చేయడానికి మరియు విశ్లేషించడానికి ఒక సాధనం. ఇది ఫార్మాట్ లోపాలను తనిఖీ చేస్తుంది, ప్రాథమిక గణాంకాలను అందిస్తుంది, మరియు ఫైన్-ట్యూనింగ్ ఖర్చుల కోసం టోకెన్ లెక్కింపులను అంచనా వేస్తుంది. చూడండి: gpt-3.5-turbo కోసం ఫైన్-ట్యూనింగ్ పద్ధతి.
OpenAI కుక్బుక్: Qdrantతో రిట్రీవల్ ఆగ్మెంటెడ్ జనరేషన్ (RAG) కోసం ఫైన్-ట్యూనింగ్ ఈ నోట్‌బుక్ యొక్క లక్ష్యం రిట్రీవల్ ఆగ్మెంటెడ్ జనరేషన్ (RAG) కోసం OpenAI మోడల్స్‌ను ఎలా ఫైన్-ట్యూన్ చేయాలో సమగ్ర ఉదాహరణ ద్వారా నడిపించడం. మేము Qdrant మరియు ఫ్యూ-షాట్ లెర్నింగ్‌ను కూడా సమీకరించి మోడల్ పనితీరును పెంచడం మరియు తప్పిదాలను తగ్గించడం చేస్తాము.
OpenAI కుక్బుక్: Weights & Biasesతో GPT ఫైన్-ట్యూనింగ్ Weights & Biases (W&B) అనేది AI డెవలపర్ ప్లాట్‌ఫారమ్, మోడల్స్ శిక్షణ, ఫైన్-ట్యూనింగ్ మరియు ఫౌండేషన్ మోడల్స్‌ను ఉపయోగించడానికి టూల్స్‌తో. ముందుగా వారి OpenAI ఫైన్-ట్యూనింగ్ గైడ్ చదవండి, ఆపై కుక్బుక్ వ్యాయామాన్ని ప్రయత్నించండి.
కమ్యూనిటీ పాఠం Phinetuning 2.0 - చిన్న భాషా మోడల్స్ కోసం ఫైన్-ట్యూనింగ్ Microsoft యొక్క కొత్త చిన్న మోడల్ Phi-2 ను పరిచయం చేయండి, ఇది ఆశ్చర్యకరంగా శక్తివంతమైనది కానీ సంక్షిప్తం. ఈ పాఠం Phi-2ని ఫైన్-ట్యూన్ చేయడం ఎలా అనేది, ప్రత్యేక డేటాసెట్‌ను ఎలా నిర్మించాలో మరియు QLoRA ఉపయోగించి మోడల్‌ను ఎలా ఫైన్-ట్యూన్ చేయాలో చూపిస్తుంది.
Hugging Face పాఠం 2024లో Hugging Faceతో LLMలను ఎలా ఫైన్-ట్యూన్ చేయాలి ఈ బ్లాగ్ పోస్ట్ 2024లో Hugging Face TRL, Transformers & datasets ఉపయోగించి ఓపెన్ LLMలను ఎలా ఫైన్-ట్యూన్ చేయాలో మీకు చూపిస్తుంది. మీరు ఒక ఉపయోగకేసును నిర్వచిస్తారు, డెవలప్‌మెంట్ వాతావరణాన్ని సెట్ చేస్తారు, డేటాసెట్ సిద్ధం చేస్తారు, మోడల్‌ను ఫైన్-ట్యూన్ చేస్తారు, పరీక్షించి-మూల్యాంకనం చేస్తారు, ఆపై ప్రొడక్షన్‌కు డిప్లాయ్ చేస్తారు.
Hugging Face: AutoTrain Advanced అత్యాధునిక మెషీన్ లెర్నింగ్ మోడల్స్ శిక్షణ మరియు డిప్లాయ్‌మెంట్‌లను వేగవంతం మరియు సులభతరం చేస్తుంది. ఈ రిపోలో Colab-స్నేహపూర్వక పాఠాలు మరియు YouTube వీడియో మార్గదర్శకాలు ఉన్నాయి, ఫైన్-ట్యూనింగ్ కోసం. ఇది ఇటీవల local-first నవీకరణను ప్రతిబింబిస్తుంది. AutoTrain డాక్యుమెంటేషన్ చదవండి.

అస్పష్టత:
ఈ పత్రాన్ని AI అనువాద సేవ Co-op Translator ఉపయోగించి అనువదించబడింది. మేము ఖచ్చితత్వానికి ప్రయత్నించినప్పటికీ, ఆటోమేటెడ్ అనువాదాల్లో పొరపాట్లు లేదా తప్పిదాలు ఉండవచ్చు. మూల పత్రం దాని స్వదేశీ భాషలోనే అధికారిక మూలంగా పరిగణించాలి. ముఖ్యమైన సమాచారానికి, ప్రొఫెషనల్ మానవ అనువాదం సిఫార్సు చేయబడుతుంది. ఈ అనువాదం వాడకంలో ఏర్పడిన ఏవైనా అపార్థాలు లేదా తప్పుదారుల కోసం మేము బాధ్యత వహించము.