பெரிய மொழி மாதிரிகளை பயன்படுத்தி உருவாக்கும் ஏ.ஐ. செயலிகளைக் கட்டுவதால் புதிய சவால்கள் உருவாகின்றன. முக்கியமான பிரச்சனை, ஒரு குறிப்பிட்ட பயனர் கோரிக்கைக்கு மாதிரி உருவாக்கும் உள்ளடக்கத்தின் பதில் தரமான (துல்லியம் மற்றும் பொருத்தம்) உறுதிப்படுத்துவதாகும். முந்தைய படிப்புகளில், நாம் முன்மொழிதல் பொறியியல் மற்றும் மீட்பு-சேர்க்கப்பட்ட உருவாக்கம் போன்ற நுட்பங்களைப் பற்றி விவாதித்தோம், அவை இருக்கும் மாதிரிக்கு முன்மொழிதல் உள்ளீட்டைப் மாற்றி இந்த பிரச்சனையைத் தீர்க்க முயலுகின்றன.
இன்றைய படிப்பில், நாம் மூன்றாம் நுட்பமான, நுண்ணறிவு மாற்றுதல் பற்றி பேசுகிறோம், இது இந்த சவாலால் மாதிரியை தானே கூடுதல் தரவுடன் மறுபயிற்சி செய்வதன் மூலம் சமாளிக்க முயல்கிறது. இப்போது விவரங்களில் கவனம் செலுத்துவோம்.
இந்த பாடம் முன் பயிற்சி பெறப்பட்ட மொழி மாதிரிகளுக்கான நுண்ணறிவு மாற்றல் என்ற கருத்தை அறிமுகப்படுத்துகிறது, இந்த அணுகுமுறையின் நன்மைகள் மற்றும் சவால்களை ஆராய்கிறது மற்றும் உங்கள் உருவாக்கும் ஏ.ஐ. மாதிரிகளின் செயல்திறனை மேம்படுத்த எப்போது மற்றும் எப்படி நுண்ணறிவு மாற்றலைப் பயன்படுத்த வேண்டும் என்று வழிகாட்டுகிறது.
இந்த பாடம் முடிந்து, நீங்கள் பின்வரும் கேள்விகளுக்கு பதிலளிக்க முடியும்:
- மொழி மாதிரிகளுக்கான நுண்ணறிவு மாற்றல் என்றால் என்ன?
- எப்போது மற்றும் ஏன் நுண்ணறிவு மாற்றல் பயனுள்ளதாக இருக்கிறது?
- நான் முன்னேற்றப்பட்ட மாதிரியை எப்படி நுண்ணறிவு மாற்றி உருவாக்கலாம்?
- நுண்ணறிவு மாற்றலின் வரம்புகள் என்ன?
தயார்? துவங்குவோம்.
நாம் விவரிக்கப் போகும் பெரிய படம் என்ன என்பதை முன்கூட்டியே தெரிந்து கொள்ள விரும்புகிறீர்களா? இந்த விளக்கப்பட வழிகாட்டியைப் பார்க்கவும், இது நுண்ணறிவு மாற்றலுக்கான மூலக் கருத்துக்கள் மற்றும் ஊக்கமும், செயல்முறை மற்றும் சிறந்த நடைமுறைகளையும் விளக்குகிறது. இது ஆராய்வுக்கு ஏற்கனவே ஆர்வமுள்ள தலைப்பாகும், எனவே உங்கள் சுய வழிகாட்டி கற்றல் பயணத்திற்கு ஆதரவாக கூடுதல் இணைப்புகளை பெற வளங்கள் பக்கத்தை மறக்காதீர்கள்!
வரையறைப்படி, பெரிய மொழி மாதிரிகள் இணையத் தளத்திற்கும் வேறு பல்வேறு மூலங்களிலிருந்தும் பெரும் அளவு உரையுடன் முன் பயிற்சி செய்யப்படுகின்றன. முந்தைய பாடங்களில் நாமறிந்தபடி, பயனர் கேள்விகளுக்கு ("முன்மொழிதல்கள்") மாதிரி பதிலின் தரத்தை மேம்படுத்த முன்மொழிதல் பொறியியல் மற்றும் மீட்பு-சேர்க்கப்பட்ட உருவாக்கம் போன்ற நுட்பங்கள் தேவைப்படும்.
புகழ்பெற்ற முன்மொழிதல் பொறியியல் நுட்பம், பதிலில் என்ன எதிர்பார்க்கப்படுகிறதென மாதிரிக்கு மேலதிக வழிகாட்டுதலை வழங்குவது. இது வழிகளின் விளக்கம் (தெளிவான வழிகாட்டுதல்) அல்லது சில உதாரணங்களை கொடுப்பது (மறைமுக வழிகாட்டுதல்) ஆக இருக்கலாம். இந்த முறை சிலத் தட்டு கற்றல் என்று அழைக்கப்படுகிறது ஆனால் இதற்கு இரண்டு கட்டுப்பாடுகள் உள்ளன:
- மாதிரி குறியீட்டு வரம்புகள் நீங்கள் அளிக்கக்கூடிய உதாரணங்கள் எண்ணிக்கையைக் கட்டுப்படுத்தலாம், மேலும் செயல்திறன் பாதிக்கப்படும்.
- மாதிரி குறியீட்டு செலவுகள் ஒவ்வொரு முன்மொழிதலுக்கும் உதாரணங்களைச் சேர்ப்பது செலவானதாகவும்தான் இருக்கலாம், மேலும் நெகிழ்வுத்தன்மையை குறைக்கும்.
நுண்ணறிவு மாற்றல் என்பது இயந்திரக் கல்வி முறைகளில் பரவலாகச் செய்யப்படும் நடைமுறை, இதில் நாம் முன் பயிற்சி பெற்ற மாதிரியை எடுத்துக் கொண்டு புதிய தரவில் மறுபயிற்சி செய்து குறிப்பிட்ட பணிக்கான செயல்திறனை மேம்படுத்துகிறோம். மொழி மாதிரிகள் பார்வையில், நாம் ஆனது நுண்ணறிவு மாற்றல் மூலம் முன்னேற்றப்பட்ட மாதிரியை ஒரு குறிப்பிட்ட பணிக்கோ அல்லது பயன்பாட்டு துறைக்கோ உரிய தேர்ந்தெடுக்கப்பட்ட உதாரண சேகரிக்கோடு fine tune செய்யலாம் மேலும், அது அந்த பணிக்கோ துறைக்கோ அதிக துல்லியம் மற்றும் பொருத்தத்தை கொண்ட தனிப்பயன் மாதிரியை உருவாக்கும். கூடுதல் நன்மை ретінде, நுண்ணறிவு மாற்றல் சிலத் தட்டு கற்றலுக்கு தேவைப்படும் உதாரணங்களின் எண்ணிக்கையை குறைக்கின்றது - குறியீட்டு பயன்பாடு மற்றும் தொடர்பான செலவுகளை குறைக்கும்.
இந்த சூழலில், நுண்ணறிவு மாற்றம் என்று கூறும்போது, புதிய தரவு சேர்த்து மேல்நோக்கம் செய்யப்பட்ட நுண்ணறிவு மாற்றத்தைப் குறிப்பிடுகிறோம், இது பழைய பயிற்சி தரவுத்தொகுப்பில் இல்லாத தரவு சேர்க்கப்படுகிறது. இது தானாக இயக்கப்படும் பயிற்சியுடன் (unsupervised fine tuning) வேறுபடுகிறது, அதில் மாதிரி மூலத் தரவில் மறுபயிற்சி செய்யப்படுகிறதாம், ஆனால் வேறுபட்ட ஹைப்பர்பேரமீட்டர்களுடன்.
முக்கியமாக நினைவில் கொள்ள வேண்டியது என்னவெனில் நுண்ணறிவு மாற்றல் ஒரு மேம்பட்ட நுட்பமாகும், தேவையான திறமையை கொண்டவர்களால் மட்டுமேச் செய்யப்படவேண்டும். தவறாக செய்யப்படின் எதிர்பார்க்கப்பட்ட மேம்பாடுகள் கிடைக்கக் கூடாது, மேலும் உங்கள் இலக்குதுறைக்கான மாதிரி செயல்திறன் கெட்டுப்போக கூடும்.
அதனால், "எப்படி" மொழி மாதிரிகளை நுண்ணறிவு மாற்றுவது கற்றுக்கொள்ள முன், "ஏன்" நீங்கள் இதைத் தேர்வு செய்ய வேண்டும் என்பதை தெரிந்துக்கொள்ள வேண்டும்; மேலும், நுண்ணறிவு மாற்றத்தைத் தொடங்க எப்போது எனவும் தெரிந்து கொள்ள வேண்டும். துவக்கமாக பின்வரும் கேள்விகளை உங்களைச் சுட்டிக்காட்டுங்கள்:
- பயன்பாடு: உங்கள் நுண்ணறிவு மாற்றத்திற்கு உள்ள பிரயோஜனம் என்ன? தற்போதைய முன்னேற்றப்பட்ட மாதிரியின் எந்த அம்சத்தை மேம்படுத்த விரும்புகிறீர்கள்?
- மாற்று வழிகள்: நீங்கள் மற்ற நுட்பங்களை முயற்சி செய்து தேவையான விளைவுகளை அடைந்தீர்களா? அவற்றை ஒப்பிடுவதற்கான அடிப்படையாகக் கொண்டு பயன்படுத்துங்கள்.
- முன்மொழிதல் பொறியியல்: தொடர்புடைய முன்மொழிதல் பதில்களின் சில உதாரணங்களுடன் சிலத் தட்டு முன்மொழிதலை முயற்சி செய்க. பதில்களின் தரத்தை மதிப்பாய்வு செய்க.
- மீட்பு-சேர்க்கப்பட்ட உருவாக்கம்: உங்கள் தரவுகளைத் தேடும் முறையில் கிடைத்த கேள்வி முடிவுகளுடன் முன்மொழிதல்களை பலப்படுத்த முயற்சி செய்க. பதில்களின் தரத்தை மதிப்பாய்வு செய்க.
- செலவுகள்: நுண்ணறிவு மாற்றலுக்கான செலவுகளை நீங்கள் கண்டறிந்துள்ளீர்களா?
- மாற்றுதன்மை - முன்னேற்றப்பட்ட மாதிரி நுண்ணறிவு மாற்றற்குக் கிடைக்குமா?
- முயற்சி - பயிற்சி தரவை தயாரித்தல், மாதிரியை மதிப்பாய்வு செய்து செம்மைப்படுத்தல்.
- கணினி - நுண்ணறிவு மாற்று பணிகளை நடத்தியல், மற்றும் நுண்ணறிவு மாற்றப்பட்ட மாதிரியின் அமலாக்கம்
- தரவு - நுண்ணறிவு மாற்றத்துக்கான போதுமான தரமான உதாரணங்கள் கிடைவு
- நன்மைகள்: நுண்ணறிவு மாற்றத்தின் நன்மைகள் உறுதிப்படுத்தப்பட்டுள்ளனவா?
- தரம் - நுண்ணறிவு மாற்றப்பட்ட மாதிரி அடிப்படையைத் தாண்டியதா?
- செலவு - பதில்களை எளிமைப்படுத்துவதால் குறியீட்டு பயன்பாட்டை குறைக்கிறதா?
- விருத்தி தகுதி - புதிய துறைகளுக்கான அடிப்படை மாதிரியை மீண்டும் பயன்படுத்த முடியுமா?
இந்த கேள்விகளை பதிலளிப்பதன் மூலம், உங்கள் பயன்பாட்டிற்கு நுண்ணறிவு மாற்றல் சரியான அணுகுமுறை என தீர்மானிக்க முடியும். நல்ல வழி, நன்மைகள் செலவுகளைக் காட்டிலும் அதிகமாக உள்ளதா என்று பார்க்கும் போது மட்டுமே. முடிவு செய்த பின், முன்னேற்றப்பட்ட மாதிரியை எப்படி நுண்ணறிவு மாற்றுவது என்பதைப்பற்றி யோசித்தல் முன்னே போகும்.
தீர்மானச் செயல்முறையைப்பற்றி மேலதிகத் தகவல்களைப் பெற விரும்பினால், To fine-tune or not to fine-tune காணவும்.
முன்னேற்றப்பட்ட மாதிரியை நுண்ணறிவு மாற்ற, உங்களுக்கு தேவை:
- நுண்ணறிவு மாற்ற வேண்டிய முன்னேற்றப்பட்ட மாதிரி
- நுண்ணறிவு மாற்றத்திற்கான தரவுத்தொகுப்பு
- நுண்ணறிவு மாற்று பணியை இயங்கச்செய்ய பயிற்சி சூழல்
- நுண்ணறிவு மாற்றப்பட்ட மாதிரியை அமல்படுத்தும் ஹோஸ்டிங் சூழல்
கீழ்க்கண்ட வளங்கள் தேர்ந்தெடுக்கப்பட்ட மாதிரியுடன் ஒரு உருமாற்றப்பட்ட தரவுத்தொகுப்பைக் கொண்டு ஒரு உண்மையான உதாரணமாக நீங்கள் வழித்தொடர-step-by-step கற்றற்கூடிய படிப்புருக்களை வழங்குகின்றன. இந்த பாடங்கள் மூலம் பணியாற்ற, குறிப்பிட்ட வழங்குநர்க்கான கணக்கு மற்றும் தொடர்புடைய மாதிரி மற்றும் தரவுத்தொகுப்புக் கிடைவு தேவை.
| வழங்குநர் | பாடம் | விளக்கம் |
|---|---|---|
| OpenAI | How to fine-tune chat models | ஒரு குறிப்பிட்ட துறைக்கான ("செய்முறை உதவியாளர்") gpt-35-turbo மாதிரியை பயிற்சி தரவைத் தயார் செய்து, நுண்ணறிவு மாற்று பணியை இயங்க வைத்து, நுண்ணறிவு மாற்றப்பட்ட மாதிரியைInferenceக்கு பயன்படுத்துவது கற்றுக்கொள்ளவும். |
| Azure OpenAI | GPT 3.5 Turbo fine-tuning tutorial | Azure இல் gpt-35-turbo-0613 மாதிரியை நுண்ணறிவு மாற்ற, பயிற்சி தரவுகளை உருவாக்கி பதிவேற்றும் படிகளை எடுத்துக்கொண்டு, நுண்ணறிவு மாற்று பணியை இயங்க செய்து, புதிய மாதிரியை அமல்படுத்தவும் பயன்படுத்தவும் கற்றுக்கொள்ளவும். |
| Hugging Face | Fine-tuning LLMs with Hugging Face | இந்த வலைப்பதிவு ஒரு திறந்த LLM (எடுத்துக்காட்டு: CodeLlama 7B) ஐ transformers நூற்றகம் மற்றும் Transformer Reinforcement Learning (TRL) மூலம், திறந்த datasets மற்றும் Hugging Face இல் நுண்ணறிவு மாற்றுவதை விளக்குகிறது. |
| 🤗 AutoTrain | Fine-tuning LLMs with AutoTrain | AutoTrain (அல்லது AutoTrain Advanced) என்பது Hugging Face உருவாக்கிய பைதான் நூற்றகம், இது LLM நுண்ணறிவு மாற்று உட்பட பல்வேறு பணிகளைச் செய்ய அனுமதிக்கிறது. AutoTrain என்பது குறியீடு இல்லாத தீர்வாகும் மற்றும் உங்கள் சொந்த அலைவரிசையில், Hugging Face Spaces இல் அல்லது உள்ளூரிலும் நுண்ணறிவு மாற்றத்தை செய்ய முடியும். இது ஒரு இணையவழி GUI, CLI மற்றும் yaml கட்டமைப்பு கோப்புகள் மூலம் பயிற்சியையும் ஆதரிக்கிறது. |
| 🦥 Unsloth | Fine-tuning LLMs with Unsloth | Unsloth என்பது திறந்த மூல வடிவமைப்பாகும், அது LLM நுண்ணறிவு மாற்றை மற்றும் விருத்தி கற்றலும் (RL) ஆதரிக்கிறது. Unsloth உள்ளூர் பயிற்சி, மதிப்பாய்வு மற்றும் அமலாக்கத்தை எளிதாக்க தயார் செய்யப்பட்ட notebooks உடன் செயல்படுகிறது. இது உரை-தொலைபேசி (TTS), BERT மற்றும் பன்முறை மாதிரிகளையும் ஆதரிக்கிறது. துவங்க, அவர்களின் படி படி Fine-tuning LLMs Guide ஐப் படிக்கவும். |
மேலேயுள்ள பாடங்களில் ஒன்றைத் தேர்ந்தெடுத்து அனுசரிப்பாய்க. உள்ளடக்கம் குறியிடப்பட்ட Jupyter நெட்புக்களில் இந்த பாடங்களின் ஒரு பதிப்பை நாம் உருவாக்கக்கூடும். குறிப்பு: எப்போதும் புதிய பதிப்புகளை பெற அசல் மூலங்களையே நேரடியாக பயன்படுத்தவும்.
இந்த படிப்பை முடித்த பிறகு, நம் உருவாக்கும் ஏ.ஐ. கற்கும் திரட்டியை பார்வையிடவும், உருவாக்கும் ஏ.ஐ. அறிவை மேலும் மேம்படுத்துங்கள்!
நல்வாழ்த்துகள்!! இந்த பாடவரிசை செயல்பாட்டின் கடைசி பாடத்தை நீங்கள் முடித்துவிட்டீர்கள்! கற்றலும் கட்டுமானமும் நிறுத்த வேண்டாம். **இந்த தலைப்புக்கான கூடுதல் பரிந்துரைகளைப் பெற வளங்கள் பக்கத்தைக் காணவும்.
நமது v1 தொடர் பாடங்களும் கூடுதல் பணிகள் மற்றும் கருத்துக்களுடன் புதுப்பிக்கப்பட்டுள்ளன. அதனால் ஒரு நிமிடம் எடுத்து உங்கள் அறிவை புதியதாக மாற்றிக் கொள்ளுங்கள் - மேலும் இச் சமுதாயக் கற்கைகளுக்காக உங்கள் கேள்விகள் மற்றும் கருத்துக்களை தயவுசெய்து பகிரவும்.
வெள்ளியக்குறிப்பு:
இந்த ஆவணம் AI மொழி மொழிபெயர்ப்பு சேவையான Co-op Translator மூலம் மொழிபெயர்க்கப்பட்டுள்ளது. துல்லியத்திற்காக முயற்சி செய்வதாக இருந்தாலும், தானியங்கி மொழி மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுக்கள் இருக்கக்கூடும் என்பதற்குத் தயவுசெய்து கவனம் செலுத்தவும். அதன் சொந்த மொழியில் உள்ள அசல் ஆவணம் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்முறை மனித மொழிபெயர்ப்பாளர் சேவையைப் பயன்படுத்த பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதில் ஏற்பட்ட எந்தவொரு தவறான புரிதல்களுக்கும் அல்லது தவறான பொருள் விளக்கங்களுக்கும் நாம் பொறுப்பேற்கமாட்டோம்.