Skip to content

Latest commit

 

History

History
44 lines (36 loc) · 24.7 KB

File metadata and controls

44 lines (36 loc) · 24.7 KB

វត្ថុធាតុសម្រាប់ការសិក្សាឯករាជ្យ

មេរៀននេះត្រូវបានគេបង្កើតឡើងដោយប្រើធនធានស្នូលជាច្រើនពី OpenAI និង Azure OpenAI ជាឧទាហរណ៍សម្រាប់ពាក្យបច្ចេកទេស និងមេរៀនបង្រៀន។ នេះគឺជបញ្ជីមិនពេញលេញ សម្រាប់ការធ្វើដំណើរការសិក្សាឯករាជ្យផ្ទាល់ខ្លួនរបស់អ្នក។

1. ធនធានសំខាន់

ចំណងជើង/រុំពន្ធ ការពណ៌នា
ការតម្រួតបន្តិចជាមួយម៉ូដែល OpenAI ការតម្រួតបន្តិចធ្វើអោយការសិក្សានៅលើតំណក់តិចកាន់តែល្អប្រសើរដោយបណ្តុះបណ្ដាលលើឧទាហរណ៍ច្រើនជាងដែលអាចបញ្ចូលក្នុង prompt បាន រក្សាទុនការចំណាយ អភិវឌ្ឍគុណភាពចម្លើយ និងអាចធ្វើកម្មវិធីសំណើដែលមានភាពយឺតតិច។ ទទួលបានទិដ្ឋភាពទូទៅពីការតម្រួតបន្តិចពី OpenAI។
តើ Fine-Tuning ជាមួយ Azure OpenAI ជាអ្វី? យល់ដឹងពី ចំណុចខ្លឹមសារ fine-tuning (មូលដ្ឋានគំនិត), ហេតុអ្វីអ្នកគួរត្រូវចាប់អារម្មណ៍, ទិន្នន័យអ្វីដែលគួរប្រើ (ការបណ្តុះបណ្តាល) និងវិធីវាស់ស្ទង់គុណភាព
ប្ដូរតាមបំណងម៉ូដែលមួយជាមួយការតម្រួតបន្តិច សេវាកម្ម Azure OpenAI អនុញ្ញាតឱ្យអ្នកប្ដូរម៉ូដែលរបស់យើងទៅតាមឃ្លាំងទិន្នន័យផ្ទាល់ខ្លួនរបស់អ្នកដោយប្រើការតម្រួតបន្តិច។ រៀន ពីវិធីផលិត fine-tuning (ដំណើរការ) ជ្រើសរើសម៉ូដែលតាម Azure AI Studio, Python SDK ឬ REST API។
ការផ្តល់អនុសាសន៍សម្រាប់ការតម្រួតបន្តិច LLM ម៉ូដែល LLM អាចមិនធ្វើការល្អនៅលើដែនកំណត់ពិសេស ការងារ ឬឃ្លាំងទិន្នន័យ ឬអាចបង្កើតលទ្ធផលមិនត្រឹមត្រូវ ឬបញ្ឆោតបញ្ឆិចបាន។ ពេលណាអ្នកគួរត្រូវពិចារណាការតម្រួតបន្តិច ជាជម្រើសដោះស្រាយ?
ទំនាក់ទំនងការតម្រួតបន្តិចជាប់ៗ ការតម្រួតបន្តិចជាប់ៗគឺជាដំណើរការដំណើរការជាថ្មីដោយជ្រើសលេខម៉ូដែលដែលត្រូវបានតម្រួតរួចជាមូលដ្ឋានហើយ តម្រួតបន្តិចវាទៀត លើសំណុំឧទាហរណ៍បណ្តុះបណ្តាលថ្មីៗ។
ការតម្រួតបន្តិច និងការហៅមុខងារ ការតម្រួតបន្តិចម៉ូដែលរបស់អ្នក ជាមួយឧទាហរណ៍ហៅមុខងារ អាចធ្វើអោយលទ្ធផលម៉ូដែលកាន់តែត្រឹមត្រូវ និងមានភាពស្របគ្នា - ជាមួយការឆ្លើយតបដែលមានទ្រង់ទ្រាយដូចគ្នា និងការសន្សំថ្លៃដើម
ការតម្រួតបន្តិចម៉ូដែល: យោង Azure OpenAI មើលតារាងនេះដើម្បីយល់ពី ម៉ូដែលណាអាចត្រូវបានតម្រួតបន្តិច នៅក្នុង Azure OpenAI ហើយតំបន់ណាដែលវាអាចប្រើបាន។ មើលពីកម្រិតសញ្ញាតំណើការណ៍ និងកាលបរិច្ឆេទផុតកំណត់ទិន្នន័យបណ្តុះបណ្តាលបើចាំបាច់។
តម្រូវដើម្បីតម្រួតបន្តិច ឫមិនតម្រួតបន្តិច? នោះជាគន្លងសំណួរ ផ្សាយបន្តផ្ទាល់អាយយូ ៣០ នាទី ក្នុងខែតុលា ២០២៣ នេះពិភាក្សាអំពីអត្ថប្រយោជន៍ ខុសប្លែក និងចំណេះដឹងប្រពៃណីដែលជួយអ្នកទាំងឡាយជ្រើសរើសសេចក្ដីសម្រេចនេះ។
ចាប់ផ្តើមជាមួយការតម្រួតបន្តិច LLM វត្ថុធាតុ AI Playbook នេះដឹកនាំអ្នកតាមការទាមទារទិន្នន័យ ការរៀបចំទ្រង់ទ្រាយ ការតម្រួតប៉ារ៉ាម៉ែត្រជាច្រើន និងបញ្ហា/ការដាក់កំណត់ដែលអ្នកគួរត្រូវដឹង។
មេរៀន: Azure OpenAI GPT3.5 Turbo Fine-Tuning រៀនបង្កើតឧទាហរណ៍ទិន្នន័យតម្រួតបន្តិច ត្រៀមខ្លួនសម្រាប់ការតម្រួតបន្តិច បង្កើតការងារតម្រួតបន្តិច និងចេញផ្សាយម៉ូដែលដែលត្រូវបានតម្រួតបន្តិចលើ Azure។
មេរៀន: តម្រួតបន្តិចម៉ូដែល Llama 2 ក្នុង Azure AI Studio Azure AI Studio អនុញ្ញាតឲ្យអ្នកប្ដូរម៉ូដែលភាសាធំ ទៅតាមឃ្លាំងទិន្នន័យផ្ទាល់ខ្លួនរបស់អ្នក ដោយប្រើដំណើរការថ្មីមួយដែលឆន្ទៈសម្រាប់អ្នកអភិវឌ្ឍន៍កូដទាប។ មើលឧទាហ​រណ៍នេះ។
មេរៀន:តម្រួតបន្តិចម៉ូដែល Hugging Face សម្រាប់ GPU តែមួយលើ Azure អត្ថបទនេះពិពណ៌នាអំពីវិធីតម្រួតបន្តិចម៉ូដែល Hugging Face ជាមួយបណ្ណាល័យ Hugging Face transformers លើ GPU តែមួយជាមួយ Azure DataBricks និងបណ្ណាល័យ Hugging Face Trainer
ការបណ្តុះបណ្តាល: តម្រួតបន្តិចម៉ូដែលផ្នែកមូលដ្ឋានជាមួយ Azure Machine Learning កាតាឡុកម៉ូដែលក្នុង Azure Machine Learning ផ្តល់ម៉ូដែលបើកស្រលាញ់ជាច្រើនដែលអ្នកអាចតម្រួតបន្តិចសម្រាប់ភារកិច្ចរបស់អ្នក។ សាកល្បងម៉ូឌុលនេះពី ផ្លូវការសិក្សា AzureML Generative AI
មេរៀន: Azure OpenAI Fine-Tuning ការតម្រួតបន្តិចម៉ូដែល GPT-3.5 ឬ GPT-4 លើ Microsoft Azure ដោយប្រើ W&B អាចតាមដាន និងវិភាគលទ្ធផលម៉ូដែលបានយ៉ាងលម្អិត។ មគ្គុទ្ទប្បញ្ញត្តិនេះបន្ដគំនិតពី OpenAI Fine-Tuning ជាមួយជំហាន និងលក្ខណៈពិសេសជាក់លាក់សម្រាប់ Azure OpenAI។

2. ធនធានជំរុញបន្ថែម

ផ្នែកនេះបានចាប់យកធនធានបន្ថែម ដែលមានតម្លៃសម្រាប់ការស្វែងយល់ ប៉ុន្តែយើងមិនមានពេលគ្រប់គ្រាន់ក្នុងមេរៀននេះទេ។ វាអាចត្រូវបានគេសិក្សាក្រោយក្នុងមេរៀនក្រោយ ឬជាជម្រើសការងារជំនួយក្រោយ ក្នុងពេលក្រោយ។ ចំពោះបច្ចុប្បន្ន យកវាទៅសង់ជំនាញ និងចំណេះដឹងរបស់អ្នកពីប្រធានបទនេះ។

ចំណងជើង/រុំពន្ធ ការពណ៌នា
OpenAI Cookbook: ការរៀបចំទិន្នន័យ និងវិភាគសម្រាប់ការតម្រួតបន្តិចម៉ូដែលសន្ទនា សៀវភៅកំណត់ត្រានេះជាឧទាហរណ៍មួយសម្រាប់បំពង និងវិភាគឃ្លាំងទិន្នន័យសន្ទនា ដែលបានប្រើសម្រាប់តម្រួតបន្តិចម៉ូដែលសន្ទនា។ វាត្រួតពិនិត្យកំហុសទ្រង់ទ្រាយ ផ្តល់ស្ថិតិមូលដ្ឋាន និងប៉ាន់ស្មានចំនួនសញ្ញាតំណើការណ៍សម្រាប់ការចំណាយការតម្រួតបន្តិច។ មើលៈ វិធីតម្រួតបន្តិចសម្រាប់ gpt-3.5-turbo
OpenAI Cookbook: ការតម្រួតបន្តិចសម្រាប់ការបង្កើតយកវិញ RAG ជាមួយ Qdrant គោលបំណងនៃសៀវភៅកំណត់ត្រានេះគឺដើម្បីដំណើរការឧទាហរណ៍ពេញលេញនៃវិធីតម្រួតបន្តិចម៉ូដែល OpenAI សម្រាប់ការបង្កើតយកវិញចំណេះដឹង (RAG)។ យើងនឹងបង្រៀបសេចក្ដីចូលរួម Qdrant និងការសិក្សាផ្អែកលើឧទាហរណ៍តិច (Few-Shot Learning) ដើម្បីបង្កើនការសម្របសម្រួលម៉ូដែល និងកាត់បន្ថយការចម្លងទិន្នន័យមិនត្រឹមត្រូវ។
OpenAI Cookbook: ការតម្រួតបន្តិច GPT ជាមួយ Weights & Biases Weights & Biases (W&B) គឺជាវេទិកាអភិវឌ្ឍន៍ AI ដែលមានឧបករណ៍សម្រាប់បណ្តុះបណ្តាលម៉ូដែល តម្រួតបន្តិចម៉ូដែល និងប្រើម៉ូដែលមូលដ្ឋាន។ អានមគ្គុទ្ទកម្ម OpenAI Fine-Tuning មុន បន្ទាប់មកសាកល្បងលំហាត់ Cookbook។
មេរៀនសហគមន៍ Phinetuning 2.0 - ការតម្រួតបន្តិចសម្រាប់ម៉ូដែលភាសាចំនុះតូច សូមជួប Phi-2 ម៉ូដែលតូចថ្មីរបស់ Microsoft ដែលមានកម្លាំងខ្លាំង ប៉ុន្ដែមួយរូបមើលតូច។ មេរៀននេះនឹងដឹកនាំអ្នកតាមដានវិធីបង្កើតឃ្លាំងទិន្នន័យដ៏ពិសេស និងតម្រួតបន្តិចម៉ូដែល Phi-2 ដោយប្រើ QLoRA។
មេរៀន Hugging Face វិធីតម្រួតបន្តិច LLMs នៅឆ្នាំ ២០២៤ ជាមួយ Hugging Face អត្ថបទប្លុកនេះដឹកនាំអ្នកតាមវិធីតម្រួតបន្តិច LLMs បើកឡើង ដោយប្រើ Hugging Face TRL, Transformers និងឃ្លាំងទិន្នន័យក្នុងឆ្នាំ ២០២៤។ អ្នកកំណត់ប្រើប្រាស់ បង្កើតបរិយាកាសអភិវឌ្ឍន៍ រៀបចំឃ្លាំងទិន្នន័យ តម្រួតបន្តិចម៉ូដែល ផ្ទៀងផ្ទាត់ មុនពេលចេញផ្សាយទៅផលិតកម្ម។
Hugging Face: AutoTrain Advanced ផ្តល់ឱ្យនូវការបណ្តុះបណ្តាល និងចេញផ្សាយជាប់រហ័ស និងងាយស្រួលនៃ ម៉ូដែលយន្តការសិក្សាថ្មីៗ។ រឺពូមានមេរៀនច្បាស់នៅក្នុង Colab និងការណែនាំតាមវីដេអូ YouTube សម្រាប់ការតម្រួតបន្តិច។ បញ្ចាំងការអាប់ដេត [local-first] ដែលថ្មីៗនេះ។ អានឯកសារ AutoTrain

ការមិនទទួលខុសត្រូវ:
ឯកសារនេះត្រូវបានបកប្រែដោយប្រើសេវាកម្មបកប្រែ AI Co-op Translator។ ខណៈពេលដែលយើងខំប្រឹងប្រែងសម្រាប់ភាពត្រឹមត្រូវ សូមយល់ដឹងថាការបកប្រែដោយស្វ័យប្រវត្តិនោះអាចមានកំហុស ឬការខុសត្រូវ មួយចំនួន។ ឯកសារដើមក្នុងភាសាដើម គួรถูกគិតថាជាជ្រីវជាតិសម្គាល់។ សម្រាប់ព័ត៌មានសំខាន់ៗ ការបកប្រែដោយមនុស្សដែលមានវិជ្ជាជីវៈគឺមានអត្ថិភាពបំផុត។ យើងមិនទទួលខុសត្រូវចំពោះការយល់ច្រឡំ ឬការបកប្រែខុសណាមួយ ដែលកើតឡើងពីការប្រើប្រាស់ការបកប្រែនេះឡើយ។