Používanie veľkých jazykových modelov na vytváranie aplikácií generatívnej AI prináša nové výzvy. Kľúčovým problémom je zabezpečenie kvality odpovedí (presnosť a relevantnosť) v obsahu generovanom modelom na základe požiadavky používateľa. V predchádzajúcich lekciách sme diskutovali o technikách, ako je návrh výzvy (prompt engineering) a generovanie s rozšíreným vyhľadávaním, ktoré sa snažia vyriešiť problém úpravou vstupu výzvy existujúceho modelu.
V dnešnej lekcii sa zaoberáme treťou technikou, jemným doladením, ktorá sa snaží riešiť výzvu pretrénovaním samotného modelu s dodatočnými údajmi. Poďme sa pozrieť na detaily.
Táto lekcia predstavuje koncept jemného doladenia pre predtrénované jazykové modely, skúma výhody a výzvy tohto prístupu a poskytuje usmernenia, kedy a ako použiť jemné doladenie na zlepšenie výkonu vašich generatívnych AI modelov.
Na konci tejto lekcie by ste mali vedieť odpovedať na nasledujúce otázky:
- Čo je jemné doladenie jazykových modelov?
- Kedy a prečo je jemné doladenie užitočné?
- Ako môžem jemne doladiť predtrénovaný model?
- Aké sú obmedzenia jemného doladenia?
Pripravení? Poďme na to.
Chcete si urobiť prehľad o tom, čo budeme preberať, ešte predtým, než sa do toho pustíme? Pozrite si tento ilustrovaný sprievodca, ktorý popisuje učebnú cestu tejto lekcie - od učenia sa základných konceptov a motivácie pre jemné doladenie až po pochopenie procesu a najlepších postupov pri vykonávaní úlohy jemného doladenia. Je to fascinujúca téma na preskúmanie, takže nezabudnite navštíviť stránku Resources pre ďalšie odkazy na podporu vašej samostatnej učebnej cesty!
Podľa definície sú veľké jazykové modely predtrénované na veľkých množstvách textu získaného z rôznych zdrojov vrátane internetu. Ako sme sa naučili v predchádzajúcich lekciách, na zlepšenie kvality odpovedí modelu na otázky používateľa ("výzvy") potrebujeme techniky ako návrh výzvy a generovanie s rozšíreným vyhľadávaním.
Populárna technika návrhu výzvy zahŕňa poskytnutie modelu väčšieho množstva pokynov o tom, čo sa očakáva v odpovedi, buď poskytnutím inštrukcií (explicitné usmernenie), alebo poskytnutím niekoľkých príkladov (implicitné usmernenie). Toto sa nazýva few-shot learning, ale má dve obmedzenia:
- Limity tokenov modelu môžu obmedziť počet príkladov, ktoré môžete poskytnúť, a tým znížiť efektivitu.
- Náklady na tokeny modelu môžu byť drahé pri pridávaní príkladov ku každej výzve, čo obmedzuje flexibilitu.
Jemné doladenie je bežná prax v systémoch strojového učenia, kde vezmeme predtrénovaný model a pretrénujeme ho s novými údajmi, aby sme zlepšili jeho výkon na konkrétnej úlohe. V kontexte jazykových modelov môžeme jemne doladiť predtrénovaný model s kurátorskou sadou príkladov pre danú úlohu alebo aplikačnú oblasť, aby sme vytvorili vlastný model, ktorý môže byť presnejší a relevantnejší pre túto konkrétnu úlohu alebo oblasť. Vedľajším prínosom jemného doladenia je, že môže tiež znížiť počet potrebných príkladov pre few-shot learning - čím sa znižuje používanie tokenov a súvisiace náklady.
V tomto kontexte, keď hovoríme o jemnom doladení, máme na mysli supervízované jemné doladenie, kde sa pretrénovanie vykonáva pridaním nových údajov, ktoré neboli súčasťou pôvodného tréningového datasetu. To sa líši od nesupervízovaného jemného doladenia, kde sa model pretrénuje na pôvodných údajoch, ale s rôznymi hyperparametrami.
Kľúčová vec, ktorú si treba zapamätať, je, že jemné doladenie je pokročilá technika, ktorá si vyžaduje určitú úroveň odbornosti na dosiahnutie požadovaných výsledkov. Ak sa vykoná nesprávne, nemusí priniesť očakávané zlepšenia a môže dokonca zhoršiť výkon modelu pre váš cieľový doménový priestor.
Takže predtým, než sa naučíte "ako" jemne doladiť jazykové modely, musíte vedieť "prečo" by ste mali zvoliť túto cestu a "kedy" začať proces jemného doladenia. Začnite tým, že si položíte tieto otázky:
- Použitie: Aký je váš prípad použitia pre jemné doladenie? Aký aspekt aktuálneho predtrénovaného modelu chcete zlepšiť?
- Alternatívy: Skúsili ste iné techniky na dosiahnutie požadovaných výsledkov? Použite ich na vytvorenie základnej línie pre porovnanie.
- Návrh výzvy: Skúste techniky ako few-shot prompting s príkladmi relevantných odpovedí na výzvy. Vyhodnoťte kvalitu odpovedí.
- Generovanie s rozšíreným vyhľadávaním: Skúste rozšíriť výzvy výsledkami vyhľadávania vo vašich údajoch. Vyhodnoťte kvalitu odpovedí.
- Náklady: Identifikovali ste náklady na jemné doladenie?
- Možnosť doladenia - je predtrénovaný model dostupný na jemné doladenie?
- Úsilie - na prípravu tréningových údajov, hodnotenie a doladenie modelu.
- Výpočtová kapacita - na spustenie úloh jemného doladenia a nasadenie jemne doladeného modelu.
- Údaje - prístup k dostatočnému množstvu kvalitných príkladov na dosiahnutie vplyvu jemného doladenia.
- Výhody: Potvrdili ste výhody jemného doladenia?
- Kvalita - prekonal jemne doladený model základnú líniu?
- Náklady - znižuje používanie tokenov zjednodušením výziev?
- Rozšíriteľnosť - môžete základný model prispôsobiť novým doménam?
Odpoveďou na tieto otázky by ste mali byť schopní rozhodnúť, či je jemné doladenie správnym prístupom pre váš prípad použitia. Ideálne je, ak prístup platí iba vtedy, ak výhody prevažujú nad nákladmi. Keď sa rozhodnete pokračovať, je čas premýšľať o tom, ako môžete jemne doladiť predtrénovaný model.
Chcete získať viac informácií o rozhodovacom procese? Pozrite si To fine-tune or not to fine-tune
Na jemné doladenie predtrénovaného modelu potrebujete:
- predtrénovaný model na jemné doladenie
- dataset na použitie pri jemnom doladení
- tréningové prostredie na spustenie úlohy jemného doladenia
- hostingové prostredie na nasadenie jemne doladeného modelu
Nasledujúce zdroje poskytujú podrobné návody, ktoré vás prevedú skutočným príkladom použitia vybraného modelu s kurátorským datasetom. Na prácu s týmito návodmi potrebujete účet u konkrétneho poskytovateľa spolu s prístupom k relevantnému modelu a datasetom.
| Poskytovateľ | Návod | Popis |
|---|---|---|
| OpenAI | Ako jemne doladiť chatovacie modely | Naučte sa jemne doladiť gpt-35-turbo pre konkrétnu doménu ("asistent receptov") prípravou tréningových údajov, spustením úlohy jemného doladenia a použitím jemne doladeného modelu na inferenciu. |
| Azure OpenAI | Návod na jemné doladenie GPT 3.5 Turbo | Naučte sa jemne doladiť model gpt-35-turbo-0613 na Azure vykonaním krokov na vytvorenie a nahranie tréningových údajov, spustenie úlohy jemného doladenia. Nasadenie a použitie nového modelu. |
| Hugging Face | Jemné doladenie LLMs s Hugging Face | Tento blogový príspevok vás prevedie jemným doladením otvoreného LLM (napr. CodeLlama 7B) pomocou knižnice transformers a Transformer Reinforcement Learning (TRL) s otvorenými datasetmi na Hugging Face. |
| 🤗 AutoTrain | Jemné doladenie LLMs s AutoTrain | AutoTrain (alebo AutoTrain Advanced) je python knižnica vyvinutá spoločnosťou Hugging Face, ktorá umožňuje jemné doladenie pre mnoho rôznych úloh vrátane jemného doladenia LLM. AutoTrain je riešenie bez potreby kódu a jemné doladenie je možné vykonať vo vašom vlastnom cloude, na Hugging Face Spaces alebo lokálne. Podporuje webové GUI, CLI a tréning prostredníctvom yaml konfiguračných súborov. |
Vyberte si jeden z vyššie uvedených návodov a prejdite si ho. Môžeme replikovať verziu týchto návodov v Jupyter Notebooks v tomto repozitári len na referenciu. Prosím, použite priamo pôvodné zdroje na získanie najnovších verzií.
Po dokončení tejto lekcie si pozrite našu Generative AI Learning collection, aby ste pokračovali v rozširovaní svojich znalostí o generatívnej AI!
Gratulujeme!! Dokončili ste poslednú lekciu zo série v2 tohto kurzu! Nezastavujte sa v učení a budovaní. **Pozrite si stránku RESOURCES pre zoznam ďalších návrhov práve na túto tému.
Naša séria lekcií v1 bola tiež aktualizovaná s viacerými zadaniami a konceptmi. Takže si nájdite chvíľu na osvieženie svojich vedomostí - a prosím zdieľajte svoje otázky a spätnú väzbu, aby ste nám pomohli zlepšiť tieto lekcie pre komunitu.
Zrieknutie sa zodpovednosti:
Tento dokument bol preložený pomocou služby AI prekladu Co-op Translator. Hoci sa snažíme o presnosť, prosím, berte na vedomie, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nenesieme zodpovednosť za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.