Svet open-source LLM je vzrušujúci a neustále sa vyvíja. Táto lekcia má za cieľ poskytnúť podrobný pohľad na open source modely. Ak hľadáte informácie o tom, ako sa proprietárne modely porovnávajú s open source modelmi, prejdite na lekciu "Exploring and Comparing Different LLMs". Táto lekcia sa tiež dotkne témy doladenia modelov, podrobnejšie vysvetlenie nájdete v lekcii "Fine-Tuning LLMs".
- Získať pochopenie open source modelov
- Pochopiť výhody práce s open source modelmi
- Preskúmať dostupné open modely na Hugging Face a v Azure AI Studio
Open source softvér zohral kľúčovú úlohu v rozvoji technológií v rôznych oblastiach. Open Source Initiative (OSI) definovala 10 kritérií pre softvér, aby mohol byť klasifikovaný ako open source. Zdrojový kód musí byť verejne zdieľaný pod licenciou schválenou OSI.
Vývoj LLM má podobné prvky ako vývoj softvéru, no proces nie je úplne rovnaký. To vyvolalo veľa diskusií v komunite o definícii open source v kontexte LLM. Aby model spĺňal tradičnú definíciu open source, mali by byť verejne dostupné tieto informácie:
- Dátové sady použité na trénovanie modelu
- Kompletné váhy modelu ako súčasť tréningu
- Kód na vyhodnotenie modelu
- Kód na doladenie modelu
- Kompletné váhy modelu a metriky tréningu
V súčasnosti existuje len niekoľko modelov, ktoré tieto kritériá spĺňajú. OLMo model vytvorený Allen Institute for Artificial Intelligence (AllenAI) je jedným z nich.
V tejto lekcii budeme modely označovať ako „open modely“, pretože v čase písania nemusia úplne spĺňať vyššie uvedené kritériá.
Vysoká prispôsobiteľnosť – Keďže open modely sú zverejnené s podrobnými informáciami o tréningu, výskumníci a vývojári môžu upravovať vnútorné časti modelu. To umožňuje vytvárať vysoko špecializované modely doladené na konkrétnu úlohu alebo oblasť. Príkladmi sú generovanie kódu, matematické operácie alebo biológia.
Náklady – Cena za token pri používaní a nasadzovaní týchto modelov je nižšia ako pri proprietárnych modeloch. Pri budovaní generatívnych AI aplikácií je dôležité zvážiť pomer výkon/cena pre váš konkrétny prípad použitia.
Zdroj: Artificial Analysis
Flexibilita – Práca s open modelmi vám umožňuje byť flexibilný pri používaní rôznych modelov alebo ich kombinovaní. Príkladom sú HuggingChat asistenti, kde si používateľ môže priamo v používateľskom rozhraní vybrať model:
LLama2, vyvinutý spoločnosťou Meta, je open model optimalizovaný pre chatové aplikácie. Je to vďaka jeho metóde doladenia, ktorá zahŕňala veľké množstvo dialógov a spätnú väzbu od ľudí. Vďaka tomu model generuje výsledky viac zodpovedajúce ľudským očakávaniam, čo zlepšuje používateľský zážitok.
Medzi doladené verzie Llama patria napríklad Japanese Llama, špecializovaný na japončinu, a Llama Pro, vylepšená verzia základného modelu.
Mistral je open model so silným zameraním na vysoký výkon a efektivitu. Používa prístup Mixture-of-Experts, ktorý kombinuje skupinu špecializovaných expertných modelov do jedného systému, kde podľa vstupu sú vybrané určité modely na spracovanie. To robí výpočty efektívnejšími, pretože modely riešia len tie vstupy, na ktoré sú špecializované.
Medzi doladené verzie Mistral patria napríklad BioMistral, zameraný na medicínsku oblasť, a OpenMath Mistral, ktorý vykonáva matematické výpočty.
Falcon je LLM vytvorený Technology Innovation Institute (TII). Falcon-40B bol trénovaný na 40 miliardách parametrov a preukázal lepší výkon ako GPT-3 pri nižšom výpočtovom rozpočte. Je to vďaka použitiu algoritmu FlashAttention a multiquery attention, ktoré znižujú požiadavky na pamäť počas inferencie. Vďaka skrátenému času inferencie je Falcon-40B vhodný pre chatové aplikácie.
Medzi doladené verzie Falcon patria OpenAssistant, asistent postavený na open modeloch, a GPT4ALL, ktorý dosahuje vyšší výkon než základný model.
Neexistuje jednoznačná odpoveď na výber open modelu. Dobré miesto na začiatok je použiť filter podľa úlohy v Azure AI Studio. Pomôže vám to pochopiť, na aké typy úloh bol model trénovaný. Hugging Face tiež udržiava LLM Leaderboard, ktorý zobrazuje najvýkonnejšie modely podľa určitých metrík.
Ak chcete porovnávať LLM naprieč rôznymi typmi, Artificial Analysis je ďalší skvelý zdroj:
Zdroj: Artificial Analysis
Pri práci na konkrétnom prípade použitia môže byť efektívne hľadať doladené verzie zamerané na rovnakú oblasť. Experimentovanie s viacerými open modelmi, aby ste videli, ako sa správajú podľa vašich a používateľských očakávaní, je tiež dobrá prax.
Najlepšie na open modeloch je, že s nimi môžete začať pracovať veľmi rýchlo. Pozrite si Azure AI Studio Model Catalog, ktorý obsahuje špecifickú kolekciu Hugging Face s modelmi, o ktorých sme tu hovorili.
Po dokončení tejto lekcie si pozrite našu Generative AI Learning collection, aby ste naďalej rozvíjali svoje znalosti v oblasti generatívnej AI!
Zrieknutie sa zodpovednosti:
Tento dokument bol preložený pomocou AI prekladateľskej služby Co-op Translator. Aj keď sa snažíme o presnosť, prosím, majte na pamäti, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.