Svet open-source LLM je vzrušujúci a neustále sa vyvíja. Táto lekcia si kladie za cieľ poskytnúť podrobný pohľad na open-source modely. Ak hľadáte informácie o porovnaní proprietárnych modelov s open-source modelmi, prejdite na lekciu "Preskúmanie a porovnanie rôznych LLM". Táto lekcia sa tiež zaoberá témou doladenia, ale podrobnejšie vysvetlenie nájdete v lekcii "Doladenie LLM".
- Získať pochopenie open-source modelov
- Porozumieť výhodám práce s open-source modelmi
- Preskúmať dostupné open-source modely na Hugging Face a Azure AI Studio
Open-source softvér zohral kľúčovú úlohu v rozvoji technológií v rôznych oblastiach. Open Source Initiative (OSI) definovala 10 kritérií pre softvér, aby mohol byť klasifikovaný ako open-source. Zdrojový kód musí byť otvorene zdieľaný pod licenciou schválenou OSI.
Aj keď vývoj LLM má podobné prvky ako vývoj softvéru, proces nie je úplne rovnaký. To vyvolalo veľa diskusií v komunite o definícii open-source v kontexte LLM. Aby model zodpovedal tradičnej definícii open-source, mali by byť verejne dostupné nasledujúce informácie:
- Dátové súbory použité na trénovanie modelu.
- Plné váhy modelu ako súčasť tréningu.
- Kód na vyhodnotenie.
- Kód na doladenie.
- Plné váhy modelu a metriky tréningu.
V súčasnosti existuje len niekoľko modelov, ktoré spĺňajú tieto kritériá. Model OLMo vytvorený Allen Institute for Artificial Intelligence (AllenAI) je jedným z nich.
Pre túto lekciu budeme ďalej označovať modely ako "open modely", pretože v čase písania nemusia spĺňať vyššie uvedené kritériá.
Vysoká prispôsobiteľnosť - Keďže open modely sú vydané s podrobnými informáciami o tréningu, výskumníci a vývojári môžu upravovať vnútorné časti modelu. To umožňuje vytváranie vysoko špecializovaných modelov, ktoré sú doladené na konkrétnu úlohu alebo oblasť štúdia. Niektoré príklady zahŕňajú generovanie kódu, matematické operácie a biológiu.
Náklady - Náklady na token pri používaní a nasadzovaní týchto modelov sú nižšie ako pri proprietárnych modeloch. Pri budovaní aplikácií generatívnej AI by sa mala vykonať analýza výkonu vs. cena pri práci s týmito modelmi na vašom prípade použitia.
Zdroj: Artificial Analysis
Flexibilita - Práca s open modelmi umožňuje flexibilitu pri používaní rôznych modelov alebo ich kombinovaní. Príkladom je HuggingChat Assistants, kde si používateľ môže priamo v rozhraní vybrať model, ktorý sa používa:
LLama2, vyvinutý spoločnosťou Meta, je open model optimalizovaný pre aplikácie založené na chate. Je to vďaka metóde doladenia, ktorá zahŕňala veľké množstvo dialógov a ľudskej spätnej väzby. Táto metóda umožňuje modelu produkovať výsledky, ktoré sú viac v súlade s očakávaniami ľudí, čo poskytuje lepší používateľský zážitok.
Niektoré príklady doladených verzií Llama zahŕňajú Japanese Llama, ktorý sa špecializuje na japončinu, a Llama Pro, ktorý je vylepšenou verziou základného modelu.
Mistral je open model so silným zameraním na vysoký výkon a efektivitu. Používa prístup Mixture-of-Experts, ktorý kombinuje skupinu špecializovaných expertov do jedného systému, kde sa v závislosti od vstupu vyberajú určité modely na použitie. To robí výpočty efektívnejšími, pretože modely sa zaoberajú iba vstupmi, na ktoré sú špecializované.
Niektoré príklady doladených verzií Mistral zahŕňajú BioMistral, ktorý sa zameriava na medicínsku oblasť, a OpenMath Mistral, ktorý vykonáva matematické výpočty.
Falcon je LLM vytvorený Technology Innovation Institute (TII). Falcon-40B bol trénovaný na 40 miliardách parametrov, čo sa ukázalo ako lepšie ako GPT-3 s menším výpočtovým rozpočtom. Je to vďaka použitiu algoritmu FlashAttention a multiquery attention, ktoré umožňujú znížiť požiadavky na pamäť počas inferencie. S týmto zníženým časom inferencie je Falcon-40B vhodný pre aplikácie založené na chate.
Niektoré príklady doladených verzií Falcon zahŕňajú OpenAssistant, asistenta postaveného na open modeloch, a GPT4ALL, ktorý poskytuje vyšší výkon ako základný model.
Neexistuje jednoznačná odpoveď na výber open modelu. Dobré miesto na začiatok je použitie funkcie filtrovania podľa úlohy v Azure AI Studio. To vám pomôže pochopiť, na aké typy úloh bol model trénovaný. Hugging Face tiež udržiava LLM Leaderboard, ktorý vám ukáže najlepšie výkonné modely na základe určitých metrík.
Pri porovnávaní LLM naprieč rôznymi typmi je ďalším skvelým zdrojom Artificial Analysis:
Zdroj: Artificial Analysis
Ak pracujete na konkrétnom prípade použitia, hľadanie doladených verzií zameraných na rovnakú oblasť môže byť efektívne. Experimentovanie s viacerými open modelmi, aby ste videli, ako sa správajú podľa vašich očakávaní a očakávaní vašich používateľov, je ďalšou dobrou praxou.
Najlepšia časť o open modeloch je, že s nimi môžete začať pracovať pomerne rýchlo. Pozrite si Azure AI Foundry Model Catalog, ktorý obsahuje špecifickú kolekciu Hugging Face s modelmi, o ktorých sme tu diskutovali.
Po dokončení tejto lekcie si pozrite našu Generative AI Learning collection, aby ste pokračovali v rozširovaní svojich znalostí o generatívnej AI!
Upozornenie:
Tento dokument bol preložený pomocou služby AI prekladu Co-op Translator. Hoci sa snažíme o presnosť, prosím, berte na vedomie, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho pôvodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.