A nyílt forráskódú LLM-ek világa izgalmas és folyamatosan fejlődik. Ez a lecke célja, hogy részletes betekintést nyújtson a nyílt forráskódú modellek világába. Ha arra keresel információt, hogy a zárt forráskódú modellek hogyan viszonyulnak a nyílt forráskódú modellekhez, látogass el az "Különböző LLM-ek felfedezése és összehasonlítása" leckéhez. Ez a lecke a finomhangolás témáját is érinti, de részletesebb magyarázatot a "LLM-ek finomhangolása" leckében találhatsz.
- Megérteni a nyílt forráskódú modelleket
- Megérteni a nyílt forráskódú modellekkel való munka előnyeit
- Felfedezni a Hugging Face és az Azure AI Studio által kínált nyílt modelleket
A nyílt forráskódú szoftverek kulcsszerepet játszottak a technológia fejlődésében különböző területeken. Az Open Source Initiative (OSI) 10 kritériumot határozott meg annak érdekében, hogy egy szoftver nyílt forráskódúnak minősüljön. A forráskódot nyíltan kell megosztani az OSI által jóváhagyott licenc alatt.
Bár az LLM-ek fejlesztése hasonló elemeket tartalmaz, mint a szoftverfejlesztés, a folyamat nem teljesen ugyanaz. Ez sok vitát váltott ki a közösségben arról, hogy mit jelent a nyílt forráskód az LLM-ek kontextusában. Ahhoz, hogy egy modell megfeleljen a nyílt forráskód hagyományos definíciójának, a következő információknak nyilvánosan elérhetőnek kell lenniük:
- Az adathalmazok, amelyeket a modell tanításához használtak.
- A teljes modell súlyai a tanítás részeként.
- Az értékelési kód.
- A finomhangolási kód.
- A teljes modell súlyai és tanítási metrikák.
Jelenleg csak néhány modell felel meg ezeknek a kritériumoknak. Az OLMo modell, amelyet az Allen Institute for Artificial Intelligence (AllenAI) hozott létre, megfelel ennek a kategóriának.
Ebben a leckében a modelleket "nyílt modelleknek" fogjuk nevezni, mivel lehet, hogy nem felelnek meg a fenti kritériumoknak az írás idején.
Magas szintű testreszabhatóság - Mivel a nyílt modellek részletes tanítási információkkal kerülnek kiadásra, a kutatók és fejlesztők módosíthatják a modell belső működését. Ez lehetővé teszi rendkívül specializált modellek létrehozását, amelyek egy adott feladatra vagy tanulmányi területre vannak finomhangolva. Néhány példa erre: kódgenerálás, matematikai műveletek és biológia.
Költség - A tokenenkénti költség ezeknek a modelleknek a használatára és telepítésére alacsonyabb, mint a zárt forráskódú modellek esetében. Generatív AI alkalmazások építésekor érdemes megvizsgálni a teljesítményt és az árat az adott felhasználási eset kapcsán.
Forrás: Artificial Analysis
Rugalmasság - A nyílt modellekkel való munka lehetővé teszi a rugalmasságot különböző modellek használatában vagy kombinálásában. Erre példa a HuggingChat Asszisztensek, ahol a felhasználó közvetlenül az interfészen belül kiválaszthatja a használt modellt:
A LLama2, amelyet a Meta fejlesztett, egy nyílt modell, amelyet chat-alapú alkalmazásokhoz optimalizáltak. Ez a finomhangolási módszerének köszönhető, amely nagy mennyiségű párbeszédet és emberi visszajelzést tartalmazott. Ezzel a módszerrel a modell olyan eredményeket produkál, amelyek jobban megfelelnek az emberi elvárásoknak, így jobb felhasználói élményt nyújtanak.
A Llama finomhangolt verziói közé tartozik például a Japán Llama, amely a japán nyelvre specializálódott, és a Llama Pro, amely a bázismodell továbbfejlesztett verziója.
A Mistral egy nyílt modell, amely nagy teljesítményre és hatékonyságra összpontosít. A Mixture-of-Experts megközelítést alkalmazza, amely egy csoport specializált szakértői modelleket kombinál egy rendszerbe, ahol az inputtól függően bizonyos modellek kerülnek kiválasztásra. Ez hatékonyabbá teszi a számítást, mivel a modellek csak azokra az inputokra reagálnak, amelyekre specializálódtak.
A Mistral finomhangolt verziói közé tartozik például a BioMistral, amely az orvosi területre összpontosít, és az OpenMath Mistral, amely matematikai számításokat végez.
A Falcon egy LLM, amelyet a Technology Innovation Institute (TII) hozott létre. A Falcon-40B-t 40 milliárd paraméteren tanították, ami kevesebb számítási költséggel jobb teljesítményt nyújt, mint a GPT-3. Ez a FlashAttention algoritmus és a multiquery attention használatának köszönhető, amely csökkenti a memóriaigényt az inferencia során. A csökkentett inferencia idővel a Falcon-40B alkalmas chat alkalmazásokhoz.
A Falcon finomhangolt verziói közé tartozik például az OpenAssistant, amely nyílt modellekre épülő asszisztens, és a GPT4ALL, amely magasabb teljesítményt nyújt, mint az alapmodell.
Nincs egyetlen helyes válasz a nyílt modell kiválasztására. Jó kiindulópont lehet az Azure AI Studio feladat szerinti szűrő funkciójának használata. Ez segít megérteni, hogy a modell milyen típusú feladatokra lett betanítva. A Hugging Face egy LLM Leaderboardot is fenntart, amely megmutatja a legjobban teljesítő modelleket bizonyos metrikák alapján.
Ha az LLM-ek különböző típusait szeretnéd összehasonlítani, az Artificial Analysis egy másik remek forrás:
Forrás: Artificial Analysis
Ha egy adott felhasználási eseten dolgozol, érdemes keresni olyan finomhangolt verziókat, amelyek ugyanarra a területre összpontosítanak. Több nyílt modell kipróbálása, hogy lássuk, hogyan teljesítenek a saját és a felhasználók elvárásai szerint, szintén jó gyakorlat.
A nyílt modellek legjobb része, hogy gyorsan elkezdhetsz velük dolgozni. Nézd meg az Azure AI Foundry Model Catalog oldalt, amely egy speciális Hugging Face gyűjteményt tartalmaz az itt tárgyalt modellekkel.
A lecke befejezése után nézd meg a Generative AI Learning gyűjteményünket, hogy tovább fejleszd a Generatív AI-val kapcsolatos tudásodat!
Felelősség kizárása:
Ez a dokumentum az Co-op Translator AI fordítási szolgáltatás segítségével lett lefordítva. Bár törekszünk a pontosságra, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az eredeti nyelvén tekintendő hiteles forrásnak. Kritikus információk esetén javasolt professzionális emberi fordítást igénybe venni. Nem vállalunk felelősséget semmilyen félreértésért vagy téves értelmezésért, amely a fordítás használatából eredhet.