A nyílt forráskódú LLM-ek világa izgalmas és folyamatosan fejlődik. Ez a lecke célja, hogy mélyreható betekintést nyújtson a nyílt forráskódú modellekbe. Ha arra keres információt, hogy a zárt forráskódú modellek hogyan viszonyulnak a nyílt forráskódú modellekhez, látogasson el a "Különböző LLM-ek felfedezése és összehasonlítása" leckéhez. Ez a lecke a finomhangolás témáját is érinti, de részletesebb magyarázat található a "LLM-ek finomhangolása" leckében.
- Megérteni a nyílt forráskódú modelleket
- Megérteni a nyílt forráskódú modellekkel való munka előnyeit
- Felfedezni a Hugging Face-en és az Azure AI Studioban elérhető nyílt modelleket
A nyílt forráskódú szoftverek kulcsszerepet játszottak a technológia fejlődésében különböző területeken. Az Open Source Initiative (OSI) meghatározott 10 kritériumot a szoftverek nyílt forráskódú besorolásához. A forráskódot nyíltan kell megosztani egy OSI által jóváhagyott licenc alatt.
Bár az LLM-ek fejlesztése hasonló elemeket tartalmaz, mint a szoftverfejlesztés, a folyamat nem teljesen azonos. Ez sok vitát váltott ki a közösségben az LLM-ek kontextusában a nyílt forráskód definíciójáról. Ahhoz, hogy egy modell megfeleljen a hagyományos nyílt forráskódú definíciónak, a következő információknak nyilvánosan elérhetőnek kell lennie:
- Az adatkészletek, amelyeket a modell betanításához használtak.
- A teljes modell súlyai a betanítás részeként.
- Az értékelő kód.
- A finomhangoló kód.
- A teljes modell súlyai és a betanítási metrikák.
Jelenleg csak néhány modell felel meg ennek a kritériumnak. Az Allen Institute for Artificial Intelligence (AllenAI) által készített OLMo modell egy ilyen kategóriába tartozik.
Ebben a leckében a modelleket a továbbiakban "nyílt modelleknek" fogjuk nevezni, mivel íráskori állapotukban nem feltétlenül felelnek meg a fenti kritériumoknak.
Nagyon testreszabható – Mivel a nyílt modelleket részletes betanítási információkkal adják ki, a kutatók és fejlesztők módosíthatják a modell belső részeit. Ez lehetővé teszi nagyon specializált modellek létrehozását, amelyek egy adott feladatra vagy tanulmányi területre vannak finomhangolva. Példák erre a kódgenerálás, matematikai műveletek és biológia.
Költség – Ezeknek a modelleknek a tokenenkénti használati és telepítési költsége alacsonyabb, mint a zárt forráskódú modelleké. Generatív AI alkalmazások építésekor érdemes figyelembe venni a teljesítmény és ár arányát az adott felhasználási esetben.
Forrás: Artificial Analysis
Rugalmasság – A nyílt modellekkel való munka lehetővé teszi, hogy rugalmas legyen a különböző modellek használatában vagy azok kombinálásában. Erre példa a HuggingChat Asszisztensek, ahol a felhasználó közvetlenül a felhasználói felületen választhatja ki a használt modellt:
A Llama2, amelyet a Meta fejlesztett, egy nyílt modell, amelyet csevegés alapú alkalmazásokhoz optimalizáltak. Ennek oka a finomhangolási módszere, amely nagy mennyiségű párbeszédet és emberi visszajelzést tartalmazott. Ezzel a módszerrel a modell olyan eredményeket produkál, amelyek jobban megfelelnek az emberi elvárásoknak, így jobb felhasználói élményt nyújt.
Néhány finomhangolt Llama verzió például a Japanese Llama, amely a japán nyelvre specializálódott, és a Llama Pro, amely a bázismodell továbbfejlesztett változata.
A Mistral egy nyílt modell, amely erősen a magas teljesítményre és hatékonyságra fókuszál. A Mixture-of-Experts megközelítést alkalmazza, amely egy csoport specializált szakértői modellt egyesít egy rendszerbe, ahol a bemenet alapján bizonyos modelleket választanak ki használatra. Ez hatékonyabbá teszi a számítást, mivel a modellek csak azokra a bemenetekre reagálnak, amelyekben specializáltak.
Néhány finomhangolt Mistral verzió például a BioMistral, amely az orvosi területre fókuszál, és az OpenMath Mistral, amely matematikai számításokat végez.
A Falcon egy LLM, amelyet a Technology Innovation Institute (TII) hozott létre. A Falcon-40B-t 40 milliárd paraméteren képezték, és bizonyítottan jobb teljesítményt nyújt, mint a GPT-3 kevesebb számítási költséggel. Ennek oka a FlashAttention algoritmus és a multiquery attention használata, amely csökkenti a memóriaigényt az inferencia során. Ezzel a csökkentett inferenciaidővel a Falcon-40B alkalmas csevegőalkalmazásokhoz.
Néhány finomhangolt Falcon verzió például az OpenAssistant, egy nyílt modelleken alapuló asszisztens, és a GPT4ALL, amely jobb teljesítményt nyújt, mint az alapmodell.
Nincs egyetlen helyes válasz a nyílt modell kiválasztására. Jó kiindulópont az Azure AI Studio feladat szerinti szűrő funkciójának használata. Ez segít megérteni, hogy milyen típusú feladatokra képezték a modellt. A Hugging Face egy LLM ranglistát is fenntart, amely megmutatja a legjobban teljesítő modelleket bizonyos metrikák alapján.
Ha különböző típusú LLM-eket szeretne összehasonlítani, az Artificial Analysis egy másik nagyszerű forrás:
Forrás: Artificial Analysis
Ha egy adott felhasználási esetre dolgozik, hatékony lehet olyan finomhangolt verziókat keresni, amelyek ugyanarra a területre fókuszálnak. Több nyílt modellel való kísérletezés, hogy lássa, hogyan teljesítenek az Ön és felhasználói elvárásai szerint, szintén jó gyakorlat.
A nyílt modellek legjobb része, hogy viszonylag gyorsan elkezdheti velük a munkát. Nézze meg az Azure AI Foundry Model Catalog gyűjteményt, amely tartalmaz egy speciális Hugging Face kollekciót ezekkel a modellekkel, amelyeket itt tárgyaltunk.
A lecke elvégzése után nézze meg a Generatív AI tanulási gyűjteményünket, hogy tovább fejlessze generatív AI ismereteit!
Jogi nyilatkozat: Ezt a dokumentumot az AI fordító szolgáltatás, a Co-op Translator segítségével fordítottuk le. Bár a pontosságra törekszünk, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az anyanyelvén tekintendő hiteles forrásnak. Fontos információk esetén szakmai, emberi fordítást javaslunk. Nem vállalunk felelősséget a fordítás használatából eredő félreértésekért vagy téves értelmezésekért.