Avatud lähtekoodiga LLM-ide maailm on põnev ja pidevas arengus. Selle õppetunni eesmärk on anda põhjalik ülevaade avatud lähtekoodiga mudelitest. Kui otsite teavet selle kohta, kuidas omandatud mudelid võrreldavad avatud lähtekoodiga mudelitega, minge õppetunnile "Erinevate LLM-ide uurimine ja võrdlemine". See õppetund käsitleb ka peenhäälestamist, kuid põhjalikumat selgitust leiate õppetunnist "LLM-ide peenhäälestamine".
- Saada arusaam avatud lähtekoodiga mudelitest
- Mõista avatud mudelitega töötamise eeliseid
- Uurida Hugging Face’i ja Azure AI Studio avatud mudeleid
Avatud lähtekoodiga tarkvara on mänginud olulist rolli tehnoloogia arengus erinevates valdkondades. Open Source Initiative (OSI) on määratlenud 10 kriteeriumi tarkvarale, et see oleks klassifitseeritud avatud lähtekoodiks. Allikakood peab olema avalikult jagatud OSI poolt heaks kiidetud litsentsi alusel.
Kuigi LLM-ide arendamisel on sarnaseid elemente tarkvara arendamisega, ei ole protsess täpselt sama. See on tekitanud kogukonnas palju arutelusid avatud lähtekoodi definitsiooni üle LLM-ide kontekstis. Selleks, et mudel vastaks traditsioonilisele avatud lähtekoodi definitsioonile, peaks järgmine teave olema avalikult kättesaadav:
- Mudeli treenimiseks kasutatud andmekogud.
- Täielikud mudeli kaalud treeningu osana.
- Hindamiskood.
- Peenhäälestuskood.
- Täielikud mudeli kaalud ja treeningu mõõdikud.
Praegu on vaid mõned mudelid, mis vastavad neile kriteeriumidele. OLMo mudel, mille lõi Allen Institute for Artificial Intelligence (AllenAI) sobib sellesse kategooriasse.
Selles õppetunnis nimetame mudeleid edaspidi "avatud mudeliteks", kuna need ei pruugi kirjutamise ajal kõiki ülaltoodud kriteeriume täita.
Väga kohandatav – Kuna avatud mudelid avaldatakse koos üksikasjaliku treeningteabega, saavad teadlased ja arendajad mudeli sisemust muuta. See võimaldab luua väga spetsialiseeritud mudeleid, mis on peenhäälestatud konkreetse ülesande või uurimisvaldkonna jaoks. Mõned näited on koodi genereerimine, matemaatilised operatsioonid ja bioloogia.
Kulu – Nende mudelite kasutamise ja juurutamise tokeni hind on madalam kui omandatud mudelitel. Generatiivsete tehisintellekti rakenduste loomisel tuleks hinnata jõudlust ja hinda vastavalt oma kasutusjuhtumile.
Allikas: Artificial Analysis
Paindlikkus – Avatud mudelitega töötamine võimaldab olla paindlik erinevate mudelite kasutamisel või nende kombineerimisel. Näiteks HuggingChat Assistants, kus kasutaja saab kasutajaliideses otse valida kasutatava mudeli:
LLama2, mille arendas Meta, on avatud mudel, mis on optimeeritud vestluspõhiste rakenduste jaoks. See tuleneb selle peenhäälestusmeetodist, mis sisaldas suures koguses dialoogi ja inimtagasisidet. Selle meetodiga toodab mudel rohkem tulemusi, mis vastavad inimeste ootustele, pakkudes paremat kasutajakogemust.
Mõned näited Llama peenhäälestatud versioonidest on Jaapani Llama, mis on spetsialiseerunud jaapani keelele, ja Llama Pro, mis on baasmudeli täiustatud versioon.
Mistral on avatud mudel, mis keskendub tugevalt kõrgele jõudlusele ja efektiivsusele. See kasutab Mixture-of-Experts lähenemist, mis ühendab spetsialiseerunud ekspertmudelite grupi üheks süsteemiks, kus sisendi põhjal valitakse kasutamiseks teatud mudelid. See muudab arvutuse tõhusamaks, kuna mudelid töötlevad ainult neid sisendeid, millele nad on spetsialiseerunud.
Mõned näited Mistrali peenhäälestatud versioonidest on BioMistral, mis keskendub meditsiinivaldkonnale, ja OpenMath Mistral, mis teostab matemaatilisi arvutusi.
Falcon on LLM, mille lõi Technology Innovation Institute (TII). Falcon-40B treeniti 40 miljardi parameetriga, mis on näidanud paremat jõudlust kui GPT-3 väiksema arvutusressursi kuluga. See tuleneb FlashAttention algoritmi ja multiquery tähelepanu kasutamisest, mis vähendab mälunõudeid järeldusajal. Tänu lühemale järeldusajale sobib Falcon-40B vestlusrakendusteks.
Mõned näited Falconi peenhäälestatud versioonidest on OpenAssistant, avatud mudelitele ehitatud assistent, ja GPT4ALL, mis pakub baasmudelist kõrgemat jõudlust.
Avatud mudeli valimiseks ei ole ühtset vastust. Hea koht alustamiseks on Azure AI Studio ülesandepõhine filtreerimisfunktsioon. See aitab mõista, milliste ülesannetega mudelit on treenitud. Hugging Face haldab ka LLM-i edetabelit, mis näitab parimaid mudeleid teatud mõõdikute põhjal.
Kui soovite võrrelda erinevat tüüpi LLM-e, on Artificial Analysis veel üks suurepärane ressurss:
Allikas: Artificial Analysis
Kui töötate konkreetse kasutusjuhtumiga, võib olla tõhus otsida sama valdkonna peenhäälestatud versioone. Samuti on hea tava katsetada mitut avatud mudelit, et näha, kuidas need vastavad teie ja teie kasutajate ootustele.
Avatud mudelite parim osa on see, et nendega saab üsna kiiresti tööle hakata. Vaadake Azure AI Foundry mudelikataloogi, mis sisaldab spetsiaalset Hugging Face’i kollektsiooni nende siin käsitletud mudelitega.
Pärast selle õppetunni lõpetamist vaadake meie Generatiivse tehisintellekti õppimise kollektsiooni, et jätkata oma generatiivse tehisintellekti teadmiste taseme tõstmist!
Vastutusest loobumine: See dokument on tõlgitud kasutades tehisintellektil põhinevat tõlketeenust Co-op Translator. Kuigi püüame tagada täpsust, palun arvestage, et automaatsed tõlked võivad sisaldada vigu või ebatäpsusi. Originaaldokument selle emakeeles tuleks pidada autoriteetseks allikaks. Olulise teabe puhul soovitatakse kasutada professionaalset inimtõlget. Me ei vastuta selle tõlke kasutamisest tulenevate arusaamatuste või valesti mõistmiste eest.