Ang mundo ng open-source na LLMs ay kapanapanabik at patuloy na nagbabago. Ang araling ito ay naglalayong magbigay ng masusing pagtingin sa open source na mga modelo. Kung naghahanap ka ng impormasyon kung paano ikumpara ang proprietary models sa open source models, pumunta sa araling "Exploring and Comparing Different LLMs". Tatalakayin din sa araling ito ang paksa ng fine-tuning ngunit ang mas detalyadong paliwanag ay matatagpuan sa araling "Fine-Tuning LLMs".
- Magkaroon ng pag-unawa sa open source na mga Modelo
- Pag-unawa sa mga benepisyo ng pagtatrabaho gamit ang open source na mga Modelo
- Pagsusuri sa mga open models na makukuha sa Hugging Face at Azure AI Studio
Ang open source na software ay may mahalagang papel sa paglago ng teknolohiya sa iba't ibang larangan. Ang Open Source Initiative (OSI) ay nagtakda ng 10 pamantayan para sa software upang maituring na open source. Ang source code ay dapat na bukas na ibinahagi sa ilalim ng lisensyang aprubado ng OSI.
Habang ang pag-develop ng LLMs ay may mga katulad na elemento sa pag-develop ng software, ang proseso ay hindi eksaktong pareho. Ito ay nagdala ng maraming talakayan sa komunidad tungkol sa depinisyon ng open source sa konteksto ng LLMs. Para maitugma ang isang modelo sa tradisyonal na depinisyon ng open source, ang sumusunod na impormasyon ay dapat na pampublikong magagamit:
- Mga dataset na ginamit sa pag-train ng modelo.
- Buong model weights bilang bahagi ng pag-train.
- Ang evaluation code.
- Ang fine-tuning code.
- Buong model weights at training metrics.
Sa kasalukuyan, iilan lamang ang mga modelo na tumutugma sa pamantayang ito. Ang OLMo model na ginawa ng Allen Institute for Artificial Intelligence (AllenAI) ay isa na pumapasok sa kategoryang ito.
Para sa araling ito, tatawagin natin ang mga modelo bilang "open models" sa mga susunod na bahagi dahil maaaring hindi sila tumutugma sa pamantayan sa itaas sa oras ng pagsulat.
Lubos na Naiaangkop - Dahil ang open models ay inilalabas na may detalyadong impormasyon sa pag-train, maaaring baguhin ng mga mananaliksik at developer ang loob ng modelo. Ito ay nagbibigay-daan sa paglikha ng mga modelong lubos na espesyal na na-fine-tune para sa isang tiyak na gawain o larangan ng pag-aaral. Ilan sa mga halimbawa nito ay ang pag-generate ng code, mga operasyong matematikal, at biyolohiya.
Gastos - Ang gastos kada token para sa paggamit at pag-deploy ng mga modelong ito ay mas mababa kaysa sa proprietary models. Kapag bumubuo ng Generative AI applications, dapat na isaalang-alang ang performance kumpara sa presyo kapag nagtatrabaho gamit ang mga modelong ito sa iyong kaso ng paggamit.
Kakayahang Umangkop - Ang pagtatrabaho gamit ang open models ay nagbibigay-daan sa iyo na maging flexible sa paggamit ng iba't ibang mga modelo o pagsasama-sama ng mga ito. Isang halimbawa nito ay ang HuggingChat Assistants kung saan maaaring piliin ng isang user ang modelong ginagamit direkta sa user interface.
Ang LLama2, na binuo ng Meta, ay isang open model na na-optimize para sa mga chat-based na aplikasyon. Ito ay dahil sa kanyang fine-tuning na paraan, na kinabibilangan ng malaking dami ng diyalogo at feedback mula sa tao. Sa pamamaraang ito, ang modelo ay naglalabas ng mas maraming resulta na naaayon sa inaasahan ng tao na nagbibigay ng mas mahusay na karanasan sa gumagamit.
Ilan sa mga halimbawa ng fine-tuned na bersyon ng Llama ay ang Japanese Llama, na nagdadalubhasa sa wikang Hapon at Llama Pro, na isang pinahusay na bersyon ng base model.
Ang Mistral ay isang open model na may matinding pokus sa mataas na performance at kahusayan. Gumagamit ito ng Mixture-of-Experts na pamamaraan na pinagsasama ang isang grupo ng mga espesyal na expert models sa isang sistema kung saan depende sa input, ang ilang mga modelo ay pinipili na gamitin. Ito ay ginagawang mas epektibo ang computation dahil ang mga modelo ay tumutugon lamang sa mga input na kanilang ispesyalisasyon.
Ilan sa mga halimbawa ng fine-tuned na bersyon ng Mistral ay ang BioMistral, na nakatuon sa medikal na larangan at OpenMath Mistral, na gumaganap ng mga kalkulasyong matematikal.
Ang Falcon ay isang LLM na ginawa ng Technology Innovation Institute (TII). Ang Falcon-40B ay na-train gamit ang 40 bilyong mga parameter na napatunayang mas mahusay kaysa sa GPT-3 na may mas mababang compute budget. Ito ay dahil sa paggamit nito ng FlashAttention algorithm at multiquery attention na nagpapahintulot dito na mabawasan ang mga pangangailangan sa memorya sa oras ng inference. Sa mas maikling oras ng inference, ang Falcon-40B ay angkop para sa mga chat applications.
Ilan sa mga halimbawa ng fine-tuned na bersyon ng Falcon ay ang OpenAssistant, isang assistant na itinayo sa open models at GPT4ALL, na nagdudulot ng mas mataas na performance kaysa sa base model.
Walang isang sagot para sa pagpili ng open model. Isang magandang simula ay ang paggamit ng Azure AI Studio's filter by task feature. Makakatulong ito sa iyo na maunawaan kung anong mga uri ng gawain ang na-train para sa modelo. Ang Hugging Face ay nagtataglay din ng LLM Leaderboard na nagpapakita ng mga pinakamahusay na gumaganap na modelo batay sa ilang mga sukatan.
Kapag naghahanap na ikumpara ang LLMs sa iba't ibang uri, ang Artificial Analysis ay isa pang mahusay na mapagkukunan.
Kung nagtatrabaho sa isang tiyak na kaso ng paggamit, ang paghahanap ng mga fine-tuned na bersyon na nakatuon sa parehong larangan ay maaaring maging epektibo. Ang pagsubok sa maraming open models upang makita kung paano sila gumaganap ayon sa iyong at ng iyong mga gumagamit na inaasahan ay isa pang magandang kasanayan.
Ang pinakamagandang bahagi tungkol sa open models ay maaari kang magsimula sa pagtatrabaho gamit ang mga ito nang mabilis. Tingnan ang Azure AI Studio Model Catalog, na nagtatampok ng isang tiyak na Hugging Face collection na may mga modelong tinalakay natin dito.
Pagkatapos makumpleto ang araling ito, tingnan ang aming Generative AI Learning collection upang ipagpatuloy ang pag-level up ng iyong kaalaman sa Generative AI!
Paunawa:
Ang dokumentong ito ay isinalin gamit ang AI translation service na Co-op Translator. Habang sinisikap naming maging tama, mangyaring tandaan na ang mga awtomatikong pagsasalin ay maaaring maglaman ng mga pagkakamali o hindi tumpak na impormasyon. Ang orihinal na dokumento sa kanyang katutubong wika ang dapat ituring na mapagkakatiwalaang sanggunian. Para sa kritikal na impormasyon, inirerekomenda ang propesyonal na pagsasaling-wika ng tao. Hindi kami mananagot para sa anumang hindi pagkakaintindihan o maling interpretasyon na dulot ng paggamit ng pagsasaling ito.