Lumea LLM-urilor open source este captivantă și în continuă evoluție. Această lecție își propune să ofere o privire detaliată asupra modelelor open source. Dacă dorești informații despre cum se compară modelele proprietare cu cele open source, accesează lecția "Explorarea și compararea diferitelor LLM-uri". De asemenea, această lecție va aborda subiectul fine-tuning-ului, dar o explicație mai detaliată poate fi găsită în lecția "Fine-Tuning LLMs".
- Să înțelegi ce sunt modelele open source
- Să înțelegi beneficiile lucrului cu modele open source
- Să explorezi modelele open disponibile pe Hugging Face și Azure AI Studio
Software-ul open source a jucat un rol esențial în dezvoltarea tehnologiei în diverse domenii. Open Source Initiative (OSI) a definit 10 criterii pentru software pentru a fi clasificat ca open source. Codul sursă trebuie să fie distribuit deschis sub o licență aprobată de OSI.
Deși dezvoltarea LLM-urilor are elemente similare cu dezvoltarea software-ului, procesul nu este identic. Acest lucru a generat multe discuții în comunitate despre definiția open source în contextul LLM-urilor. Pentru ca un model să fie considerat conform definiției tradiționale de open source, următoarele informații ar trebui să fie disponibile public:
- Seturile de date folosite pentru antrenarea modelului
- Greutățile complete ale modelului ca parte a antrenamentului
- Codul de evaluare
- Codul de fine-tuning
- Greutățile complete ale modelului și metricile de antrenament
În prezent, există doar câteva modele care îndeplinesc aceste criterii. Modelul OLMo creat de Allen Institute for Artificial Intelligence (AllenAI) este unul care se încadrează în această categorie.
Pentru această lecție, vom folosi termenul „modele open” pentru a ne referi la aceste modele, deoarece este posibil ca ele să nu respecte toate criteriile de mai sus la momentul scrierii.
Foarte personalizabile – Deoarece modelele open sunt lansate cu informații detaliate despre antrenament, cercetătorii și dezvoltatorii pot modifica structura internă a modelului. Acest lucru permite crearea unor modele foarte specializate, ajustate pentru o anumită sarcină sau domeniu de studiu. Exemple includ generarea de cod, operații matematice și biologie.
Cost – Costul per token pentru utilizarea și implementarea acestor modele este mai mic decât cel al modelelor proprietare. Atunci când construiești aplicații Generative AI, este important să analizezi raportul performanță-preț în funcție de cazul tău de utilizare.
Sursa: Artificial Analysis
Flexibilitate – Lucrul cu modele open îți oferă flexibilitate în utilizarea diferitelor modele sau combinarea lor. Un exemplu este HuggingChat Assistants, unde utilizatorul poate selecta modelul folosit direct din interfața utilizator:
LLama2, dezvoltat de Meta, este un model open optimizat pentru aplicații bazate pe chat. Acest lucru se datorează metodei sale de fine-tuning, care a inclus o cantitate mare de dialog și feedback uman. Prin această metodă, modelul produce rezultate mai aliniate așteptărilor umane, oferind o experiență mai bună utilizatorului.
Unele versiuni fine-tunate ale Llama includ Japanese Llama, specializat pe limba japoneză, și Llama Pro, o versiune îmbunătățită a modelului de bază.
Mistral este un model open axat pe performanță ridicată și eficiență. Folosește abordarea Mixture-of-Experts, care combină un grup de modele specializate într-un singur sistem, unde, în funcție de input, anumite modele sunt selectate pentru a fi utilizate. Aceasta face calculul mai eficient, deoarece modelele procesează doar tipurile de input pentru care sunt specializate.
Unele versiuni fine-tunate ale Mistral includ BioMistral, axat pe domeniul medical, și OpenMath Mistral, care realizează calcule matematice.
Falcon este un LLM creat de Technology Innovation Institute (TII). Falcon-40B a fost antrenat pe 40 de miliarde de parametri și a demonstrat performanțe mai bune decât GPT-3, cu un buget de calcul mai mic. Acest lucru se datorează utilizării algoritmului FlashAttention și a atenției multiquery, care reduc cerințele de memorie în timpul inferenței. Datorită timpului redus de inferență, Falcon-40B este potrivit pentru aplicații de chat.
Unele versiuni fine-tunate ale Falcon sunt OpenAssistant, un asistent construit pe modele open, și GPT4ALL, care oferă performanțe superioare modelului de bază.
Nu există un răspuns unic pentru alegerea unui model open. Un punct bun de plecare este să folosești funcția de filtrare după sarcină din Azure AI Studio. Aceasta te va ajuta să înțelegi pentru ce tipuri de sarcini a fost antrenat modelul. Hugging Face menține, de asemenea, un LLM Leaderboard care arată cele mai performante modele pe baza anumitor metrici.
Pentru a compara LLM-uri din diferite categorii, Artificial Analysis este o resursă excelentă:
Sursa: Artificial Analysis
Dacă lucrezi la un caz specific, căutarea versiunilor fine-tunate axate pe același domeniu poate fi eficientă. Experimentarea cu mai multe modele open pentru a vedea cum performează în funcție de așteptările tale și ale utilizatorilor este o practică recomandată.
Partea cea mai bună la modelele open este că poți începe să lucrezi cu ele destul de rapid. Consultă Catalogul de modele Azure AI Studio, care include o colecție specifică Hugging Face cu modelele discutate aici.
După ce ai terminat această lecție, explorează colecția noastră de Învățare Generative AI pentru a-ți continua dezvoltarea cunoștințelor în Generative AI!
Declinare de responsabilitate:
Acest document a fost tradus folosind serviciul de traducere AI Co-op Translator. Deși ne străduim pentru acuratețe, vă rugăm să rețineți că traducerile automate pot conține erori sau inexactități. Documentul original în limba sa nativă trebuie considerat sursa autorizată. Pentru informații critice, se recomandă traducerea profesională realizată de un specialist uman. Nu ne asumăm răspunderea pentru eventualele neînțelegeri sau interpretări greșite rezultate din utilizarea acestei traduceri.