Il mondo degli LLM open source è entusiasmante e in continua evoluzione. Questa lezione mira a fornire uno sguardo approfondito sui modelli open source. Se stai cercando informazioni su come i modelli proprietari si confrontano con quelli open source, vai alla lezione "Esplorare e Confrontare i Diversi LLM". Questa lezione tratterà anche il tema del fine-tuning, ma una spiegazione più dettagliata può essere trovata nella lezione "Fine-Tuning degli LLM".
- Comprendere i modelli open source
- Capire i vantaggi di lavorare con modelli open source
- Esplorare i modelli open disponibili su Hugging Face e Azure AI Studio
Il software open source ha giocato un ruolo cruciale nella crescita della tecnologia in vari campi. L'Open Source Initiative (OSI) ha definito 10 criteri per il software per essere classificato come open source. Il codice sorgente deve essere condiviso apertamente sotto una licenza approvata dall'OSI.
Sebbene lo sviluppo degli LLM abbia elementi simili allo sviluppo del software, il processo non è esattamente lo stesso. Questo ha portato a molte discussioni nella comunità sulla definizione di open source nel contesto degli LLM. Perché un modello sia allineato alla definizione tradizionale di open source, le seguenti informazioni dovrebbero essere pubblicamente disponibili:
- Dataset utilizzati per addestrare il modello.
- Pesi completi del modello come parte dell'addestramento.
- Codice di valutazione.
- Codice di fine-tuning.
- Pesi completi del modello e metriche di addestramento.
Attualmente ci sono solo pochi modelli che soddisfano questi criteri. Il modello OLMo creato dall'Allen Institute for Artificial Intelligence (AllenAI) è uno di quelli che rientrano in questa categoria.
Per questa lezione, ci riferiremo ai modelli come "modelli open" da qui in avanti, poiché potrebbero non soddisfare i criteri sopra indicati al momento della stesura.
Altamente Personalizzabili - Poiché i modelli open vengono rilasciati con informazioni dettagliate sull'addestramento, ricercatori e sviluppatori possono modificare gli aspetti interni del modello. Questo consente la creazione di modelli altamente specializzati che sono ottimizzati per un compito o un'area di studio specifica. Alcuni esempi includono generazione di codice, operazioni matematiche e biologia.
Costo - Il costo per token per l'utilizzo e il deployment di questi modelli è inferiore rispetto ai modelli proprietari. Quando si costruiscono applicazioni di Generative AI, è importante valutare le prestazioni rispetto al prezzo in base al proprio caso d'uso.
Fonte: Artificial Analysis
Flessibilità - Lavorare con modelli open consente di essere flessibili nell'utilizzo di modelli diversi o nella loro combinazione. Un esempio è il HuggingChat Assistants, dove l'utente può selezionare il modello utilizzato direttamente nell'interfaccia utente:
LLama2, sviluppato da Meta, è un modello open ottimizzato per applicazioni basate su chat. Questo grazie al metodo di fine-tuning, che ha incluso una grande quantità di dialoghi e feedback umano. Con questo metodo, il modello produce risultati più allineati alle aspettative umane, offrendo una migliore esperienza utente.
Alcuni esempi di versioni ottimizzate di Llama includono Japanese Llama, specializzato in giapponese, e Llama Pro, una versione migliorata del modello base.
Mistral è un modello open con un forte focus su alte prestazioni ed efficienza. Utilizza l'approccio Mixture-of-Experts, che combina un gruppo di modelli esperti specializzati in un unico sistema, dove a seconda dell'input vengono selezionati determinati modelli da utilizzare. Questo rende il calcolo più efficace, poiché i modelli affrontano solo gli input per cui sono specializzati.
Alcuni esempi di versioni ottimizzate di Mistral includono BioMistral, focalizzato sul dominio medico, e OpenMath Mistral, che esegue calcoli matematici.
Falcon è un LLM creato dal Technology Innovation Institute (TII). Il Falcon-40B è stato addestrato su 40 miliardi di parametri, dimostrando di avere prestazioni migliori rispetto a GPT-3 con un budget computazionale inferiore. Questo grazie all'algoritmo FlashAttention e all'attenzione multiquery, che riducono i requisiti di memoria durante il tempo di inferenza. Con questo tempo di inferenza ridotto, il Falcon-40B è adatto per applicazioni di chat.
Alcuni esempi di versioni ottimizzate di Falcon sono OpenAssistant, un assistente basato su modelli open, e GPT4ALL, che offre prestazioni superiori rispetto al modello base.
Non esiste una risposta unica per scegliere un modello open. Un buon punto di partenza è utilizzare la funzione di filtro per compiti di Azure AI Studio. Questo ti aiuterà a capire quali tipi di compiti il modello è stato addestrato a svolgere. Hugging Face mantiene anche una LLM Leaderboard che mostra i modelli con le migliori prestazioni basate su determinati parametri.
Quando si cerca di confrontare gli LLM tra i diversi tipi, Artificial Analysis è un'altra ottima risorsa:
Fonte: Artificial Analysis
Se stai lavorando su un caso d'uso specifico, cercare versioni ottimizzate focalizzate sulla stessa area può essere efficace. Sperimentare con più modelli open per vedere come si comportano rispetto alle tue aspettative e a quelle degli utenti è un'altra buona pratica.
La parte migliore dei modelli open è che puoi iniziare a lavorarci rapidamente. Dai un'occhiata al Catalogo Modelli di Azure AI Foundry, che presenta una collezione specifica di Hugging Face con i modelli discussi qui.
Dopo aver completato questa lezione, dai un'occhiata alla nostra collezione di apprendimento sull'AI Generativa per continuare a migliorare le tue conoscenze sull'AI Generativa!
Disclaimer:
Questo documento è stato tradotto utilizzando il servizio di traduzione AI Co-op Translator. Sebbene ci impegniamo per garantire l'accuratezza, si prega di notare che le traduzioni automatiche potrebbero contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione.