Una domanda importante per tutte le applicazioni di AI è la rilevanza delle funzionalità di AI, poiché l'AI è un campo in rapida evoluzione. Per garantire che la tua applicazione rimanga rilevante, affidabile e robusta, è necessario monitorarla, valutarla e migliorarla continuamente. Ed è qui che entra in gioco il ciclo di vita dell'AI generativa.
Il ciclo di vita dell'AI generativa è un framework che ti guida attraverso le fasi di sviluppo, distribuzione e manutenzione di un'applicazione di AI generativa. Ti aiuta a definire i tuoi obiettivi, misurare le prestazioni, identificare le sfide e implementare le soluzioni. Inoltre, ti consente di allineare la tua applicazione agli standard etici e legali del tuo settore e dei tuoi stakeholder. Seguendo il ciclo di vita dell'AI generativa, puoi garantire che la tua applicazione continui a fornire valore e soddisfare gli utenti.
In questo capitolo, imparerai:
- A comprendere il cambiamento di paradigma da MLOps a LLMOps
- Il ciclo di vita degli LLM
- Strumenti per il ciclo di vita
- Metriche e valutazione del ciclo di vita
Gli LLM sono un nuovo strumento nell'arsenale dell'Intelligenza Artificiale, estremamente potenti per compiti di analisi e generazione nelle applicazioni. Tuttavia, questa potenza comporta alcune conseguenze su come ottimizziamo le attività di AI e Machine Learning classico.
Per questo motivo, abbiamo bisogno di un nuovo paradigma per adattare questo strumento in modo dinamico, con gli incentivi corretti. Possiamo categorizzare le vecchie applicazioni di AI come "App ML" e le nuove applicazioni di AI come "App GenAI" o semplicemente "App AI", riflettendo la tecnologia e le tecniche principali utilizzate al momento. Questo cambia la nostra narrativa in diversi modi, guarda il seguente confronto.
Nota che in LLMOps ci concentriamo maggiormente sugli sviluppatori di applicazioni, utilizzando le integrazioni come punto chiave, sfruttando "Modelli come Servizio" e considerando i seguenti punti per le metriche:
- Qualità: Qualità delle risposte
- Danno: AI responsabile
- Onestà: Fondamento delle risposte (Ha senso? È corretto?)
- Costo: Budget della soluzione
- Latenza: Tempo medio di risposta per token
Per prima cosa, per comprendere il ciclo di vita e le modifiche, osserviamo la seguente infografica.
Come puoi notare, questo è diverso dai cicli di vita usuali di MLOps. Gli LLM hanno molte nuove esigenze, come il Prompting, tecniche diverse per migliorare la qualità (Fine-Tuning, RAG, Meta-Prompts), valutazioni e responsabilità con AI responsabile, e infine nuove metriche di valutazione (Qualità, Danno, Onestà, Costo e Latenza).
Ad esempio, osserva come ideiamo. Utilizzando l'ingegneria dei prompt per sperimentare con vari LLM e esplorare possibilità per testare se le loro ipotesi potrebbero essere corrette.
Nota che questo non è lineare, ma costituito da cicli integrati, iterativi e con un ciclo generale.
Come possiamo esplorare questi passaggi? Approfondiamo i dettagli su come costruire un ciclo di vita.
Questo potrebbe sembrare un po' complicato, concentriamoci prima sui tre grandi passaggi.
- Ideazione/Esplorazione: Esplorazione, qui possiamo esplorare in base alle esigenze aziendali. Prototipazione, creazione di un PromptFlow e testare se è abbastanza efficiente per la nostra ipotesi.
- Costruzione/Aumento: Implementazione, ora iniziamo a valutare per dataset più grandi, implementando tecniche come Fine-Tuning e RAG, per verificare la robustezza della nostra soluzione. Se non funziona, reimplementare, aggiungere nuovi passaggi nel nostro flusso o ristrutturare i dati potrebbe aiutare. Dopo aver testato il nostro flusso e la nostra scala, se funziona e verifica le nostre metriche, è pronto per il passaggio successivo.
- Operativizzazione: Integrazione, ora aggiungendo sistemi di monitoraggio e avvisi al nostro sistema, distribuzione e integrazione dell'applicazione alla nostra applicazione.
Poi, abbiamo il ciclo generale di gestione, concentrandoci su sicurezza, conformità e governance.
Congratulazioni, ora la tua App AI è pronta per essere operativa. Per un'esperienza pratica, dai un'occhiata alla Demo Contoso Chat.
Ora, quali strumenti possiamo utilizzare?
Per gli strumenti, Microsoft offre la Piattaforma Azure AI e PromptFlow per facilitare e rendere il tuo ciclo facile da implementare e pronto all'uso.
La Piattaforma Azure AI ti consente di utilizzare AI Studio. AI Studio è un portale web che ti permette di esplorare modelli, esempi e strumenti. Gestire le tue risorse, flussi di sviluppo UI e opzioni SDK/CLI per lo sviluppo orientato al codice.
Azure AI ti consente di utilizzare molte risorse per gestire le tue operazioni, servizi, progetti, ricerca vettoriale e esigenze di database.
Costruisci, dal Proof-of-Concept (POC) fino ad applicazioni su larga scala con PromptFlow:
- Progetta e costruisci app da VS Code, con strumenti visivi e funzionali
- Testa e perfeziona le tue app per una AI di qualità, con facilità.
- Usa Azure AI Studio per integrare e iterare con il cloud, pubblica e distribuisci per una rapida integrazione.
Fantastico, ora scopri di più su come strutturiamo un'applicazione per utilizzare i concetti con l'App Contoso Chat, per vedere come Cloud Advocacy integra questi concetti nelle dimostrazioni. Per ulteriori contenuti, dai un'occhiata alla nostra sessione breakout di Ignite!
Ora, consulta la Lezione 15 per comprendere come Retrieval Augmented Generation e i database vettoriali influenzano l'AI generativa e rendono le applicazioni più coinvolgenti!
Disclaimer:
Questo documento è stato tradotto utilizzando il servizio di traduzione AI Co-op Translator. Sebbene ci impegniamo per garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione.