De wereld van open-source LLM's is spannend en voortdurend in ontwikkeling. Deze les is bedoeld om een diepgaand inzicht te geven in open-source modellen. Als je op zoek bent naar informatie over hoe propriëtaire modellen zich verhouden tot open-source modellen, ga dan naar de les "Exploring and Comparing Different LLMs". In deze les wordt ook het onderwerp fine-tuning behandeld, maar een meer gedetailleerde uitleg is te vinden in de les "Fine-Tuning LLMs".
- Begrip krijgen van open-source modellen
- Begrijpen van de voordelen van werken met open-source modellen
- Verkennen van de open modellen beschikbaar op Hugging Face en de Azure AI Studio
Open-source software heeft een cruciale rol gespeeld in de groei van technologie in verschillende vakgebieden. De Open Source Initiative (OSI) heeft 10 criteria voor software gedefinieerd om als open source te worden geclassificeerd. De broncode moet openbaar worden gedeeld onder een licentie die is goedgekeurd door de OSI.
Hoewel de ontwikkeling van LLM's vergelijkbare elementen heeft als het ontwikkelen van software, is het proces niet precies hetzelfde. Dit heeft geleid tot veel discussie in de gemeenschap over de definitie van open source in de context van LLM's. Om een model te laten voldoen aan de traditionele definitie van open source, moeten de volgende informatie openbaar beschikbaar zijn:
- Datasets die zijn gebruikt om het model te trainen.
- Volledige modelgewichten als onderdeel van de training.
- De evaluatiecode.
- De fine-tuning code.
- Volledige modelgewichten en trainingsstatistieken.
Er zijn momenteel slechts enkele modellen die aan deze criteria voldoen. Het OLMo-model, gemaakt door het Allen Institute for Artificial Intelligence (AllenAI) past binnen deze categorie.
Voor deze les zullen we de modellen voortaan "open modellen" noemen, aangezien ze mogelijk niet aan bovenstaande criteria voldoen op het moment van schrijven.
Sterk aanpasbaar - Omdat open modellen worden vrijgegeven met gedetailleerde trainingsinformatie, kunnen onderzoekers en ontwikkelaars de interne werking van het model aanpassen. Dit maakt het mogelijk om zeer gespecialiseerde modellen te creëren die zijn afgestemd op een specifieke taak of studiegebied. Enkele voorbeelden hiervan zijn codegeneratie, wiskundige operaties en biologie.
Kosten - De kosten per token voor het gebruik en implementeren van deze modellen zijn lager dan die van propriëtaire modellen. Bij het bouwen van Generative AI-toepassingen moet je de prestaties versus prijs bekijken in relatie tot jouw gebruiksscenario.
Bron: Artificial Analysis
Flexibiliteit - Werken met open modellen biedt flexibiliteit in het gebruik van verschillende modellen of het combineren ervan. Een voorbeeld hiervan is de HuggingChat Assistants, waar een gebruiker het model dat wordt gebruikt direct in de gebruikersinterface kan selecteren:
LLama2, ontwikkeld door Meta, is een open model dat geoptimaliseerd is voor chat-gebaseerde toepassingen. Dit komt door de fine-tuning methode, waarbij een grote hoeveelheid dialogen en menselijke feedback is gebruikt. Met deze methode produceert het model meer resultaten die aansluiten bij menselijke verwachtingen, wat zorgt voor een betere gebruikerservaring.
Enkele voorbeelden van fine-tuned versies van Llama zijn Japanese Llama, die gespecialiseerd is in Japans, en Llama Pro, een verbeterde versie van het basismodel.
Mistral is een open model met een sterke focus op hoge prestaties en efficiëntie. Het maakt gebruik van de Mixture-of-Experts aanpak, waarbij een groep gespecialiseerde expertmodellen wordt gecombineerd in één systeem. Afhankelijk van de input worden bepaalde modellen geselecteerd om te worden gebruikt. Dit maakt de berekening effectiever, omdat modellen alleen de inputs behandelen waarin ze gespecialiseerd zijn.
Enkele voorbeelden van fine-tuned versies van Mistral zijn BioMistral, dat zich richt op het medische domein, en OpenMath Mistral, dat wiskundige berekeningen uitvoert.
Falcon is een LLM gemaakt door het Technology Innovation Institute (TII). De Falcon-40B is getraind op 40 miljard parameters en heeft aangetoond beter te presteren dan GPT-3 met een kleiner compute-budget. Dit komt door het gebruik van het FlashAttention-algoritme en multiquery attention, waardoor het geheugenverbruik tijdens inferentie wordt verminderd. Met deze verkorte inferentietijd is de Falcon-40B geschikt voor chattoepassingen.
Enkele voorbeelden van fine-tuned versies van Falcon zijn de OpenAssistant, een assistent gebouwd op open modellen, en GPT4ALL, die betere prestaties levert dan het basismodel.
Er is geen eenduidig antwoord voor het kiezen van een open model. Een goed startpunt is het gebruik van de filterfunctie op taak in de Azure AI Studio. Dit helpt je te begrijpen voor welke soorten taken het model is getraind. Hugging Face onderhoudt ook een LLM Leaderboard, waarop de best presterende modellen worden weergegeven op basis van bepaalde criteria.
Als je LLM's wilt vergelijken over verschillende typen, is Artificial Analysis een andere geweldige bron:
Bron: Artificial Analysis
Als je werkt aan een specifiek gebruiksscenario, kan het effectief zijn om te zoeken naar fine-tuned versies die zich richten op hetzelfde gebied. Experimenteren met meerdere open modellen om te zien hoe ze presteren volgens jouw en je gebruikers' verwachtingen is ook een goede praktijk.
Het beste aan open modellen is dat je er vrij snel mee aan de slag kunt. Bekijk de Azure AI Foundry Model Catalog, die een specifieke Hugging Face-collectie bevat met de modellen die we hier hebben besproken.
Na het voltooien van deze les, bekijk onze Generative AI Learning collectie om je kennis over Generative AI verder uit te breiden!
Disclaimer:
Dit document is vertaald met behulp van de AI-vertalingsservice Co-op Translator. Hoewel we streven naar nauwkeurigheid, dient u zich ervan bewust te zijn dat geautomatiseerde vertalingen fouten of onnauwkeurigheden kunnen bevatten. Het originele document in de oorspronkelijke taal moet worden beschouwd als de gezaghebbende bron. Voor kritieke informatie wordt professionele menselijke vertaling aanbevolen. Wij zijn niet aansprakelijk voor eventuele misverstanden of verkeerde interpretaties die voortvloeien uit het gebruik van deze vertaling.