Verden af open source LLM'er er spændende og konstant i udvikling. Denne lektion har til formål at give et dybdegående kig på open source-modeller. Hvis du leder efter information om, hvordan proprietære modeller sammenlignes med open source-modeller, kan du gå til lektionen "Udforskning og Sammenligning af Forskellige LLM'er". Denne lektion vil også berøre emnet finjustering, men en mere detaljeret forklaring kan findes i lektionen "Finjustering af LLM'er".
- Få en forståelse af open source-modeller
- Forstå fordelene ved at arbejde med open source-modeller
- Udforske de åbne modeller, der er tilgængelige på Hugging Face og Azure AI Studio
Open source-software har spillet en afgørende rolle i teknologiens vækst på tværs af forskellige områder. Open Source Initiative (OSI) har defineret 10 kriterier for software for at blive klassificeret som open source. Kildekoden skal deles åbent under en licens godkendt af OSI.
Selvom udviklingen af LLM'er har lignende elementer som udvikling af software, er processen ikke helt den samme. Dette har skabt meget diskussion i fællesskabet om definitionen af open source i konteksten af LLM'er. For at en model kan være i overensstemmelse med den traditionelle definition af open source, bør følgende information være offentligt tilgængelig:
- Datasæt brugt til at træne modellen.
- Fulde modelvægte som en del af træningen.
- Evalueringskode.
- Finjusteringskode.
- Fulde modelvægte og træningsmetrikker.
Der er i øjeblikket kun få modeller, der opfylder disse kriterier. OLMo-modellen skabt af Allen Institute for Artificial Intelligence (AllenAI) er en af dem, der passer til denne kategori.
I denne lektion vil vi fremover referere til modellerne som "åbne modeller", da de muligvis ikke opfylder ovenstående kriterier på tidspunktet for skrivningen.
Høj grad af tilpasning - Da åbne modeller frigives med detaljeret træningsinformation, kan forskere og udviklere ændre modellens interne funktioner. Dette muliggør skabelsen af meget specialiserede modeller, der er finjusteret til en specifik opgave eller studieområde. Nogle eksempler på dette er kodegenerering, matematiske operationer og biologi.
Omkostninger - Omkostningerne pr. token for brug og implementering af disse modeller er lavere end for proprietære modeller. Når man bygger Generative AI-applikationer, bør man overveje ydeevne kontra pris, når man arbejder med disse modeller til ens brugsscenarie.
Kilde: Artificial Analysis
Fleksibilitet - Arbejde med åbne modeller giver dig fleksibilitet i forhold til at bruge forskellige modeller eller kombinere dem. Et eksempel på dette er HuggingChat Assistants, hvor en bruger kan vælge den model, der bruges direkte i brugergrænsefladen:
LLama2, udviklet af Meta, er en åben model, der er optimeret til chatbaserede applikationer. Dette skyldes dens finjusteringsmetode, som inkluderede en stor mængde dialog og menneskelig feedback. Med denne metode producerer modellen flere resultater, der er i overensstemmelse med menneskelige forventninger, hvilket giver en bedre brugeroplevelse.
Nogle eksempler på finjusterede versioner af Llama inkluderer Japanese Llama, der specialiserer sig i japansk, og Llama Pro, som er en forbedret version af basismodellen.
Mistral er en åben model med stærkt fokus på høj ydeevne og effektivitet. Den bruger Mixture-of-Experts-tilgangen, som kombinerer en gruppe af specialiserede ekspertmodeller i ét system, hvor afhængigt af input vælges visse modeller til brug. Dette gør beregningen mere effektiv, da modeller kun adresserer de inputs, de er specialiserede i.
Nogle eksempler på finjusterede versioner af Mistral inkluderer BioMistral, der fokuserer på det medicinske område, og OpenMath Mistral, der udfører matematiske beregninger.
Falcon er en LLM skabt af Technology Innovation Institute (TII). Falcon-40B blev trænet på 40 milliarder parametre, hvilket har vist sig at præstere bedre end GPT-3 med mindre beregningsbudget. Dette skyldes dens brug af FlashAttention-algoritmen og multiquery attention, der gør det muligt at reducere hukommelseskravene ved inferenstid. Med denne reducerede inferenstid er Falcon-40B velegnet til chatapplikationer.
Nogle eksempler på finjusterede versioner af Falcon er OpenAssistant, en assistent bygget på åbne modeller, og GPT4ALL, der leverer højere ydeevne end basismodellen.
Der er ikke ét svar på, hvordan man vælger en åben model. Et godt sted at starte er ved at bruge Azure AI Studios filter efter opgave-funktion. Dette vil hjælpe dig med at forstå, hvilke typer opgaver modellen er blevet trænet til. Hugging Face opretholder også en LLM Leaderboard, der viser de bedst præsterende modeller baseret på visse metrikker.
Når man ønsker at sammenligne LLM'er på tværs af de forskellige typer, er Artificial Analysis en anden fantastisk ressource:
Kilde: Artificial Analysis
Hvis du arbejder på et specifikt brugsscenarie, kan det være effektivt at søge efter finjusterede versioner, der fokuserer på det samme område. At eksperimentere med flere åbne modeller for at se, hvordan de præsterer i forhold til dine og dine brugeres forventninger, er en anden god praksis.
Det bedste ved åbne modeller er, at du hurtigt kan komme i gang med at arbejde med dem. Tjek Azure AI Foundry Model Catalog, som har en specifik Hugging Face-samling med de modeller, vi har diskuteret her.
Efter at have gennemført denne lektion, kan du tjekke vores Generative AI Learning collection for at fortsætte med at opbygge din viden om Generative AI!
Ansvarsfraskrivelse:
Dette dokument er blevet oversat ved hjælp af AI-oversættelsestjenesten Co-op Translator. Selvom vi bestræber os på nøjagtighed, skal det bemærkes, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi er ikke ansvarlige for eventuelle misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse.