Verden av åpne LLM-er er spennende og stadig i utvikling. Denne leksjonen har som mål å gi en grundig gjennomgang av åpne modeller. Hvis du leter etter informasjon om hvordan proprietære modeller sammenlignes med åpne modeller, gå til leksjonen "Utforske og sammenligne ulike LLM-er". Denne leksjonen vil også dekke temaet finjustering, men en mer detaljert forklaring finnes i leksjonen "Finjustering av LLM-er".
- Få en forståelse av åpne modeller
- Forstå fordelene ved å jobbe med åpne modeller
- Utforske de åpne modellene som er tilgjengelige på Hugging Face og Azure AI Studio
Åpen kildekode har spilt en avgjørende rolle i utviklingen av teknologi på tvers av ulike felt. Open Source Initiative (OSI) har definert 10 kriterier for programvare for å klassifisere den som åpen kildekode. Kildekoden må deles åpent under en lisens godkjent av OSI.
Selv om utviklingen av LLM-er har likhetstrekk med utvikling av programvare, er prosessen ikke helt den samme. Dette har ført til mye diskusjon i samfunnet om definisjonen av åpen kildekode i konteksten av LLM-er. For at en modell skal være i tråd med den tradisjonelle definisjonen av åpen kildekode, bør følgende informasjon være offentlig tilgjengelig:
- Datasett brukt til å trene modellen.
- Fullstendige modellvekter som en del av treningen.
- Evalueringskode.
- Finjusteringskode.
- Fullstendige modellvekter og treningsmetrikker.
Det finnes for øyeblikket bare noen få modeller som oppfyller disse kriteriene. OLMo-modellen laget av Allen Institute for Artificial Intelligence (AllenAI) er en som passer inn i denne kategorien.
For denne leksjonen vil vi referere til modellene som "åpne modeller" fremover, da de kanskje ikke oppfyller kriteriene ovenfor på tidspunktet for skriving.
Høyt tilpassbare - Siden åpne modeller blir utgitt med detaljert treningsinformasjon, kan forskere og utviklere endre modellens interne struktur. Dette muliggjør opprettelsen av svært spesialiserte modeller som er finjustert for en spesifikk oppgave eller studieområde. Noen eksempler på dette er kodegenerering, matematiske operasjoner og biologi.
Kostnad - Kostnaden per token for bruk og distribusjon av disse modellene er lavere enn for proprietære modeller. Når du bygger generative AI-applikasjoner, bør du vurdere ytelse kontra pris når du arbeider med disse modellene for din brukssituasjon.
Kilde: Artificial Analysis
Fleksibilitet - Å jobbe med åpne modeller gir deg fleksibilitet når det gjelder å bruke forskjellige modeller eller kombinere dem. Et eksempel på dette er HuggingChat Assistants, hvor en bruker kan velge modellen som brukes direkte i brukergrensesnittet:
LLama2, utviklet av Meta, er en åpen modell som er optimalisert for chatbaserte applikasjoner. Dette skyldes finjusteringsmetoden, som inkluderte en stor mengde dialog og menneskelig tilbakemelding. Med denne metoden produserer modellen flere resultater som er i tråd med menneskelige forventninger, noe som gir en bedre brukeropplevelse.
Noen eksempler på finjusterte versjoner av Llama inkluderer Japanese Llama, som spesialiserer seg på japansk, og Llama Pro, som er en forbedret versjon av basismodellen.
Mistral er en åpen modell med sterkt fokus på høy ytelse og effektivitet. Den bruker Mixture-of-Experts-tilnærmingen, som kombinerer en gruppe spesialiserte ekspertmodeller i ett system, hvor avhengig av input, visse modeller velges for bruk. Dette gjør beregningen mer effektiv, ettersom modellene kun adresserer inputene de er spesialiserte på.
Noen eksempler på finjusterte versjoner av Mistral inkluderer BioMistral, som fokuserer på det medisinske området, og OpenMath Mistral, som utfører matematiske beregninger.
Falcon er en LLM laget av Technology Innovation Institute (TII). Falcon-40B ble trent på 40 milliarder parametere, som har vist seg å prestere bedre enn GPT-3 med mindre beregningsbudsjett. Dette skyldes bruken av FlashAttention-algoritmen og multiquery attention, som gjør det mulig å redusere minnekravene ved inferenstid. Med denne reduserte inferenstiden er Falcon-40B egnet for chatapplikasjoner.
Noen eksempler på finjusterte versjoner av Falcon er OpenAssistant, en assistent bygget på åpne modeller, og GPT4ALL, som leverer høyere ytelse enn basismodellen.
Det finnes ingen fasitsvar for valg av en åpen modell. Et godt sted å starte er ved å bruke Azure AI Studios filter etter oppgave-funksjon. Dette vil hjelpe deg med å forstå hvilke typer oppgaver modellen er trent for. Hugging Face opprettholder også en LLM-ledertavle som viser de best presterende modellene basert på visse metrikker.
Når du ønsker å sammenligne LLM-er på tvers av de forskjellige typene, er Artificial Analysis en annen flott ressurs:
Kilde: Artificial Analysis
Hvis du jobber med en spesifikk brukssituasjon, kan det være effektivt å søke etter finjusterte versjoner som fokuserer på samme område. Å eksperimentere med flere åpne modeller for å se hvordan de presterer i henhold til dine og brukernes forventninger er en annen god praksis.
Det beste med åpne modeller er at du kan komme i gang med å jobbe med dem ganske raskt. Sjekk ut Azure AI Foundry Model Catalog, som har en spesifikk Hugging Face-samling med modellene vi diskuterte her.
Etter å ha fullført denne leksjonen, sjekk ut vår Generative AI Learning-samling for å fortsette å utvikle din kunnskap om generativ AI!
Ansvarsfraskrivelse:
Dette dokumentet er oversatt ved hjelp av AI-oversettelsestjenesten Co-op Translator. Selv om vi streber etter nøyaktighet, vær oppmerksom på at automatiske oversettelser kan inneholde feil eller unøyaktigheter. Det originale dokumentet på dets opprinnelige språk bør anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen.