עולם ה-LLM בקוד פתוח מרגש ומתפתח כל הזמן. שיעור זה נועד לספק מבט מעמיק על מודלים בקוד פתוח. אם אתם מחפשים מידע על איך מודלים קנייניים משווים למודלים בקוד פתוח, עברו לשיעור "חקירת והשוואת מודלים שונים של LLM". שיעור זה יכסה גם את נושא ההתאמה המדויקת (fine-tuning) אך הסבר מפורט יותר ניתן למצוא בשיעור "התאמה מדויקת של LLMs".
- לקבל הבנה של מודלים בקוד פתוח
- להבין את היתרונות של עבודה עם מודלים בקוד פתוח
- לחקור את המודלים הפתוחים הזמינים ב-Hugging Face וב-Azure AI Studio
תוכנה בקוד פתוח שיחקה תפקיד מרכזי בצמיחת הטכנולוגיה בתחומים שונים. יוזמת הקוד הפתוח (OSI) הגדירה 10 קריטריונים לתוכנה כדי שתסווג כקוד פתוח. קוד המקור חייב להיות משותף בפומבי תחת רישיון שאושר על ידי OSI.
בעוד שפיתוח LLMs כולל אלמנטים דומים לפיתוח תוכנה, התהליך אינו זהה במדויק. זה עורר דיון רב בקהילה לגבי הגדרת קוד פתוח בהקשר של LLMs. כדי שמודל יתאים להגדרה המסורתית של קוד פתוח, המידע הבא צריך להיות זמין לציבור:
- מערכי נתונים ששימשו לאימון המודל.
- משקלי המודל המלאים כחלק מהאימון.
- קוד ההערכה.
- קוד ההתאמה המדויקת (fine-tuning).
- משקלי המודל המלאים ומדדי האימון.
כרגע קיימים רק כמה מודלים שעומדים בקריטריונים אלו. מודל OLMo שפותח על ידי מכון אלן לאינטליגנציה מלאכותית (AllenAI) הוא אחד שמתאים לקטגוריה זו.
בשיעור זה, נתייחס למודלים כ"מודלים פתוחים" מכיוון שהם עשויים לא להתאים לקריטריונים הנ"ל בזמן הכתיבה.
ניתנים להתאמה גבוהה - מכיוון שמודלים פתוחים משוחררים עם מידע מפורט על האימון, חוקרים ומפתחים יכולים לשנות את הפנימיות של המודל. זה מאפשר יצירת מודלים מתמחים מאוד המותאמים למשימה או תחום לימוד ספציפי. דוגמאות לכך הן יצירת קוד, פעולות מתמטיות וביולוגיה.
עלות - העלות לכל טוקן לשימוש ופריסה של מודלים אלו נמוכה יותר מזו של מודלים קנייניים. כאשר בונים יישומי AI גנרטיביים, יש לשקול את הביצועים מול המחיר בעת עבודה עם מודלים אלו במקרי השימוש שלכם.
מקור: Artificial Analysis
גמישות - עבודה עם מודלים פתוחים מאפשרת גמישות בשימוש במודלים שונים או בשילוב שלהם. דוגמה לכך היא עוזרי HuggingChat שבה המשתמש יכול לבחור את המודל בשימוש ישירות בממשק המשתמש:
LLama2, שפותח על ידי Meta, הוא מודל פתוח המותאם ליישומי שיחה. זאת בזכות שיטת ההתאמה המדויקת שלו, שכללה כמות גדולה של דיאלוג ומשוב אנושי. בשיטה זו, המודל מפיק תוצאות המותאמות יותר לציפיות האנושיות ומספק חוויית משתמש טובה יותר.
דוגמאות לגרסאות מותאמות של Llama כוללות את Japanese Llama, שמתמחה ביפנית, ו-Llama Pro, שהיא גרסה משופרת של המודל הבסיסי.
Mistral הוא מודל פתוח עם דגש חזק על ביצועים גבוהים ויעילות. הוא משתמש בגישת Mixture-of-Experts שמשלבת קבוצת מודלים מומחים מתמחים למערכת אחת שבה בהתאם לקלט, נבחרים מודלים מסוימים לשימוש. זה הופך את החישוב ליעיל יותר כי המודלים מתמקדים רק בקלטים שבהם הם מתמחים.
דוגמאות לגרסאות מותאמות של Mistral כוללות את BioMistral, שמתמקד בתחום הרפואי, ו-OpenMath Mistral, שמבצע חישובים מתמטיים.
Falcon הוא LLM שפותח על ידי Technology Innovation Institute (TII). ה-Falcon-40B אומן על 40 מיליארד פרמטרים שהוכח כי הוא מבצע טוב יותר מ-GPT-3 עם תקציב חישוב נמוך יותר. זאת בזכות השימוש באלגוריתם FlashAttention ובתשומת לב מרובת שאילתות שמאפשרים לו להפחית את דרישות הזיכרון בזמן ההסקה. בזכות זמן ההסקה המופחת, ה-Falcon-40B מתאים ליישומי שיחה.
דוגמאות לגרסאות מותאמות של Falcon הן OpenAssistant, עוזר שנבנה על מודלים פתוחים, ו-GPT4ALL, שמספק ביצועים גבוהים יותר מהמודל הבסיסי.
אין תשובה אחת לבחירת מודל פתוח. מקום טוב להתחיל הוא להשתמש בפילטר לפי משימה ב-Azure AI Studio. זה יעזור לכם להבין לאילו סוגי משימות המודל אומן. Hugging Face גם מחזיקה בלוח מובילים של LLM שמראה את המודלים הטובים ביותר לפי מדדים מסוימים.
כשמחפשים להשוות LLMs בין סוגים שונים, Artificial Analysis הוא משאב מצוין נוסף:
מקור: Artificial Analysis
אם עובדים על מקרה שימוש ספציפי, חיפוש גרסאות מותאמות שמתמקדות באותו תחום יכול להיות יעיל. ניסוי עם מספר מודלים פתוחים כדי לראות איך הם מתפקדים לפי הציפיות שלכם ושל המשתמשים הוא גם פרקטיקה טובה.
החלק הטוב במודלים פתוחים הוא שניתן להתחיל לעבוד איתם די מהר. בדקו את קטלוג המודלים של Azure AI Foundry, שמציג אוסף ספציפי של Hugging Face עם המודלים שדיברנו עליהם כאן.
לאחר שסיימתם את השיעור הזה, בדקו את אוסף הלמידה של AI גנרטיבי שלנו כדי להמשיך לשפר את הידע שלכם ב-AI גנרטיבי!
כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון כי תרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפת המקור שלו נחשב למקור הסמכותי. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אנושי. אנו לא נושאים באחריות לכל אי-הבנה או פרשנות שגויה הנובעת משימוש בתרגום זה.