שימוש במודלים שפתיים גדולים לבניית יישומי AI גנרטיביים מביא עמו אתגרים חדשים. אחד האתגרים המרכזיים הוא להבטיח את איכות התגובות (דיוק ורלוונטיות) בתוכן שנוצר על ידי המודל עבור בקשה מסוימת של משתמש. בשיעורים הקודמים דנו בטכניקות כמו הנדסת הנחיות והפקת מידע מוגברת שמנסות לפתור את הבעיה על ידי שינוי קלט ההנחיה למודל הקיים.
בשיעור של היום נדון בטכניקה שלישית, כיוונון עדין, שמנסה להתמודד עם האתגר על ידי אימון מחדש של המודל עצמו עם נתונים נוספים. בואו נצלול לפרטים.
שיעור זה מציג את מושג הכיוונון העדין עבור מודלים שפתיים שהוכנו מראש, בוחן את היתרונות והאתגרים של גישה זו, ומספק הנחיות מתי וכיצד להשתמש בכיוונון עדין כדי לשפר את ביצועי המודלים הגנרטיביים שלכם.
בסוף השיעור הזה, תוכלו לענות על השאלות הבאות:
- מהו כיוונון עדין עבור מודלים שפתיים?
- מתי ולמה כיוונון עדין הוא שימושי?
- איך ניתן לכוונן מודל שהוכן מראש?
- מהם המגבלות של כיוונון עדין?
מוכנים? בואו נתחיל.
רוצים לקבל תמונה כללית של מה שנכסה לפני שנצלול פנימה? עיינו במדריך המאויר שמתאר את מסע הלמידה של השיעור הזה - החל מלמידת המושגים המרכזיים והמוטיבציה לכיוונון עדין, ועד להבנת התהליך והפרקטיקות הטובות ביותר לביצוע משימת הכיוונון העדין. זהו נושא מרתק לחקירה, אז אל תשכחו לבדוק את Resources למידע נוסף שיתמוך במסע הלמידה העצמאי שלכם!
לפי ההגדרה, מודלים שפתיים גדולים הם מודלים שהוכנו מראש על כמויות גדולות של טקסט שמקורו במקורות מגוונים, כולל האינטרנט. כפי שלמדנו בשיעורים הקודמים, אנו זקוקים לטכניקות כמו הנדסת הנחיות ו_הפקת מידע מוגברת_ כדי לשפר את איכות התגובות של המודל לשאלות המשתמש ("הנחיות").
טכניקה פופולרית בהנדסת הנחיות כוללת מתן הנחיות נוספות למודל על מה מצופה בתגובה, או על ידי מתן הוראות (הכוונה מפורשת) או מתן כמה דוגמאות (הכוונה משתמעת). זה נקרא למידה עם מעט דוגמאות, אך יש לה שתי מגבלות:
- מגבלות טוקנים במודל יכולות להגביל את מספר הדוגמאות שניתן לתת, ולהגביל את היעילות.
- עלויות טוקנים במודל יכולות להפוך את הוספת הדוגמאות לכל הנחיה ליקרה, ולהגביל את הגמישות.
כיוונון עדין הוא פרקטיקה נפוצה במערכות למידת מכונה שבה אנו לוקחים מודל שהוכן מראש ומאמנים אותו מחדש עם נתונים חדשים כדי לשפר את ביצועיו במשימה מסוימת. בהקשר של מודלים שפתיים, ניתן לכוונן את המודל שהוכן מראש עם סט דוגמאות מותאם למשימה או תחום יישום מסוים כדי ליצור מודל מותאם אישית שעשוי להיות מדויק ורלוונטי יותר למשימה או תחום ספציפי זה. יתרון נוסף של כיוונון עדין הוא שהוא יכול גם להפחית את מספר הדוגמאות הנדרשות ללמידה עם מעט דוגמאות - מה שמפחית את השימוש בטוקנים ואת העלויות הקשורות.
בהקשר זה, כשאנו מדברים על כיוונון עדין, אנו מתייחסים לכיוונון עדין מונחה שבו האימון מחדש מתבצע על ידי הוספת נתונים חדשים שלא היו חלק ממערך הנתונים המקורי. זה שונה מגישה של כיוונון עדין לא מונחה שבה המודל מאומן מחדש על הנתונים המקוריים, אך עם פרמטרים שונים.
הדבר המרכזי שיש לזכור הוא שכיוונון עדין הוא טכניקה מתקדמת שדורשת רמה מסוימת של מומחיות כדי להשיג את התוצאות הרצויות. אם הוא מבוצע בצורה לא נכונה, הוא עשוי לא לספק את השיפורים הצפויים, ואף עלול לפגוע בביצועי המודל עבור התחום הממוקד שלכם.
לכן, לפני שלומדים "איך" לכוונן מודלים שפתיים, צריך לדעת "למה" כדאי לבחור בדרך זו, ו"מתי" להתחיל את תהליך הכיוונון העדין. התחילו בשאלות הבאות:
- מקרה שימוש: מהו מקרה השימוש שלכם לכיוונון עדין? איזה היבט של המודל שהוכן מראש אתם רוצים לשפר?
- חלופות: האם ניסיתם טכניקות אחרות כדי להשיג את התוצאות הרצויות? השתמשו בהן כדי ליצור בסיס להשוואה.
- הנדסת הנחיות: נסו טכניקות כמו הנחיות עם מעט דוגמאות הכוללות דוגמאות לתגובות הנחיה רלוונטיות. העריכו את איכות התגובות.
- הפקת מידע מוגברת: נסו להוסיף להנחיות תוצאות חיפוש שנמצאו על ידי חיפוש בנתונים שלכם. העריכו את איכות התגובות.
- עלויות: האם זיהיתם את העלויות לכיוונון עדין?
- יכולת כיוונון - האם המודל שהוכן מראש זמין לכיוונון עדין?
- מאמץ - להכנת נתוני אימון, הערכת ושיפור המודל.
- חישוב - להרצת משימות כיוונון עדין, ולפריסת המודל המכוונן.
- נתונים - גישה לדוגמאות איכותיות מספיק להשפעת הכיוונון העדין.
- יתרונות: האם אישרתם את היתרונות של כיוונון עדין?
- איכות - האם המודל המכוונן עדין עלה על הבסיס?
- עלות - האם הוא מפחית את השימוש בטוקנים על ידי פישוט הנחיות?
- הרחבה - האם ניתן להתאים את המודל הבסיסי לתחומים חדשים?
על ידי מענה על שאלות אלו, תוכלו להחליט אם כיוונון עדין הוא הגישה הנכונה למקרה השימוש שלכם. באופן אידיאלי, הגישה תקפה רק אם היתרונות עולים על העלויות. לאחר שתחליטו להמשיך, הגיע הזמן לחשוב על איך ניתן לכוונן את המודל שהוכן מראש.
רוצים לקבל תובנות נוספות על תהליך קבלת ההחלטות? צפו ב-To fine-tune or not to fine-tune
כדי לכוונן מודל שהוכן מראש, אתם צריכים:
- מודל שהוכן מראש לכיוונון
- מערך נתונים לשימוש בכיוונון
- סביבת אימון להרצת משימת הכיוונון
- סביבת אירוח לפריסת המודל המכוונן
המשאבים הבאים מספקים מדריכים שלב אחר שלב שיעזרו לכם לעבור דוגמה אמיתית באמצעות מודל נבחר עם מערך נתונים מותאם. כדי לעבוד דרך מדריכים אלו, תצטרכו חשבון אצל ספק מסוים, יחד עם גישה למודל ולמערכי הנתונים הרלוונטיים.
| ספק | מדריך | תיאור |
|---|---|---|
| OpenAI | How to fine-tune chat models | למדו לכוונן gpt-35-turbo עבור תחום ספציפי ("עוזר מתכונים") על ידי הכנת נתוני אימון, הרצת משימת הכיוונון, ושימוש במודל המכוונן לצורך הסקת מסקנות. |
| Azure OpenAI | GPT 3.5 Turbo fine-tuning tutorial | למדו לכוונן מודל gpt-35-turbo-0613 ב-Azure על ידי ביצוע צעדים ליצירה והעלאת נתוני אימון, הרצת משימת הכיוונון. פרסו והשתמשו במודל החדש. |
| Hugging Face | Fine-tuning LLMs with Hugging Face | פוסט זה בבלוג מדריך אתכם בכיוונון עדין של מודל שפה פתוח (לדוגמה: CodeLlama 7B) באמצעות ספריית transformers ו-Transformer Reinforcement Learning (TRL) עם מערכי נתונים פתוחים ב-Hugging Face. |
| 🤗 AutoTrain | Fine-tuning LLMs with AutoTrain | AutoTrain (או AutoTrain Advanced) היא ספריית פייתון שפותחה על ידי Hugging Face שמאפשרת כיוונון עדין למשימות רבות, כולל כיוונון עדין של מודלים שפתיים. AutoTrain היא פתרון ללא קוד וכיוונון עדין יכול להתבצע בענן שלכם, ב-Hugging Face Spaces או מקומית. היא תומכת גם בממשק מבוסס אינטרנט, CLI ואימון באמצעות קבצי תצורה yaml. |
בחרו אחד מהמדריכים לעיל ועברו דרכו. ייתכן שנשכפל גרסה של מדריכים אלו במחברות Jupyter במאגר זה לצורך התייחסות בלבד. אנא השתמשו במקורות המקוריים ישירות כדי לקבל את הגרסאות העדכניות ביותר.
לאחר השלמת השיעור הזה, בדקו את אוסף הלמידה של AI גנרטיבי כדי להמשיך להעמיק את הידע שלכם ב-AI גנרטיבי!
ברכות!! סיימתם את השיעור האחרון מסדרת v2 של הקורס הזה! אל תפסיקו ללמוד ולבנות. **בדקו את RESOURCES למידע נוסף בנושא זה.
סדרת השיעורים v1 שלנו גם עודכנה עם משימות ומושגים נוספים. אז קחו רגע לרענן את הידע שלכם - ואל תהססו לשתף שאלות ומשוב כדי לעזור לנו לשפר את השיעורים האלו עבור הקהילה.
הצהרת אחריות:
מסמך זה תורגם באמצעות שירות תרגום AI Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עשויים להכיל שגיאות או אי דיוקים. המסמך המקורי בשפתו המקורית צריך להיחשב כמקור סמכותי. עבור מידע קריטי, מומלץ להשתמש בתרגום מקצועי אנושי. איננו אחראים לאי הבנות או לפרשנויות שגויות הנובעות משימוש בתרגום זה.