README.md

הקדמה ל-AI גנרטיבי ודגמי שפה גדולים

(לחצו על התמונה למעלה לצפייה בסרטון של שיעור זה)

AI גנרטיבי הוא אינטליגנציה מלאכותית המסוגלת לייצר טקסט, תמונות וסוגי תוכן אחרים. מה שהופך אותה לטכנולוגיה מדהימה הוא שהיא דמוקרטית את ה-AI, כל אחד יכול להשתמש בה עם מעט כמו הנחיית טקסט, משפט שנכתב בשפה טבעית. אין צורך ללמוד שפה כמו Java או SQL כדי להשיג משהו בעל ערך, כל מה שצריך זה להשתמש בשפה שלך, לציין מה אתה רוצה ויוצאת הצעה ממודל AI. היישומים וההשפעה לכך הם עצומים, אתה כותב או מבין דוחות, כותב יישומים ועוד הרבה, הכל בתוך שניות.

בתוכנית לימודים זו, נחקור כיצד הסטארטאפ שלנו מנצל את ה-AI הגנרטיבי כדי לפתוח תרחישים חדשים בעולם החינוך וכיצד אנו מתמודדים עם האתגרים הבלתי נמנעים הקשורים להשלכות החברתיות של יישומו ומגבלות הטכנולוגיה.

הקדמה

שיעור זה יעסוק ב:

• הקדמה לתרחיש העסקי: רעיון הסטארטאפ שלנו ומשימתו.
• AI גנרטיבי וכיצד הגענו לנוף הטכנולוגי הנוכחי.
• פעולתו הפנימית של מודל שפה גדול.
• יכולות עיקריות ושימושים מעשיים של דגמי שפה גדולים.

מטרות למידה

לאחר השלמת שיעור זה, תבינו:

• מהו AI גנרטיבי וכיצד פועלים דגמי שפה גדולים.
• כיצד תוכלו לנצל דגמי שפה גדולים עבור שימושים שונים, עם דגש על תרחישי חינוך.

תרחיש: הסטארטאפ החינוכי שלנו

אינטליגנציה מלאכותית גנרטיבית (AI) מייצגת את פסגת טכנולוגיית ה-AI, ודוחפת את הגבולות של מה שחשבנו פעם כבלתי אפשרי. לדגמי AI גנרטיביים יש מספר יכולות ויישומים, אבל עבור תוכנית לימודים זו נחקור כיצד היא מהפכת את החינוך דרך סטארטאפ בדיוני. נתייחס לסטארטאפ זה כ-הסטארטאפ שלנו. הסטארטאפ שלנו פועל בתחום החינוך עם הצהרת משימה שאפתנית של

שיפור הנגישות בלמידה, בקנה מידה עולמי, הבטחת גישה שווה לחינוך ומתן חוויות למידה מותאמות אישית לכל לומד, בהתאם לצרכיו.

צוות הסטארטאפ שלנו מודע לכך שלא נוכל להשיג מטרה זו ללא ניצול אחד הכלים החזקים ביותר של זמננו – דגמי שפה גדולים (LLMs).

AI גנרטיבי צפוי לחולל מהפכה בדרך שבה אנו לומדים ומלמדים היום, כאשר תלמידים מחזיקים לרשותם מורים וירטואליים 24 שעות ביממה המספקים כמויות אדירות של מידע ודוגמאות, ומורים יכולים לנצל כלים חדשניים להערכת תלמידיהם ומתן משוב.

כדי להתחיל, נגדיר כמה מושגים בסיסיים ומונחים שנשתמש בהם לאורך תוכנית הלימודים.

איך הגענו ל-AI גנרטיבי?

למרות ההייפ יוצא הדופן שנוצר לאחרונה בעקבות הכרזת דגמי AI גנרטיביים, טכנולוגיה זו מתפתחת במשך עשרות שנים, כאשר מאמצי המחקר הראשונים החלו בשנות ה-60. כיום אנו נמצאים בנקודה שבה ל-AI יש יכולות קוגניטיביות אנושיות, כמו שיחה כפי שמוצג לדוגמה על ידי OpenAI ChatGPT או Bing Chat, שגם משתמש במודל GPT לחיפוש שיחות Bing.

בואו נחזור קצת אחורה, הפרוטוטיפים הראשונים של AI היו מורכבים מבוטים טקסטואליים, שהתבססו על בסיס ידע שנוצר מקבוצת מומחים ויוצג במחשב. התשובות בבסיס הידע הופעלו על ידי מילות מפתח שהופיעו בטקסט הקלט. עם זאת, עד מהרה התברר כי גישה זו, באמצעות בוטים טקסטואליים, לא התרחבה היטב.

גישה סטטיסטית ל-AI: למידת מכונה

נקודת מפנה הגיעה בשנות ה-90, עם יישום גישה סטטיסטית לניתוח טקסט. זה הוביל לפיתוח אלגוריתמים חדשים – הידועים כלמידת מכונה – המסוגלים ללמוד דפוסים מנתונים מבלי להיות מתוכנתים במפורש. גישה זו מאפשרת למכונות לדמות הבנת שפה אנושית: מודל סטטיסטי מאומן על זוגות טקסט-תווית, מה שמאפשר למודל לסווג טקסט קלט לא ידוע עם תווית מוגדרת מראש המייצגת את כוונת ההודעה.

רשתות עצביות ועוזרים וירטואליים מודרניים

בשנים האחרונות, ההתפתחות הטכנולוגית של חומרה, המסוגלת להתמודד עם כמויות גדולות יותר של נתונים וחישובים מורכבים יותר, עודדה מחקר ב-AI, מה שהוביל לפיתוח אלגוריתמים מתקדמים של למידת מכונה הידועים כרשתות עצביות או אלגוריתמים של למידה עמוקה.

רשתות עצביות (ובפרט רשתות עצביות חוזרות – RNNs) שיפרו באופן משמעותי את עיבוד השפה הטבעית, מה שמאפשר ייצוג משמעות הטקסט בצורה משמעותית יותר, תוך הערכת הקשר של מילה במשפט.

זוהי הטכנולוגיה שהניעה את העוזרים הווירטואליים שנולדו בעשור הראשון של המאה החדשה, מאוד מיומנים בפירוש שפה אנושית, זיהוי צורך וביצוע פעולה לסיפוקו – כמו מתן תשובה עם סקריפט מוגדר מראש או צריכת שירות צד שלישי.

ימינו, AI גנרטיבי

אז כך הגענו ל-AI גנרטיבי היום, שניתן לראות כתת-קבוצה של למידה עמוקה.

לאחר עשרות שנים של מחקר בתחום ה-AI, ארכיטקטורת מודל חדשה – שנקראת Transformer – התגברה על מגבלות ה-RNNs, בהיותה מסוגלת לקבל רצפים ארוכים יותר של טקסט כקלט. טרנספורמרים מבוססים על מנגנון תשומת הלב, המאפשר למודל לתת משקל שונה לקלטים שהוא מקבל, 'לשים יותר תשומת לב' במקום שבו מרוכז המידע הרלוונטי ביותר, ללא קשר לסדרם ברצף הטקסט.

רוב הדגמים הגנרטיביים האחרונים – הידועים גם כדגמי שפה גדולים (LLMs), מכיוון שהם עובדים עם קלטים ופלטים טקסטואליים – מבוססים למעשה על ארכיטקטורה זו. מה שמעניין בדגמים אלו – מאומנים על כמות עצומה של נתונים לא מסומנים ממקורות מגוונים כמו ספרים, מאמרים ואתרי אינטרנט – הוא שהם יכולים להיות מותאמים למגוון רחב של משימות ולייצר טקסט נכון דקדוקית עם מראית עין של יצירתיות. אז, לא רק שהם שיפרו בצורה מדהימה את יכולת המכונה 'להבין' טקסט קלט, אלא הם אפשרו את יכולתה לייצר תגובה מקורית בשפה אנושית.

כיצד פועלים דגמי שפה גדולים?

בפרק הבא נחקור סוגים שונים של דגמי AI גנרטיביים, אבל לעת עתה נסתכל כיצד פועלים דגמי שפה גדולים, עם דגש על דגמי GPT (Generative Pre-trained Transformer) של OpenAI.

• Tokenizer, טקסט למספרים: דגמי שפה גדולים מקבלים טקסט כקלט ומייצרים טקסט כפלט. עם זאת, בהיותם מודלים סטטיסטיים, הם עובדים הרבה יותר טוב עם מספרים מאשר רצפי טקסט. לכן כל קלט למודל מעובד על ידי tokeniser, לפני שהוא משמש את המודל המרכזי. טוקן הוא חלק של טקסט – המורכב ממספר משתנה של תווים, כך שהמשימה העיקרית של הטוקנייזר היא לפצל את הקלט למערך של טוקנים. לאחר מכן, כל טוקן ממופה עם אינדקס טוקן, שהוא קידוד שלם של חלק הטקסט המקורי.

• ניבוי טוקני פלט: נתונים n טוקנים כקלט (עם מקסימום n משתנה ממודל אחד לאחר), המודל מסוגל לנבא טוקן אחד כפלט. טוקן זה משולב לאחר מכן בקלט של האיטרציה הבאה, בתבנית חלון מתרחבת, מה שמאפשר חווית משתמש טובה יותר לקבלת משפט אחד (או מספר משפטים) כתשובה. זה מסביר מדוע, אם אי פעם שיחקת עם ChatGPT, ייתכן ששמת לב שלפעמים נראה שהוא עוצר באמצע משפט.

• תהליך בחירה, התפלגות הסתברות: טוקן הפלט נבחר על ידי המודל בהתאם להסתברות שלו להתרחש לאחר רצף הטקסט הנוכחי. זאת מכיוון שהמודל מנבא התפלגות הסתברות על פני כל ה'טוקנים הבאים' האפשריים, המחושבת על סמך האימון שלו. עם זאת, לא תמיד נבחר הטוקן עם ההסתברות הגבוהה ביותר מההתפלגות הנוצרת. דרגת אקראיות נוספת לבחירה זו, באופן שהמודל פועל באופן לא דטרמיניסטי - אנו לא מקבלים את אותו פלט בדיוק עבור אותו קלט. דרגת אקראיות זו נוספת כדי לדמות את תהליך החשיבה היצירתי וניתן לכוונן אותה באמצעות פרמטר מודל הנקרא טמפרטורה.

כיצד הסטארטאפ שלנו יכול לנצל דגמי שפה גדולים?

עכשיו שיש לנו הבנה טובה יותר של פעולתו הפנימית של מודל שפה גדול, בואו נראה כמה דוגמאות מעשיות של המשימות הנפוצות ביותר שהן יכולות לבצע די טוב, עם עין על תרחיש העסק שלנו. אמרנו שהיכולת העיקרית של מודל שפה גדול היא לייצר טקסט מאפס, החל מקלט טקסטואלי, שנכתב בשפה טבעית.

אבל איזה סוג של קלט טקסטואלי ופלט? הקלט של מודל שפה גדול ידוע כהנחיה, בעוד הפלט ידוע כהשלמה, מונח המתייחס למנגנון המודל של יצירת הטוקן הבא להשלמת הקלט הנוכחי. אנו הולכים לצלול עמוק לתוך מהי הנחיה וכיצד לעצב אותה בצורה שתפיק את המירב מהמודל שלנו. אבל לעת עתה, נאמר שהנחיה עשויה לכלול:

• הוראה המפרטת את סוג הפלט שאנו מצפים מהמודל. הוראה זו לפעמים עשויה להכיל כמה דוגמאות או נתונים נוספים.

  1. סיכום של מאמר, ספר, ביקורות על מוצרים ועוד, יחד עם הפקת תובנות מנתונים לא מובנים.

  2. יצירת רעיונות ועיצוב של מאמר, חיבור, מטלה או יותר.

• שאלה, נשאלת בצורה של שיחה עם סוכן.

• חלק של טקסט להשלמה, אשר באופן משתמע הוא בקשה לעזרה בכתיבה.

• חלק של קוד יחד עם בקשה להסבר ותיעוד שלו, או הערה המבקשת לייצר קטע קוד המבצע משימה מסוימת.

הדוגמאות לעיל הן די פשוטות ואינן מיועדות להוות הדגמה ממצה של יכולות דגמי שפה גדולים. הן מיועדות להראות את הפוטנציאל של שימוש ב-AI גנרטיבי, במיוחד אך לא מוגבל להקשרים חינוכיים.

כמו כן, הפלט של מודל AI גנרטיבי אינו מושלם ולפעמים היצירתיות של המודל יכולה לפעול נגדו, מה שמוביל לפלט שהוא שילוב של מילים שהמשתמש האנושי יכול לפרש כעיוות של המציאות, או שהוא יכול להיות פוגעני. AI גנרטיבי אינו אינטליגנטי - לפחות בהגדרה המקיפה יותר של אינטליגנציה, הכוללת חשיבה ביקורתית ויצירתית או אינטליגנציה רגשית; הוא אינו דטרמיניסטי, והוא אינו אמין, מכיוון שמזויפים, כגון הפניות שגויות, תוכן והצהרות, עשויים להיות משולבים עם מידע נכון, ומוצגים בצורה משכנעת ובטוחה. בשיעורים הבאים, נתמודד עם כל המגבלות הללו ונראה מה ניתן לעשות כדי להקטין אותן.

משימה

המשימה שלך היא לקרוא עוד על AI גנרטיבי ולנסות לזהות תחום שבו היית מוסיף AI גנרטיבי היום שאין לו אותו. כיצד ההשפעה תהיה שונה מלעשות זאת בדרך "הישנה", האם אתה יכול לעשות משהו שלא יכולת קודם, או שאתה מהיר יותר? כתוב סיכום של 300 מילים על איך הסטארטאפ החלומי שלך בתחום ה-AI ייראה וכולל כותרות כמו "בעיה", "כיצד הייתי משתמש ב-AI", "השפעה" ובאופן אופציונלי תוכנית עסקית.

אם ביצעת את המשימה הזו, ייתכן שאתה אפילו מוכן להגיש מועמדות לאינקובטור של מיקרוסופט, Microsoft for Startups Founders Hub אנו מציעים קרדיטים עבור Azure, OpenAI, מנטורינג ועוד הרבה, בדוק את זה!

בדיקת ידע

מה נכון לגבי דגמי שפה גדולים?

1. אתה מקבל את אותה תגובה בדיוק בכל פעם.
2. הוא עושה דברים בצורה מושלמת, מעולה בהוספת מספרים, מייצר קוד עובד וכו'.
3. התגובה עשויה להשתנות למרות השימוש באותה הנחיה. הוא גם מצוין במתן טיוטה ראשונית של משהו, בין אם זה טקסט או קוד. אבל אתה צריך לשפר את התוצאות.

תשובה: 3, LLM הוא לא דטרמיניסטי, התגובה משתנה, עם זאת, אתה יכול לשלוט על השונות שלו באמצעות הגדרת טמפרטורה. אתה גם לא צריך לצפות ממנו לעשות דברים בצורה מושלמת, הוא כאן כדי לעשות את העבודה הקשה עבורך מה שלעתים קרובות אומר שאתה מקבל ניסיון ראשון טוב במשהו שאתה צריך לשפר בהדרגה.

עבודה מצוינת! המשיכו במסע

לאחר השלמת שיעור זה, בדוק את אוסף הלמידה של AI גנרטיבי שלנו כדי להמשיך להעמיק את הידע שלך ב-AI גנרטיבי!

עברו לשיעור 2 שבו נבחן כיצד לחקור ולהשוות סוגי LLM שונים!

כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום AI Co-op Translator. למרות שאנו שואפים לדיוק, יש להיות מודעים לכך שתרגומים אוטומטיים עשויים להכיל שגיאות או אי דיוקים. המסמך המקורי בשפתו המקורית צריך להיחשב כמקור הסמכותי. עבור מידע קריטי, מומלץ להשתמש בתרגום אנושי מקצועי. אנו לא אחראים לאי הבנות או לפרשנויות שגויות הנובעות משימוש בתרגום זה.