(Кликнете върху изображението по-горе, за да гледате видео на този урок)
Генеративният AI е изкуствен интелект, способен да генерира текст, изображения и други видове съдържание. Това, което го прави фантастична технология, е че демократизира AI; всеки може да го използва само с текстов подкана, изречение, написано на естествен език. Няма нужда да научавате език като Java или SQL, за да постигнете нещо значимо; всичко, което ви трябва, е да използвате вашия език, да изразите какво искате и AI моделът ще предложи решение. Приложенията и въздействието на това са огромни; можете да пишете или разбирате доклади, да създавате приложения и много повече, всичко за секунди.
В тази учебна програма ще изследваме как нашият стартъп използва генеративния AI, за да отключи нови сценарии в света на образованието и как се справяме с неизбежните предизвикателства, свързани със социалните последици от неговото приложение и технологичните ограничения.
Този урок ще обхване:
- Въведение в бизнес сценария: нашата стартъп идея и мисия.
- Генеративен AI и как достигнахме до настоящия технологичен пейзаж.
- Вътрешна работа на голям езиков модел.
- Основни способности и практически случаи на използване на Големи Езикови Модели.
След завършване на този урок ще разберете:
- Какво е генеративен AI и как работят Големите Езикови Модели.
- Как можете да използвате големите езикови модели за различни случаи на използване, с акцент върху образователните сценарии.
Генеративният Изкуствен Интелект (AI) представлява върха на AI технологията, разширявайки границите на това, което някога се е смятало за невъзможно. Генеративните AI модели имат няколко способности и приложения, но за тази учебна програма ще изследваме как той революционизира образованието чрез фиктивен стартъп. Ще се позоваваме на този стартъп като нашият стартъп. Нашият стартъп работи в образователната област с амбициозната мисия
подобряване на достъпността в обучението на глобално ниво, осигуряване на равен достъп до образование и предоставяне на персонализирани учебни преживявания на всеки учащ, според техните нужди.
Екипът на нашия стартъп е наясно, че няма да можем да постигнем тази цел без да използваме едно от най-мощните инструменти на съвременността – Големите Езикови Модели (LLMs).
Очаква се генеративният AI да революционизира начина, по който учим и преподаваме днес, като учениците имат на разположение виртуални учители 24 часа в денонощието, които предоставят огромни количества информация и примери, а учителите могат да използват иновативни инструменти за оценка на своите ученици и даване на обратна връзка.
За начало, нека дефинираме някои основни концепции и терминология, които ще използваме през цялата учебна програма.
Въпреки изключителната хайп, създадена напоследък от обявяването на генеративните AI модели, тази технология се разработва от десетилетия, с първите изследователски усилия, датиращи от 60-те години. Сега сме на точка, в която AI има човешки когнитивни способности, като разговор, както се показва например от OpenAI ChatGPT или Bing Chat, който също използва GPT модел за уеб търсене в Bing разговори.
Да се върнем малко назад, първите прототипи на AI се състояха от машинописни чатботове, разчитащи на база от знания, извлечена от група експерти и представена в компютър. Отговорите в базата от знания се активираха от ключови думи, появяващи се в входния текст. Въпреки това, скоро стана ясно, че такъв подход, използващ машинописни чатботове, не се мащабира добре.
Преломна точка настъпи през 90-те години с приложението на статистически подход към текстовия анализ. Това доведе до разработването на нови алгоритми – известни като машинно обучение – способни да учат модели от данни без да бъдат изрично програмирани. Този подход позволява на машините да симулират разбирането на човешкия език: статистически модел се обучава на текстови двойки, позволявайки на модела да класифицира неизвестен входен текст с предварително определен етикет, представляващ намерението на съобщението.
През последните години технологичната еволюция на хардуера, способен да обработва по-големи количества данни и по-сложни изчисления, насърчи изследванията в AI, водейки до разработването на напреднали алгоритми за машинно обучение, известни като невронни мрежи или алгоритми за дълбоко обучение.
Невронните мрежи (и в частност Рекурентните Невронни Мрежи – RNNs) значително подобриха обработката на естествен език, позволявайки представянето на значението на текста по-значимо, оценявайки контекста на думата в изречението.
Това е технологията, която захранва виртуалните асистенти, родени през първото десетилетие на новия век, много умели в интерпретирането на човешкия език, идентифициране на нужда и изпълнение на действие за нейното удовлетворение – като отговаряне с предварително определен скрипт или консумиране на услуга от трета страна.
Така стигнахме до Генеративния AI днес, който може да се разглежда като подмножество на дълбокото обучение.
След десетилетия изследвания в областта на AI, нова архитектура на модела – наречена Трансформатор – преодоля ограниченията на RNNs, като е способна да приема много по-дълги последователности от текст като вход. Трансформаторите са базирани на механизма на вниманието, позволявайки на модела да дава различни тежести на входовете, които получава, 'обръщайки повече внимание' където най-важната информация е концентрирана, независимо от техния ред в текстовата последователност.
Повечето от последните генеративни AI модели – известни също като Големи Езикови Модели (LLMs), тъй като работят с текстови входове и изходи – са наистина базирани на тази архитектура. Това, което е интересно за тези модели – обучени на огромно количество необелязани данни от разнообразни източници като книги, статии и уебсайтове – е, че могат да се адаптират към широк спектър от задачи и да генерират граматически правилен текст с подобие на креативност. Така че, те не само невероятно подобриха способността на машината да 'разбира' входен текст, но позволиха способността й да генерира оригинален отговор на човешки език.
В следващата глава ще изследваме различни видове генеративни AI модели, но засега нека погледнем как работят големите езикови модели, с акцент върху моделите OpenAI GPT (Генеративен Предварително Обучен Трансформатор).
-
Токенизатор, текст към числа: Големите Езикови Модели получават текст като вход и генерират текст като изход. Въпреки това, като статистически модели, те работят много по-добре с числа, отколкото с текстови последователности. Затова всеки вход към модела се обработва от токенизатор, преди да бъде използван от основния модел. Токенът е част от текст – състоящ се от променлив брой символи, така че основната задача на токенизатора е да раздели входа на масив от токени. След това всеки токен се съпоставя с индекс на токена, който е целочисленото кодиране на оригиналната текстова част.
-
Предсказване на изходни токени: Дадени n токени като вход (с максимално n, вариращо от модел до модел), моделът е способен да предскаже един токен като изход. Този токен след това се включва в входа на следващата итерация, в разширяващ се прозорец, позволяващ по-добро потребителско изживяване при получаване на едно (или повече) изречение като отговор. Това обяснява защо, ако някога сте играли с ChatGPT, може да сте забелязали, че понякога изглежда, че спира в средата на изречение.
-
Процес на избор, вероятностно разпределение: Изходният токен се избира от модела според неговата вероятност да се появи след текущата текстова последователност. Това е така, защото моделът предсказва вероятностно разпределение върху всички възможни ‘следващи токени’, изчислено на базата на неговото обучение. Въпреки това, не винаги токенът с най-висока вероятност се избира от полученото разпределение. Добавя се степен на случайност към този избор, по начин, че моделът действа в недетерминистична мода - не получаваме точно същия изход за същия вход. Тази степен на случайност се добавя, за да се симулира процесът на творческо мислене и може да се настрои чрез параметър на модела, наречен температура.
Сега, когато имаме по-добро разбиране за вътрешната работа на големия езиков модел, нека видим някои практически примери за най-честите задачи, които те могат да изпълняват много добре, с поглед към нашия бизнес сценарий. Казахме, че основната способност на Големия Езиков Модел е генериране на текст от нищото, започвайки от текстов вход, написан на естествен език.
Но какъв вид текстов вход и изход? Входът на голям езиков модел е известен като подкана, докато изходът е известен като завършване, термин, който се отнася до механизма на модела за генериране на следващия токен, за да завърши текущия вход. Ще се потопим дълбоко в това какво е подкана и как да я проектираме по начин, който да извлече максимума от нашия модел. Но засега, нека просто кажем, че подкана може да включва:
-
Инструкция, уточняваща типа изход, който очакваме от модела. Тази инструкция понякога може да включва някои примери или допълнителни данни.
-
Резюме на статия, книга, продуктови отзиви и други, заедно с извличане на прозрения от неструктурирани данни.
-
Творческо измисляне и дизайн на статия, есе, задача или повече.
-
-
Въпрос, зададен под формата на разговор с агент.
-
Част от текст за завършване, който имплицитно е искане за помощ при писане.
-
Част от код, заедно с искане за обяснение и документиране, или коментар, който иска да генерира парче код, изпълняващо специфична задача.
Горните примери са доста прости и не са предназначени да бъдат изчерпателна демонстрация на способностите на Големите Езикови Модели. Те са предназначени да покажат потенциала на използването на генеративен AI, по-специално, но не само в образователни контексти.
Също така, изходът на генеративен AI модел не е перфектен и понякога креативността на модела може да работи срещу него, водейки до изход, който е комбинация от думи, които човешкият потребител може да интерпретира като мистификация на реалността, или може да бъде обиден. Генеративният AI не е интелигентен - поне в по-цялостното определение на интелигентност, включващо критично и творческо разсъждение или емоционална интелигентност; той не е детерминистичен и не е надежден, тъй като измислици, като погрешни препратки, съдържание и изявления, могат да бъдат комбинирани с правилна информация и представени по убедителен и уверен начин. В следващите уроци ще се справяме с всички тези ограничения и ще видим какво можем да направим, за да ги смекчим.
Вашето задание е да прочетете повече за генеративния AI и да се опитате да идентифицирате област, където бихте добавили генеративен AI днес, който все още няма такъв. Как би било въздействието различно от правенето по "стария начин", можете ли да направите нещо, което не можехте преди, или сте по-бързи? Напишете резюме от 300 думи за това как би изглеждал вашият мечтан AI стартъп и включете заглавия като "Проблем", "Как бих използвал AI", "Въздействие" и евентуално бизнес план.
Ако сте изпълнили тази задача, може дори да сте готови да кандидатствате за инкубатора на Microsoft, Microsoft for Startups Founders Hub предлагаме кредити както за Azure, OpenAI, менторство и много повече, разгледайте!
Какво е вярно за големите езикови модели?
- Получавате точно същия отговор всеки път.
- Те правят нещата перфектно, отлично при събиране на числа, произвеждане на работещ код и др.
- Отговорът може да варира, въпреки че се използва същата подкана. Също така е страхотно да ви даде първа чернова на нещо, било то текст или код. Но трябва да подобрите резултатите.
A: 3, LLM е недетерминистичен, отговорът варира, въпреки това можете да контролирате неговата вариация чрез настройка на температурата. Не трябва да очаквате да прави нещата перфектно, тук е, за да върши тежката работа за вас, което често означава, че получавате добра първа опитка за нещо, което трябва постепенно да подобрите.
След завършване на този урок, разгледайте нашата Колекция за обучение по Генеративен AI, за да продължите да повишавате знанията си за Генеративния AI!
Продължете към Урок 2, където ще разгледаме как да изследваме и сравняваме различни типове LLM!
Отказ от отговорност: Този документ е преведен с помощта на AI услуга за превод Co-op Translator. Докато се стремим към точност, моля, имайте предвид, че автоматизираните преводи може да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Не носим отговорност за каквито и да е недоразумения или погрешни тълкувания, произтичащи от използването на този превод.