(點擊上方圖片觀看本課程的影片)
生成式人工智能是一種能夠生成文本、圖像及其他類型內容的人工智能技術。這項技術的奇妙之處在於它使人工智能更加普及，任何人只需輸入一段自然語言的文字提示即可使用它。您不需要學習像 Java 或 SQL 這樣的編程語言來完成有價值的事情，只需使用您的語言，說出您的需求，人工智能模型就會提供建議。其應用範圍和影響力巨大，您可以在幾秒鐘內撰寫或理解報告、編寫應用程式等等。
在這套課程中，我們將探討我們的初創公司如何利用生成式人工智能在教育領域開啟新場景，以及如何應對其應用所帶來的社會影響和技術限制的挑戰。
本課程將涵蓋：
- 商業場景介紹：我們的初創公司理念及使命。
- 生成式人工智能及我們如何進入當前的技術領域。
- 大型語言模型的內部運作。
- 大型語言模型的主要功能及實際應用場景。
完成本課程後，您將了解：
- 什麼是生成式人工智能以及大型語言模型如何運作。
- 如何利用大型語言模型進行不同的應用，特別是針對教育場景。
生成式人工智能代表了人工智能技術的巔峰，突破了曾經被認為不可能的界限。生成式人工智能模型擁有多種功能和應用，但在這套課程中，我們將探討它如何通過一個虛構的初創公司徹底改變教育方式。我們將這家初創公司稱為 我們的初創公司。我們的初創公司致力於教育領域，並擁有以下雄心勃勃的使命宣言：
提升全球範圍內的學習可及性，確保教育公平，並根據每位學習者的需求提供個性化的學習體驗。
我們的初創公司團隊意識到，若不利用現代最強大的工具之一——大型語言模型（LLMs），我們將無法實現這一目標。
生成式人工智能預計將徹底改變我們今天的學習和教學方式，學生可以隨時隨地擁有虛擬教師，提供大量信息和示例；而教師則能利用創新的工具來評估學生並提供反饋。
首先，讓我們定義一些我們在整個課程中將使用的基本概念和術語。
儘管最近生成式人工智能模型的發布引起了極大的熱潮，但這項技術的研發已經有數十年的歷史，最早的研究可以追溯到20世紀60年代。如今，我們已經達到了一個人工智能擁有類似人類認知能力的階段，例如對話功能，這可以通過 OpenAI ChatGPT 或 Bing Chat 等例子來展示，後者也使用了基於 GPT 模型的網頁搜索對話功能。
回顧一下，最早的人工智能原型是基於打字的聊天機器人，依賴於從專家群體中提取的知識庫並將其表示到計算機中。知識庫中的答案是由輸入文本中出現的關鍵字觸發的。 然而，很快就發現這種基於打字聊天機器人的方法並不具備良好的擴展性。
在20世紀90年代，隨著統計方法應用於文本分析，人工智能迎來了一個轉折點。這促使了新算法的開發——即機器學習，能夠從數據中學習模式，而無需明確編程。這種方法使機器能夠模擬人類的語言理解：統計模型在文本與標籤配對的基礎上進行訓練，使模型能夠根據預定義的標籤來分類未知的輸入文本，從而代表消息的意圖。
近年來，硬件技術的進步使得能夠處理更大數據量和更複雜計算的技術得以發展，促進了人工智能研究，催生了被稱為神經網絡或深度學習算法的高級機器學習算法。
神經網絡（尤其是循環神經網絡——RNNs）顯著提升了自然語言處理能力，使得文本含義的表示更加有意義，並能夠在句子中考慮單詞的上下文。
這項技術推動了21世紀初誕生的虛擬助手，它們非常擅長解讀人類語言，識別需求，並執行滿足需求的操作——例如用預定義的腳本回答或使用第三方服務。
這就是我們今天生成式人工智能的誕生，它可以被視為深度學習的一個子集。
經過數十年的人工智能領域研究，一種名為 Transformer 的新模型架構克服了 RNNs 的限制，能夠接受更長的文本序列作為輸入。Transformer 基於注意力機制，使模型能夠對接收到的輸入賦予不同的權重，‘更加關注’最相關的信息所在的位置，而不受文本序列中順序的影響。
大多數最近的生成式人工智能模型——也被稱為大型語言模型（LLMs），因為它們處理文本輸入和輸出——確實基於這種架構。這些模型的有趣之處在於，它們是基於從書籍、文章和網站等多種來源中提取的大量未標記數據進行訓練的，可以適應多種任務並生成語法正確且具有一定創造力的文本。因此，它們不僅極大地提升了機器‘理解’輸入文本的能力，還使其能夠以人類語言生成原創的回應。
在下一章中，我們將探討不同類型的生成式人工智能模型，但現在讓我們先來了解大型語言模型的運作方式，重點是 OpenAI 的 GPT（生成預訓練 Transformer）模型。
- 分詞器，文本轉數字：大型語言模型接收文本作為輸入並生成文本作為輸出。然而，作為統計模型，它們處理數字比處理文本序列更為有效。因此，模型的每個輸入在被核心模型使用之前都會經過分詞器處理。分詞器的主要任務是將輸入拆分為一系列的詞元（token），每個詞元由可變數量的字符組成。然後，每個詞元都會映射到一個詞元索引，即原始文本片段的整數編碼。
-
預測輸出詞元：給定 n 個詞元作為輸入（最大 n 值因模型而異），模型能夠預測一個詞元作為輸出。該詞元隨後被納入下一次迭代的輸入中，形成一個擴展窗口模式，從而提供更好的用戶體驗，生成一個（或多個）句子作為答案。如果您曾經使用過 ChatGPT，可能會注意到有時它似乎在句子中途停止，這就是原因。
-
選擇過程，概率分佈：模型根據當前文本序列後出現的概率選擇輸出詞元。這是因為模型基於其訓練數據預測所有可能‘下一個詞元’的概率分佈。然而，並不總是選擇概率最高的詞元。這一選擇中加入了一定程度的隨機性，使模型以非確定性方式行事——對於相同的輸入，我們不會每次都得到完全相同的輸出。這種隨機性是為了模擬創造性思維的過程，可以通過模型參數‘溫度’進行調整。
現在我們對大型語言模型的內部運作有了更深入的了解，讓我們看看它們可以執行的一些常見任務的實際例子，並結合我們的商業場景進行探討。 我們提到，大型語言模型的主要功能是 從零開始生成文本，基於自然語言編寫的文本輸入。
但什麼樣的文本輸入和輸出呢？ 大型語言模型的輸入被稱為提示（prompt），而輸出被稱為完成（completion），這個術語指的是模型生成下一個詞元以完成當前輸入的機制。我們將深入探討什麼是提示以及如何設計提示以充分利用模型。但現在，我們先簡單說明一下提示可能包括：
-
指令，指定我們期望模型生成的輸出類型。這些指令有時可能包含一些示例或額外數據。
- 文章、書籍、產品評論等的摘要，以及從非結構化數據中提取洞察。
-
創意構思及設計文章、論文、作業等。
-
問題，以與代理對話的形式提出。
-
一段 待完成的文本，隱含地要求提供寫作協助。
-
一段 程式碼，並要求解釋和記錄它，或者一條評論要求生成執行特定任務的程式碼。
以上示例相對簡單，並非大型語言模型功能的全面展示。它們旨在展示使用生成式人工智能的潛力，特別是在教育環境中，但不限於此。
此外，生成式人工智能模型的輸出並不完美，有時模型的創造力可能會適得其反，導致輸出內容是人類用戶可能解讀為現實的扭曲，或者可能具有冒犯性。生成式人工智能並不是真正的智能——至少在更全面的智能定義中，包括批判性和創造性推理或情感智能；它不是確定性的，也不完全可靠，因為錯誤的引用、內容和陳述可能與正確的信息結合在一起，以令人信服和自信的方式呈現。在接下來的課程中，我們將處理所有這些限制，並探討如何減輕它們。
您的作業是進一步閱讀有關 生成式人工智能 的資料，並嘗試識別一個目前尚未使用生成式人工智能的領域，您希望將其加入其中。與傳統方式相比，影響會有何不同？您是否能夠完成以前無法完成的事情，或者是否能更快完成？撰寫一篇300字的摘要，描述您的夢想人工智能初創公司，並包括以下標題：「問題」、「我如何使用人工智能」、「影響」，以及可選的商業計劃。
如果您完成了這項任務，您甚至可能準備好申請微軟的孵化器計劃 Microsoft for Startups Founders Hub，我們提供 Azure、OpenAI、指導等方面的資源，快來了解更多！
關於大型語言模型，以下哪項是正確的？
- 每次都會得到完全相同的回應。
- 它能完美地完成任務，例如加法、生成可用的程式碼等。
- 回應可能會因相同的提示而有所不同。它也非常擅長提供某些內容的初稿，無論是文本還是程式碼。但您需要對結果進行改進。
答案：3，大型語言模型是非確定性的，回應會有所不同，但您可以通過溫度設置來控制其變化。您也不應期望它完美地完成任務，它的目的是為您完成繁重的工作，通常意味著您會得到一個良好的初步嘗試，然後需要逐步改進。
完成本課程後，請查看我們的 生成式人工智能學習合集，繼續提升您的生成式人工智能知識！ 前往第2課，我們將探討如何探索和比較不同的LLM類型!
免責聲明：
此文件已使用人工智能翻譯服務 Co-op Translator 進行翻譯。儘管我們致力於提供準確的翻譯，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於重要信息，建議使用專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或誤釋不承擔責任。