(點擊上方圖片觀看本課程影片)
生成式人工智慧是一種能夠生成文字、圖像及其他類型內容的人工智慧技術。這項技術的奇妙之處在於它使人工智慧更加普及，任何人只需輸入一段自然語言的文字提示即可使用它。您不需要學習像 Java 或 SQL 這樣的程式語言來完成有價值的事情，只需使用您的語言，說出您的需求，人工智慧模型就能提供建議。這項技術的應用範圍及影響力非常巨大，您可以在幾秒鐘內撰寫或理解報告、撰寫應用程式等等。
在這份課程中，我們將探討我們的初創公司如何利用生成式人工智慧在教育領域開創新場景，以及如何應對其應用所帶來的社會影響及技術限制。
本課程將涵蓋：
- 商業場景介紹：我們的初創公司理念及使命。
- 生成式人工智慧及我們如何進入當前的技術領域。
- 大型語言模型的內部運作。
- 大型語言模型的主要功能及實際應用案例。
完成本課程後，您將了解：
- 什麼是生成式人工智慧以及大型語言模型的運作方式。
- 如何利用大型語言模型進行不同的應用，特別是教育場景中的應用。
生成式人工智慧代表了人工智慧技術的巔峰，突破了曾經被認為不可能的界限。生成式人工智慧模型具有多種功能和應用，但在這份課程中，我們將探討它如何通過一個虛構的初創公司徹底改變教育方式。我們將稱這個初創公司為 我們的初創公司。我們的初創公司致力於教育領域，擁有以下雄心勃勃的使命宣言：
改善全球範圍內的學習可及性，確保教育公平，並根據每位學習者的需求提供個性化的學習體驗。
我們的初創公司團隊深知，若不利用現代最強大的工具之一——大型語言模型（LLMs），我們將無法實現這一目標。
生成式人工智慧預計將徹底改變我們今天的學習和教學方式，學生可以隨時隨地使用虛擬教師獲取大量信息和範例，而教師則能利用創新的工具評估學生並提供反饋。
首先，讓我們定義一些我們在整個課程中將使用的基本概念和術語。
儘管最近生成式人工智慧模型的發布引起了極大的 熱潮，但這項技術的研發已經歷了數十年，最早的研究工作可以追溯到 1960 年代。如今，我們已經達到了一個人工智慧擁有類似人類認知能力的階段，例如 OpenAI ChatGPT 或 Bing Chat 所展示的對話能力，後者也使用 GPT 模型進行網頁搜索和 Bing 對話。
回顧一下，最早的人工智慧原型是基於打字機的聊天機器人，它們依賴於從專家群體中提取的知識庫並將其表示到計算機中。知識庫中的答案是通過輸入文本中出現的關鍵字觸發的。 然而，很快就發現這種使用打字機聊天機器人的方法並不具備良好的擴展性。
在 1990 年代，隨著統計方法應用於文本分析，人工智慧迎來了一個轉折點。這導致了新算法的開發——即機器學習，能夠從數據中學習模式，而無需明確編程。這種方法使機器能夠模擬人類的語言理解：統計模型在文本與標籤配對的基礎上進行訓練，使模型能夠根據預定義的標籤來分類未知的輸入文本，從而表示消息的意圖。
近年來，硬體技術的演進使得處理更大數據量和更複雜計算成為可能，促進了人工智慧研究的發展，催生了被稱為神經網絡或深度學習算法的先進機器學習算法。
神經網絡（特別是循環神經網絡 - RNNs）顯著提升了自然語言處理能力，使得文本的含義能以更有意義的方式表示，並且能夠在句子中重視詞語的上下文。
這項技術推動了新世紀第一個十年誕生的虛擬助手，它們非常擅長解讀人類語言，識別需求並執行滿足需求的操作——例如用預定義的腳本回答或使用第三方服務。
這就是我們如何走到今天的生成式人工智慧，它可以被視為深度學習的一個子集。
經過數十年的人工智慧領域研究，一種新的模型架構——稱為 Transformer——克服了 RNNs 的限制，能夠接受更長的文本序列作為輸入。Transformer 基於注意力機制，使模型能夠對接收到的輸入賦予不同的權重，‘更關注’最相關的信息所在位置，而不受文本序列中順序的影響。
大多數最近的生成式人工智慧模型——也被稱為大型語言模型（LLMs），因為它們處理文本輸入和輸出——確實基於這種架構。這些模型的有趣之處在於，它們是基於大量未標記的數據進行訓練的，這些數據來自書籍、文章和網站等多種來源。這使得它們能夠適應多種任務，並以一定的創造性生成語法正確的文本。因此，它們不僅極大地提升了機器‘理解’輸入文本的能力，還使其能夠以人類語言生成原創的回應。
在下一章中，我們將探討不同類型的生成式人工智慧模型，但現在讓我們先來看看大型語言模型的運作方式，重點是 OpenAI 的 GPT（生成預訓練 Transformer）模型。
- 分詞器，將文本轉換為數字：大型語言模型接收文本作為輸入並生成文本作為輸出。然而，作為統計模型，它們處理數字比處理文本序列更為有效。因此，模型的每個輸入在被核心模型使用之前都會經過分詞器處理。分詞器的主要任務是將輸入拆分為一系列的詞元（token），每個詞元由可變數量的字符組成。然後，每個詞元會映射到一個詞元索引，即原始文本片段的整數編碼。
-
預測輸出詞元：給定 n 個詞元作為輸入（最大 n 隨模型而異），模型能夠預測一個詞元作為輸出。該詞元然後被納入下一次迭代的輸入中，形成擴展窗口模式，提供更好的用戶體驗，生成一個（或多個）句子作為答案。這解釋了為什麼如果您曾使用過 ChatGPT，可能會注意到有時它似乎在句子中途停止。
-
選擇過程，概率分布：模型根據當前文本序列之後出現的概率選擇輸出詞元。這是因為模型根據其訓練計算出所有可能‘下一個詞元’的概率分布。然而，並非總是選擇概率最高的詞元。這一選擇中加入了一定程度的隨機性，使模型以非確定性方式行事——對於相同的輸入，我們不會每次都得到完全相同的輸出。這種隨機性是為了模擬創造性思維的過程，可以通過模型參數‘溫度’進行調整。
現在我們對大型語言模型的內部運作有了更深入的了解，讓我們看看它們能夠執行的一些常見任務的實際例子，並結合我們的商業場景進行探討。 我們提到，大型語言模型的主要功能是 從零開始生成文本，基於自然語言撰寫的文本輸入。
但什麼樣的文本輸入和輸出呢？ 大型語言模型的輸入被稱為提示（prompt），而輸出被稱為完成（completion），這個術語指的是模型生成下一個詞元以完成當前輸入的機制。我們將深入探討什麼是提示以及如何設計提示以充分利用模型。但現在，我們先簡單說明提示可能包括：
-
指令，指定我們期望模型生成的輸出類型。這些指令有時可能包含一些範例或額外數據。
- 文章、書籍、產品評論等的摘要，以及從非結構化數據中提取洞察。
-
創意構思和設計文章、論文、作業等。
-
問題，以與代理對話的形式提出。
-
一段需要完成的文本，隱含著對寫作協助的需求。
-
一段程式碼，並要求解釋和記錄它，或者一段評論要求生成執行特定任務的程式碼。
以上示例相對簡單，並非旨在全面展示大型語言模型的能力。它們旨在展示使用生成式人工智慧的潛力，特別是在教育環境中，但不限於此。
此外，生成式人工智慧模型的輸出並不完美，有時模型的創造性可能適得其反，導致輸出是人類用戶可能解讀為現實扭曲的詞語組合，或者可能具有冒犯性。生成式人工智慧並不是真正的智能——至少在更全面的智能定義中，包括批判性和創造性推理或情感智能；它不是確定性的，也不是完全可信的，因為錯誤的引用、內容和陳述可能與正確的信息結合在一起，以令人信服和自信的方式呈現。在接下來的課程中，我們將處理所有這些限制，並探討如何減輕它們的影響。
您的作業是進一步閱讀 生成式人工智慧，並嘗試識別一個目前尚未使用生成式人工智慧的領域，您希望將其加入其中。與傳統方式相比，影響會有何不同？您是否能夠完成以前無法完成的事情，或者速度是否更快？請撰寫一篇 300 字的摘要，描述您的理想人工智慧初創公司，並包括以下標題：「問題」、「我如何使用人工智慧」、「影響」，以及可選的商業計劃。
如果您完成了這項任務，您甚至可以考慮申請微軟的孵化器計劃 Microsoft for Startups Founders Hub，我們提供 Azure、OpenAI 的點數、指導等更多資源，快來了解吧！
關於大型語言模型，以下哪一項是正確的？
- 每次都會得到完全相同的回應。
- 它能完美地完成任務，例如加法運算、生成可用的程式碼等。
- 即使使用相同的提示，回應可能會有所不同。它也非常擅長提供某些內容的初稿，無論是文本還是程式碼。但您需要對結果進行改進。
答案：3，LLM 是非確定性的，回應可能會有所不同，但您可以通過溫度設置來控制其變化程度。您也不應期望它完美地完成所有事情，它的作用是為您完成繁重的工作，通常意味著您會得到一個良好的初步嘗試，然後需要逐步改進。
完成本課程後，請查看我們的 生成式人工智慧學習系列，繼續提升您的生成式人工智慧知識！ 前往第2課，我們將探討如何探索和比較不同的LLM類型!
免責聲明：
本文件已使用 AI 翻譯服務 Co-op Translator 進行翻譯。儘管我們致力於提供準確的翻譯，請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於關鍵信息，建議使用專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或誤釋不承擔責任。