ChatGPT是OpenAI研發(fā)的一款基于GPT-3.5架構(gòu)的聊天機器人程序，能夠基于預(yù)訓(xùn)練模式和統(tǒng)計規(guī)律，生成回答和互動，還能完成各種文本任務(wù)，但大家了解ChatGPT實際上是如何工作的嗎？下面這篇文章筆者講述關(guān)于這個的內(nèi)容，大家一起來看看吧！

我們深入研究了廣受歡迎的人工智能聊天機器人 ChatGPT 的內(nèi)部工作原理，才能更好的去開發(fā)和使用它。

Google、Wolfram Alpha 和ChatGPT都通過單行文本輸入字段與用戶交互并提供文本結(jié)果。谷歌返回搜索結(jié)果、網(wǎng)頁和文章列表（希望）提供與搜索查詢相關(guān)的信息。Wolfram Alpha 通常提供與數(shù)學(xué)和數(shù)據(jù)分析相關(guān)的答案。

相比之下，ChatGPT 根據(jù)用戶問題背后的上下文和意圖提供響應(yīng)。例如，你不能要求 Google 寫一個故事或要求 Wolfram Alpha 編寫一個代碼模塊，但 ChatGPT 可以做這些事情。

從根本上來說，Google 的強大之處在于能夠進(jìn)行大量數(shù)據(jù)庫查找并提供一系列匹配。Wolfram Alpha 的強大之處在于能夠解析與數(shù)據(jù)相關(guān)的問題并根據(jù)這些問題執(zhí)行計算。

ChatGPT 的強大之處在于能夠根據(jù)世界上大多數(shù)可數(shù)字訪問的基于文本的信息（至少是 2021 年之前訓(xùn)練時存在的信息）解析查詢并生成完全充實的答案和結(jié)果。

在本文中，我們將了解 ChatGPT 操作的主要階段。

一、ChatGPT 操作的兩個主要階段

我們再用谷歌來打個比方。當(dāng)你要求谷歌查找某些內(nèi)容時，它不會在你提出要求的那一刻去搜索整個網(wǎng)絡(luò)來尋找答案。它只會會在其數(shù)據(jù)庫中搜索與該請求匹配的頁面。Google 實際上有兩個主要階段：蜘蛛抓取和數(shù)據(jù)收集階段，以及用戶交互/查找階段。

如何定义B端产品及B端产品经理方法论

相较于C端产品，B端产品最大的特点是：面向特定领域用户，且数量少得多，但更注重对用户专业领域操作流程的深度挖掘——也就是专业性更强，与业务的结合更紧密。

查看详情 >

粗略地說，ChatGPT 的工作原理是相同的。數(shù)據(jù)收集階段稱為預(yù)訓(xùn)練，而用戶響應(yīng)階段稱為推理。生成式人工智能背后的魔力及其突然爆發(fā)的原因是預(yù)訓(xùn)練的工作方式突然被證明具有巨大的可擴(kuò)展性。這種可擴(kuò)展性是通過最近在經(jīng)濟(jì)實惠的硬件技術(shù)和云計算方面的創(chuàng)新而實現(xiàn)的。

二、人工智能預(yù)訓(xùn)練的工作原理

一般來說，人工智能使用兩種主要方法進(jìn)行預(yù)訓(xùn)練：監(jiān)督和非監(jiān)督。對于大多數(shù)人工智能項目，直到當(dāng)前的生成式人工智能系統(tǒng)（如 ChatGPT），都使用了監(jiān)督方法。

監(jiān)督預(yù)訓(xùn)練是在標(biāo)記數(shù)據(jù)集上訓(xùn)練模型的過程，其中每個輸入都與相應(yīng)的輸出相關(guān)聯(lián)。

例如，人工智能可以在客戶服務(wù)對話數(shù)據(jù)集上進(jìn)行訓(xùn)練，其中用戶的問題和投訴被標(biāo)記為客戶服務(wù)代表的適當(dāng)答復(fù)。為了訓(xùn)練人工智能，需要提出諸如“如何重置密碼？”之類的問題。將作為用戶輸入提供，并且諸如“你可以通過訪問我們網(wǎng)站上的帳戶設(shè)置頁面并按照提示操作來重置密碼”之類的答案將作為輸出提供。

在監(jiān)督訓(xùn)練方法中，整個模型被訓(xùn)練以學(xué)習(xí)可以準(zhǔn)確地將輸入映射到輸出的映射函數(shù)。該過程通常用于監(jiān)督學(xué)習(xí)任務(wù)，例如分類、回歸和序列標(biāo)記。

但是其擴(kuò)展方式是有限的。人類培訓(xùn)師必須花很大力氣來預(yù)測所有的輸入和輸出。培訓(xùn)可能需要很長時間，并且主題專業(yè)知識有限。

但正如我們所知，ChatGPT 在主題專業(yè)知識方面幾乎沒有限制。你可以讓它為《星際迷航》中的邁爾斯·奧布萊恩酋長寫一份簡歷，讓它解釋量子物理，寫一段代碼，寫一篇短篇小說，并比較美國前總統(tǒng)的執(zhí)政風(fēng)格狀態(tài)。

不可能預(yù)測所有會被問到的問題，因此 ChatGPT 確實不可能用監(jiān)督模型進(jìn)行訓(xùn)練。相反，ChatGPT 使用無監(jiān)督預(yù)訓(xùn)練——這就是游戲規(guī)則的改變者。

無監(jiān)督預(yù)訓(xùn)練是根據(jù)數(shù)據(jù)訓(xùn)練模型的過程，其中每個輸入都沒有關(guān)聯(lián)特定的輸出。相反，模型經(jīng)過訓(xùn)練來學(xué)習(xí)輸入數(shù)據(jù)中的底層結(jié)構(gòu)和模式，而無需考慮任何特定任務(wù)。該過程通常用于無監(jiān)督學(xué)習(xí)任務(wù)，例如聚類、異常檢測和降維。在語言建模的背景下，無監(jiān)督預(yù)訓(xùn)練可用于訓(xùn)練模型理解自然語言的語法和語義，使其能夠在會話上下文中生成連貫且有意義的文本。

在這里，ChatGPT 看似無限的知識成為可能。因為開發(fā)人員不需要知道輸入的輸出，所以他們所要做的就是將越來越多的信息轉(zhuǎn)儲到 ChatGPT 預(yù)訓(xùn)練機制中，這稱為基于 Transformer 的語言建模。

三、Transformer架構(gòu)

Transformer架構(gòu)是一種用于處理自然語言數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)通過互連節(jié)點層處理信息來模擬人腦的工作方式。將神經(jīng)網(wǎng)絡(luò)想象成一個曲棍球隊：每個球員都有一個角色，但他們在具有特定角色的球員之間來回傳遞冰球，所有人一起努力得分。

Transformer 架構(gòu)在進(jìn)行預(yù)測時，通過使用“自注意力”來權(quán)衡序列中不同單詞的重要性來處理單詞序列。自我注意力類似于讀者回顧前一個句子或段落以了解理解書中新單詞所需的上下文的方式。轉(zhuǎn)換器查看序列中的所有單詞，以了解上下文以及單詞之間的關(guān)系。

在訓(xùn)練期間，Transformer會獲得輸入數(shù)據(jù)（例如句子），并被要求根據(jù)該輸入進(jìn)行預(yù)測。該模型根據(jù)其預(yù)測與實際輸出的匹配程度進(jìn)行更新。通過這個過程，Transformer學(xué)習(xí)理解序列中單詞之間的上下文和關(guān)系，使其成為自然語言處理任務(wù)（例如語言翻譯和文本生成）的強大工具。

但是這些模型可能會生成有害或有偏見的內(nèi)容，因為它們可能會學(xué)習(xí)訓(xùn)練數(shù)據(jù)中存在的模式和偏見。實施這些模型的公司正在嘗試提供“護(hù)欄”，但這些護(hù)欄本身可能會引起問題。這是因為不同的人有不同的觀點，而試圖防止基于一種思想流派的偏見可能會被另一種思想流派聲稱為偏見。考慮到整個社會的復(fù)雜性，這使得通用聊天機器人的設(shè)計變得困難。

我們首先討論輸入 ChatGPT 的數(shù)據(jù)，然后看看 ChatGPT 和自然語言的用戶交互階段。

四、ChatGPT 的訓(xùn)練數(shù)據(jù)集

用于訓(xùn)練 ChatGPT 的數(shù)據(jù)集非常龐大。ChatGPT 基于GPT-3（生成式預(yù)訓(xùn)練 Transformer 3）架構(gòu)。ChatGPT 的免費版本是在 CPT-3 上進(jìn)行訓(xùn)練的。如果你每月支付 20 美元購買 ChatGPT Plus，可以選擇使用GPT-3 訓(xùn)練數(shù)據(jù)集或更廣泛的 GPT-4 數(shù)據(jù)集。

如此大量的數(shù)據(jù)使 ChatGPT 能夠以前所未有的規(guī)模學(xué)習(xí)自然語言中單詞和短語之間的模式和關(guān)系，這也是它能夠如此有效地為用戶查詢生成連貫且上下文相關(guān)的響應(yīng)的原因之一。

雖然 ChatGPT 基于 GPT-3 架構(gòu)，但它已在不同的數(shù)據(jù)集上進(jìn)行了微調(diào)，并針對對話用例進(jìn)行了優(yōu)化。這使得它能夠為通過聊天界面與其交互的用戶提供更加個性化和引人入勝的體驗。

例如，OpenAI發(fā)布了一個名為Persona-Chat 的數(shù)據(jù)集，專門用于訓(xùn)練 ChatGPT 等會話式 AI 模型。該數(shù)據(jù)集由兩個人類參與者之間的超過 160,000 條對話組成，每個參與者都被分配了一個獨特的角色來描述他們的背景、興趣和個性。這使得 ChatGPT 能夠?qū)W習(xí)如何生成個性化且與對話的特定上下文相關(guān)的響應(yīng)。

除了 Persona-Chat 之外，還有許多其他對話數(shù)據(jù)集用于微調(diào) ChatGPT：

• 康奈爾電影對話語料庫：包含電影腳本中角色之間對話的數(shù)據(jù)集。它包含 10,000 多個電影角色對之間的 200,000 多次對話，涵蓋各種主題和類型。
• Ubuntu 對話語料庫：尋求技術(shù)支持的用戶與 Ubuntu 社區(qū)支持團(tuán)隊之間多輪對話的集合。它包含超過 100 萬個對話，使其成為用于對話系統(tǒng)研究的最大的公開數(shù)據(jù)集之一。
• DailyDialog：各種主題的人與人對話的集合，從日常生活對話到有關(guān)社會問題的討論。數(shù)據(jù)集中的每個對話都由幾個回合組成，并標(biāo)有一組情感、情緒和主題信息。

除了這些數(shù)據(jù)集之外，ChatGPT 還接受了互聯(lián)網(wǎng)上大量非結(jié)構(gòu)化數(shù)據(jù)的訓(xùn)練，包括網(wǎng)站、書籍和其他文本源。這使得 ChatGPT 能夠從更一般的意義上了解語言的結(jié)構(gòu)和模式，然后可以針對對話管理或情感分析等特定應(yīng)用進(jìn)行微調(diào)。

總體而言，用于微調(diào) ChatGPT 的訓(xùn)練數(shù)據(jù)本質(zhì)上通常是對話性的，并且專門包含人類之間的對話，這使得 ChatGPT 能夠?qū)W習(xí)如何以對話格式生成自然且引人入勝的響應(yīng)。

以這種方式思考 ChatGPT 的無監(jiān)督訓(xùn)練：它被輸入大量數(shù)據(jù)，并留給自己的設(shè)備來尋找模式并理解這一切。這就是新的生成式人工智能系統(tǒng)能夠如此迅速擴(kuò)展的機制。

雖然 ChatGPT 生成式人工智能的繁重工作是通過預(yù)訓(xùn)練完成的，但它還必須能夠理解問題并從所有數(shù)據(jù)中構(gòu)建答案。這是由自然語言處理和對話管理組成的推理階段完成的。

五、自然語言處理

自然語言處理（NLP）專注于使計算機能夠理解、解釋和生成人類語言。隨著數(shù)字?jǐn)?shù)據(jù)的指數(shù)級增長和自然語言界面的日益使用，NLP 已成為許多企業(yè)的關(guān)鍵技術(shù)。

NLP 技術(shù)可用于廣泛的應(yīng)用，包括情感分析、聊天機器人、語音識別和翻譯。通過利用 NLP，企業(yè)可以自動化任務(wù)、改善客戶服務(wù)，并從客戶反饋和社交媒體帖子中獲得有價值的見解。

實施 NLP 的關(guān)鍵挑戰(zhàn)之一是處理人類語言的復(fù)雜性和歧義性。NLP 算法需要接受大量數(shù)據(jù)的訓(xùn)練，才能識別模式并學(xué)習(xí)語言的細(xì)微差別。它們還需要不斷完善和更新，以跟上語言使用和上下文的變化。

該技術(shù)的工作原理是將語言輸入（例如句子或段落）分解為更小的組件，并分析它們的含義和關(guān)系以生成見解或響應(yīng)。NLP 技術(shù)結(jié)合使用統(tǒng)計建模、機器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)來識別模式并從大量數(shù)據(jù)中學(xué)習(xí)，以便準(zhǔn)確地解釋和生成語言。

六、對話管理

ChatGPT 可以提出后續(xù)問題來更好地了解你的需求，并提供對于整個對話歷史記錄的個性化響應(yīng)。

這就是 ChatGPT 能夠以自然且有吸引力的方式與用戶進(jìn)行多輪對話的方式。它涉及使用算法和機器學(xué)習(xí)技術(shù)來理解對話的上下文并在與用戶的多次交流中維護(hù)它。

對話管理是自然語言處理的一個重要方面，因為它允許計算機程序以一種感覺更像對話而不是一系列一次性交互的方式與人交互。這有助于與用戶建立信任和互動，并最終為用戶和使用該程序的組織帶來更好的結(jié)果。

當(dāng)然，營銷人員希望擴(kuò)大信任的建立方式，但這也是一個可能令人恐懼的領(lǐng)域，因為這是人工智能可能操縱其使用者的一種方式。