產(chǎn)品經(jīng)理的AI基礎(chǔ),通俗理解 ChatGPT 的含義
本文旨在為產(chǎn)品經(jīng)理們解釋ChatGPT背后的原理及其應(yīng)用,幫助理解其對現(xiàn)代對話系統(tǒng)發(fā)展的影響。通過簡化技術(shù)性語言,我們將深入探討ChatGPT如何利用預(yù)訓(xùn)練模型、生成式任務(wù)和轉(zhuǎn)換器架構(gòu)來實現(xiàn)高效互動。
本文為產(chǎn)品經(jīng)理提供一些更易懂的chatGPT含義解釋
ChatGPT:Generative Pre-Training Transformer
01 G:Generative 生成式
生成式,在這里指的是生成模型。
1. 在人工智能領(lǐng)域,與生成模型并列存在的還有
- 判別模型(如邏輯回歸、支持向量機、決策樹和神經(jīng)網(wǎng)絡(luò))這類模型用于數(shù)據(jù)的類別判斷,例如分類問題
- 聚類模型(如kmeans,層次聚類,DBSCAN)用于發(fā)現(xiàn)數(shù)據(jù)的自然分組
- 降維模型(如PCA,LDA)用戶減少數(shù)據(jù)維度,保留重要信息
除此之外,還有關(guān)聯(lián)規(guī)則學(xué)習(xí)、回歸、集成學(xué)習(xí)、深度學(xué)習(xí)、強化學(xué)習(xí)等模型,這些模型和生成模型一樣,都是人工智能領(lǐng)域的重要組成部分,它們在不同的任務(wù)和應(yīng)用中發(fā)揮著關(guān)鍵作用。
2. 生成式模型的分類
生成式模型是一類能夠生成新數(shù)據(jù)的模型,這些數(shù)據(jù)在某種程度上與訓(xùn)練模型相似,但是是獨一無二的,它是一個廣泛的類別,其中有幾個小分支:包括使用對抗網(wǎng)絡(luò)的圖像生成模型(如DALLE),使用擴散模型的圖像生成模型(如Stable Diffusion和MidJourney),以及使用轉(zhuǎn)換器架構(gòu)的文本生成模型(如ChatGPT)。
生成式模型努力解決的問題,就是給定一些字,預(yù)測如果是人類會寫什么字。
3. BERT時代的生成式
想象你是一位老師教一個學(xué)生學(xué)習(xí)語言。在早期BERT的訓(xùn)練過程中,可以把它想象成一種特殊的教學(xué)方法:
- 遮住單詞:你給學(xué)生一本書,但是書中有些單詞被你用紙片遮住了。這些遮住的單詞就像是BERT中的[MASK]標(biāo)記。
- 猜單詞游戲:你讓學(xué)生猜這些被遮住的單詞是什么。學(xué)生需要根據(jù)句子中其他可見的單詞來做出猜測
- 反饋循環(huán):如果學(xué)生猜對了,你就給予表揚,這就像是模型在預(yù)測準(zhǔn)確時得到正面的反饋。如果猜錯了,你就糾正他,并解釋為什么錯了,這就像是模型在預(yù)測錯誤時進行調(diào)整。
- 重復(fù)練習(xí):你和學(xué)生一遍又一遍地玩這個猜單詞游戲,每次都用新的句子,學(xué)生逐漸學(xué)會了如何根據(jù)上下文來猜測單詞。
- 不斷進步:經(jīng)過大量的練習(xí)(可能是上百萬次),學(xué)生變得越來越擅長這個游戲,猜對單詞的次數(shù)也越來越多。
4. chatGPT時代的生成式
現(xiàn)在,讓我們來談?wù)凜hatGPT。它就像是BERT的升級版,不僅能夠玩猜單詞的游戲,還能夠理解句子的意思(上下文)和意圖(意思):
- 理解上下文:就像你不僅教學(xué)生單詞,還教他們?nèi)绾卫斫庹麄€句子的意思,ChatGPT也能夠理解對話的上下文。
- 理解意圖:你還會教學(xué)生如何理解別人說話的意圖,比如別人是在提問、講故事還是開玩笑。ChatGPT也能夠理解用戶的意圖,并據(jù)此生成合適的回應(yīng)。
- 創(chuàng)造性回應(yīng):最后,ChatGPT不僅僅是猜測遮住的單詞,它還能夠創(chuàng)造全新的句子和故事,就像學(xué)生不僅能夠猜出你遮住的單詞,還能夠自己寫一篇作文一樣。
BERT像是在學(xué)習(xí)如何理解語言和猜測單詞,而ChatGPT則像是在學(xué)習(xí)如何使用語言來進行交流和創(chuàng)造。
02 P:Pre-Training 預(yù)訓(xùn)練
以前很多的人工智能模型都是為了一個目標(biāo)訓(xùn)練的,這些模型就像針對一項特定任務(wù)訓(xùn)練的專家。比如:
- 圖像識別:你給模型看很多貓的圖片,它就學(xué)會識別圖片中是否有貓。
- 語音識別:模型通過分析大量的語音數(shù)據(jù),學(xué)會將語音轉(zhuǎn)換成文字。
- 棋類游戲:比如訓(xùn)練一個模型來玩圍棋,它會學(xué)習(xí)特定的策略和走法。
這些模型通常只擅長它們被訓(xùn)練做的任務(wù),如果任務(wù)稍微變化,它們可能就無法勝任了。
1. 預(yù)訓(xùn)練模型(Pre-Training Models)
Pre-Training 模型不是為了特定的目標(biāo)訓(xùn)練,而是預(yù)先訓(xùn)練一個通用的模型。如果我有特定的需求,我可以在這個基礎(chǔ)上進行第二次訓(xùn)練,基于原來已經(jīng)預(yù)訓(xùn)練的模型,進行微調(diào)(Fine- Tuning)。
這些預(yù)訓(xùn)練模型則更像是多面手,它們不是為某個特定任務(wù)訓(xùn)練的,而是通過大量數(shù)據(jù)學(xué)習(xí)語言、圖像或其他類型的通用特征。比如:
- BERT:通過分析大量的文本數(shù)據(jù),學(xué)習(xí)語言的通用模式和關(guān)系,而不是專門學(xué)習(xí)如何回答問題或翻譯語言。
- GPT(包括ChatGPT):也是通過大量的文本數(shù)據(jù)進行預(yù)訓(xùn)練,學(xué)習(xí)如何生成連貫、有意義的文本。
2. 預(yù)訓(xùn)練的好處
- 數(shù)據(jù)效率:對于特定任務(wù),我們可能沒有足夠的數(shù)據(jù)來訓(xùn)練一個專用模型。預(yù)訓(xùn)練模型可以用更少的特定數(shù)據(jù)進行微調(diào)。
- 遷移學(xué)習(xí):預(yù)訓(xùn)練模型可以將其在大量數(shù)據(jù)上學(xué)到的知識遷移到新任務(wù)上,這通常能提高模型的性能。
- 計算效率:從頭開始訓(xùn)練一個大型模型可能需要大量的計算資源。使用預(yù)訓(xùn)練模型可以節(jié)省這些資源,因為我們只需要對模型進行微調(diào),而不是從頭開始訓(xùn)練。
3. 微調(diào)(Fine-Tuning)
一旦我們有一個預(yù)訓(xùn)練模型,就可以根據(jù)特定的需求對它進行微調(diào)。這個過程就像是:
- 基礎(chǔ)訓(xùn)練:首先,模型在大量數(shù)據(jù)上進行預(yù)訓(xùn)練,學(xué)習(xí)通用的知識。
- 專業(yè)訓(xùn)練:然后,我們根據(jù)特定的任務(wù)(比如識別貓的圖片),用相對較少的數(shù)據(jù)對模型進行微調(diào)。這個過程就像是讓一個已經(jīng)受過通用教育的人去接受專業(yè)培訓(xùn),使其成為某個領(lǐng)域的專家。
ChatGPT 的預(yù)訓(xùn)練就是給了我們所有人一個預(yù)先訓(xùn)練好的模型。這個模型里面語言是強項,它提供的內(nèi)容無論多么的胡說八道,至少我們必須承認它的行文通暢程度無可挑剔。而回答的內(nèi)容部分,正是我們需要 fine tuning 的。
03 T:Transformer 轉(zhuǎn)換器
Transformer 是自然語言處理中的一種架構(gòu),由于能夠有效處理序列數(shù)據(jù)成為NLP領(lǐng)域的里程碑。該架構(gòu)在機器翻譯、文本摘要、問答系統(tǒng)、文本生成等任務(wù)中都取得了顯著的成果。
GPT系列模型就是基于轉(zhuǎn)換器架構(gòu)的,它們通過預(yù)訓(xùn)練大量的文本數(shù)據(jù),學(xué)會了語言的復(fù)雜模式,并能夠生成連貫、相關(guān)的文本。在這中間的過程為:
語言轉(zhuǎn)換器把語言序列作為輸入,然后用一個叫做 encoder 的東西變成數(shù)字(比如 GPT 就用 1536 個浮點數(shù),也叫 1536 維向量,表示任何的單詞,或者句子,段落,篇章等;
然后經(jīng)過轉(zhuǎn)化,變成一串新的序列;
最后再用 decoder 把它輸出。
轉(zhuǎn)換器,是這個自然語言處理的核心。
1. 類比變電器:
- 輸入:家用電源通常需要220伏的交流電。
- 轉(zhuǎn)換:變電器(變壓器)將高壓電線中的高電壓(例如10000伏)轉(zhuǎn)換為適合家庭使用的低電壓(例如220伏)。
- 輸出:安全的家庭用電,可以供電視、冰箱等電器使用。
2. 舉例說明
比如輸入一句話“我今天吃了蘋果,很高興”
編碼器(Encoder):這部分模型將輸入的句子轉(zhuǎn)換成一系列數(shù)字向量。每個單詞都被轉(zhuǎn)換成一個高維空間中的點(比如1024維,其中一個或多個維度的組合表達了蘋果「圓」的含義,另外一堆表達了「蘋果的紅和甜」的含義,還有一大堆共同表達了「你吃到好吃的食物,你的情緒很好」等等屬性組合,至于具體哪些表達了這些,不得而知),這個點包含了單詞的語義信息。這個過程就像是將電壓降低,使其適合處理。
轉(zhuǎn)換:Transformer模型通過自注意力機制處理這些向量,讓模型能夠理解單詞之間的關(guān)系和整個句子的含義。這就像是變電器內(nèi)部的磁場轉(zhuǎn)換,確保電流在不同部件之間有效流動。
解碼器(Decoder):在需要生成文本的任務(wù)中,解碼器會使用編碼器提供的數(shù)字向量來生成響應(yīng)或翻譯。例如,如果任務(wù)是將句子翻譯成英文,解碼器可能會輸出“I ate an apple today and I was very happy.”
最終的文本輸出,可以是翻譯、回答或其他任何基于輸入文本的生成內(nèi)容。
04 GPT:生成式預(yù)訓(xùn)練轉(zhuǎn)化器
一個預(yù)先訓(xùn)練好的,用生成的方式,把輸入文字轉(zhuǎn)化成輸出文字的翻譯,除了這個以外的各種能力和各種定義,大多數(shù)是這個翻譯官的應(yīng)用場景而不是它本身。
chatGPT
我們可以結(jié)合 OpenAI 的模型命名了解其功能和特性,同時理解OpenAI在自然語言處理領(lǐng)域的發(fā)展歷程,以及各個模型之間的聯(lián)系和區(qū)別。歷史版本包括:
1. GPT-1
- OpenAI 的首個生成模型
- 用于文本生成任務(wù)
2. GPT-2(開源)
- 繼GPT-1之后的進一步發(fā)展
- 特點是能夠生成連貫的文本
- 模型參數(shù)較少,但在當(dāng)時表現(xiàn)出色
- 已開源,允許研究者和開發(fā)者使用和修改
3. GPT-3(生成式)
可以給 prompt(提示詞),它負責(zé)補全(completion)。但是用于聊天不是很好用,因為本來就不是為聊天這個場景準(zhǔn)備的。
- 顯著擴大了模型規(guī)模,擁有175B(億億)參數(shù)。
- 能夠理解和生成自然語言文本。
- 雖然功能強大,但并非專為聊天場景設(shè)計。
4. InstructGPT(聽懂指令)
- 在GPT-3的基礎(chǔ)上發(fā)展
- 專注于理解和執(zhí)行用戶的指令
- 改進了模型對指令的響應(yīng)能力
5. ChatGPT(對話專用)
- 基于InstructGPT進一步優(yōu)化
- 專為對話場景設(shè)計,包括多輪對話
- 加強了安全和邊界設(shè)定,以適應(yīng)聊天環(huán)境
- 可以認為是GPT-3的微調(diào)(Fine-Tuning)版本
本文由 @wanee 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于 CC0 協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!