去年11月份發(fā)布的ChatGPT，由于其強(qiáng)大的對(duì)話、寫(xiě)作等能力，掀起了一波浪潮。本文作者以一個(gè)AI產(chǎn)品經(jīng)理的視角，對(duì)ChatGPT的技術(shù)原理、厲害之處、可能的落地方向等方面進(jìn)行了全面的解析，相信你看完后，會(huì)對(duì)ChatGPT有更深入的了解。

最近一段時(shí)間持續(xù)在關(guān)注兩個(gè)技術(shù)方向：

1. ChatGPT所代表的大語(yǔ)言模型對(duì)NLP領(lǐng)域的推動(dòng)
2. Diffusion算法對(duì)圖像領(lǐng)域的推動(dòng)

今天這篇會(huì)先展開(kāi)說(shuō)一說(shuō)ChatGPT，大致上包含以下方面：

1. 講明白ChatGPT的技術(shù)原理（放心，是科普向的原理，沒(méi)有任何公式）
2. 說(shuō)明白ChatGPT的技術(shù)到底厲害在哪里
3. ChatGPT可能的落地應(yīng)用方向
4. AI產(chǎn)品經(jīng)理在這波浪潮中可以做些什么

對(duì)技術(shù)不感興趣的可以直接滑動(dòng)到屏幕將近一半的位置閱讀第三部分和第四部分。

前言：一個(gè)AI產(chǎn)品經(jīng)理的觸動(dòng)

2022年11月30日，ChatGPT發(fā)布，5天內(nèi)涌入100W用戶。

他擁有持續(xù)的上下文對(duì)話能力，同時(shí)支持文章寫(xiě)作、詩(shī)詞生成、代碼生成等能力。

如果用舊技術(shù)去理解他，我們通常會(huì)認(rèn)為他的背后是由復(fù)合Agent組合起來(lái)支撐的。

復(fù)合Agent是什么意思呢？即有若干個(gè)術(shù)業(yè)有專(zhuān)攻的Agent：有一個(gè)負(fù)責(zé)聊天對(duì)話的，一個(gè)負(fù)責(zé)詩(shī)詞生成的，一個(gè)負(fù)責(zé)代碼生成的， 一個(gè)負(fù)責(zé)寫(xiě)營(yíng)銷(xiāo)文案的等等等等。

每個(gè)Agent只擅長(zhǎng)做自己的那部分事情，而在用戶使用的過(guò)程中，系統(tǒng)會(huì)先判定用戶的意圖是什么，應(yīng)該是哪個(gè)Agent，然后再將用戶的命令分發(fā)給對(duì)應(yīng)的agent去解決并提供答案。

因此看起來(lái)是很厲害的機(jī)器人，背后其實(shí)是若干個(gè)術(shù)業(yè)有專(zhuān)攻的機(jī)器人。事實(shí)上Siri、小愛(ài)、小度，小冰甚至包括各個(gè)平臺(tái)的客服機(jī)器人都是這種模式。這樣當(dāng)你要上線一個(gè)新能力（例如寫(xiě)古詩(shī)），你只需要新增訓(xùn)練一個(gè)Agent，然后將這個(gè)Agent接入到總控的分類(lèi)意圖器下就行。

這也是當(dāng)前時(shí)代的一個(gè)縮影，不管外行人如何看待你從事的行業(yè)，不管媒體是如何一次次人云亦云地說(shuō)警惕AI取代人類(lèi)，你一直都知道，你在做的只是訓(xùn)練出一個(gè)術(shù)業(yè)有專(zhuān)攻的機(jī)器人而已，離真正的人工智能十萬(wàn)八千里。

但ChatGPT的能力不再是這種模式了，他所采用的模式是大語(yǔ)言模型+Prompting。所有的能力通過(guò)一個(gè)模型實(shí)現(xiàn)，背后只有一個(gè)什么都會(huì)的機(jī)器人（即大語(yǔ)言模型），并支持用戶借助文字下達(dá)命令（即Prompting，提示/指示）。

雖然這種能力的表現(xiàn)還不算完美，但是他開(kāi)啟了一條一種通向“通用型人工智能”的道路，曾經(jīng)科幻故事里的Jarvis，moss好像真的有了那么一點(diǎn)可能。而這才是7年前，我踏入這個(gè)行業(yè)所憧憬的東西啊。

可能你對(duì)我的震撼有點(diǎn)無(wú)法理解，我接下來(lái)會(huì)講明白他的技術(shù)原理，帶你慢慢感知這項(xiàng)技術(shù)的厲害之處，下面正式進(jìn)入正文。

第一部分：ChatGPT的技術(shù)原理

首先，我們要弄明白，NLP任務(wù)（自然語(yǔ)言處理，AI的一個(gè)技術(shù)領(lǐng)域，即文本類(lèi)的AI任務(wù)）的核心邏輯是一個(gè)“猜概率”的游戲。

比如說(shuō)，“我今天被我老板___”，經(jīng)過(guò)大量的數(shù)據(jù)訓(xùn)練后，AI預(yù)測(cè)空格出會(huì)出現(xiàn)的最高概率的詞是“CPU了”，那么CPU就會(huì)被填到這個(gè)空格中，從而答案產(chǎn)生——“我今天被我老板CPU了”。

雖然非常不可思議，但事實(shí)就是這樣，現(xiàn)階段所有的NLP任務(wù)，都不意味著機(jī)器真正理解這個(gè)世界，他只是在玩文字游戲，進(jìn)行一次又一次的概率解謎，本質(zhì)上和我們玩報(bào)紙上的填字游戲是一個(gè)邏輯。只是我們靠知識(shí)和智慧，AI靠概率計(jì)算。

而在目前的“猜概率”游戲環(huán)境下，基于大型語(yǔ)言模型（LLM，Large Language Model）演進(jìn)出了最主流的兩個(gè)方向，即Bert和GPT。

其中BERT是之前最流行的方向，幾乎統(tǒng)治了所有NLP領(lǐng)域，并在自然語(yǔ)言理解類(lèi)任務(wù)中發(fā)揮出色（例如文本分類(lèi)，情感傾向判斷等）。

而GPT方向則較為薄弱，最知名的玩家就是OpenAI了，事實(shí)上在GPT3.0發(fā)布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT背后模型GPT3.5的前身）。

接下來(lái)我們?cè)敿?xì)說(shuō)說(shuō)BERT和GPT兩者之間的差別。

• BERT：雙向 預(yù)訓(xùn)練語(yǔ)言模型+fine-tuning（微調(diào)）
• GPT：自回歸 預(yù)訓(xùn)練語(yǔ)言模型+Prompting（指示/提示）

每個(gè)字都認(rèn)識(shí)，連到一起就不認(rèn)識(shí)了是嗎哈哈。沒(méi)關(guān)系，接下來(lái)我們把這些術(shù)語(yǔ)逐個(gè)拆解一遍就懂了。

1. 「預(yù)訓(xùn)練語(yǔ)言模型」

我們通常認(rèn)知里的AI，是針對(duì)具體任務(wù)進(jìn)行訓(xùn)練。例如一個(gè)能分辨貓品種的Agent，需要你提供A-緬因貓，B-豹貓這樣的數(shù)據(jù)集給他，讓它學(xué)習(xí)不同品種之間的特征差異，從而學(xué)會(huì)分辨貓品種這項(xiàng)能力。

但大語(yǔ)言模型不是這樣運(yùn)作的，他是通過(guò)一個(gè)大一統(tǒng)模型先來(lái)認(rèn)識(shí)這個(gè)世界。再帶著對(duì)這個(gè)世界的認(rèn)知對(duì)具體領(lǐng)域進(jìn)行降維打擊。

在這里讓我們先從從NLP領(lǐng)域的中間任務(wù)說(shuō)起。像中文分詞，詞性標(biāo)注，NER，句法分析等NLP任務(wù)。他們本身無(wú)法直接應(yīng)用，不產(chǎn)生用戶價(jià)值，但這些任務(wù)又是NLP所依賴(lài)的，所以稱(chēng)之為中間任務(wù)。

在以前，這些中間任務(wù)都是NLP領(lǐng)域必不可少的。但是隨著大型語(yǔ)言模型的出現(xiàn)，這些中間任務(wù)事實(shí)上已經(jīng)逐步消亡。而大型語(yǔ)言模型其實(shí)就是標(biāo)題中的“語(yǔ)言預(yù)訓(xùn)練模型”。

他的實(shí)現(xiàn)方式是將海量的文本語(yǔ)料，直接喂給模型進(jìn)行學(xué)習(xí)，在這其中模型對(duì)詞性、句法的學(xué)習(xí)自然而然會(huì)沉淀在模型的參數(shù)當(dāng)中。我們看到媒體對(duì)ChatGPT鋪天蓋地的宣傳里總是離不開(kāi)這樣一句話——在擁有3000億單詞的語(yǔ)料基礎(chǔ)上預(yù)訓(xùn)練出的擁有1750億參數(shù)的模型。

這里面3000億單詞就是訓(xùn)練數(shù)據(jù)。而1750億參數(shù)就是沉淀下來(lái)的AI對(duì)這個(gè)世界的理解，其中一部分沉淀了Agent對(duì)各類(lèi)語(yǔ)法、句法的學(xué)習(xí)（例如應(yīng)該是兩個(gè)饅頭，而不是二個(gè)饅頭，這也是中間任務(wù)為什么消亡的原因）。而另外一部分參數(shù)參數(shù)則儲(chǔ)存了AI對(duì)于事實(shí)的認(rèn)知（例如美國(guó)總統(tǒng)是拜登）。

也就是經(jīng)過(guò)預(yù)訓(xùn)練出一個(gè)這樣的大語(yǔ)言模型后，AI理解了人類(lèi)對(duì)語(yǔ)言的使用技巧（句法、語(yǔ)法、詞性等），也理解了各種事實(shí)知識(shí)，甚至還懂得了代碼編程，并最終在這樣的一個(gè)大語(yǔ)言模型的基礎(chǔ)上，直接降維作用于垂直領(lǐng)域的應(yīng)用（例如閑聊對(duì)話，代碼生成，文章生成等）。

而B(niǎo)ERT和GPT兩者都是基于大語(yǔ)言模型的，他們?cè)谶@一點(diǎn)上是相同的。他們的不同在于雙向/自回歸，fine-tuning/Prompting這兩個(gè)維度，我們接下來(lái)會(huì)重點(diǎn)弄明白這四個(gè)術(shù)語(yǔ)。

2. 「雙向 VS 自回歸」

BERT：雙向。雙向是指這個(gè)模型在“猜概率的時(shí)候”，他是兩個(gè)方向的信息利用起來(lái)同時(shí)猜測(cè)。例如“我__20號(hào)回家”，他在預(yù)測(cè)的時(shí)候，是同時(shí)利用“我”+“20號(hào)回家”兩端的信息來(lái)預(yù)測(cè)空格中的詞可能為“打算”。有點(diǎn)像我們做英文的完形填空，通常都是結(jié)合空格兩端的信息來(lái)猜測(cè)空格內(nèi)應(yīng)該是哪個(gè)單詞。

GPT：自回歸。自回歸就是猜概率的時(shí)候從左往右做預(yù)測(cè)，不會(huì)利用文本中右側(cè)的內(nèi)容，和BERT相反。這就有點(diǎn)像我們寫(xiě)作文的時(shí)候，我們肯定是一邊寫(xiě)一邊想。

兩者基本理念的區(qū)別導(dǎo)致BERT在之前更擅長(zhǎng)自然語(yǔ)言理解類(lèi)任務(wù)，而GPT更擅長(zhǎng)自然語(yǔ)言生成類(lèi)任務(wù)（例如聊天、寫(xiě)作文）。——注意，我說(shuō)的是之前，后面的章節(jié)我會(huì)介紹現(xiàn)在的情況發(fā)生了什么變化。

3. 「fine-tuning VS Prompting」

假設(shè)現(xiàn)在預(yù)訓(xùn)練好的大模型要針對(duì)具體領(lǐng)域工作了，他被安排成為一名鑒黃師，要分辨文章到底有沒(méi)有在搞黃色。那么BERT和GPT的區(qū)別在哪里呢？

BERT：fine-tuning（微調(diào)）。微調(diào)是指模型要做某個(gè)專(zhuān)業(yè)領(lǐng)域任務(wù)時(shí)，需要收集相關(guān)的專(zhuān)業(yè)領(lǐng)域數(shù)據(jù)，做模型的小幅調(diào)整，更新相關(guān)參數(shù)。

例如，我收集一大堆標(biāo)注數(shù)據(jù)，A-是黃色，B-沒(méi)有搞黃色，然后喂給模型進(jìn)行訓(xùn)練，調(diào)整他的參數(shù)。經(jīng)過(guò)一段時(shí)間的針對(duì)性學(xué)習(xí)后，模型對(duì)于分辨你們是否搞黃色的能力更出色了。這就是fine-tuning，二次學(xué)習(xí)微調(diào)。

GPT：Prompting。prompt是指當(dāng)模型要做某個(gè)專(zhuān)業(yè)領(lǐng)域的任務(wù)時(shí)，我提供給他一些示例、或者引導(dǎo)。但不用更新模型參數(shù)，AI只是看看。

例如，我提供給AI模型10張黃色圖片，告訴他這些是搞黃色的。模型看一下，效果就提升了。大家可能會(huì)說(shuō)，這不就是fine-tuning嗎？不是一樣要額外給一些標(biāo)注數(shù)據(jù)嗎？

兩者最大的區(qū)別就是：這種模式下，模型的參數(shù)不會(huì)做任何變化升級(jí)，這些數(shù)據(jù)就好像僅僅是給AI看了一眼——嘿，兄弟，參考下這個(gè)，但是別往心里去。

不可思議吧，但他成功了！而更令人瘋狂的是，到目前為止，關(guān)于prompt明明沒(méi)有對(duì)參數(shù)產(chǎn)生任何影響，但確實(shí)又明顯提升了任務(wù)的效果，還是一個(gè)未解之謎。暫時(shí)而言大家就像程序員對(duì)待bug一樣——I don’t know why , but it work lol.

這種Prompt其實(shí)就是ICT（in-Context Learning），或者你也可以稱(chēng)為Few shot Promot，用大白話說(shuō)就是“給你一點(diǎn)小提示”。

同時(shí)還有另外一種Promot，稱(chēng)之為Zero shot Promot。ChatGPT就是Zero shot promot模式，目前一般稱(chēng)之為instruct了。

這種模式下用戶直接用人類(lèi)的語(yǔ)言下達(dá)命令，例如“給我寫(xiě)首詩(shī)”，“給我做個(gè)請(qǐng)教條”，但是你可以在命令的過(guò)程中用一些人類(lèi)語(yǔ)言增強(qiáng)AI的效果，例如“在輸出答案之前，你先每一步都想一想”。就只是增加這樣一句話，AI的答案效果就會(huì)明顯提升。

你可能會(huì)問(wèn)這是什么魔法咒語(yǔ)？！

有一個(gè)比較靠譜的猜測(cè)是這句話可能讓AI回想起了學(xué)習(xí)的資料中那些推理知識(shí)好像前面都會(huì)有這句話。

然后這一切莫名激活起了他死去的記憶，不自覺(jué)開(kāi)始仿造那些嚴(yán)密的推理過(guò)程中一步步推導(dǎo)。而這些推導(dǎo)會(huì)將一個(gè)復(fù)雜問(wèn)題分解成若干子問(wèn)題，AI因?yàn)閷?duì)這些子問(wèn)題的推導(dǎo)，從而導(dǎo)致最終答案效果提升。

綜上對(duì)比下來(lái)，你會(huì)發(fā)現(xiàn)好像GPT這種模式比起B(yǎng)ERT模式更符合我們對(duì)人工智能的想象：通過(guò)海量的知識(shí)成長(zhǎng)起來(lái)，然后經(jīng)過(guò)稍微引導(dǎo)（Prompt），他就能具備不同領(lǐng)域的強(qiáng)大能力。

最后總結(jié)一下，ChatGPT背后的GPT模型是什么？

在一個(gè)超大語(yǔ)料基礎(chǔ)上預(yù)訓(xùn)練出的大語(yǔ)言模型（LLM），采用從左到右進(jìn)行填字概率預(yù)測(cè)的自回歸語(yǔ)言模型，并基于prompting（提示）來(lái)適應(yīng)不同領(lǐng)域的任務(wù)。

如果只基于上面的描述，你可能大概弄懂了他背后的原理，但是對(duì)于為什么他這么牛逼，你仍然無(wú)法理解。沒(méi)關(guān)系，我們接著進(jìn)入第二部分。

第二部分：GPT厲害在哪里

1. 他可能是通用型人工智能的開(kāi)始

在我們?cè)嫉幕孟肜?，AI是基于對(duì)海量數(shù)據(jù)的學(xué)習(xí)，鍛煉出一個(gè)無(wú)所不知無(wú)所不能的模型，并借助計(jì)算機(jī)的優(yōu)勢(shì)（計(jì)算速度、并發(fā)可能）等碾壓人類(lèi)。

但我們目前的AI，不管是AlphaGo還是圖像識(shí)別算法，本質(zhì)上都是服務(wù)于專(zhuān)業(yè)領(lǐng)域的技術(shù)工人。

而GPT目前看似只能解決自然生成領(lǐng)域的任務(wù)，但實(shí)際上，他展現(xiàn)出了通用型人工智能的潛力。

在前面，我們講過(guò)，目前而言，BERT擅長(zhǎng)自然語(yǔ)言理解類(lèi)任務(wù)（完形填空），GPT擅長(zhǎng)自然語(yǔ)言生成類(lèi)任務(wù)（寫(xiě)作文）。

但在Google的FLAN-T5模型上已經(jīng)實(shí)現(xiàn)了兩類(lèi)任務(wù)在輸入輸出形式上的統(tǒng)一，從而使得用GPT來(lái)做完形填空成為可能。也就是可以用一個(gè)大模型來(lái)解決所有NLP領(lǐng)域的問(wèn)題。

那么再進(jìn)一步地，是否GPT可以從NLP領(lǐng)域走向其他AI領(lǐng)域呢？當(dāng)然有可能！在去年年中爆火的AI繪畫(huà)，其中一個(gè)關(guān)鍵技術(shù)門(mén)檻其實(shí)就是Text-圖像的轉(zhuǎn)化，這同樣是來(lái)自O(shè)penAI所開(kāi)源的CLIP模型實(shí)現(xiàn)。

因此GPT在圖像領(lǐng)域的能力同樣也令人期待。同理在多模態(tài)如音頻、視頻，本質(zhì)上也能轉(zhuǎn)化為T(mén)ext-everthing的問(wèn)題去求解，從而讓大語(yǔ)言模型發(fā)揮成噸的威力。

當(dāng)然你可能會(huì)問(wèn)，那么只要大語(yǔ)言模型就可以呀，為什么是GPT，而不是BERT呢？接著往下看。

2. Promot模式相較fine-tuning更具生命力

事實(shí)上，BERT的fine-tuning模式有兩個(gè)痛點(diǎn)。

1. 我需要準(zhǔn)備某個(gè)專(zhuān)業(yè)領(lǐng)域的標(biāo)注數(shù)據(jù)，這個(gè)數(shù)據(jù)還不能少，如果太少，AI模型訓(xùn)練后就會(huì)形成過(guò)擬合（就是AI直接背下了整本習(xí)題冊(cè)，冊(cè)里的問(wèn)題100%正確回答，但是稍微變幻題型就GG）。
2. 我需要部署大語(yǔ)言模型，才能對(duì)他進(jìn)行進(jìn)行微調(diào)，那么部署大語(yǔ)言模型的成本，甚至進(jìn)一步對(duì)他進(jìn)行微調(diào)的能力，并不是所有公司都具備的。這注定是一個(gè)只有少數(shù)玩家能參與的游戲。

而Promot模式恰恰相反，不需要太多的數(shù)據(jù)量，不需要對(duì)模型參數(shù)進(jìn)行改動(dòng)（也就意味著可以不部署模型，而是接入公開(kāi)的大語(yǔ)言模型服務(wù)）。那么他的調(diào)試就會(huì)呈現(xiàn)百花齊放的姿態(tài)，玩家越多，創(chuàng)造力涌現(xiàn)就越猛烈。

3. 全新的人機(jī)交互方式

這里的人機(jī)交互，指的是人-模型之間的交互。

目前ChatGPT采用的是模型側(cè)的Few shot prompt，即給一點(diǎn)示例提示，讓AI提升表現(xiàn)，雖然暫時(shí)未知為什么不更新模型僅僅只是給AI看一眼就能帶來(lái)巨幅提升，但這種交互模式無(wú)疑是更友好的。

而更具顛覆性的是輸入端的Zero shot prompt，即我們用人類(lèi)的語(yǔ)言逐步引導(dǎo)AI思考——比如我們可以說(shuō)，你仔細(xì)想好步驟，再給出答案。就僅僅是多加一句“你仔細(xì)想好步驟”，AI的答案靠譜率就會(huì)明顯提升。

而這種交互方式的演變，就是我們夢(mèng)想中的人機(jī)交互模式。我不需要專(zhuān)業(yè)的能力，不需要高端的設(shè)備，我就是開(kāi)口，說(shuō)出我的訴求，AI就能夠理解并幫我實(shí)現(xiàn)。

4. GPT開(kāi)始嘗試討好人類(lèi)，并成功了

在12月的媒體通稿里，一大堆對(duì)ChatGPT的溢美集中于他的“仿真性”，仿佛通過(guò)了圖靈測(cè)試一般。

而這種仿真性，直觀來(lái)說(shuō)，我們會(huì)認(rèn)為是AI的“智力”提升了，他更聰明了。但實(shí)際上，ChatGPT背后的GPT3.5，更多的提升在于“用人類(lèi)所喜歡的方式回答”。

事實(shí)上ChatGPT背后的GPT3.5的模型，相較GPT3.0，他并沒(méi)有在原始訓(xùn)練語(yǔ)句上增加太多（還是那3000億語(yǔ)料）并且模型參數(shù)也沒(méi)有太大變化（還是1750億參數(shù)，甚至參數(shù)可能都沒(méi)有變化）。

之所以他會(huì)讓人產(chǎn)生質(zhì)變的感覺(jué)是因?yàn)樗隽巳祟?lèi)偏好處理。

例如以前的輸入模式可能需要這樣：> 執(zhí)行翻譯任務(wù)> 輸入是“我愛(ài)北京天安門(mén)（中文）”> 翻譯目標(biāo)語(yǔ)種是英文”而現(xiàn)在你直接說(shuō)：> 幫我把我愛(ài)北京天安門(mén)翻譯成法語(yǔ)

又或者是，以前你提一個(gè)問(wèn)題，他會(huì)不加選擇的回答，而現(xiàn)在他會(huì)考慮答案有害性：> 如何毀滅世界——你可以召喚三體人降臨（此處應(yīng)有一個(gè)潘寒hhh）> 如何毀滅世界——親，請(qǐng)不要?dú)缡澜?，地球是人?lèi)共同的家園。

而這些對(duì)于人類(lèi)偏好的攻略依賴(lài)于三個(gè)步驟：

1. 創(chuàng)建人類(lèi)偏好數(shù)據(jù)。隨機(jī)挑選一些問(wèn)題，并由標(biāo)注人員給出高質(zhì)量回答，形成“人類(lèi)表達(dá)-任務(wù)結(jié)果”的標(biāo)注數(shù)據(jù)，喂給模型，讓它學(xué)習(xí)——這批數(shù)據(jù)數(shù)量?jī)H有數(shù)萬(wàn)，并通過(guò)Prompt模式進(jìn)行，即模型參數(shù)不產(chǎn)生變化。
2. 訓(xùn)練一個(gè)回報(bào)模型。隨機(jī)挑選一些問(wèn)題，讓原始模型輸出答案，再由標(biāo)注人員基于“人類(lèi)偏好標(biāo)準(zhǔn)”（例如相關(guān)性，信息豐富程度，答案有害，負(fù)面情感等），對(duì)原始模型的答案做一個(gè)排序。然后我們利用這批標(biāo)注好的“人類(lèi)偏好”數(shù)據(jù)，訓(xùn)練一個(gè)回報(bào)模型，這個(gè)回報(bào)模型會(huì)對(duì)原始模型的結(jié)果進(jìn)行打分，告訴他什么答案分高，什么答案分低。
3. 通過(guò)強(qiáng)化學(xué)習(xí)循環(huán)整個(gè)過(guò)程。強(qiáng)化學(xué)習(xí)會(huì)將回報(bào)模型和原始模型鏈接到一起，當(dāng)原始模型輸出的結(jié)果，在回報(bào)模型中獲得較低分值，他就收到懲罰，被要求重新學(xué)習(xí)。

后續(xù)不斷循環(huán)步驟2和步驟3，原始模型就會(huì)脫胎換骨，學(xué)習(xí)到人類(lèi)的偏好，變成一個(gè)人類(lèi)所喜歡的模型，也就是我們最終所看到的ChatGPT。

這讓我們有理由相信，模型的表現(xiàn)不好，不一定是他沒(méi)學(xué)到知識(shí)，可能只是他不知道對(duì)于人類(lèi)而言，哪種答案才是人類(lèi)想要的。

而這種人類(lèi)偏好學(xué)習(xí)，目前來(lái)看是集中在Prompt模式下的GPT的，而非fine-tuning模式下的BERT。

5. 請(qǐng)不要著急焦慮，還沒(méi)到AI取代全世界的時(shí)候

在過(guò)去的一段時(shí)間，我看到大量的噱頭文章，美國(guó)高校封禁ChatGPT，技術(shù)論壇封禁ChatGPT。媒體迎合著公眾的狂歡情緒，照舊掀起一波AI毀滅一切的氛圍。

但實(shí)際上，就目前而言，GPT暫時(shí)還只是一種很有潛力的趨勢(shì)。

首先，人家自己都說(shuō)不行。

附上openAI CEO的回復(fù)：

其次，落地成本高。

ChatGPT的復(fù)現(xiàn)依托于大模型，他的落地有三種路徑：

1. 基于instruct GPT復(fù)現(xiàn)（ChatGPT的姐妹模型，有公開(kāi)paper）
2. 基于OpenAI目前開(kāi)放的GPT3.0付費(fèi)接口落地，再結(jié)合具體場(chǎng)景進(jìn)行fine-tuning，目前刊例價(jià)費(fèi)用是25000token/美元，換算國(guó)內(nèi)價(jià)格約3700token/元
3. 基于OpenAI試點(diǎn)中的ChatGPT PRO落地，42美元/月，換算后約284元/月

第一種路徑依賴(lài)于新玩家的進(jìn)入，但大概只能是大玩家的賽道。第二種和第三種路徑需要打平付費(fèi)接口的成本，需要針對(duì)的場(chǎng)景具備足夠價(jià)值。

當(dāng)然成本的問(wèn)題可以期待被快速解決，就像AI繪畫(huà)領(lǐng)域一樣。不過(guò)目前而言，成本仍然是ChatGPT落地的一個(gè)制約因素。

最后，最重要的是ChatGPT目前的能力仍然存在缺陷：

1. 結(jié)果不穩(wěn)定。這會(huì)導(dǎo)致無(wú)法直接應(yīng)用，必定需要人工review，更多是瞄準(zhǔn)輔助性場(chǎng)景或本身就不追求穩(wěn)定的場(chǎng)景。
2. 推理能力有限。例如詢問(wèn)現(xiàn)在的美國(guó)總統(tǒng)是誰(shuí)，會(huì)回答奧巴馬，或特朗普，但又能回答出拜登是46屆總統(tǒng)。我們可以發(fā)現(xiàn)模型中事實(shí)存在，但他無(wú)法推理出正確答案。如果要優(yōu)化，一方面是輸入的時(shí)候，可以通過(guò)Prompt逐步引導(dǎo)，另一方面是在模型側(cè)的Few Shot Prompt環(huán)節(jié)中采用思維鏈技術(shù)（CoT,Chain of Thought）或采用代碼數(shù)據(jù)集來(lái)改進(jìn)。就目前而言，進(jìn)展可喜，但能力仍然有限。
3. 知識(shí)更新困難。一方面整個(gè)模型的重新訓(xùn)練成本很大，另一方面知識(shí)更新也會(huì)帶來(lái)知識(shí)遺忘的隱憂，即你不知道他這次更新是不是在學(xué)會(huì)什么的同時(shí)，也忘記了什么。也就是說(shuō)ChatGPT在解決這個(gè)問(wèn)題之前，他的知識(shí)將始終落后一段時(shí)間。

綜上，ChatGPT很驚艷，但更多在于它的潛力和未來(lái)，基于當(dāng)下要做應(yīng)用的話是需要做非常多適配和場(chǎng)景探索的。接下來(lái)進(jìn)入我們第三部分，探索ChatGPT為代表的GPT大語(yǔ)言模型應(yīng)用方向。

第三部分：ChatGPT所代表的大語(yǔ)言模型應(yīng)用方向

從目前來(lái)看，應(yīng)用方向可以分成三種。

1. 模型服務(wù)

以O(shè)penAI為典型代表，孵化大模型后，開(kāi)放接口，提供公共模型能力。

目前OpenAI的接口支持GPT3.0的能力調(diào)用，同時(shí)支持二次tuning。而在大規(guī)模的商業(yè)合作上，notion、office全家桶、bing都在推進(jìn)當(dāng)中。

2. 2B垂直工具

以COPY AI，Jasper為例，主打生成內(nèi)容，并且瞄準(zhǔn)了有明確價(jià)值需求的領(lǐng)域。例如自動(dòng)生成SEO文章、廣告創(chuàng)意、ins文案等等。

這一類(lèi)目前海外發(fā)展得較好，一方面受益于對(duì)SaaS付費(fèi)的接受度，另一方面也是因?yàn)槊闇?zhǔn)了明確的用戶群——電商從業(yè)者。

事實(shí)上代碼校驗(yàn)提示，會(huì)議紀(jì)要生成，專(zhuān)業(yè)文檔寫(xiě)作等都可能是這個(gè)方向的擴(kuò)展。但一方面要看fine-tuning效果如何，另一方面商業(yè)價(jià)值確實(shí)也不如電商領(lǐng)域高。

3. C端娛樂(lè)類(lèi)

C端應(yīng)該說(shuō)是場(chǎng)景最匹配ChatGPT應(yīng)用的方向了，畢竟用戶的忍受度相當(dāng)高，智障音箱都能忍，何況升級(jí)后的GPT。

但困難的在于兩方面：

第一，要找到可供能力落地的C端場(chǎng)景，畢竟單純聊天是沒(méi)有價(jià)值的，附加了場(chǎng)景才產(chǎn)生價(jià)值。

第二，要找到商業(yè)模式突破成本線。按照GPT3.0的刊例價(jià)來(lái)算，要求這個(gè)產(chǎn)品每輸出3700個(gè)字，就要從用戶身上賺到1塊錢(qián)（作為參考：目前國(guó)內(nèi)頭部小說(shuō)網(wǎng)站起點(diǎn)的付費(fèi)閱讀是20000字/元）。

海外的C端娛樂(lè)應(yīng)用我不太了解（之前用的賬號(hào)過(guò)期了，最近懶得弄）。搜索了一下國(guó)內(nèi)應(yīng)用，最近社交分類(lèi)Glow這個(gè)APP沖上了第7名，擴(kuò)展往下看會(huì)發(fā)現(xiàn)主流的娛樂(lè)類(lèi)Chat基本上是圍繞二次元/宅群體進(jìn)行的。

如果圍繞這個(gè)用戶群稍作擴(kuò)展，在年輕/黏性/新事物嘗試等維度的組合下，明星粉絲也是一個(gè)可能的方向。

但也不好說(shuō)就鎖死在這些群體上——你猜猜給一個(gè)獨(dú)居的二大爺嘗試ChatGPT他會(huì)喜歡嗎？給一個(gè)流水線的工人嘗試呢？畢竟孤獨(dú)，一直是人類(lèi)永恒的命題，誰(shuí)也不知道下一個(gè)爆款來(lái)自哪里。

第四部分：AI產(chǎn)品經(jīng)理能做什么？

1. 商業(yè)層

現(xiàn)在的互聯(lián)網(wǎng)環(huán)境，收益已經(jīng)是第一位的事情了，不管是外部投融資還是內(nèi)部項(xiàng)目盤(pán)點(diǎn)，商業(yè)變現(xiàn)都是最核心的問(wèn)題。

商業(yè)上的事情其實(shí)又可以拆成兩個(gè)模塊，戰(zhàn)略上的，戰(zhàn)術(shù)上的，依據(jù)公司的規(guī)模和團(tuán)隊(duì)結(jié)構(gòu)不同，AI PM的話語(yǔ)權(quán)會(huì)有不同程度的衰減。

舉例子說(shuō)明一下。

戰(zhàn)略層的問(wèn)題：我要啟動(dòng)一個(gè)ChatGPT項(xiàng)目，用戶群是什么，商業(yè)模式是什么，壁壘在哪里，演進(jìn)的步驟是什么？

這些問(wèn)題的產(chǎn)生在“決定項(xiàng)目做不做”，“接下來(lái)項(xiàng)目往哪走”的環(huán)節(jié)。假設(shè)對(duì)這方面有話語(yǔ)權(quán)，不管大還是小，那么都會(huì)是一件非常鍛煉人的事情。這個(gè)環(huán)節(jié)中無(wú)非就是兩種能力：知識(shí)獲取以及知識(shí)的推理。

知識(shí)獲取包括你過(guò)往的行業(yè)經(jīng)驗(yàn)，業(yè)務(wù)經(jīng)驗(yàn)，以及臨時(shí)抱佛腳所調(diào)研的行業(yè)信息。這方面依賴(lài)的是知識(shí)的挖掘、辨別、結(jié)構(gòu)化整理能力，特別是現(xiàn)在這個(gè)時(shí)代的信息環(huán)境，真的是屎山里找金。

知識(shí)的推理是對(duì)這些知識(shí)有選擇地推導(dǎo)，從知識(shí)中得出商業(yè)答案。這個(gè)環(huán)節(jié)可以利用一些思維工具去結(jié)構(gòu)化推導(dǎo)（例如商業(yè)畫(huà)布），多推幾次后，本身自己會(huì)沉淀下來(lái)一些商業(yè)分析的肌肉記憶，工具反而退居其次了。

戰(zhàn)術(shù)層的問(wèn)題：產(chǎn)品做出來(lái)了，甚至免費(fèi)運(yùn)作一段時(shí)間了，那么接下來(lái)產(chǎn)品怎么定價(jià)？?jī)r(jià)格階梯如何設(shè)置？個(gè)體消費(fèi)者和企業(yè)消費(fèi)者的價(jià)格會(huì)不同嗎？渠道服務(wù)商的價(jià)格和直售的價(jià)格一樣嗎？我的成本線是多少，盈利線是多少？

只是圍繞一個(gè)價(jià)格，就會(huì)延伸出一堆細(xì)碎繁雜的問(wèn)題。更何況關(guān)聯(lián)產(chǎn)生的產(chǎn)品方案，渠道政策，廣告ROI等模塊。

戰(zhàn)術(shù)層的問(wèn)題因其細(xì)碎和寬泛，會(huì)被拆成非常多不同的方向，每個(gè)方向其實(shí)都沒(méi)那么復(fù)雜，只是需要一些敲門(mén)進(jìn)去的方法論，剩下的就是一些實(shí)戰(zhàn)經(jīng)驗(yàn)。所以我們會(huì)看到，現(xiàn)在大廠招人，往往傾向在垂直細(xì)分方向找一個(gè)有相關(guān)經(jīng)驗(yàn)的人，這樣會(huì)節(jié)約上手時(shí)間和試錯(cuò)成本，例如會(huì)員產(chǎn)品經(jīng)理。

2. 技術(shù)層

這里的技術(shù)其實(shí)沒(méi)那么技術(shù)。AI產(chǎn)品經(jīng)理和傳統(tǒng)產(chǎn)品經(jīng)理最大的不同就在于，他所依賴(lài)的產(chǎn)品核心是AI技術(shù)，因此將商業(yè)、用戶需求轉(zhuǎn)化為算法需求是他的主要職責(zé)。

這里面我們所提出的問(wèn)題，是會(huì)有技術(shù)層面的深淺不同的。舉個(gè)例子，我們遇到了一個(gè)問(wèn)題“需要Chatbot能夠記住用戶的偏好知識(shí)，例如他喜歡下雨天，喜歡達(dá)芬奇，喜歡黃金時(shí)代”，現(xiàn)在我們需要算法團(tuán)隊(duì)幫我們實(shí)現(xiàn)，那么可能有不同層次的提法：

1. chatbot要支持記憶用戶輸入的偏好信息，例如喜歡黃金時(shí)代，儲(chǔ)存時(shí)間為永久，并且支持知識(shí)的互斥與整合。（例如先說(shuō)喜歡下雨天，后面又說(shuō)討厭下雨天）
2. 需要chatbot支持記憶用戶輸入的偏好信息，并且這個(gè)能否不要用模型參數(shù)去學(xué)習(xí)，而是搭建一個(gè)獨(dú)立的知識(shí)庫(kù)，再通過(guò)模型另外調(diào)用？這樣用戶可以可視化地修正自己的偏好知識(shí)。
3. 加裝一個(gè)意圖識(shí)別器，發(fā)現(xiàn)是用戶偏好知識(shí)的時(shí)候轉(zhuǎn)到知識(shí)庫(kù)進(jìn)行儲(chǔ)存和整合，如果非偏好知識(shí)則正常走大模型結(jié)果。意圖識(shí)別器這里可以用xxx技術(shù)，你看看這篇paper，是有相關(guān)實(shí)現(xiàn)經(jīng)驗(yàn)的。

大家會(huì)發(fā)現(xiàn)三個(gè)層次在技術(shù)層面是由淺到深的。那么什么時(shí)候深什么時(shí)候淺取決于什么呢？

1. 取決于產(chǎn)品的技術(shù)實(shí)力。有時(shí)候你的技術(shù)實(shí)力就決定了你深不了。沒(méi)關(guān)系，其實(shí)到第三個(gè)層次并不是必須的，一般到第二個(gè)層次就夠用了，甚至到不了第二層次，就在第一個(gè)層次上你把需求講明白，也是能跑的下去。只是這樣產(chǎn)品的權(quán)威性，你對(duì)需求的判斷，ROI的平衡判斷都會(huì)產(chǎn)生很大的問(wèn)題。
2. 取決于需求的目的，例如第一個(gè)層次的需求沒(méi)有專(zhuān)門(mén)提及知識(shí)庫(kù)，那這個(gè)時(shí)候用模型去學(xué)習(xí)記錄也可以，用知識(shí)庫(kù)也可以。但是第二個(gè)需求中就明確要求了基于知識(shí)庫(kù)的實(shí)現(xiàn)方法，因?yàn)樗枰脩艨梢暬薷淖约旱钠弥R(shí)。（甚至有時(shí)候最后不一定是用知識(shí)庫(kù)的方法，但沒(méi)關(guān)系，提出你的idea，與算法團(tuán)隊(duì)深入討論，多少都是一種啟發(fā)）
3. 取決于你和算法團(tuán)隊(duì)磨合出的邊界。要找到你們之間最舒適的交織區(qū)域，一般而言是產(chǎn)品往技術(shù)多走幾步，算法往業(yè)務(wù)多走幾步，這樣能發(fā)揮1+1＞2的結(jié)果。

當(dāng)然，不管是需求提到哪種技術(shù)層次，都需要銘記一個(gè)基本原則，說(shuō)明白你這個(gè)需求的背景、目的、價(jià)值。例如第二個(gè)例子中，其實(shí)是要額外說(shuō)明用戶可視化修正偏好知識(shí)到底能帶來(lái)什么，值不值得做，這些業(yè)務(wù)價(jià)值會(huì)與技術(shù)實(shí)現(xiàn)的成本互相PK，取得平衡。

AI產(chǎn)品經(jīng)理在技術(shù)層能做的事情有點(diǎn)像在做fine-tuning，在模型不那么適配場(chǎng)景，或者場(chǎng)景延伸出新能力訴求的時(shí)候，發(fā)現(xiàn)他，分析他，并與算法團(tuán)隊(duì)深度討論后方案后在成本和收益之間做平衡。

3. 應(yīng)用層

應(yīng)用層的事情其實(shí)和技術(shù)層有點(diǎn)交織，因?yàn)榇蟛糠謺r(shí)候你上一個(gè)新的應(yīng)用功能，背后多數(shù)是需要技術(shù)支撐的。

不過(guò)這里我們搞簡(jiǎn)單點(diǎn)，把有技術(shù)訴求的那部分剔除掉，只保留無(wú)技術(shù)依賴(lài)或低技術(shù)依賴(lài)的來(lái)討論。

我舉個(gè)大家習(xí)以為常，但效果巨大的例子：當(dāng)我們做人臉驗(yàn)證，或者銀行卡圖像識(shí)別的時(shí)候，他一定會(huì)有一個(gè)虛擬框，要求你將臉或者銀行卡擺放在固定位置。這個(gè)功能毫無(wú)技術(shù)要求，就是加一個(gè)透明浮層而已。但是他能極大提升采集圖像的質(zhì)量，從而提升算法效果。

在chatbot里面其實(shí)也可以類(lèi)似的做法。例如ChatGPT有時(shí)候會(huì)崩潰，輸出結(jié)果在一半的時(shí)候就中斷。他的原理其實(shí)就是自然語(yǔ)言生成本質(zhì)上是持續(xù)性在預(yù)測(cè)下一個(gè)字是什么，然后預(yù)測(cè)出一篇文章。那么當(dāng)模型在還不應(yīng)該結(jié)束的時(shí)候不小心預(yù)測(cè)出一個(gè)END字符的時(shí)候，AI就認(rèn)為我可以在這里停止了。

解決方案有高大上的技術(shù)方案，我們這里可以土肥圓做個(gè)low一點(diǎn)的——加裝一個(gè)按鈕“你還沒(méi)說(shuō)完呢”，用戶點(diǎn)擊后，AI就會(huì)自動(dòng)再次重跑一遍這個(gè)input，輸出結(jié)果。這樣順便還能采集一下對(duì)于這種END崩潰的bad case數(shù)據(jù)。

4. 增長(zhǎng)層

只要你做的產(chǎn)品是給人用的，不管是2B還是2C，那么就離不開(kāi)增長(zhǎng)。

只是2B和2C的增長(zhǎng)是兩套完全不同的方法論。

2B其實(shí)更多應(yīng)該被歸到商業(yè)層，你需要做產(chǎn)品定價(jià)，做渠道政策，做客戶成功，并打磨你整個(gè)銷(xiāo)售鏈路，找到薄弱點(diǎn)優(yōu)化他。在這個(gè)過(guò)程中你要清晰認(rèn)識(shí)到2B與2C在付費(fèi)決策上的顯著不同，2B是多用戶下關(guān)鍵決策人掌握公有資產(chǎn)進(jìn)行付費(fèi)判斷，而2C是用戶個(gè)體掌握私有資產(chǎn)進(jìn)行付費(fèi)資產(chǎn)。

不過(guò)教育行業(yè)這個(gè)市場(chǎng)會(huì)和2B有一點(diǎn)點(diǎn)相似，他是學(xué)生使用，家長(zhǎng)付費(fèi)，學(xué)校/機(jī)構(gòu)影響，也是一個(gè)多用戶下關(guān)鍵決策人的結(jié)構(gòu)，不過(guò)掌握的是私有資產(chǎn)。

而2C就更不用說(shuō)了，2C的增長(zhǎng)產(chǎn)品是一個(gè)非常獨(dú)立細(xì)分的行業(yè)?？梢酝ㄟ^(guò)投放，SEO，新客進(jìn)入，老客留存，社交裂變等等命題去做努力，反正核心就是拉更多的人賺更多的錢(qián)。

只是目前而言，我們?cè)谡f(shuō)ChatGPT，那么他大概還是一個(gè)新項(xiàng)目新產(chǎn)品。那么大概率初始不會(huì)配備相應(yīng)的增長(zhǎng)產(chǎn)品，AI產(chǎn)品也需要兼顧關(guān)注。

最后大家如果想做一些練習(xí)，可以找這個(gè)領(lǐng)域的一些C端應(yīng)用試試看，例如glow，糖盒等。（可能還有更多，歡迎私信指點(diǎn)我）

但是我個(gè)人不建議拿各類(lèi)市面上的chatbot或B端產(chǎn)品來(lái)嘗試，前者發(fā)展到現(xiàn)在很成熟了，后者則很多時(shí)候需要面對(duì)B端特殊的場(chǎng)景，沒(méi)有做過(guò)B端很難明白里面的細(xì)節(jié)。而glow、糖盒這類(lèi)C端新起步的產(chǎn)品會(huì)是一個(gè)比較好的練手對(duì)象。

我這里就不羅列對(duì)這兩個(gè)產(chǎn)品的分析或者產(chǎn)品建議了，我個(gè)人覺(jué)得站在局外做產(chǎn)品建議是很扯淡的事情。產(chǎn)品的魅力在于根據(jù)有限的資源和環(huán)境，選擇局部最優(yōu)解來(lái)推動(dòng)demo慢慢成長(zhǎng)。如果不在局內(nèi)的話，很多建議和迭代我都傾向于不公開(kāi)，否則局內(nèi)人看起來(lái)會(huì)很蠢。

比如說(shuō)覺(jué)得對(duì)話不智能，需要提升智能，建議接入GPT3.0。那么會(huì)不會(huì)這個(gè)產(chǎn)品的受眾其實(shí)不那么需要智能，或者他們的需求無(wú)法與接入GPT3.0的費(fèi)用平衡呢？這個(gè)需求有可能不是一個(gè)技術(shù)問(wèn)題，而是一個(gè)商業(yè)問(wèn)題。所以我覺(jué)得教張小龍做產(chǎn)品其實(shí)是個(gè)偽命題。

但是自己練習(xí)一下還是可以的，有一個(gè)具現(xiàn)的產(chǎn)品做邏輯推導(dǎo)的練習(xí)，會(huì)比只閱讀理論文章來(lái)得更有效。

最后

這篇文章春節(jié)前我就在寫(xiě)了，起初是想圍繞AIGC寫(xiě)，核心是說(shuō)說(shuō)最近影響最大的ChatGPT和AI繪畫(huà)背后的Diffusion算法，我認(rèn)為這兩個(gè)算法的影響力非常大。

前者是給NLP領(lǐng)域開(kāi)了一個(gè)很有潛力的方向，甚至是通向AGI（通用人工智能）的一種可能道路，后者則是圖像領(lǐng)域非常強(qiáng)大的改進(jìn)。最重要的是這兩者的技術(shù)已經(jīng)進(jìn)入到一個(gè)成熟應(yīng)用期了（不成熟應(yīng)用也和我這個(gè)做產(chǎn)品的沒(méi)啥關(guān)系哈哈），而且讓我覺(jué)得一潭死水的AI領(lǐng)域重新煥發(fā)活力。

可惜最后寫(xiě)著寫(xiě)著還是發(fā)現(xiàn)駕馭不了這么龐大的話題。其中AI繪畫(huà)背后的Diffusion算法要另開(kāi)一篇分析，此外ChatGPT的商業(yè)也需要更進(jìn)一步拆解。