AIGC成為近期的熱門話題，而AI繪畫引起了人們的關(guān)注和熱烈討論。生成即創(chuàng)造，AI繪畫的出現(xiàn)影響深遠(yuǎn)。生成式AI的突破，意味著AI開始走向了創(chuàng)造新內(nèi)容世界的道路。對此，本文分析了生成式AI是如何發(fā)展成至今的，一起來看看吧。

作者：城主；來源公眾號：Web3天空之城（ID：Web3SkyCity）

原文鏈接：https://mp.weixin.qq.com/s/I3x-fddZmasKGPwgxilYyw

一、潮起又潮落

達(dá)特茅斯會議之后，AI進(jìn)入了一個大時代，人們驚奇的發(fā)現(xiàn)，計算機居然可以證明數(shù)學(xué)定理，學(xué)習(xí)使用語言。在眾多AI研究方向中，搜索式推理，自然語言處理最有影響力。

從1955年到1974年是AI的第一次發(fā)展高潮，大量成功的初代AI程序和研究方向不斷出現(xiàn)。AI先驅(qū)們非常樂觀的預(yù)言：

“十年之內(nèi)，數(shù)字計算機將成為國際象棋世界冠軍?！保?958年，H.A.Simon，AllenNewell）

“二十年內(nèi)，機器將能完成人能做到的一切工作。”（1965年，H.A.Simon）

“在三到八年的時間里我們將得到一臺具有人類平均智能的機器?！保?970年，MarvinMinsky）

結(jié)果呢？事后諸葛亮看回來，當(dāng)然是被啪啪啪的打臉啦。

到了70年代初，AI科學(xué)家們逐漸發(fā)現(xiàn)，雖然機器擁有了簡單的邏輯推理能力，但遇到了當(dāng)時完全無法克服的基礎(chǔ)瓶頸，這些瓶頸基本就是時代的局限：

1. 當(dāng)時計算機的運算能力問題

且不說當(dāng)時最原始的計算機那點可憐巴巴的算力了，我們知道，一直到了最近十來年，個人計算機組網(wǎng)之后的并行算力才真正達(dá)到了可以支持現(xiàn)代AI大模型訓(xùn)練迭代的要求。

2. 推理需要積累大量對世界的認(rèn)知信息

這就是個大數(shù)據(jù)的基礎(chǔ)積累問題。而大數(shù)據(jù)的積累，也是在現(xiàn)代互聯(lián)網(wǎng)的迅猛發(fā)展之后，才得到了真正的解決。

還有一個神奇的事情是，人工神經(jīng)網(wǎng)絡(luò)這個當(dāng)下最主流的AI發(fā)展路線，在當(dāng)時陰差陽錯的遭到了巨大打擊一蹶不振。而暴擊了整個神經(jīng)網(wǎng)絡(luò)研究的，正是人工神經(jīng)網(wǎng)絡(luò)的締造者馬文。明斯基本人。

前面說過，明斯基搭建了第一個神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)硬件機器。當(dāng)時有一位明斯基低一屆的高中學(xué)弟弗朗克?羅森布拉特（FrankRosenblatt），從康奈爾大學(xué)獲得博士學(xué)位后，跟隨師兄的步伐，獲得了美國海軍研究室資助，研制了人工神經(jīng)網(wǎng)絡(luò)“感知機（Perceptron）”。

1957年，第一個版本的感知機以軟件仿真的形式運行在IBM704上。1962年，羅森布拉特出版《神經(jīng)動力學(xué)原理：感知機和腦機制理論》，引起了全球AI實驗室的大量關(guān)注和效仿，并將感知機系統(tǒng)運用于文字識別，語音識別等領(lǐng)域，神經(jīng)網(wǎng)絡(luò)研究達(dá)到了第一次高潮。

而這個時候，明斯基自己回到哈佛任教，申請國防項目卻遭到了挫折，讓明斯基特別郁悶的是，自己曾服役的海軍把經(jīng)費投給了學(xué)弟，支持的卻是自己好幾年前就玩過的神經(jīng)網(wǎng)絡(luò)。數(shù)學(xué)背景深厚的明斯基拿起數(shù)學(xué)武器對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行了扎實的理論分析，并在1969年出版了《感知機》，通過數(shù)學(xué)理論推演指出羅森布拉特的感知機功能有限，甚至不能解決線性不可分問題。（如不能用一個直線或者一個直面把二維或者三維坐標(biāo)系中的兩類數(shù)據(jù)很好的劃分。就是線性不可分。）

明斯基在《感知機》書中暗示說：把感知機從一層神經(jīng)網(wǎng)絡(luò)推廣到多層的思路是沒有希望的。

既然連AI先驅(qū)和人工神經(jīng)網(wǎng)絡(luò)締造者本人的明斯克都說，神經(jīng)網(wǎng)絡(luò)這個方向沒戲了，所有的研究者都深感氣餒，神經(jīng)網(wǎng)絡(luò)的研究從此走向了低潮。更可惜的是，在2年后，發(fā)明感知機的學(xué)弟羅森布拉特遭受意外去世，再也沒人出來挑戰(zhàn)明斯克的結(jié)論了。

然而，歷史總喜歡和人開玩笑。事實上，是明斯克錯了。

我們現(xiàn)在已經(jīng)知道，恰恰是只要把感知機從單層網(wǎng)絡(luò)變成多層，就可以解決線性不可分問題。其實當(dāng)時羅森布拉特以及其他研究者也想到過多層感知機。但苦于一直沒有找到訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的方法。直到了80年代中期，相關(guān)算法才被找到和提出，人工神經(jīng)網(wǎng)絡(luò)的研究再一次走向繁榮。

總而言之，在70年中后期，因為AI完全達(dá)不到所預(yù)言的完全智能的程度，只能停留在“玩具”階段。原先過高的承諾引發(fā)了公眾過高的期望值，轉(zhuǎn)而變成徹底的失望和針對AI研究的激烈批評，最終大量機構(gòu)對基于神經(jīng)網(wǎng)絡(luò)的人工智能研究減少甚至停止撥款。AI研究走進(jìn)了第一次寒冬。

二、希望越大，失望越大的專家系統(tǒng)

在80年初，一類名為“專家系統(tǒng)”的AI程序開始為全世界公司青睞，人工智能研究又迎來一波高潮。

什么是“專家系統(tǒng)”？百度百科的解釋如下：

專家系統(tǒng)是一個智能計算機程序系統(tǒng)，其內(nèi)部含有大量的某個領(lǐng)域?qū)＜宜降闹R與經(jīng)驗，它能夠應(yīng)用人工智能技術(shù)和計算機技術(shù)，根據(jù)系統(tǒng)中的知識與經(jīng)驗，進(jìn)行推理和判斷，模擬人類專家的決策過程，以便解決那些需要人類專家處理的復(fù)雜問題，簡而言之，專家系統(tǒng)是一種模擬人類專家解決領(lǐng)域問題的計算機程序系統(tǒng)。

一句話說，專家系統(tǒng)根據(jù)過往的知識經(jīng)驗積累來模擬人類專家從而進(jìn)行邏輯推理和判斷。

等一下，這個說法是不是有點熟悉？聽起來似乎有點像AI先驅(qū)赫伯特·西蒙（HerbertSimon）和艾倫·紐厄爾（AllenNewell）所做的第一個AI項：“邏輯理論家（theLogicTheorist）”。

事實上，這正是人工智能兩大路線的符號主義派的成果體現(xiàn)。第一條路線神經(jīng)網(wǎng)絡(luò)派在當(dāng)時被自己的鼻祖明斯克按在地上摩擦，第二條路線則在80年代初恰逢其時的站了出來。

和神經(jīng)網(wǎng)絡(luò)旨在研發(fā)通用結(jié)構(gòu)的AI模型不同，專家系統(tǒng)基于符號邏輯的概念。它們通常是由特定領(lǐng)域的專家（比如醫(yī)藥，金融或者制造業(yè)）開發(fā)的，僅限于一個很小的知識領(lǐng)域，依據(jù)一組專門知識推演出的邏輯規(guī)則來回答特定領(lǐng)域的問題。而隨著專家系統(tǒng)的熱門，“知識處理”也隨之成為了主流AI研究焦點。

專家系統(tǒng)的一個典型項目是專家配置器XCON（eXpertCONfigurer），由卡內(nèi)基梅隆大學(xué)為DEC公司設(shè)計開發(fā)。該系統(tǒng)可以說是世界上第一個（特定領(lǐng)域的）推薦引擎，通過幾千條規(guī)則來對計算機部件的選擇進(jìn)行最優(yōu)化。從1980年投入使用以來，它為DEC公司制造VAX系列電腦節(jié)省了數(shù)千萬的成本。隨著XCON的成功被更多企業(yè)所了解，專家系統(tǒng)在80年代中期迎來了它的繁榮，造就了一個數(shù)十億美金的市場。

不過，最為普通人所熟知的專家系統(tǒng)應(yīng)該是后來的IBM超級計算機“深藍(lán)”。IBM從1985年開始研發(fā)“深藍(lán)”計算機，它是一個專門針對國際象棋的專家系統(tǒng)。1996年，它在六場比賽中的一場中擊敗了國際象棋大師加里·卡斯帕羅夫（GarryKasparov），名揚天下。

但專家系統(tǒng)在工業(yè)界多少有點曇花一現(xiàn)，繁榮之后迎來的是迅速的沒落。這是因為80年代的專家系統(tǒng)存在著基礎(chǔ)性的問題，首先就是專家系統(tǒng)的知識領(lǐng)域過于狹窄難以拓展。

說到這里，筆者讀書時曾經(jīng)困惑過，為什么“深藍(lán)”那么牛逼的系統(tǒng)，贏了國際象棋后好像就泯然眾人矣，并沒有繼續(xù)在其他領(lǐng)域發(fā)揮光和熱。

而答案就是，看來它只能用來下國際象棋……

此外，在專家系統(tǒng)變得越來越龐大后，為其提供和管理數(shù)據(jù)，開發(fā)和測試都變得越來越復(fù)雜。更要命的是，專家系統(tǒng)是不會自己學(xué)習(xí)的，這意味著必須不斷更新底層邏輯來保持專家系統(tǒng)解決領(lǐng)域新問題的能力。這大大增加了系統(tǒng)維護(hù)成本和復(fù)雜性。

因此，到了80年代末期，大家都看明白了，專家系統(tǒng)雖然有點用，但領(lǐng)域過于狹窄，更新迭代和維護(hù)成本非常高。專家系統(tǒng)開始迅速在業(yè)界失寵，很多相關(guān)公司破產(chǎn)。

這就是人工智能的第二次繁榮后的又一次寒冬。而導(dǎo)致第二次AI寒冬的原因，除了前面所說的應(yīng)用范圍的局限性和商業(yè)過分追捧導(dǎo)致最后泡沫的破裂，還有那兩個老大難問題：

1. 計算機的算力瓶頸仍然無法突破
2. 仍然缺乏訓(xùn)練AI的足夠海量數(shù)據(jù)

有些讀者或許會問，在當(dāng)下這兩個老大難問題或許可以說初步被解決了，那么專家系統(tǒng)這條路線是否重新有用武之地呢？

答案是肯定的，就在最近，Meta提出的人工智能Cicero成為了AI領(lǐng)域的熱門新聞，Meta做出了這個史上最復(fù)雜的多人外交策略AI，和人玩在線版「外交」游戲。在每場比賽中，Cicero可以自己查看比賽情況，了解各個玩家的行動歷史，模擬真人和不同玩家溝通，從而預(yù)測其他玩家的行動。它能自行制定計劃，并通過人類語言與其他玩家進(jìn)行協(xié)調(diào)執(zhí)行策略，沒有人察覺出它是AI。

MetaCiceroAI成功的關(guān)鍵因素，正是重新引入了和大數(shù)據(jù)模型結(jié)合的專家知識系統(tǒng)。

在當(dāng)年的專家系統(tǒng)開始走向低谷之時，深度學(xué)習(xí)的前身人工神經(jīng)網(wǎng)絡(luò)卻取得了革命性的進(jìn)展，在1986年戴維·魯梅哈特（DavidRumelhart），杰弗里·辛頓（GeoffreyHinton）等人推廣了由保羅·韋爾博斯（PaulWerbos）發(fā)明的反向傳播算法（BP算法），使得大規(guī)模多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練終于成為可能。

反向傳播算法使得神經(jīng)網(wǎng)絡(luò)的中間級可以學(xué)習(xí)到數(shù)據(jù)輸入的有效表達(dá)，這就是神經(jīng)網(wǎng)絡(luò)乃至深度學(xué)習(xí)的核心思想。困擾AI先驅(qū)們的多層神經(jīng)網(wǎng)絡(luò)無法訓(xùn)練的難題終于被突破了。

不知道曾親自給神經(jīng)網(wǎng)絡(luò)蓋棺定論的明斯基，當(dāng)時聽到這個消息的心情是什么。

稍作休整，在我們步入當(dāng)下的第三次浪潮之前，先再來回顧一下人工智能的兩條路線之爭：

（1）符號主義

傳統(tǒng)的研究思路，主張通過功能模擬入手，把智能看做是符號處理的過程，采用形式邏輯來實現(xiàn)人工智能，所以稱之為“符號主義（Symbolism）”或“邏輯主義（Logicism）”

符號主義可以對形式化表達(dá)的問題（比如下棋，數(shù)學(xué)定理證明）有效，但人類很多的常識，以及接收的很多信息都無法用符號表達(dá)，比如視覺聽覺等基本感知能力，雖然不像邏輯推理這樣高大上，但符號主義至今都沒有好的辦法處理;而類似想象力，創(chuàng)造力，情感和直覺這些人腦特有的認(rèn)知能力，目前更是符號主義無法企及的領(lǐng)域。

（2）神經(jīng)網(wǎng)絡(luò)

和符號主義功能模擬這種自上而下的思路相反，神經(jīng)網(wǎng)絡(luò)就是徹底的自底向上的結(jié)構(gòu)仿真路線。直接模仿人腦智能的物質(zhì)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)，希望通過人工方式構(gòu)建神經(jīng)網(wǎng)絡(luò)，從而產(chǎn)生智能。從羅森布拉特的感知機，一直到當(dāng)下大眾所知道的深度學(xué)習(xí)網(wǎng)絡(luò)，這個路線把智能活動看做是大量簡單神經(jīng)單元通過復(fù)雜連接和并行運行之后的結(jié)果，所以也被世人稱為“連接主義（connectionism）”。

三、爆火的AIGC

AIGC在這幾個月成了一個大熱的話題。

頗有些風(fēng)水輪流轉(zhuǎn)的感覺，如同年初大火特火的Web3一樣，AIGC是現(xiàn)在的當(dāng)紅炸子雞，創(chuàng)業(yè)投資討論里如果不帶點AIGC就是妥妥的落伍。

不久之前，備受關(guān)注的開源AI繪畫模型StableDiuffusion推出了2.0版，引起了更多關(guān)注和焦慮：“我連1.0的門道都還沒摸清楚，怎么就2.0了啊？”

有趣的是，作者前面看到一些AIGC文章，基本都是圍繞著最近大熱的AI繪畫來討論的。

當(dāng)然了，生成式AI繪畫模型的突破是一件值得大書特書的事情，在作者上一篇文章《AI繪畫何以突飛猛進(jìn)？從歷史到技術(shù)突破，一文讀懂火爆的AI繪畫發(fā)展史》里也已經(jīng)做了深入的探討。

但是，必須指出的是，當(dāng)下在AI繪畫或者AI生成其他形式內(nèi)容的大模型里，對自然語言的理解是一個首要的關(guān)鍵環(huán)節(jié)，而之所以AI繪畫能火爆出圈，有至少一半的功勞必須歸結(jié)于，當(dāng)下最新的AI繪畫模型可以直接“理解”用戶的語言輸入，以及在模型內(nèi)部里把語言內(nèi)容理解和圖像內(nèi)容理解緊密結(jié)合起來。

生成式AI就像人工智能皇冠上的一顆明珠，不是唯一的一顆，但絕對璀璨耀眼。盡管AI在信息分析處理等各個方面都發(fā)揮著重要作用，但“生成式AI”的出現(xiàn)無疑影響更深遠(yuǎn)：生成即創(chuàng)造。生成式AI的突破，意味著AI開始走向了創(chuàng)造新內(nèi)容世界的大道。

羅馬不是一天建成的。就讓我們一起回顧和嘗試?yán)斫?，這激動人心的一切究竟是怎么發(fā)生的。

四、從chatGPT的橫空出世講起

在回顧歷史前，首先要跟風(fēng)提一下幾天前發(fā)布的chatGPT，一個絕對神仙級別的自然語言生成式AI。

chatGPT誕生的重要意義恐怕不亞于StableDiffusion等AI繪畫生成模型的出現(xiàn)。有興趣的朋友可以感受去chat.openai.com感受一下這個當(dāng)今最牛逼沒有之一的自然語言問答式AI的巨大威力。

chatGPT是明星人工智能公司OpenAI的GPT自然語言生成式模型的最新衍生品。在這之前，坊間已經(jīng)傳聞OpenAI的下一代自然語言生成模型GPT4即將出現(xiàn)。而且，有一個讓人震驚的江湖傳言：GPT4據(jù)稱通過了圖靈測試！

圖靈測試究竟是什么意思？簡單的說，就是隔著一個小黑屋問各種話題，然后是否能分辨小黑屋里回答問題的究竟是機器還是人類。如果無法辨別，就就說明了機器具有和人一樣等級的智能，通過了圖靈測試。

迄今為止，還沒有AI模型能真正通過圖靈測試?？磥砼R界點已經(jīng)到，筆者都迫不及待的期待GPT4的真正推出了。

誰知道，還沒等來GPT4，衍生自GPT3.5的chatGPT卻先來了。

顧名思義，chatGPT就是“聊天GPT”，以對話的方式交互，用戶問問題，它來回答。

咋聽起來，似乎也沒有很新鮮。但情況是，chatGPT的智能化遠(yuǎn)遠(yuǎn)超出了那些它的聊天AI前輩們。

好比StableDiffusion/Midjourney也就是AI繪畫，但所能生成的AI繪畫質(zhì)量甩了前輩無數(shù)條街。

網(wǎng)上有越來越多的文章開始安利chatGPT，不過多是拿了外網(wǎng)英文問答的截圖，其實chatGPT可以直接上中文！。

先隨意上幾個問答大家感受一下：

問中國菜，算是送分題：

問從希格瑪大廈如何去天安門，開始有點難度了，回答非常正確！

（要知道，這可不是某個特地為了中文導(dǎo)航優(yōu)化的AI，chatGPT是從它通用的知識積累里得到的理解）

對龍珠的劇情理解，回答中規(guī)中矩，80分+，本來作者期望它能講得更詳細(xì)些：

吃貨國家問題，有點刁鉆了：

廣東人真的喜歡吃甜的？這個問題很多中國人都不一定答得上：

美帝問題來一問（看來chatGPT果然經(jīng)過了特別設(shè)置過濾了敏感問題）：

另外，可以直接問chatGPT怎么寫代碼，比如寫一個俄羅斯方塊：

沒有懸念，代碼完全正確。

而更有想象力的，是讓chatGPT來生成AI繪畫的輸入關(guān)鍵詞！讓AI自己來指導(dǎo)AI作畫，多美妙的主意。

這僅僅是一個開始，隨著chatGPT在全網(wǎng)的各種自來水安利，相信還有更多古靈精怪的玩法不斷被網(wǎng)友們挖掘出來。

chatGPT的回答給人的感覺是，這是一個特別靠譜的聊天AI，真正的上知天文下知地理，最關(guān)鍵的是，它不胡說八道！正因為它回答的準(zhǔn)確性，看起來chatGPT有了替代通用搜索引擎Google的可能性。

OpenAI的CEO薩姆?阿爾特曼（SamAltman）對ChatGPT的未來發(fā)展表示很有信心。他在推特上說，語言接口是未來的一個發(fā)展方向，OpenAI只是一個先行者，相信很快大家就能用上真正智能的提供建議的AI助手了。

測試版的chatGPT仍有一些缺點，但這都只是戰(zhàn)術(shù)級別的；在戰(zhàn)略上，chatGPT的前景已經(jīng)相當(dāng)令人期待，特別是OpenAI下一代GPT4加持下的chatGPT，其能力恐怕更加突破天際。

我們也許正在經(jīng)歷又一個AI突破的時刻，一如2022年初到年中AI繪畫的勢如破竹。而這次，則是人類通用信息生成的突破！

喜歡刨根問底的讀者們會問，AI是如何走到這一步的？

讓我們遠(yuǎn)離現(xiàn)實的喧囂，把目光投回到那有點遙遠(yuǎn)的過去吧。

五、人工神經(jīng)網(wǎng)絡(luò)的起源，在那有些遙遠(yuǎn)的年代

從某種意義上，語言表達(dá)是人類信息和思想交流的窗口。人類并沒有第七感，也沒有腦電波直達(dá)的交流（目前沒有：P），信息溝通都通過口頭語言和書面語言來傳遞。

（當(dāng)然，可以說還有一些手勢和肢體表達(dá)，但信息量基本可以忽略不計）

針對語言信息的人工智能處理，或者學(xué)術(shù)一點，“自然語言處理NLP”，是科學(xué)家們最早研究，人工智能最早發(fā)源的領(lǐng)域。

遠(yuǎn)在1956年，美國的達(dá)特茅斯學(xué)院舉行了一次具有傳奇色彩的學(xué)術(shù)會議（DartmouthConference），計算機專家約翰·麥卡錫提出了“人工智能”一詞。這被廣泛認(rèn)為是人工智能正式誕生的日子。

1956年的達(dá)特茅斯會議，十位參與的科學(xué)家，AI之父們。

這個會議很有意思，事后諸葛亮的我們，一起來看看這個會議7個特別有前瞻性的主要議題：

1. 自動計算機

“如果一臺機器可以完成一項工作，那么就可以對一臺自動計算器進(jìn)行編程來模擬這臺機器。目前計算機的速度和內(nèi)存容量可能不足以模擬人腦的許多高級功能，但主要的障礙不是缺乏機器容量，而是我們無法編寫充分利用我們所擁有的機能?！?/p>

現(xiàn)代第一臺電子計算機ENIAC的發(fā)明日期是1946年2月14日，也就是說，當(dāng)時距離第一臺電子計算機的誕生僅僅過去了10年。先驅(qū)們的遺憾是當(dāng)時高級程序技術(shù)還基本沒有，無法充分發(fā)揮計算機的作用：）

2. 如何對計算機進(jìn)行編程以使用一種語言

“可以推測，人類思想的很大一部分是根據(jù)推理規(guī)則和猜想規(guī)則來操縱詞語的。從這個觀點來看，形成泛化就是承認(rèn)一個新詞和一些規(guī)則，其中包含這個新詞的句子暗示和被其他句子暗示。這個想法從來沒有被非常精確地表述過，也沒有例子?！?/p>

先驅(qū)們對語言文字的機器理解充滿了預(yù)期，而直到現(xiàn)在，有了GPT這些當(dāng)超大規(guī)模的自然語言AI模型，我們才堪堪敢說，先驅(qū)們的期望逐漸在實現(xiàn)，計算機開始真正理解了語言。

3. 神經(jīng)網(wǎng)絡(luò)

“一組（假設(shè)的）神經(jīng)元如何排列以形成概念。很多當(dāng)下的計算機科學(xué)家等人已經(jīng)就這個問題做了大量的理論和實驗工作。已經(jīng)獲得了部分結(jié)果，但這個問題還需要更多的理論工作?！?/p>

神經(jīng)網(wǎng)絡(luò)！在AI概念誕生之時，先驅(qū)們就意識到了，人工神經(jīng)網(wǎng)絡(luò)的概念將要在AI里發(fā)揮重要作用

4. 計算規(guī)模理論

“如果給一個很好的問題（一個可以機械地測試所提出的答案是否是有效答案的問題），解決它的一種方法是按順序嘗試所有可能的答案。這種方法是有效的，要排除它，必須有一些計算效率的標(biāo)準(zhǔn)。一些考慮將表明，為了獲得計算的效率的度量，必須手頭有一種測量計算設(shè)備復(fù)雜性的方法，如果有函數(shù)復(fù)雜性理論，這反過來也可以做到。香農(nóng)和麥卡錫已經(jīng)獲得了關(guān)于這個問題的一些部分結(jié)果。”

計算機科學(xué)里重要的計算復(fù)雜性理論，就是這個時間點被提出和發(fā)展起來的。

5. 自我改進(jìn)

“也許真正智能的機器會進(jìn)行自我改進(jìn)的活動。已經(jīng)提出了一些這樣做的方案，值得進(jìn)一步研究。這個問題似乎也可以抽象地研究?！?/p>

這是一個很有挑戰(zhàn)性的問題，用現(xiàn)在的觀點可以換個說法：AI是否能實現(xiàn)自我編程自我提升？或許很快就可以了。

6. 抽象

“許多類型的”抽象”可以被清晰地定義，而其他一些類型則不那么清晰。直接嘗試對這些進(jìn)行分類并描述從感官和其他數(shù)據(jù)中形成抽象的機器方法似乎是值得的?！?/p>

通過機器智能來對各種信息自動加以分類和抽象，這正是當(dāng)今各種牛逼閃閃的AI大模型正在達(dá)成的成就。

7. 隨機性和創(chuàng)造性

“一個相當(dāng)吸引人但顯然是不完整的猜想是，創(chuàng)造性思維和缺乏想象力的有效思維之間的區(qū)別在于注入了某種隨機性。隨機性必須由直覺引導(dǎo)才能有效。換句話說，受過教育的猜測或直覺在其他有序的思維中包括了受控的隨機性。”

先驅(qū)們非常直觀的理解，是否有隨機性是創(chuàng)造性思維和非創(chuàng)造性的分析思維的重要區(qū)別。

而隨機性需要由一些“直覺”引導(dǎo)，或者說真正的AI需要一種“受控的隨機性”。

其實，當(dāng)前AI繪畫生成機制里很好踐行了這個洞察：在每一幅AI繪畫背后都是一個AI模型（比如StableDiffusion）+一個確定的輸入（一組關(guān)鍵詞）+一個系統(tǒng)生成的隨機數(shù)。同樣的“關(guān)鍵詞組+隨機數(shù)”輸入到AI模型里，必然生成一個完全相同的AI繪畫作品。這不就是“受控的隨機性”嘛

達(dá)特茅斯會議的參會先驅(qū)們都是大神，也值得在這里簡單提一下：

約翰·麥卡錫（JohnMcCarthy），率先提出了AI的概念，開發(fā)了碼農(nóng)熟知的程序語言Lisp。有意思的是，Lisp是在1958年發(fā)明的，看看會議的第一個議題，抱怨沒有好用的編程語言可用，大牛的態(tài)度就是沒有趁手的工具嗎？那我就自己發(fā)明一個！

約翰·麥卡錫在1971年獲得了圖靈獎。

馬文·明斯基（MarvinMinsky），在1951年在普林斯頓大學(xué)讀博士的時候，建立了第一個神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)機器SNARC（StochasticNeuralAnalogReinforcementCalculator隨機神經(jīng)模擬強化計算器），這是第一個真正意義上的人工神經(jīng)網(wǎng)絡(luò)硬件，用3000個真空管來模擬了40個神經(jīng)元的信號傳遞。

明斯基的博士論文也正是神經(jīng)網(wǎng)絡(luò)。有趣的是，明斯基拿的是數(shù)學(xué)系博士學(xué)位。當(dāng)時有人挑刺說神經(jīng)網(wǎng)絡(luò)的研究能算數(shù)學(xué)？而當(dāng)時支持明斯基的正是大名鼎鼎的現(xiàn)代計算機之父馮。諾伊曼。馮。諾伊曼說：現(xiàn)在不算，但很快就得算了。

明斯基在1969年獲得了圖靈獎。

克勞德·香農(nóng)（ClaudeShannon），通信科學(xué)鼻祖，大名鼎鼎的香農(nóng)定理是所有通信制式最基本的原理。和計算機鼻祖并駕齊驅(qū)的香農(nóng)同學(xué)就不需要圖靈獎了，因為在通信領(lǐng)域有以他的名字命名的的最高獎香農(nóng)獎：）

赫伯特·西蒙（HerbertSimon）和艾倫·紐厄爾（AllenNewell）在達(dá)特茅斯會議上報告了世界上第一個AI項目“邏輯理論家（theLogicTheorist）”。

這個AI證明了<數(shù)學(xué)原理>第二章52個定理的38個，甚至找到了比原教材更優(yōu)美的證明。兩人合作提出了搜索式推理的方法，開創(chuàng)了人工智能除神經(jīng)網(wǎng)絡(luò)學(xué)派之外的第二條路線：符號主義學(xué)派。這兩位在1975年一起拿到了圖靈獎。

題外話是，這兩位牛和當(dāng)時數(shù)學(xué)系主任、第一屆圖靈獎獲得者阿蘭。珀里思（AlanPerlis）一起創(chuàng)立了卡內(nèi)基梅隆大學(xué)的計算機系，從此，CMU成為計算機學(xué)科的重鎮(zhèn)。

在達(dá)特茅斯會議之前，還有一個1955年的小討論會議“學(xué)習(xí)機討論會”，在那次討論會上，主持人也是神經(jīng)網(wǎng)絡(luò)的鼻祖之一的皮茨Pitts做了一個有趣總結(jié)：“……一派人企圖模擬神經(jīng)系統(tǒng)（NeuronNets），一派人企圖模擬心智（mind，就是上面西蒙的符號派）……但最終大家的目的一致”。

這句眼光毒辣的話，冥冥之中預(yù)示了隨后幾十年間AI研究“結(jié)構(gòu)VS功能”的神經(jīng)網(wǎng)絡(luò)派和符號主義派兩條路線之爭。

六、大算力，大數(shù)據(jù)，大力出奇跡

2006年，杰弗里·辛頓（GeoffreyHinton）在science期刊上發(fā)表了重要的論文<Reducingthedimensionalityofdatawithneuralnetworks>，提出深度信念網(wǎng)絡(luò)（DeepBeliefNetworks，DBNs），“深度學(xué)習(xí)”正式誕生，基于人工神經(jīng)網(wǎng)絡(luò)的第三次AI發(fā)展浪潮開始了，且一直延續(xù)至今。

和前兩次浪潮不同的是，當(dāng)下計算機性能已經(jīng)能讓大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)模擬得以成為現(xiàn)實。在1957年，羅森布拉特用IBM704去仿真感知機，每秒完成1。2萬次浮點加法，而如今超級計算機速度是IBM704的10萬億倍以上。

此外，個人計算機GPU近些年發(fā)展迅猛，盡管GPU的初衷是為了加速3D圖形計算，但通用GPU的計算模式正好匹配了神經(jīng)網(wǎng)絡(luò)并行計算的需求特點，從而進(jìn)一步推動了神經(jīng)網(wǎng)絡(luò)模型的發(fā)展。

除了算力之外，限制前兩次AI浪潮發(fā)展的另一主要因素就是數(shù)據(jù)的缺乏。在深度學(xué)習(xí)理論模型提出之后，最早之一意識到了AI學(xué)科發(fā)展的數(shù)據(jù)鉗制并著手去解決的是華人女AI科學(xué)家李飛飛。年輕的李飛飛以堅韌不拔的大無畏精神推動完成了一個超大規(guī)模的開源圖片標(biāo)注數(shù)據(jù)庫，這就是著名的ImageNet項目。在2009年正式發(fā)布時，ImageNet有超過1000萬數(shù)據(jù)，兩萬多個類別。

2010年開始，ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVCR）開始舉辦，全世界圖像領(lǐng)域深度學(xué)習(xí)的專家們同臺競技和交流，從此拉開了計算機視覺的新篇章。

額，本文主要是關(guān)注自然語言大模型的前世今生的，而ImageNet完全是圖像領(lǐng)域的工作。但是，ImageNet的出現(xiàn)和發(fā)展給了自然語言AI模型研究一個很重要的啟發(fā)。這就是圖像領(lǐng)域深度學(xué)習(xí)的預(yù)訓(xùn)練概念。

大家都知道，“深度學(xué)習(xí)”顧名思義，就是具有很多層級的神經(jīng)網(wǎng)絡(luò)模型?，F(xiàn)代神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)很深，動則幾百萬上千萬參數(shù)量。而這些神經(jīng)網(wǎng)絡(luò)模型在能做特定任務(wù)之前，都是需要經(jīng)過“訓(xùn)練”的，即根據(jù)標(biāo)注好的特定訓(xùn)練數(shù)據(jù)去反復(fù)調(diào)整模型里的參數(shù)，最后所有參數(shù)調(diào)整到位，模型能匹配訓(xùn)練數(shù)據(jù)集的輸入和輸出。

那么，問題來了，要調(diào)整深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型里那成千萬的參數(shù)量，如果訓(xùn)練數(shù)據(jù)少了，肯定很難調(diào)整到位啊。這就好比一個內(nèi)部齒輪復(fù)雜精密的新機器，如果只稍微動一下，內(nèi)部能牽扯到的齒輪機構(gòu)說不定都很少，達(dá)不到磨合的目的;只有大規(guī)模長時間運轉(zhuǎn)起來，內(nèi)部的齒輪才能全速轉(zhuǎn)起來，互相磨合好。

但是，那些特定的AI任務(wù)往往沒有那么多訓(xùn)練數(shù)據(jù)啊，這可怎么辦呢？

非常值得慶幸的是，AI科學(xué)家研究發(fā)現(xiàn)了深度學(xué)習(xí)網(wǎng)絡(luò)一個有趣的特性，對于圖像領(lǐng)域的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)而言，不同層級的神經(jīng)元學(xué)習(xí)到的是不同邏輯層級的圖像特征！

如上圖所示，若將訓(xùn)練好的網(wǎng)絡(luò)每層神經(jīng)元學(xué)習(xí)到的特征可視化，會發(fā)現(xiàn)，最底層的神經(jīng)元學(xué)習(xí)到的是線段等特征，第二層學(xué)到的是人臉各個五官的特征，第三層學(xué)到的是人臉輪廓的特征，這三層構(gòu)成了人臉特征的邏輯層級結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)越底層的特征越基礎(chǔ)抽象，比如什么邊角弧線等，而越往上層，就具體和任務(wù)相關(guān)。是不是很神奇？

一個訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)的內(nèi)部參數(shù)，在底層體現(xiàn)了通用和基礎(chǔ)的特征，而越到高層，越和特定任務(wù)相關(guān)。這是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)一個特別棒的特性。

人們開始動腦筋了，既然是這樣，那么是不是可以先用標(biāo)準(zhǔn)的大數(shù)據(jù)集比如ImageNet來做深度學(xué)習(xí)網(wǎng)絡(luò)的“預(yù)訓(xùn)練”呢？反正那么多層的神經(jīng)網(wǎng)絡(luò)里，大多數(shù)的層級都和特定任務(wù)關(guān)系不大，我們只需要把通用大數(shù)據(jù)預(yù)訓(xùn)練得到的網(wǎng)絡(luò)模型結(jié)果，再結(jié)合任務(wù)相關(guān)的那點可憐的標(biāo)注數(shù)據(jù)去微調(diào)（Fine-tuning）高層的網(wǎng)絡(luò)參數(shù)，使得高層參數(shù)輸出更匹配當(dāng)前領(lǐng)域的任務(wù)，不就OK了嗎？

這樣一來，原本因為數(shù)據(jù)不足而無法訓(xùn)練的特定任務(wù)也能解決了。即便任務(wù)的訓(xùn)練數(shù)據(jù)不缺，先通過預(yù)訓(xùn)練過程也能極大的加快特定任務(wù)訓(xùn)練的完成速度。預(yù)訓(xùn)練這種通吃的解決方案人見人愛，很快在圖像處理領(lǐng)域廣泛流行開來。

既然在圖像處理領(lǐng)域的深度學(xué)習(xí)里預(yù)訓(xùn)練這么管用，搞自然語言處理AI的同學(xué)們自然也會在心里想，為什么不在自然語言處理領(lǐng)域里做預(yù)訓(xùn)練這么香的事情呢？

七、自然語言AI的深度進(jìn)化

首先呢，自然語言處理的研究里，有個基本概念叫做“語言模型”，大致理解起來也簡單，就是想辦法打造一個核心函數(shù)P，這個函數(shù)通過一個句子里前面的所有單詞來計算下一個單詞的概率大小。一句話里的單詞總是順序出現(xiàn)的，每個單詞都可以通過前面所有單詞計算出這么一個概率，把所有這些單詞的概率乘起來，總概率數(shù)值越大，說明這越像是人說出的話。

怎么構(gòu)造這個神奇的函數(shù)P是AI科學(xué)家的事情，但讀者們一定可以明白，有了這個牛逼的“語言模型”函數(shù)P，計算機就會說人話了。

而從神經(jīng)網(wǎng)絡(luò)學(xué)派的同學(xué)看來，是不是可以用神經(jīng)網(wǎng)絡(luò)來打造這樣一個語言模型呢？就是說用很多的現(xiàn)成語料，來訓(xùn)練出一個神經(jīng)網(wǎng)絡(luò)，然后給這個神經(jīng)網(wǎng)絡(luò)模型輸入一句話的前面幾個詞，這個模型就能計算出這句話的下一個單詞。

這就是大名鼎鼎的“神經(jīng)網(wǎng)絡(luò)語言模型”NNLM。

NNLM神經(jīng)網(wǎng)絡(luò)語言模型的想法并不是最近冒出來的，它的歷史要追溯到20年前。NNLM的論文在2003年就被發(fā)表出來了，而當(dāng)時，深度學(xué)習(xí)的概念還只存在于杰弗里·辛頓（GeoffreyHinton）的腦袋里。

所以，不幸的是，NNLM當(dāng)時沒有引起學(xué)界多少反響，被埋沒了近10年。事實上，在深度學(xué)習(xí)大火之前，用神經(jīng)網(wǎng)絡(luò)做自然語言處理甚至?xí)恍υ挘白匀徽Z言處理的主流研究方式還是基于統(tǒng)計學(xué)的機器學(xué)習(xí)方法。神經(jīng)網(wǎng)絡(luò)語言模型NNLM這個概念太超前時代了。

一直到了2013年，在深度學(xué)習(xí)概念提出來7年之后，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型先是在圖像和語音領(lǐng)域大顯神威，自然語言AI的同學(xué)終于想起了這篇十年前的論文。NNLM重出江湖，為世人所知：

在2013年，AI研究人員倒騰了一個自然語言處理的處理模型Word2Vec。顧名思義，“Word2Vec”就是“wordtovector，從詞到向量”。研究人員的目標(biāo)是把一個單詞變成一個數(shù)學(xué)向量，這個數(shù)學(xué)量在NLP里有個專門的名詞，叫做WordEmbedding（詞嵌入）

為啥要變成一個向量，出發(fā)點也很簡單，如果能將每個單詞都能表示為數(shù)學(xué)空間里的一個向量，那么是不是理論上，在這個向量空間里比較接近的詞，就是意義接近的單詞呢？這樣計算機不就可以方便的理解單詞之間的聯(lián)系了嗎？

Word2Vec翻出了十年前的NNLM。NNLM的初衷只是想構(gòu)建一個神經(jīng)網(wǎng)絡(luò)語言模型，根據(jù)前面的詞，來預(yù)測后一個是什么詞。NNLM網(wǎng)絡(luò)內(nèi)部構(gòu)造了一個隨機初始化的矩陣，通過不斷的訓(xùn)練，來達(dá)成NNLM模型預(yù)測單詞的目的。

特別湊巧的是，研究人員發(fā)現(xiàn)這個訓(xùn)練出來的內(nèi)部矩陣的每一行，正好可以作為每個詞的嵌入向量WordEmbedding！這真是得來全不費功夫啊。

NNLM和Word2Vec使用了類似的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不過因為目的不同，其訓(xùn)練方法理念是截然不同的。NNLM作為語言模型，是要看到上文預(yù)測下文，所以訓(xùn)練時輸入的是句子上文單詞;而Word2Vec呢？因為它的目標(biāo)是要找出所有單詞之間意義遠(yuǎn)近的數(shù)學(xué)關(guān)系，所以訓(xùn)練時都使用句子上文和下文作為輸入。

不知道讀者意識到?jīng)]，這兩種訓(xùn)練方式在更高的意義上有著一些本質(zhì)區(qū)別，就好比我們?nèi)祟愓f話，都是順序說出來一個個單詞的，說不定呢，人的潛意識或許也是一個類似NNLM的P函數(shù)，自覺不自覺地的決定人說話里的下一個詞是什么。因此只從上文預(yù)測下文的訓(xùn)練方式，貌似天然更契合“生成式”的邏輯。

而Word2Vec這種通過上文和下文輸入來訓(xùn)練的方式，可以比喻成機器來做閱讀理解，就像是我們做語文或英語的閱讀理解，一定是通讀全文，然后根據(jù)上下文來理解和判斷問題的答案。這樣的人工智能，就是所謂分析式的AI。

兩種模型訓(xùn)練的思路，在后續(xù)發(fā)展里變成了自然語言模型的兩種路線。本文開頭提到的OpenAI生成式模型GPT系列，堅定的只用上文進(jìn)行訓(xùn)練，用以追求“純粹”的生成;而Google公司的大語言模型Bert，則采用了上文和下文一起訓(xùn)練的模式，此乃后話。

前面提到，圖像處理領(lǐng)域里使用大規(guī)模通用數(shù)據(jù)進(jìn)行“預(yù)訓(xùn)練”所取得的效率和成果實在讓人羨慕，而在自然語言處理領(lǐng)域里，其實也有一點點“預(yù)訓(xùn)練”概念的，這個預(yù)訓(xùn)練就是，每個單詞的WordEmbedding可以反過來初始化神經(jīng)網(wǎng)絡(luò)的內(nèi)部參數(shù)。

不去探究數(shù)學(xué)細(xì)節(jié)，讀者只要知道，這種“預(yù)訓(xùn)練方式”和前面圖像處理領(lǐng)域的低層級網(wǎng)絡(luò)預(yù)訓(xùn)練方式有點類似，但問題是利用WordEmbedding只能初始化第一層網(wǎng)絡(luò)參數(shù)，和圖像處理領(lǐng)域的預(yù)訓(xùn)練能有效初始化大多數(shù)網(wǎng)絡(luò)層級不可同日而語，只能說是一種比較原始初級的“預(yù)訓(xùn)練”了

但直到2018年前，這就是NLP領(lǐng)域里能采用的預(yù)訓(xùn)練典型做法了。

采用WordEmbedding來初始化NLP神經(jīng)網(wǎng)絡(luò)有那么點效果，但沒有期待的那么好。這里面還有一個邏輯上的原因：一個單詞有多義詞問題。所以企圖在一個數(shù)學(xué)空間里用一個固定的數(shù)學(xué)向量來表征一個單詞的意義，還要求含義相近的單詞都聚在一起。在面對多義詞的時候，這在邏輯上顯然就是矛盾的。

當(dāng)然了，聰明的AI研究人員肯定還是有辦法。既然一個單詞存在多義性，固定的WordEmbedding向量無法表達(dá)單詞的多個含義，那么是不是可以先訓(xùn)練好一個單詞的WordEmbedding，然后在實際使用中，根據(jù)句子里的上下文語義去動態(tài)調(diào)整這個WordEmbedding數(shù)值，這樣經(jīng)過調(diào)整后的“動態(tài)WordEmbedding”更能準(zhǔn)確表達(dá)單詞在上下文的具體含義，同時自然的，解決了多義詞的問題。

這個根據(jù)當(dāng)前上下文來動態(tài)調(diào)整WordEmbedding的想法就是頂級學(xué)術(shù)會議NAACL2018年的最佳論文“Deepcontextualizedwordrepresentation”，這個NLP模型命名為ELMO（EmbeddingfromLanguageModels，基于語言模型的詞嵌入）

ELMO引入上下文動態(tài)調(diào)整單詞WordEmbedding后，多義詞問題就被徹底解決了，而且比預(yù)期的解決得還好：利用ELMO改進(jìn)過的多種不同NLP任務(wù)，性能上都有幅度不同的提升，最高達(dá)到了25%，不愧是最佳論文。

此外，ELMO還有一個貢獻(xiàn)，研究人員發(fā)現(xiàn)ELMO所使用的深度神經(jīng)網(wǎng)絡(luò)模型里，不同層次提取到的特征是有差異的?？吹竭@里，讀者想起了什么沒有？是不是和圖像預(yù)訓(xùn)練的模型層級特征有點像了？

讓我們復(fù)習(xí)一下，前面講過，圖像處理領(lǐng)域進(jìn)行大規(guī)模預(yù)訓(xùn)練后，把深度學(xué)習(xí)網(wǎng)絡(luò)每層參數(shù)做可視化后可以看到，深度學(xué)習(xí)網(wǎng)絡(luò)每一層都對應(yīng)著不同抽象層級的“特征”，在圖像領(lǐng)域里，就是從底層的線段，到中間層的具體五官細(xì)節(jié)，再到高層的臉型，等等。

再說一次，“預(yù)訓(xùn)練”為什么是一個特別重要的概念？這是因為好的“預(yù)訓(xùn)練”可以直接利用大量標(biāo)準(zhǔn)通用的的訓(xùn)練數(shù)據(jù)（圖像領(lǐng)域就是圖片，NLP領(lǐng)域就是語料），把深度學(xué)習(xí)模型調(diào)整到了90%甚至更高程度的可用狀態(tài)，預(yù)訓(xùn)練好的模型最后通過任務(wù)相關(guān)的少量訓(xùn)練數(shù)據(jù)，就能微調(diào)至完全勝任各種特定任務(wù)，這真是一個很美妙的事情。

那么，ELMO出現(xiàn)后，自然語言處理領(lǐng)域的“預(yù)訓(xùn)練”有可能趕上圖像領(lǐng)域了嗎？

遺憾的是，還差一口氣。

因為技術(shù)原因，LEMO模型在抽取文字特征方面還比較弱，這是一個技術(shù)上的缺陷，意味著這個模型就無法很好完成NLP的“預(yù)訓(xùn)練”夢想：特征都抽取不好，怎么讓網(wǎng)絡(luò)里每一層具體表達(dá)不同邏輯層級的特征呢？而從技術(shù)細(xì)節(jié)上對比，也會發(fā)現(xiàn)ELMO這種“預(yù)訓(xùn)練”方法和圖像領(lǐng)域的預(yù)訓(xùn)練方法，兩者在模式上還有很大差異。

自然語AI研究人員還需要繼續(xù)找到一個方法，希望這個方法能很好的提取出文字的特征，就類似圖像處理領(lǐng)域的神經(jīng)網(wǎng)絡(luò)模型，能很好的提取圖像不同邏輯層面的特征。

恰就在時間剛好的2017年底，Google研究人員發(fā)表了一篇里程碑式的論文<Attentionisallyouneed>，這一篇論文提出的“自我注意力”機制讓自然語言處理揭開了嶄新的篇章。

八、注意力機制和Transformer

2017年12月，Google在頂級機器學(xué)習(xí)會議NIPS上發(fā)表了論文《Attentionisallyouneed》，提出在機器翻譯上大量使用自注意力（SelfAttention）機制來學(xué)習(xí)文本表示，并把這種機制模型起了個霸氣的名字：Transformer。

這篇論文一經(jīng)出世就橫掃了整個自然語言處理學(xué)術(shù)界，Transformer迅速的取代了深度學(xué)習(xí)里傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）成為了之后的大語言模型的標(biāo)準(zhǔn)配置。

Transformer是目前NLP領(lǐng)域里最強的特征提取器，本質(zhì)上Transformer是一個疊加的“自注意力機制”構(gòu)成的深度網(wǎng)絡(luò)。

包括我們現(xiàn)在所知道的OpenAIGPT系列模型，以及GoogleBERT系列模型，都受到了這篇文章的啟發(fā)采用了部分transformer的架構(gòu)，從而取得了突破性的效果。

先說個題外話，筆者感慨，論文是否牛逼，一看題目就知道，這篇論文連題目都如此特別和霸氣。

話說回來，什么是注意力機制？深度學(xué)習(xí)里的注意力機制其實是一種思想，參考借鑒了人類的注意力思維方式。

視覺注意力機制是人類視覺所特有的大腦信號處理機制，我們的眼睛會快速掃描全局圖像，得到需要重點關(guān)注的區(qū)域，就是所謂的注意力焦點后，再進(jìn)一步對相關(guān)區(qū)域投入更多的關(guān)注。這是人類在長期進(jìn)化中獲得的一種生存機制，極大提高了人類信息處理的效率和準(zhǔn)確性。

深度學(xué)習(xí)的注意力機制在概念上參照了人類的視覺注意力機制，核心目標(biāo)就是從眾多信息里選擇出對當(dāng)前任務(wù)更重要和關(guān)鍵的信息。

具體到NLP自然語言處理領(lǐng)域里，在之前，注意力機制一般是指輸出句子里某個詞和輸入句子每個詞之間的相似度。這也很好理解，就是去尋求問題（輸入）和答案（輸出）之間的關(guān)系么。

但Google這篇<Attentionisallyouneed>的特別之處，是明確指出了，我們其實不需要先考慮輸入和輸出的關(guān)系啊，為什么不參考人類理解語言的方式，首先“學(xué)習(xí)”一句話內(nèi)部單詞之間的關(guān)系呢？這就是所謂的“SelfAttention自注意力機制”：指的是輸入元素之間，或者輸出元素之間的內(nèi)在聯(lián)系機制。

如上圖所示，SelfAttention自注意力機制尋找到了一個句子里單詞之間的語義特征，“it”指代的是“theanimal”。

稍微想一下，SelfAttention自注意力機制在邏輯意義上非常清晰，它讓機器去理解人類語言每句話里單詞之間的語義關(guān)系。

除了邏輯上看起來更有道理，SelfAttention機制還附帶了一個很大的好處：因為網(wǎng)絡(luò)層面拋棄了傳統(tǒng)的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）模型，徹底規(guī)避了RNN不能很好并行計算的困擾，極大提高了模型并行訓(xùn)練計算的效率。更不用說，Attention注意力機制只關(guān)注部分信息，參數(shù)較少，容易訓(xùn)練。

有趣的是，谷歌研究人員在這篇重要論文里差點使用了“注意力網(wǎng)絡(luò)”這樣的命名，只是他們覺得這個名字聽起來實在不夠響亮，后來團(tuán)隊里一位工程師給起了個名字Transformer，這看起來就高大上很多了：）

基于自我注意力機制的Transformer模型的出現(xiàn)是革命性的，最最重要的一點，它能實現(xiàn)自我監(jiān)督學(xué)習(xí)。所謂自我監(jiān)督，就是不需要標(biāo)注的樣本，使用標(biāo)準(zhǔn)的語料或者圖像，模型就能學(xué)習(xí)了。

在Tranformer出現(xiàn)之前，我們要訓(xùn)練一個深度學(xué)習(xí)模型，必須使用大規(guī)模的標(biāo)記好的數(shù)據(jù)集合來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。對數(shù)據(jù)進(jìn)行標(biāo)注只能人工進(jìn)行，金錢和時間成本都相當(dāng)高。

讀者如果還有印象，在筆者上一篇關(guān)于AI繪畫的文章里有講到，對于AI繪畫至關(guān)重要的跨模態(tài)模型CLIP之所以成功，是因為它使用了互聯(lián)網(wǎng)已經(jīng)帶文字標(biāo)記的圖片作為訓(xùn)練數(shù)據(jù)，巧妙規(guī)避了超大規(guī)模數(shù)據(jù)標(biāo)記的難題。

而回過頭來，Transformer的核心是在數(shù)學(xué)上計算輸入元素之間的關(guān)聯(lián)（Attention），通過這種模式，Tranformer成功的消除了訓(xùn)練數(shù)據(jù)集的標(biāo)注需求！

這簡直是感天動地，我們可以想象一下，從今以后，互聯(lián)網(wǎng)上或者企業(yè)數(shù)據(jù)庫里海量的文本數(shù)據(jù)都能直接成為大模型的訓(xùn)練數(shù)據(jù)源了。

NVIDIA創(chuàng)始人兼CEO黃仁勛在2022NVIDIAGTC大會上表示說，Transformer使自我監(jiān)督學(xué)習(xí)成為可能，并無需人類標(biāo)記數(shù)據(jù)，AI領(lǐng)域出現(xiàn)了“驚人的進(jìn)展”。因此，Transformer正在越來越多的領(lǐng)域中發(fā)揮作用。比如用于語言理解的GoogleBERT，用于藥物發(fā)現(xiàn)的NVIDIAMegaMolBART以及DeepMind的AlphaFold2都要追溯到Transformer的突破。

上面又提到了GoogleBERT語言模型。這里要插一句，Google引以為傲的語言大模型BERT的架構(gòu)和OpenAIGPT其實非常像，但有一個簡單而本質(zhì)的區(qū)別，在訓(xùn)練階段，GoogleBERT輸入上文和下文來訓(xùn)練，OpenAIGPT系列一直堅持只輸入上文訓(xùn)練，而結(jié)果就是，GoogleBERT在體現(xiàn)AI分析能力的各種閱讀理解等問題上，都表現(xiàn)上佳;而OpenAIGPT術(shù)業(yè)有專攻，在生成式AI（比如回答各種問題，創(chuàng)造各種文字內(nèi)容）上一騎絕塵。

不夸張的說，Transformer是迄今為止發(fā)明的最強大的模型之一。斯坦福研究人員在2021年8月的一篇論文把tranformer稱之為“基礎(chǔ)模型”（Foundationmodel），認(rèn)為它推動了AI整個范式的轉(zhuǎn)變。

九、GPT3，神功初成

受Google論文啟發(fā)，基于Transformer模式的GPT系列模型作為OpenAI的當(dāng)紅炸子雞，風(fēng)頭當(dāng)下無兩。

GPT全稱是“GenerativePre-Training”，直譯過來就是“生成式的預(yù)訓(xùn)練”，有意思吧。

如前文所說，OpenAI對GPT的生成式AI有堅定的信念，因此在訓(xùn)練模型的時候，只選用“上文”來訓(xùn)練模型，也就是說，GPT本質(zhì)上是一個極致的概率模型，它根據(jù)上文提示，來猜測下一個單詞應(yīng)該是什么。

這個堅持雖然在一開始GPT1和GPT2時代讓其輸出效果稍遜于同期Google的語言大模型BERT，但到了GPT3時期，在超級規(guī)模網(wǎng)絡(luò)參數(shù)的加持下，GPT這個100%純粹的生成式AI終于迸發(fā)出耀眼的光芒，模型輸出效果甚至大幅超越了研究人員的預(yù)期。

盡管沒有實證，但筆者很傾向認(rèn)為GPT3的極大成功和OpenAI堅定不移的只用上文來訓(xùn)練模型有著某種必然的關(guān)系，人的語言溝通也從來都是按順序表達(dá)的，沒有誰先把一句話的最后一個詞說完才回頭考慮上一個詞。從這點來看，GPT系列模型順應(yīng)了人類思考的邏輯，最終由量變推動了質(zhì)變。

終于，借助了Transformer，GPT這樣的超大規(guī)模語言模型（GPT-3有1750億個參數(shù)）在不需要標(biāo)記數(shù)據(jù)的情況下，可以借助現(xiàn)成的海量標(biāo)準(zhǔn)數(shù)據(jù)以及超級算力，得到通用的“預(yù)訓(xùn)練”版本模型。

可能有讀者會繼續(xù)問，有了預(yù)訓(xùn)練好的模型版本后，GPT怎么能以適應(yīng)各種各樣的特定任務(wù)（或者專業(yè)一點，“下游任務(wù)”）呢？GPT論文里給出了簡單的改造施工圖，附在這里讀者們有點直觀感性感知即可?？傊ㄟ^簡單的改造操作，GPT就能很好適應(yīng)不同的任務(wù)。只需要在輸入部分調(diào)整一下就可以了，非常方便。

補充一句，或許正是因為改造特別方便，OpenAI的研究人員才能在GPT3。5版之上改造出一個問答專用的chatGPT。雖然還不是基于大殺器GPT4.0，但chatGPT所展現(xiàn)出的超強內(nèi)容生成能力，在這幾天已經(jīng)在大眾用戶群體里刮起了超級旋風(fēng)。

十、從GPT3到chatGPT，進(jìn)化繼續(xù)

在歷史長河里走了過來，終于回到了本文開頭的主角chatGPT。

如果讀者已經(jīng)理解了前面關(guān)于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的變遷和發(fā)展之路，再來看chatGPT的技術(shù)升級，就是特別簡單的事情了。

chatGPT是基于GPT-3。5模型的魔改。GPT-3.5和3.0的區(qū)別呢，首先是和微軟合作，在微軟的AzureAI云服務(wù)器上完成了訓(xùn)練;另一個重要的區(qū)別是其訓(xùn)練數(shù)據(jù)集里除了文字，還加入了代碼，因此chatGPT現(xiàn)在已經(jīng)可以寫程序，甚至給現(xiàn)成的代碼找bug了。

為什么試用過chatGPT的同學(xué)都感覺提升很明顯？一個重要的原因是chatGPT引入了一個新的訓(xùn)練方法RLHF（論文<Traininglanguagemodelstofollowinstructionswithhumanfeedback>發(fā)表于22年3月），簡單的說，就是用人類反饋的方式加強訓(xùn)練。

看這個簡單的描述顯然不能感受到技術(shù)的提升，不過我們只需要理解，這其實就是在GPT3的大數(shù)據(jù)預(yù)訓(xùn)練之下，再次加強了人類的反饋。

有趣的是，前面基于Transformer的通用大數(shù)據(jù)無監(jiān)督訓(xùn)練模式把自然語言的自動學(xué)習(xí)做到了某種極致，而這個RLHF又重新?lián)炱鹆恕笆謩訖n”人類反饋機制，貌似有一點返璞歸真的感覺。仿佛是武功高手練至化境之后，又重新拿起了最早的野球拳，一招使出了無與倫比的超越功力。

chatGPT還有一個很重要的特點，就是針對輸出有效性上做了非常好的調(diào)整。使用過chatGPT的同學(xué)一定能感覺到，chatGPT并非每一個問題都能回答詳盡，但它絕對沒有胡說八道，chatGPT的回答和真實世界的情況是相當(dāng)一致的。做到這點很不容易，也是chatGPT和之前容易亂說一氣的問答AI模型前輩最大的不同。

另一個和確?；卮鹩行酝瑯又档藐P(guān)注的改進(jìn)是，chatGPT在道德約束上做得很出色。如果我們?nèi)ピ儐栆恍┯庠搅说赖逻吔绲膯栴}，或者一些特別敏感的問題，chatGPT基本都能察覺和回避。這讓我們想起了AI繪畫大模型最讓人詬病的地方，那就是通過AI生成18x圖片，盡管這不是一個技術(shù)問題，但對于一個智能內(nèi)容生成平臺，我們顯然要有方法管理好內(nèi)容的質(zhì)量，以及內(nèi)容的道德邊界。在這一點上，chatGPT帶了一個好頭。

chatGPT的試用版在OpenAI的RLHF論文發(fā)出半年之后剛剛推出，根據(jù)OpenAI研究人員自己的說法，內(nèi)部經(jīng)過了大量調(diào)優(yōu)，而且即使當(dāng)下，chatGPT還是有很多需要改進(jìn)的地方。但無論如何，chatGPT已經(jīng)展示給我們所有人，自然語言生成式AI所能達(dá)到的全新高度。

筆者特別憧憬GPT4.0的chatGPT改版。如果如傳說那般，GPT4.0已然突破了圖靈測試，筆者對基于4.0版本的chatGPT抱有無限的期待。說不定，作者在上一篇文章里預(yù)言的，AI大模型來寫長篇玄幻小說的時代，馬上就要來臨了

十一、后記

如果能耐著性子讀到這里，讀者應(yīng)該自然語言的生成式AI的前世今生有了一點概念。

回過頭來再問一次，對于“預(yù)訓(xùn)練”這個深度模型里的重要概念。讀者有沒有想過，預(yù)訓(xùn)練到底是什么？

對，具體而言，預(yù)訓(xùn)練就是在幾千億參數(shù)的支持下，類似GPT這樣的超級模型灌入了難以計量的文本訓(xùn)練數(shù)據(jù)（說不定已經(jīng)把全世界可以搜刮到的文本都拿來用了）來訓(xùn)練得到了一個通用大語言模型。

不過，在更高的一個角度去暢想，當(dāng)我們把全世界的文字信息直接灌進(jìn)擁有數(shù)千億參數(shù)的AI模型里，模型在網(wǎng)絡(luò)的各個層級上抽取和記憶這些文字里的特征信息。那么，GPT這樣的超級模型實際上就在通過所謂預(yù)訓(xùn)練方式，學(xué)習(xí)到了人類所有文字信息的全部特征，直接把人類的語言智慧記在了自己幾千億量級的神經(jīng)網(wǎng)絡(luò)大腦里。

做到了這種程度，真的就像是我們用人類的全部知識體系來培養(yǎng)出了一個超級強大的機器大腦，這個大腦通過它超大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)規(guī)模接納學(xué)習(xí)了人類創(chuàng)造的所有內(nèi)容。進(jìn)而，針對人類的任意問題，AI可以做出連圖靈測試都無法區(qū)分的真正智能回答。

人類已經(jīng)馬上無法分辨，在小黑屋后面，那究竟是一個人還是一個AI了。

這一天來得比想象更快。

一個能容納和理解人類全部文字知識，并做出真正智能回答的AI，我們是不是可以簡單認(rèn)為，

今天，真正的機器智能，已然誕生。