AIGC產(chǎn)業(yè)生態(tài)迎來(lái)爆發(fā)期:一份ChatGPT調(diào)研報(bào)告
AI技術(shù)正在飛速地發(fā)展和進(jìn)化中,而在這股AI發(fā)展浪潮中,AIGC這一概念成功出圈,人們逐漸可以借用AI自主生成各式各樣的內(nèi)容或數(shù)據(jù)。那么,當(dāng)前AIGC行業(yè)發(fā)展到了怎樣的階段?其中的關(guān)鍵性應(yīng)用模型ChatGPT,又有著怎樣的表現(xiàn)?
一、AIGC行業(yè)介紹及發(fā)展趨勢(shì)
1. AIGC產(chǎn)業(yè)生態(tài)迎來(lái)爆發(fā)期
AIGC(AI-Generated Content,人工智能生產(chǎn)內(nèi)容)最基本的能力是生成內(nèi)容,包括文本、圖像、視頻、代碼、3D內(nèi)容或者幾種媒介類(lèi)型轉(zhuǎn)換組合,形成的“多模態(tài)內(nèi)容”。生成算法、預(yù)訓(xùn)練模型、多模態(tài)等AI技術(shù)累積融合,以及深度模型方面的技術(shù)創(chuàng)新,共同催生了AIGC的大爆發(fā)。
AIGC是相對(duì)于過(guò)去的PGC、UGC、AIUGC而提出的。過(guò)去的傳統(tǒng)AI偏向于分析能力,基于已有內(nèi)容 ;現(xiàn)在的AI基于訓(xùn)練數(shù)據(jù)和生成算法模型,可以自主生成各種形式的內(nèi)容和數(shù)據(jù)。
2022年,AIGC(AI-Generated Content,人工智能生成內(nèi)容)爆火出圈。
2022年10月,Stable Diffusion、DALL-E 2、Midjourney等可以生成圖片的AIGC模型風(fēng)行一時(shí)。
2022年12月,OpenAI發(fā)布能夠回答問(wèn)題、生成代碼、構(gòu)思劇本和小說(shuō)的聊天機(jī)器人模型ChatGPT ,將人機(jī)對(duì)話(huà)推向新高度。 目前,從提供預(yù)訓(xùn)練模型的基礎(chǔ)設(shè)施層公司到專(zhuān)注打造AIGC產(chǎn)品和應(yīng)用工具的應(yīng)用層公司,圍繞 AIGC生長(zhǎng)出繁榮的生態(tài),技術(shù)創(chuàng)新引發(fā)的應(yīng)用創(chuàng)新浪潮迭起,中國(guó)有望憑借領(lǐng)先的AIGC技術(shù)賦能各行各業(yè)。
2. AIGC市場(chǎng)規(guī)模到2025有望達(dá)500億元
在傳統(tǒng)PGC和UGC模式下,內(nèi)容生成領(lǐng)域存在產(chǎn)能約束和質(zhì)量約束,PGC受制于人力資源的供給側(cè)限制,UGC 雖然降低了PGC的生產(chǎn)門(mén)檻,但因用戶(hù)創(chuàng)作能力和工具 功能的局限存在質(zhì)量約束。AIGC突破內(nèi)容生成產(chǎn)能和質(zhì)量約束,應(yīng)用廣泛,市場(chǎng)規(guī)模將會(huì)大幅擴(kuò)大。
根據(jù)《中國(guó)AI數(shù)字商業(yè)產(chǎn)業(yè)展望2021-2025》報(bào)告預(yù)測(cè)AI數(shù)字商業(yè)內(nèi)容的市場(chǎng)規(guī)模將從2020年的40億元,增加到2025年的495億元。
3. AIGC產(chǎn)業(yè)生態(tài)體系呈現(xiàn)上中下三層架構(gòu)
目前AIGC產(chǎn)業(yè)生態(tài)體系的雛形已現(xiàn),呈現(xiàn)上中下三層架構(gòu),第一層為上游基礎(chǔ)層,是由預(yù)訓(xùn)練模型為基礎(chǔ)搭建的AIGC技術(shù)基礎(chǔ)設(shè)施層。
第二層為中間層,即垂直化、場(chǎng)景化、個(gè)性化的模型和應(yīng)用工具。在預(yù)訓(xùn)練的大模型基礎(chǔ)上快速抽取生成 場(chǎng)景化、定制化、個(gè)性化的小模型,實(shí)現(xiàn)在不同行業(yè)、垂直領(lǐng)域、功能場(chǎng)景的工業(yè)流水線(xiàn)式部署。
第三層為應(yīng)用層,即面向C端用戶(hù)的文字、圖片、音視頻等內(nèi)容生成服務(wù)。
4. AIGC落地場(chǎng)景:AI繪畫(huà)、AI建模、聊天機(jī)器人ChatGPT等
2022年被稱(chēng)為AIGC元年,多個(gè)AI領(lǐng)域迅速發(fā)展,繪畫(huà)、音樂(lè)、新聞創(chuàng)作、主播等諸多行業(yè)被重新定義 。目前AIGC正在從簡(jiǎn)單的降本增效(以生成金融/體育新聞為代表)向創(chuàng)造額外價(jià)值(以提供繪畫(huà)創(chuàng)作素材為代表)轉(zhuǎn)移,文本-圖像-視頻的跨模態(tài)/多模態(tài)內(nèi)容生成正在進(jìn)展中。
已有的落地場(chǎng)景包括AI繪畫(huà)、AI建模、聊天機(jī)器人ChatGPT等。
二、ChatGPT介紹及發(fā)展趨勢(shì)
1. 文本生成式AI:聊天機(jī)器人ChatGPT
OpenAI:由馬斯克、美國(guó)創(chuàng)業(yè)孵化器Y Combinator總裁阿爾特曼、全球在線(xiàn)支付平臺(tái)PayPal聯(lián) 合創(chuàng)始人彼得·蒂爾等硅谷科技大亨于2015年12月創(chuàng)立,主要用于制造“通用”機(jī)器人和使用自然語(yǔ)言的聊天機(jī)器。
2020年5月, OpenAI 發(fā)布了以Transformer為基礎(chǔ)的NLP(自然語(yǔ)言生成)預(yù)訓(xùn)練模型GPT-3,此前已經(jīng)歷過(guò)GPT-1、GPT-2。
2022年11月30日,OpenAI公司發(fā)布聊天機(jī)器人模型ChatGPT,ChatGPT對(duì)GPT-3模型進(jìn)行微調(diào), 并引入RLHF(基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí))方法。只需向ChatGPT文字提出需求,即可讓其完成回答問(wèn)題、書(shū)寫(xiě)代碼、創(chuàng)作文本等指令,發(fā)布一周內(nèi)用戶(hù)量超過(guò)百萬(wàn)。
ChatGPT的連續(xù)對(duì)話(huà)能力、強(qiáng)大的理解力、回答的準(zhǔn)確度和創(chuàng)造性使其迅速走紅。World Of Engineering數(shù)據(jù)顯示,ChatGPT發(fā)布短短兩個(gè)月時(shí)間,用戶(hù)數(shù)便突破1億。具體而言,ChatGPT能理解并生成文字,屬于AIGC(AI-Generated Content,人工智能生產(chǎn)內(nèi)容)技術(shù)應(yīng)用中的文本生成模態(tài)應(yīng)用模型。
2. ChatGPT可能改變搜索引擎使用方式
ChatGPT屬于AIGC的范疇,能夠回答連續(xù)性的問(wèn)題、質(zhì)疑不正確的假設(shè),甚至拒絕不合理的要求,大幅提高了AI在人機(jī)對(duì)話(huà)時(shí)的準(zhǔn)確度和可控性,將有望改變?nèi)祟?lèi)使用搜索引擎的方式。
Open AI的CEO稱(chēng)AIGC的最終目標(biāo)是做一個(gè)類(lèi)似于新時(shí)代的搜索引擎。目前ChatGPT展示出來(lái)的內(nèi)容輸出質(zhì)量和內(nèi)容覆蓋維度,已經(jīng)可以直面“搜索引擎”與“問(wèn)答社區(qū)”。
外媒The Information 報(bào)道顯示,微軟可能在2023年3月之前將ChatGPT引入自家的搜索引擎Bing,用人工智能來(lái)回答一些搜索查詢(xún),此舉或?qū)⒏淖兯阉饕娴倪\(yùn)行模式,革新性地提升搜索引擎效率。
StatCounter數(shù)據(jù)2020-2022谷歌全球市場(chǎng)份額超90%,ChatGPT出現(xiàn)將挑戰(zhàn)谷歌搜索引擎的霸主地位。
3. ChatGPT已能覆蓋較多能力域
由于ChatGPT包含了更多主題的數(shù)據(jù),能夠處理更多小眾主題。ChatGPT能力范圍可以覆蓋回答問(wèn)題、撰寫(xiě)文章、文本摘要、語(yǔ)言翻譯和生 成計(jì)算機(jī)代碼等任務(wù)。
4. ChatGPT具備諸多先進(jìn)性特征
chatGPT嵌入了人類(lèi)反饋強(qiáng)化學(xué)習(xí)以及人工監(jiān)督微調(diào),因而具備了理解上下文、連貫性等諸多先進(jìn)特征,解鎖了海量應(yīng)用場(chǎng)景。當(dāng)前,ChatGPT所利用的數(shù)據(jù)集只截止到2021年。在對(duì)話(huà)中,ChatGPT會(huì)主動(dòng)記憶先前的對(duì)話(huà)內(nèi)容信息(上下文理解),用來(lái)輔助假設(shè)性的問(wèn)題的回復(fù),因而ChatGPT也可實(shí)現(xiàn)連續(xù)對(duì)話(huà),提升了交互模式下的用戶(hù)體驗(yàn)。同時(shí),ChatGPT也會(huì)屏蔽敏感信息,對(duì)于不能回答的內(nèi)容也能給予相關(guān)建議。
5. ChatGPT商業(yè)化進(jìn)程加快
微軟近日考慮宣布將向OpenAI進(jìn)行近百億美元的投資,此前微軟分別于2019年和2021年對(duì)OpenAI進(jìn)行投資,若此次投資完成微軟將擁有OpenAI 49%的股權(quán)。微軟對(duì)單個(gè)100GPU的收費(fèi)是3美元/時(shí),按照 ChatGPT加載模型和文本的速度,生成一個(gè)單詞的費(fèi)用約為0.0003美元;而ChatGPT的回復(fù)通常至少有30個(gè)單詞,因此ChatGPT每回復(fù)一次,至少花OpenAI 1美分。微軟既能提供錢(qián),又能提供算力。
2023年1月,ChatGPT的活躍用戶(hù)數(shù)或已達(dá)1億,可能是史上增長(zhǎng)最快的消費(fèi)者應(yīng)用。因訪問(wèn)量過(guò)大, OpenAI對(duì)ChatGPT進(jìn)行了大規(guī)模限流,包括限制每小時(shí)的提問(wèn)數(shù)量,以及高峰時(shí)段排隊(duì)等舉措。
OpenAI于2023年2月正式推出ChatGPT Plus版本(率先對(duì)美國(guó)地區(qū)用戶(hù)開(kāi)放),收費(fèi)20美元/月,Plus版 ChatGPT全天可用,無(wú)需排隊(duì)。
6. 國(guó)內(nèi)外科技巨頭積極布局生成式AI,部分公司已有成型產(chǎn)品
在ChatGPT發(fā)布后,谷歌CEO在公司內(nèi)部發(fā)布了“紅色警報(bào)” (Code Red),敦促團(tuán)隊(duì)解決ChatGPT對(duì)公司搜索引擎業(yè)務(wù)構(gòu)成的威脅,同時(shí)批準(zhǔn)了在谷歌搜索引擎中加入AI聊天機(jī)器人的計(jì)劃。2月4日,谷歌注資3億美元投資ChatGPT競(jìng)品——Anthropic,谷歌將獲得約10%的股份, Anthropic計(jì)劃將次輪資金用于購(gòu)買(mǎi)谷歌云計(jì)算部 門(mén)的計(jì)算資源;Anthropic開(kāi)發(fā)了一款名為Claude的智能聊天機(jī)器人,據(jù)稱(chēng)可與ChatGPT相媲美(仍未發(fā)布)Anthropic和Open AI淵源頗深,其聯(lián)合創(chuàng)始人曾擔(dān)任OpenAI研究副總裁。
微軟將ChatGPT視為新一代技術(shù)革命,將ChatGPT整合進(jìn)Bing搜索引擎、Office全家桶、Azure云服務(wù)、Teams程序等產(chǎn)品中,微軟近期宣布推出視頻會(huì)議及遠(yuǎn)程協(xié)作平臺(tái)的高級(jí)付費(fèi)版Microsoft Teams Premium,訂閱者可享用OpenAI GPT提供支持的大型語(yǔ)言模 型技術(shù),用AI自動(dòng)生成會(huì)議筆記,此舉或?qū)oom、谷歌會(huì)議等平臺(tái)形成巨大沖擊。
百度:1月10日,百度宣布將升級(jí)百度搜索的“生成式搜索”能力,智能解答用戶(hù)的搜索提問(wèn);2月7日,百度宣布將在3月份 完成其ChatGPT產(chǎn)品的內(nèi)測(cè),面向公眾開(kāi)放,該項(xiàng)目名字為文心一言(ERNIE Bot),百度指出,生成式AI和搜索引擎是互補(bǔ)關(guān)系而不是替代;據(jù)路透社報(bào)道,百度計(jì)劃于 3 月將類(lèi)似 ChatGPT 的 AI 對(duì)話(huà)服務(wù)作為獨(dú)立應(yīng)用推出,之后再逐步將其合并到搜索引擎中。
騰訊:2月3日,騰訊公布一項(xiàng)人機(jī)對(duì)話(huà)專(zhuān)利,能夠?qū)崿F(xiàn)機(jī)器與用戶(hù)之間自然且順暢的溝通 ,廣告為主,支持廣告智能制作,以 AIGC技術(shù)生成廣告文案和視頻,降低 了制作成本,目前市場(chǎng)規(guī)模快速增長(zhǎng),未來(lái) 5 年內(nèi) AIGC 產(chǎn)生的圖片的占比預(yù)計(jì)會(huì)達(dá)到 10-30% 前期可作為UGC和PGC的輔助,幫助廣告主設(shè)計(jì)文案,到后期就是AI技術(shù)整體的發(fā)展,后期可能是有望代替人工的工作。
字節(jié):已經(jīng)開(kāi)始布局,主要是 AI+內(nèi)容,比如自動(dòng)生成投稿和輔助寫(xiě)作,在今日頭條上利用AIGC生產(chǎn)內(nèi)容,目前 AIGC 整體的生成質(zhì)量的內(nèi)容還是較好的,要好于普通的UGC,但和PGC相比還有所欠缺。抖音方面也有應(yīng)用,通過(guò) AI 的模式來(lái)生成短視頻。
阿里、京東等電商類(lèi)平臺(tái):在智能客服領(lǐng)域有布局,其次是 AI+營(yíng)銷(xiāo),例如阿里巴 巴,可以結(jié)合商品,自動(dòng)生成高質(zhì)量文案描述商品,提高營(yíng)銷(xiāo)效率 。
三、ChatGPT商業(yè)化
1. ChatGPT試點(diǎn)訂閱計(jì)劃
2023年2月2日,OpenAI發(fā)布ChatGPT試點(diǎn)訂閱計(jì)劃——ChatGPT Plus,每月20美元 ChatGPT Plus訂閱者可獲得比免費(fèi)版本更穩(wěn)定、更快的服務(wù),及嘗試新功能和優(yōu)化的優(yōu)先權(quán)。
2. 類(lèi)人聊天機(jī)器人
類(lèi)人聊天機(jī)器是一種旨在模擬與用戶(hù)進(jìn)行類(lèi)人對(duì)話(huà)的電腦程序。它們已被應(yīng)用于多個(gè)行業(yè),包括客戶(hù)服務(wù)、電子商務(wù)和娛樂(lè)等。
ChatGPT帶來(lái)的變革:此前的聊天機(jī)器人只能根據(jù)設(shè)定問(wèn)題 回復(fù)固定內(nèi)容,同chatGPT融合之后,將文本生成、圖像生成、多模態(tài)轉(zhuǎn)換技術(shù)融合起來(lái),環(huán)境感知、理解能力在大幅增強(qiáng),實(shí)現(xiàn)和人的形似到神似?;贑hatGPT的類(lèi)人聊天機(jī)器人可以提供客戶(hù)服務(wù)、虛擬代理、內(nèi)容創(chuàng)意和文本生成、 以及信息知識(shí)提供等服務(wù)。
1)國(guó)外重點(diǎn)企業(yè)
openAI:公司核心宗旨在于“實(shí)現(xiàn)安全的通用人工智能(AGI)”,目前推出的“ChatGPT類(lèi)人聊天機(jī)器人”火爆全球,其公司在圖片生成和視頻生成的應(yīng)用上也有很深的造詣。
Google:公司在AIGC領(lǐng)域布局很久,目前也有“bard”類(lèi)人聊天機(jī)器人的誕生試用,在AIGC的多種技術(shù)領(lǐng) 域也處于前列。
2)國(guó)內(nèi)重點(diǎn)企業(yè)
百度:是國(guó)內(nèi)布局AI賽道最早的公司之一,目前已宣布“文心一言”類(lèi)人聊天機(jī)器人將很快進(jìn)入公測(cè)環(huán)節(jié),圖片 生成方面也有突破。
小冰:從微軟獨(dú)立拆分出來(lái)的人工智能公司,推出的 “小冰”機(jī)器人是目前全球范圍內(nèi)承載交互量最大的人工智能系統(tǒng)。
3 月 9 日消息,在批準(zhǔn)通過(guò) BlueMail 應(yīng)用程序之后,蘋(píng)果近日再次批準(zhǔn)了一款適用于 Apple Watch 的 ChatGPT 應(yīng)用程序 watchGPT,用戶(hù)可以在 Apple Watch 上和 ChatGPT 聊天了。
3. ChatGPT+傳媒:實(shí)現(xiàn)智能新聞寫(xiě)作,提升新聞的時(shí)效性
ChatGPT可以幫助新聞媒體工作者智能生成報(bào)道,將部分勞動(dòng)性的采編工作自動(dòng)化,更快、更準(zhǔn)、更智能地生成內(nèi)容。
- 2014年3月,美國(guó)洛杉磯時(shí)報(bào)網(wǎng)站的機(jī)器人記者Quakebot,在洛杉磯地震后僅3分鐘,就寫(xiě)出相關(guān)信息并進(jìn)行發(fā)布;
- 美聯(lián)社使用的智能寫(xiě)稿平臺(tái) Wordsmith 可以每秒寫(xiě)出2000篇報(bào)道;
- 中國(guó)地震網(wǎng)的寫(xiě)稿機(jī)器人在九寨 溝地震發(fā)生后7秒內(nèi)就完成了相關(guān)信息的編發(fā);
- 第一財(cái)經(jīng)“DT稿王”一分鐘可 寫(xiě)出1680字。
4. ChatGPT+影視:拓寬創(chuàng)作素材,提升作品質(zhì)量
ChatGPT可以根據(jù)大眾的興趣身定制影視內(nèi)容,從而更有可能吸引大眾的注意力,獲得更好的收視率、票房和口碑。
ChatGPT可以為劇本創(chuàng)作提供新思路,創(chuàng)作者可根據(jù)ChatGPT的生成內(nèi)容再進(jìn)行篩選和二次加工,從而激發(fā)創(chuàng)作者的靈感,開(kāi)拓創(chuàng)作思路,縮短創(chuàng)作周期。
ChatGPT 有著降本增效的優(yōu)勢(shì),可以有效幫助影視制作團(tuán)隊(duì)降低在內(nèi)容創(chuàng)作上的成本,提高內(nèi)容創(chuàng)作的效率,在更短的時(shí)間內(nèi)制作出更高質(zhì)量的影視內(nèi)容:
- 2016年,紐約大學(xué)利用人工智能編寫(xiě)劇本《Sunspring》, 經(jīng)拍攝制作后入圍倫敦科幻電影48小時(shí)前十強(qiáng);
- 2020年,美國(guó)查普曼大學(xué)的學(xué)生利用OpenAI 的GPT-3模型創(chuàng)作劇本 并制作短片《律師》;
- 國(guó)內(nèi)海馬輕帆科技公司推出的“小說(shuō)轉(zhuǎn)劇本”智能寫(xiě)作功能,服務(wù)了包括《你好,李煥英》《流浪地球》 等爆款作品在內(nèi)的劇集劇本30000多集、電影/網(wǎng)絡(luò)電影劇本8000多 部、網(wǎng)絡(luò)小說(shuō)超過(guò)500萬(wàn)部。
5. ChatGPT+營(yíng)銷(xiāo):打造虛擬客服,賦能產(chǎn)品銷(xiāo)售
ChatGPT虛擬客服為客戶(hù)提供24小時(shí)不間斷的產(chǎn)品推薦介紹以及在線(xiàn)服務(wù)能力,同時(shí)降低了商戶(hù)的營(yíng)銷(xiāo)成本,促進(jìn)營(yíng)銷(xiāo)業(yè)績(jī)快速增長(zhǎng)。
ChatGPT虛擬客服能快速了解客戶(hù)需求和痛點(diǎn),拉近商戶(hù)與消費(fèi)人群的距離,塑造跟隨科技潮流、年輕化的品牌形象。
ChatGPT虛擬客服比人工客服更穩(wěn)定可靠,在人工客服有限并且素質(zhì)不齊的情況下,虛擬客服展現(xiàn)的品牌形象和服 務(wù)態(tài)度等由商戶(hù)掌控,比人工客服的可控性、安全性更強(qiáng) 。
2月10日,京東云宣布將推出產(chǎn)業(yè)版ChatGPT:ChatJD、ChatJD智能人機(jī)對(duì)話(huà)平臺(tái),預(yù)計(jì)參數(shù)量達(dá)千億級(jí),將率先落地在零售、金融等兩個(gè)領(lǐng)域。
6. ChatGPT+娛樂(lè):人機(jī)互動(dòng)加強(qiáng),激發(fā)用戶(hù)參與熱情
ChatGPT可以成為線(xiàn)上的實(shí)時(shí)聊天對(duì)象,增加互動(dòng)的趣味性和娛樂(lè)性。
2月8日,悅商集團(tuán)也宣布將推出類(lèi)ChatGPT技術(shù)的DEMO產(chǎn)品,在微信,支付寶,百度等小程序里應(yīng)用,進(jìn)一步完善用戶(hù)交互體驗(yàn)。并且依托支付寶、微信、百度等多平臺(tái)生態(tài)服務(wù)商的身份,悅商集團(tuán)可快速融合多家互聯(lián)網(wǎng)巨頭推出的類(lèi)ChatGPT產(chǎn)品進(jìn)一步完善YCloud系統(tǒng),為客戶(hù)打造最前端的技術(shù)服務(wù)。
YCloud主要面向全球微商行業(yè),致力于為高速增長(zhǎng)的靈活就業(yè)人員提供數(shù)字化服務(wù)工具??梢赃M(jìn)一步幫助客戶(hù)縮減人員成本,降本增效,實(shí)現(xiàn)用科技助力個(gè)體、實(shí)體經(jīng)濟(jì)發(fā)展的目標(biāo)。
游戲:國(guó)內(nèi)《逆水寒》宣布首個(gè)游戲版ChatGPT,玩法加持,為游戲行業(yè)普及打下技術(shù)基礎(chǔ)。據(jù)國(guó)信證券研報(bào)梳理,目前完美世界、昆侖萬(wàn)維、騰訊、網(wǎng)易、世紀(jì)華通、三七互娛、天娛數(shù)科、湯姆貓、愷英網(wǎng)絡(luò)、凱撒文化等公司均已布局游戲AI業(yè)務(wù)。
7. ChatGPT+教育: 賦予教育教材新活力,讓教育方式更個(gè)性化、更智能
ChatGPT給教育工作者提供全新的教學(xué)工具,學(xué)生可以通過(guò)自主提問(wèn)的方式快速查缺補(bǔ)漏,讓每個(gè)學(xué)生得到更個(gè)性化、更智能的教育。
8. ChatGPT+金融:幫助金融機(jī)構(gòu)降本增效,讓金融服務(wù)更有溫度
金融機(jī)構(gòu)可以通過(guò)ChatGPT實(shí)現(xiàn)金融資訊、金融產(chǎn)品介紹內(nèi)容的自動(dòng)化生產(chǎn),提升金融機(jī)構(gòu)內(nèi)容生產(chǎn)的效率。
通過(guò)ChatGPT塑造虛擬理財(cái)顧問(wèn),讓金融服務(wù)更有溫度。
9. ChatGPT+醫(yī)療:賦能醫(yī)療機(jī)構(gòu)診療全過(guò)程
ChatGPT賦能優(yōu)化問(wèn)診、治療、康復(fù)等多環(huán)節(jié),快速了解患者的病情并給出較合理的及時(shí)反饋,通過(guò)人性化的方式第一時(shí)間撫慰患者,從而舒緩患者的情緒,加速其康復(fù);同時(shí),讓醫(yī)者有更多的時(shí)間和精力集中在關(guān)鍵患者的關(guān)鍵治療環(huán)節(jié)。
2021年11月開(kāi)始,九峰醫(yī)療在江西省11個(gè)地市上百個(gè)縣城的鄉(xiāng)鎮(zhèn)衛(wèi)生院部署了上千家AI工作站。該系統(tǒng)的AI培訓(xùn)模塊為基層放射科醫(yī)生提供教學(xué)數(shù)據(jù)(影像片、標(biāo)注、影像學(xué)征象、診斷建議)。
10. ChatGPT+辦公:大幅提升辦公效率
ChatPDF:上傳PDF文件然后通過(guò)問(wèn)答形式讓它幫你檢索信息,相當(dāng)于AI幫你讀完了整個(gè)PDF文件,你想知道什么直接問(wèn)它就行,中英文都能支持目前的免費(fèi)版最大可傳200頁(yè)的PDF,超過(guò)了就要用自己的OpenAI API了。
平替版有Humata(humata.ai),功能相同,頁(yè)數(shù)上限是60,2款同時(shí)用可以交叉對(duì)比,避免錯(cuò)漏。
ChatExcel:北大團(tuán)隊(duì)做的,和上面相似,只不過(guò)上傳的是Excel,然后可以通過(guò)自然語(yǔ)言下命令,對(duì)表格進(jìn)行任意調(diào)整,調(diào)用的是OpenAI專(zhuān)為表格處理做的API服務(wù)OpenAI Tabulate。
美中不足的是這還只是一個(gè)demo,只支持1MB以?xún)?nèi)、不超過(guò)10列的excel文件,也沒(méi)有收費(fèi)選項(xiàng),局限性很大。
Chat思維導(dǎo)圖:
- boardmix AI助手 https://mp.weixin.qq.com/s/A0verAqqSXDcd83Gt0xU_g
- https://new.qq.com/rain/a/20230224A06UPN00
代碼開(kāi)發(fā):利用 ChatGPT 輔助開(kāi)發(fā)代碼,提高開(kāi)發(fā)效率,包括代碼補(bǔ)全、自然語(yǔ)言指令生成代碼、代碼翻譯、bug 修復(fù)等。
四、ChatGPT相關(guān)核心算法
1. 基于 Transformer 的預(yù)訓(xùn)練語(yǔ)言模型
ChatGPT 強(qiáng)大的基礎(chǔ)模型采用 Transformer 架構(gòu),Transformer是一種基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型,可以高效并行地處理序列數(shù)據(jù)。
原始的 Transformer 模型包含兩個(gè)關(guān)鍵組件:編碼器和解碼器。編碼器用于將輸入序列映射到一組中間表示,解碼器則將中間表示轉(zhuǎn)換為目標(biāo)序列。
編碼器和解碼器都由多層的注意力模塊和前饋神經(jīng)網(wǎng)絡(luò)模塊組成。其中自注意力模塊可以學(xué)習(xí)序列中不同位置之間的依賴(lài)關(guān)系,即在處理每個(gè)位置的信息時(shí),模型會(huì)考慮序列中其他所有位置上的信息,這種機(jī)制使得 Transformer 模型能夠有效地處理長(zhǎng)距離依賴(lài)關(guān)系。在原始 Transformer 模型基礎(chǔ)上,相繼衍生出了三類(lèi)預(yù)訓(xùn)練語(yǔ)言模型:編碼預(yù)訓(xùn)練語(yǔ)言模型、解碼預(yù)訓(xùn)練語(yǔ)言模型和編解碼預(yù)訓(xùn)練語(yǔ)言模型。
2. 編碼預(yù)訓(xùn)練語(yǔ)言模型
這類(lèi)模型在預(yù)訓(xùn)練過(guò)程中只利用原始 Transformer 模型中的編碼器。相應(yīng)的預(yù)訓(xùn)練任務(wù)通常選用掩碼語(yǔ)言建模任務(wù)(Masked Language Modeling), 即掩碼?。ㄓ锰厥庾址?[MASK] 替換)輸入句子中一定比例的單詞后,要 求模型根據(jù)上下文信息去預(yù)測(cè)被遮掩的單詞。其中有有代表性的工作包括 BERT,ALBERT,RoBERTa等。
BERT 模型是最經(jīng)典的編碼預(yù)訓(xùn)練語(yǔ)言模型,其通過(guò)掩碼語(yǔ)言建模和下一句預(yù)測(cè)任務(wù),對(duì) Transformer 模型的參數(shù)進(jìn)行預(yù)訓(xùn)練。
ALBERT 是一個(gè)輕量化的 BERT 模型,作者通過(guò)分解詞向量 矩陣和共享 Transformer 層參數(shù)來(lái)減少模型參數(shù)個(gè)數(shù)。
RoBERTa 相較于 BERT 模型,RoBERTa 在預(yù)訓(xùn)練階段,采用了更多的語(yǔ)料以及動(dòng)態(tài)掩碼機(jī)制(不同輪次同一樣本掩碼不同的單詞),去掉了下一 句預(yù)測(cè)任務(wù),同時(shí)采用了更大的批大小。
3. 解碼預(yù)訓(xùn)練語(yǔ)言模型
GPT (Generative Pre-trained Transformer) 是由 OpenAI 提出的只有解碼器的預(yù)訓(xùn)練模型。相較于之前的模型,不再需要對(duì)于每個(gè)任務(wù)采取不同 的模型架構(gòu),而是用一個(gè)取得了優(yōu)異泛化能力的模型,去針對(duì)性地對(duì)下游任務(wù)進(jìn)行微調(diào)。包括 GPT-1、GPT-2 和 GPT-3,上圖列舉了 GPT 若干模型的信息。
GPT-1 在文章“Improving Language Understanding by Generative PreTraining”中被提出。在 GPT 被提出之前,大多數(shù)深度學(xué)習(xí)方法都需要大量人工標(biāo)注的高質(zhì)量數(shù)據(jù),但是標(biāo)注數(shù)據(jù)的代價(jià)是巨大的,這極大程度上限制了模型在各項(xiàng)任務(wù)性能的上限。如何利用容易獲取的大規(guī)模無(wú)標(biāo)注數(shù)據(jù)來(lái)為模型的訓(xùn)練提供指導(dǎo)成為 GPT-1 中需要解決的第一個(gè)問(wèn)題。
另外自然語(yǔ)言處理領(lǐng)域中有許多任務(wù)依賴(lài)于自然語(yǔ)言在隱含空間中的表征,不同任務(wù)對(duì)應(yīng)的表征很可能是不同的,這使得根據(jù)一種任務(wù)數(shù)據(jù)學(xué)習(xí)到的模型很難泛化到其他任務(wù)上。因此如何將從大規(guī)模無(wú)標(biāo)注數(shù)據(jù)上學(xué)習(xí)到的表征應(yīng)用到不同的下游任務(wù)成為 GPT-1 需要解決的第二個(gè)問(wèn)題。
GPT-1 的結(jié)構(gòu)很簡(jiǎn)單,由 12 層 Transformer Block(自注意力模塊和前饋神經(jīng)網(wǎng)絡(luò)模塊)疊加而成。針對(duì)第一個(gè)問(wèn)題,GPT-1 中使用了自左到右 生成式的目標(biāo)函數(shù)對(duì)模型進(jìn)行預(yù)訓(xùn)練。這個(gè)目標(biāo)函數(shù)可以簡(jiǎn)單理解為給定前 i ? 1 個(gè) token,對(duì)第 i 個(gè) token 進(jìn)行預(yù)測(cè)?;谶@樣的目標(biāo)函數(shù),GPT-1 就可以利用無(wú)標(biāo)注的自然語(yǔ)言數(shù)據(jù)進(jìn)行訓(xùn)練,學(xué)習(xí)到更深層次的語(yǔ)法信息與語(yǔ)義信息。
針對(duì)第二個(gè)問(wèn)題,在完成了無(wú)監(jiān)督的預(yù)訓(xùn)練之后,GPT-1 接著使用了有標(biāo)注的數(shù)據(jù)進(jìn)行有監(jiān)督的微調(diào)使得模型能夠更好地適應(yīng)下游任務(wù)。給定輸入 token 序列x1, x2, …, xm 與標(biāo)簽 y 的數(shù)據(jù)集,對(duì)模型的參數(shù)進(jìn)行再次訓(xùn)練調(diào)整,用到的優(yōu)化模型是在給定輸入序列時(shí)預(yù)測(cè)的標(biāo)簽最接近真實(shí)值。
具體來(lái)說(shuō),GPT-1 在大規(guī)模無(wú)標(biāo)注語(yǔ)料庫(kù)上預(yù)訓(xùn)練之后,再利用有標(biāo)注數(shù)據(jù)在特定的目標(biāo)任務(wù)上對(duì)模型參數(shù)進(jìn)行微調(diào),實(shí)現(xiàn)了將預(yù)訓(xùn)練中獲得的 知識(shí)遷移到下游任務(wù)。
在 GPT-1 提出之前,自然語(yǔ)言處理領(lǐng)域常用的預(yù)訓(xùn)練方法是 Word2Vec在此之后,GPT-1 提出的兩步走的訓(xùn)練方法成為許多大型語(yǔ)言模型的訓(xùn)練范式。
從這個(gè)角度來(lái)看,GPT-1 和 Word2Vec 在 具體下游任務(wù)中發(fā)揮的作用是類(lèi)似的,通過(guò)無(wú)監(jiān)督的方法獲取自然語(yǔ)言的隱含表示,再將其遷移至其他目標(biāo)任務(wù)。但是從更高的層面來(lái)看,GPT-1 與以 往的詞向量表示方法是不同的,其數(shù)據(jù)量與數(shù)據(jù)規(guī)模的增大使得模型能夠?qū)W習(xí)到不同場(chǎng)景下的自然語(yǔ)言表示。圖 2.1是 GPT-1 原文中的總覽圖,左側(cè)是 GPT-1 的架構(gòu)以及訓(xùn)練時(shí)的目標(biāo)函數(shù);右側(cè)是對(duì)于不同任務(wù)上進(jìn)行微調(diào) 時(shí)模型輸入與輸出的改變。
與 GPT-1 中的通過(guò)預(yù)訓(xùn)練-微調(diào)范式來(lái)解決多個(gè)下游任務(wù)不同,GPT-2更加側(cè)重于 Zero-shot 設(shè)定下語(yǔ)言模型的能力。
Zero-shot 是指模型在下 游任務(wù)中不進(jìn)行任何訓(xùn)練或微調(diào),即模型不再根據(jù)下游任務(wù)的數(shù)據(jù)進(jìn)行參數(shù) 上的優(yōu)化,而是根據(jù)給定的指令自行理解并完成任務(wù)。
簡(jiǎn)單來(lái)講,GPT-2 并沒(méi)有對(duì) GPT-1 的模型架構(gòu)進(jìn)行創(chuàng)新,而是在 GPT-1 的基礎(chǔ)上引入任務(wù)相關(guān)信息作為輸出預(yù)測(cè)的條件,將 GPT-1 中的條件概率 p(output|input) 變?yōu)?p(output|input;task);并繼續(xù)增大訓(xùn)練的數(shù)據(jù)規(guī)模以及模型本身的參數(shù)量,最終在 Zero-shot 的設(shè)置下對(duì)多個(gè)任務(wù)都展示了巨 大的潛力。
雖然 GPT-2 并沒(méi)有模型架構(gòu)上的改變,但是其將任務(wù)作為輸出預(yù)測(cè)的條件引入模型從而在 Zero-shot 的設(shè)置下實(shí)現(xiàn)多個(gè)任務(wù)的想法一直延續(xù)至今。這樣的思想事實(shí)上是在傳達(dá)只要模型足夠大,學(xué)到的知識(shí)足夠多,任何有監(jiān)督任務(wù)都可以通過(guò)無(wú)監(jiān)督的方式來(lái)完成,即任何任務(wù)都可以視作生成任務(wù)。
GPT-3使用了與 GPT-2 相同的模型和架構(gòu)。文中為了探索模型規(guī)模對(duì)于性能的影響,一共訓(xùn)練了 8 個(gè)不同大小的模型,并將最大的具有 1750 億參數(shù)的模型稱(chēng)為 GPT-3。上圖綜合統(tǒng)計(jì)了 GPT-1、GPT-2 和 GPT-3 的 參數(shù)量,模型架構(gòu)以及預(yù)訓(xùn)練的數(shù)據(jù)集,方便讀者直觀上理解 GPT 的迭代趨勢(shì)。
GPT-3 最顯著的特點(diǎn)就是大。大體現(xiàn)在兩方面,一方面是模型本身規(guī)模大,參數(shù)量眾多,具有 96 層 Transformer Decoder Layer,每一層有 96 個(gè) 128 維的注意力頭,單詞嵌入的維度也達(dá)到了 12,288;另一方面是訓(xùn)練過(guò)程中使用到的數(shù)據(jù)集規(guī)模大,達(dá)到了 45TB。
在這樣的模型規(guī)模與數(shù)據(jù)量的情況下,GPT-3 在多個(gè)任務(wù)上均展現(xiàn)出了非常優(yōu)異的性能,延續(xù) GPT-2 將無(wú)監(jiān)督模型應(yīng)用到有監(jiān)督任務(wù)的思想,GPT-3 在 Few-shot,One-shot 和 Zero-shot 等設(shè)置下的任務(wù)表現(xiàn)都得到了顯著的提升。
雖然 GPT-3 取得了令人驚喜的效果,但是也存在許多限制,例如天然的從左到右生成式學(xué)習(xí)使得其理解能力有待提高;對(duì)于一些簡(jiǎn)單的數(shù)學(xué)題目仍不能夠很好完成,以及模型性能強(qiáng)大所帶來(lái)的社會(huì)倫理問(wèn)題等。
同時(shí)由于 GPT 系列模型并沒(méi)有對(duì)模型的架構(gòu)進(jìn)行改變,而是不斷通過(guò)增大訓(xùn)練數(shù)據(jù) 量以及模型參數(shù)量來(lái)增強(qiáng)模型效果,訓(xùn)練代價(jià)巨大,這使得普通機(jī)構(gòu)和個(gè)人無(wú)法承擔(dān)大型語(yǔ)言模型訓(xùn)練甚至推理的代價(jià),極大提高了模型推廣的門(mén)檻。
今年1月24日,即ChatGPT發(fā)布第二個(gè)月,微軟宣布數(shù)十億美元投資 OpenAI,并且計(jì)劃在算力、商業(yè)化以及 AI 技術(shù)方面進(jìn)行長(zhǎng)期合作。據(jù)報(bào)道,本輪融資后OpenAI公司估值高達(dá)290億美元,接近2000億元人民幣。隨后2月7日,微軟推出ChatGPT版Bing(必應(yīng))搜索引擎和Edge瀏覽器,并在3月更新GPT-4后同時(shí)升級(jí),引發(fā)全球廣泛關(guān)注。
如今新的 AI 浪潮下,微軟開(kāi)始希望全面評(píng)估GPT大模型對(duì)于人類(lèi)、整個(gè) AI 技術(shù)行業(yè)發(fā)展的影響。具體來(lái)說(shuō),本論文核心主題是關(guān)于GPT-4的人工智能系統(tǒng),它展示了人工智能的一種形式,即人工通用智能(AGI)。論文通過(guò)實(shí)驗(yàn)研究與討論GPT-4在推理、創(chuàng)造力、演繹等核心思維能力方面的表現(xiàn),以及它在文學(xué)、醫(yī)學(xué)和編碼等領(lǐng)域獲得專(zhuān)業(yè)知識(shí)的范圍,和它所能執(zhí)行的各種任務(wù)。
此外,該文件還探討了如何定義AGI本身,構(gòu)建缺失組件以實(shí)現(xiàn)AGI,并更好地理解最近LLMs所展示的智能起源。論文指出,微軟團(tuán)隊(duì)測(cè)試了語(yǔ)言理解方面的反饋。最終,GPT-4很好地完成了多個(gè)任務(wù)并超過(guò)ChatGPT水平。
另外,微軟團(tuán)隊(duì)還利用1994年國(guó)際共識(shí)智力定義執(zhí)行多個(gè)實(shí)驗(yàn)測(cè)試,以觀察GPT-4在推理、解決問(wèn)題、抽象思考、理解和快速學(xué)習(xí)等方面能力,最終現(xiàn)實(shí),GPT-4擁有對(duì)世界的常識(shí)并在這基礎(chǔ)上做出推理的能力,甚至可以用ABC記譜法創(chuàng)作音樂(lè),并按人類(lèi)要求修改。
所以結(jié)果表明,微軟認(rèn)為,GPT-4是一種非常強(qiáng)大的人工智能系統(tǒng),它在許多任務(wù)和領(lǐng)域中表現(xiàn)出了驚人的能力,并且在某些方面甚至可以與人類(lèi)相媲美。然而,GPT-4仍然存在一些局限性和挑戰(zhàn),需要進(jìn)一步研究和發(fā)展才能實(shí)現(xiàn)更深入、更全面的AGI系統(tǒng)。
高盛3月27日發(fā)布報(bào)告指出,全球預(yù)計(jì)將有3億個(gè)工作崗位最終被 AI 取代。假設(shè)生成式 AI 實(shí)現(xiàn)了各企業(yè)承諾的能力,勞動(dòng)力市場(chǎng)將面臨挑戰(zhàn),AI 可以接手美國(guó)和歐洲高達(dá)四分之一的工作。報(bào)告預(yù)計(jì),隨著勞動(dòng)生產(chǎn)力提高,AI 應(yīng)用有望使全球在下一個(gè)10年內(nèi),推動(dòng)全球GDP(國(guó)內(nèi)生產(chǎn)總值)年復(fù)合增長(zhǎng)率將達(dá)到7%。
五、ChatGPT可能遇到的問(wèn)題
1. 合規(guī)性問(wèn)題
ChatGPT產(chǎn)生的答復(fù)是否產(chǎn)生相應(yīng)的知識(shí)產(chǎn)權(quán)?
ChatGPT進(jìn)行數(shù)據(jù)挖掘和訓(xùn)練的過(guò)程是否需要獲得相應(yīng)的知識(shí)產(chǎn)權(quán)授權(quán)?
ChatGPT是基于統(tǒng)計(jì)的語(yǔ)言模型,這一機(jī)制導(dǎo)致回答偏差會(huì)進(jìn)而導(dǎo)致虛假信息傳播的法律風(fēng)險(xiǎn),如何降低其虛假信息傳播風(fēng)險(xiǎn)?
2. 技術(shù)性問(wèn)題
ChatGPT的回答可能過(guò)時(shí),因?yàn)槠鋽?shù)據(jù)庫(kù)內(nèi)容只到2021年,對(duì)于涉及2022年之后,或者在2022年有變動(dòng)的問(wèn)題無(wú)能為力。
ChatGPT在專(zhuān)業(yè)較強(qiáng)的領(lǐng)域無(wú)法保證正確率,即使在雞兔同籠此類(lèi)初級(jí)問(wèn)題中仍然存在錯(cuò)誤,并且英文回答和中文回答存在明顯差異化。
ChatGPT對(duì)于不熟悉的問(wèn)題會(huì)強(qiáng)行給出一定的答案,即使答案明顯錯(cuò)誤,依然會(huì)堅(jiān)持下去,直到明確戳破其掩飾的內(nèi)容,會(huì)立馬道歉,但本質(zhì)上會(huì)在不熟悉的領(lǐng)域造成誤導(dǎo)。
本文由 @情入藥 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自 Unsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
優(yōu)秀