Cohere 創(chuàng)始人兼 CEO Aidan Gomez 近期分享了他對于人工智能發(fā)展的深度思考。他認為，盡管 AI 技術(shù)在提高生產(chǎn)力和推動經(jīng)濟增長方面具有巨大潛力，但目前 AI 模型的進展正變得越來越困難，而且成本日益增加。

近日，Cohere 創(chuàng)始人&CEO Aidan Gomez?對談 20VC 主理人 Harry Stebbings，分享了他對 AI 發(fā)展的最新思考。Aidan 表示，AI 的未來發(fā)展?jié)摿h未被完全挖掘，尤其是在推理能力、規(guī)劃能力和長期任務(wù)執(zhí)行等方面，這些能力的開發(fā)將帶來質(zhì)的飛躍。

在談及AI模型的構(gòu)建時，他承認自己曾低估了數(shù)據(jù)質(zhì)量的重要性。數(shù)據(jù)的質(zhì)量對 AI 模型的影響極為敏感，甚至一個錯誤的數(shù)據(jù)點都可能對模型產(chǎn)生顯著影響。

他指出，提高生產(chǎn)力是 AI 技術(shù)的核心價值所在，AI 有望緩解社會經(jīng)濟停滯，推動經(jīng)濟增長。

在談到企業(yè)采用 AI 技術(shù)時，他指出，信任是當(dāng)前的主要障礙，尤其是在數(shù)據(jù)安全和隱私方面。Cohere 通過私有部署和數(shù)據(jù)本地處理的方式，努力消除企業(yè)的這些顧慮……

以下為這場對話的全部內(nèi)容，enjoy～

Harry Stebbings:

Aidan 提到你是在安大略省的鄉(xiāng)村長大的，住在你祖父親手建造的房子里。這是一個好的起點嗎？你能跟我說說這段經(jīng)歷嗎？

Aidan Gomez:

是的，我是在安大略省的一個偏遠地區(qū)長大的。那是一塊百英畝的大片土地，全是森林，是一片楓樹林。在這樣一個極具加拿大特色的環(huán)境中長大真的很酷，但這確實讓我遠離了科技。

Harry Stebbings:

但你喜歡游戲，對吧？

Aidan Gomez:

是的，我確實喜歡游戲，我從小就喜歡科技。只是很難接觸到它，比如我們當(dāng)時無法上網(wǎng)，能用的也只是撥號上網(wǎng)。

在別人都已經(jīng)用上高速互聯(lián)網(wǎng)的時候，我還在用撥號上網(wǎng)。我所有的朋友都在玩在線游戲，而我只能羨慕，或者說感到遺憾，錯過了互聯(lián)網(wǎng)興起并變得流行的那一波潮流。

所以這讓我對科技非常著迷。我會坐在家里的電腦前，使用糟糕的撥號互聯(lián)網(wǎng)，盡力讓它變得更快。

我會盡量利用現(xiàn)有的資源。這最終促使我想要學(xué)習(xí)編程，了解網(wǎng)絡(luò)是如何運作的。我能讓這些東西更快嗎？能讓互聯(lián)網(wǎng)加載更快嗎？因為我當(dāng)時看著屏幕上的像素一行一行地加載。

這真的推動了我進入計算機科學(xué)領(lǐng)域。我不得不去學(xué)習(xí)這些技術(shù)的運作原理，以便能更好地利用它們。

Harry Stebbings:

這讓我想起我從許多了不起的創(chuàng)始人那里了解到的一件事，那就是在早年玩過游戲的人和后來成功的創(chuàng)始人之間有著極高的相關(guān)性。你認為游戲為什么會成為成功創(chuàng)始人的奇怪因素？

Aidan Gomez:

電子游戲教會了你一些東西。你會更愿意為了一些更大的目標去做重復(fù)、困難且痛苦的事情。這種韌性非常重要。

另外，你在游戲中總能重來。你可以再試一次。這個樂觀的心態(tài)或者說這種框架在很多文化中都非常重要。在很多文化中，你只有一次機會，如果你搞砸了，那就完了。

但也許游戲能給人們一種感覺，就是你可以搞砸了再試一次，你可以變得更好。第二次搞砸的次數(shù)比第一次少，第三次搞砸的次數(shù)比第二次少。這種通過失敗取得進步的理念，對我們來說非常重要。

Harry Stebbings:

我也一直相信游戲設(shè)計的力量，它的漸進性或者說游戲設(shè)計的方式讓我們感覺良好，增強了自信。你絕不會在一款游戲中從一個非常困難的第一關(guān)開始，讓人覺得“不可能完成，我不想玩了”。

Aidan Gomez:

是的，是的，這在機器學(xué)習(xí)中被稱為“課程學(xué)習(xí)”（curriculum learning）。你要先教模型做一些非常簡單的事情，然后逐步增加復(fù)雜性，基于已有的知識構(gòu)建。

有趣的是，課程學(xué)習(xí)在機器學(xué)習(xí)中實際上是失敗的。我們并沒有真正進行課程學(xué)習(xí)，而是把最難和最簡單的材料同時拋給模型，讓它自己去弄明白。

但對人類來說，這種方式非常有效，是我們學(xué)習(xí)的重要組成部分?？吹剿跈C器學(xué)習(xí)中沒有取得成功，真的很有趣。

Harry Stebbings:

你剛才說到直接把所有東西拋給模型，我想直接深入探討這個問題，因為這是大家都在問的一個問題：很多人都說只要增加計算能力就是我們最大的限制因素。

我們只需要更多的計算能力，性能就會提升。你認為這是正確的嗎？我們是否還有其他因素在限制性能的提升？

Aidan Gomez:

確實，如果你給模型增加更多的計算能力，或者讓模型更大，它確實會變得更好。這是提高模型性能最可靠的方式，但也是最笨的。如果一切都失敗了，只需讓模型更大。

對于那些資金充足的人來說，這是一個非常有吸引力的策略，風(fēng)險極低。你知道它會變得更好，只需擴展模型，花更多錢，購買更多的計算能力。我相信這一點，只是覺得這樣做極其低效。

有更好的方法。如果你看看過去一年半的時間，比如從 ChatGPT 發(fā)布到現(xiàn)在 GPT-4 發(fā)布的時間段。如果 GPT-4 確實像他們所說的那樣有 1.7 萬億參數(shù)，它是一個巨大的 MOE。

我們現(xiàn)在有比這個模型更好的模型，它們只有 130 億參數(shù)。所以這種變化的速度，或者說成本迅速下降的程度，簡直是不可思議的，甚至有些超現(xiàn)實。

所以是的，你可以通過擴展規(guī)模來達到模型的質(zhì)量，但可能不應(yīng)該這么做。

Harry Stebbings:

這樣的進步會繼續(xù)保持嗎？我的意思是，我們會繼續(xù)看到這種規(guī)模上的進步嗎？還是它會在某個時候達到瓶頸？

正如你所說，我們總是聽到更多的存儲，但在某個時候，它只是變成了一個更好的計算器。

Aidan Gomez:

是的，這確實需要指數(shù)級的投入。你需要不斷地加倍計算能力才能維持智力上的線性增長。但這種增長可能會持續(xù)非常、非常、非常長的時間。

它會變得越來越聰明。但是你會遇到經(jīng)濟上的限制，對吧？并不是很多人購買了最初的 GPT-4，特別是很多企業(yè)因為它非常龐大，非常昂貴，運行效率低下，成本高昂，而它的智能不足以證明這種成本的合理性。

所以，市場上有很大的壓力，要讓模型變得更小、更高效，通過數(shù)據(jù)和算法、方法來讓模型更聰明，而不僅僅是依賴規(guī)模的擴大。

Harry Stebbings:

價格壓力。在我們生活的這個世界里，有更小、更高效的垂直化模型，這些模型設(shè)計用于特定的用例，是否會出現(xiàn)幾個大型的、統(tǒng)治一切的模型？還是會兩者兼有？

Aidan Gomez:

我們在過去幾年中看到的一種趨勢是，人們喜歡用一個通用的、智能的模型進行原型設(shè)計。他們不想用一個特定的模型進行原型設(shè)計，不想花時間微調(diào)模型來使其在他們關(guān)心的事情上特別出色。

他們想要的是抓住一個昂貴的大模型，用它來做原型設(shè)計，證明它可以完成任務(wù)，然后將其提煉成一個在特定領(lǐng)域表現(xiàn)出色的高效模型。所以這種模式真的出現(xiàn)了。

因此，我們將繼續(xù)生活在一個多模型共存的世界中，一些模型是垂直化和專注的，另一些則是完全橫向的。

Harry Stebbings:

你提到了成本以及需要加倍計算能力來保持相同的智力水平。成本非常高昂。也許我在這里錯了，我年紀太小，不記得過去的技術(shù)進步，但幾乎感覺像是一場持續(xù)的競爭。

比如說，現(xiàn)在 OpenAI  花費了 30 億美元。你怎么能在這場競賽中保持自己的位置，除非你是微軟、 Amazon 、 Google 、Facebook 這樣的公司？

Aidan Gomez:

如果你只是做規(guī)?；捻椖浚愦_實需要成為這些公司中的一個，或者成為這些公司旗下的一個子公司。但是，還有很多其他事情可以做。

如果你不完全依賴規(guī)模化作為唯一的前進路徑，如果你相信數(shù)據(jù)創(chuàng)新或模型和方法創(chuàng)新，還有很多可以探索的方向。

Harry Stebbings:

我們可以深入探討一下什么是數(shù)據(jù)創(chuàng)新和模型及方法的創(chuàng)新嗎？

Aidan Gomez:

幾乎我們在開源領(lǐng)域看到的所有重大進展都來自數(shù)據(jù)的改進。通過從互聯(lián)網(wǎng)上獲取更高質(zhì)量的數(shù)據(jù)、改進網(wǎng)頁抓取算法、解析網(wǎng)頁、提取出重要部分、提升互聯(lián)網(wǎng)上特定部分的權(quán)重，因為互聯(lián)網(wǎng)上有很多重復(fù)和垃圾內(nèi)容。

通過提取最有價值的、知識豐富的部分，并強調(diào)給模型，以及生成合成數(shù)據(jù)的能力，這些都讓我們能夠獲取大量的文本或網(wǎng)頁內(nèi)容，而無需人類參與，這些數(shù)據(jù)是由模型自動生成的。

這些創(chuàng)新，特別是提高數(shù)據(jù)質(zhì)量的能力，推動了我們目前看到的大部分進展。

Harry Stebbings:

好的，這是數(shù)據(jù)創(chuàng)新，那模型創(chuàng)新呢？

Aidan Gomez:

這涉及到像新的強化學(xué)習(xí)算法。你知道，有很多關(guān)于 Q-Star 的傳聞，以及它可能帶來的變化。圍繞搜索的想法，比如如何搜索解決方案。

當(dāng)前模型的狀態(tài)是我問你一個問題，你的模型需要立即給出正確答案。這對模型來說是一個極其苛刻的要求，對吧？

你不能對人類這樣做，你不能問一個人一個難題，然后期望他們立即吐出答案。他們需要時間去思考和處理。

Harry Stebbings:

他們有時還需要一點頭腦風(fēng)暴時間。

Aidan Gomez:

對，有時確實需要。所以，模型的一個非常明顯的下一個發(fā)展步驟就是，你需要讓它們思考和解決問題。你需要讓它們犯錯，嘗試一些東西，失敗了，理解為什么失敗，然后回溯再試一次。

目前，模型中并沒有解決問題的概念。

Harry Stebbings:

你提到的解決問題，這是否與推理是同一個概念？

Aidan Gomez:

是的。

Harry Stebbings:

為什么推理這么難？為什么我們現(xiàn)在還沒有推理的概念？

Aidan Gomez:

推理并不難，難的是我們在互聯(lián)網(wǎng)上沒有太多展示推理過程的訓(xùn)練數(shù)據(jù)?；ヂ?lián)網(wǎng)上大多是推理過程的輸出結(jié)果。

當(dāng)你在網(wǎng)上寫東西時，你不會展示你的思考過程，而是直接展示你的結(jié)論，展示你的想法，而這些都是經(jīng)過大量思考、經(jīng)驗和討論后的結(jié)果。

所以我們?nèi)狈@樣的訓(xùn)練數(shù)據(jù)，它不是免費提供的，你必須自己構(gòu)建。因此，像 Cohere、 OpenAI  和 Anthropic 這樣的公司正在做的就是收集展示人類推理過程的數(shù)據(jù)。

Harry Stebbings:

你如何看待與 OpenAI  這樣的大型玩家競爭？

Aidan Gomez:

是的，這確實非常困難，特別是在企業(yè)領(lǐng)域，他們絕不會讓你用他們的數(shù)據(jù)進行訓(xùn)練。所以我們無法用任何客戶的數(shù)據(jù)進行訓(xùn)練，數(shù)據(jù)非常私密。

他們的觀點是，他們的數(shù)據(jù)就是他們的知識產(chǎn)權(quán)，其中包含太多的商業(yè)機密，因此他們不愿意分享。我非常理解他們的立場。

所以對于我們來說，我們的重點是合成數(shù)據(jù)，我們在這方面投入了很多，同時我們還有一個人類標注團隊，并與 Scale  AI 合作。

我們有自己的內(nèi)部團隊，但這是我們的責(zé)任，因為我們不是一家面向消費者的公司，所以我們必須自己生成這些數(shù)據(jù)。

好處是我們更加專注，因此需要覆蓋的范圍較小。這意味著我們不需要應(yīng)對來自全世界的各種需求，而是專注于企業(yè)，他們有非常明確的需求，比如他們想要自動化某些財務(wù)功能或人力資源功能。

所以范圍大大縮小，這讓我們能夠真正專注于這些領(lǐng)域。

Harry Stebbings:

那么合成數(shù)據(jù)市場會是什么樣子？它會被兩到三家供應(yīng)商主導(dǎo)嗎？

Aidan Gomez:

我聽說當(dāng)前的大模型 API 市場主要由合成數(shù)據(jù)主導(dǎo)。大多數(shù)人都是使用這些大型昂貴的模型生成數(shù)據(jù)，然后用這些數(shù)據(jù)來微調(diào)更小、更高效的模型。

所以他們基本上是在提煉更大的模型。我不知道這種模式作為市場是否可持續(xù)。但我確實認為，總會有新的任務(wù)、新的問題或新的數(shù)據(jù)需求，無論這些數(shù)據(jù)來自模型還是人類，我們都必須滿足這些需求。

Harry Stebbings:

有一件事讓我感到擔(dān)憂，或者說讓我感到猶豫。你看到 OpenAI  在進行價格競爭，你看到像 Meta 這樣的公司免費發(fā)布模型，同時也沒有對開源和開放生態(tài)系統(tǒng)的價值進行明確說明。

我們是否正在看到這些模型價值的真正下降？這是不是一場競相降低價格、甚至是競相歸零的競爭？

Aidan Gomez:

，如果你只是賣模型，那么在接下來的一段時間里，這將是一場非常艱難的游戲。這不會是一個小市場。

Harry Stebbings:

會有很多人只是賣模型，還有一些人會賣模型以及其他東西。

Aidan Gomez:

我不想點名，但可以說，比如 Cohere，現(xiàn)在只賣模型。我們有一個 API ，你可以通過這個 API 訪問我們的模型。

這種情況很快就會改變。產(chǎn)品格局將會發(fā)生變化，我們會在現(xiàn)有產(chǎn)品基礎(chǔ)上增加新的東西。如果你只賣模型，情況會很困難，因為這將變成一個零利潤的業(yè)務(wù)，價格競爭太激烈了。很多人免費提供模型。

盡管如此，它仍然會是一項大業(yè)務(wù)，市場需求增長非常迅速。但至少在現(xiàn)階段，利潤會非常微薄。

這就是為什么在應(yīng)用層面有很多興奮點。市場上的討論是正確的，指出價值正在芯片層以下發(fā)生，因為一開始每個人都在芯片上投入大量資金來構(gòu)建這些模型，然后在應(yīng)用層面上看到價值的體現(xiàn)，比如 ChatGPT ，它按用戶收費，每月 20 美元。

這似乎是目前價值發(fā)生的地方。模型層在長期來看是一個有吸引力的業(yè)務(wù)，但在短期內(nèi)，按照現(xiàn)狀，它是一個利潤非常低、商品化的業(yè)務(wù)。

Harry Stebbings:

如果我們進一步分解一下，你提到了芯片層。你如何看待你們目前在芯片上的支出，以及隨著時間的推移，這一支出占總支出的比例變化？

Aidan Gomez:

是的，這部分支出增長了很多?，F(xiàn)在它占我們支出的大頭，實在是太多了。

Harry Stebbings:

你們與英偉達有直接的合作關(guān)系。

Aidan Gomez:

是的，還有許多芯片制造商。我們與英偉達、 AMD 都很接近，并且與許多正在開發(fā)新型芯片的初創(chuàng)公司有對話。我們還使用 Google 的 TPU 。

Harry Stebbings:

這是因為你們不希望有單一的失敗點嗎？

Aidan Gomez:

是的，主要是市場需求。我們的客戶希望能夠在不同的平臺上運行，他們希望有選擇的自由，不想被鎖定在一個平臺上。

因此，我們需要提供一個非常多樣化的平臺空間來運行。就像我們非常避免被鎖定在一個云服務(wù)商上，我們希望能夠在每個云上都可用。

這是因為市場的需求，客戶希望有選擇權(quán)，不想被垂直化鎖定在一個供應(yīng)商上。

Harry Stebbings:

你認為每個人都會垂直化自己的堆棧，建立自己的芯片能力嗎？你看到了蘋果最近在垂直化方面的努力，他們希望擁有自己的芯片供應(yīng)鏈。你認為這種趨勢會繼續(xù)嗎？

Aidan Gomez:

目前，芯片的利潤非常高，市場上的選擇非常少。但這種情況會比人們預(yù)想的更快地改變。我對此非常有信心。

Harry Stebbings:

我坐在供應(yīng)鏈團隊里，注意到你提到的“變化”。你知道，以前我們面臨著供應(yīng)鏈短缺的情況。

Aidan Gomez:

是的，現(xiàn)在這種情況不再那么嚴重了。短缺正在減少，很快就會有更多的選擇可用，不僅僅是在推理端。推理已經(jīng)相當(dāng)多樣化了，你在推理端有很多選擇，而不是在模型訓(xùn)練方面。

在訓(xùn)練方面，情況一直是：只有一家公司制造你可以用來訓(xùn)練大模型的芯片。到今天為止，這仍然是真的。但實際上，現(xiàn)在有兩家公司。

你完全可以用 TPU 來訓(xùn)練大模型。它們現(xiàn)在已經(jīng)是一個可用的平臺，適用于超大規(guī)模的模型訓(xùn)練。

Google 已經(jīng)相當(dāng)有說服力地證明了這一點。然后還有英偉達。但很快， AMD 的訓(xùn)練平臺也會真正準備好進入市場。

Harry Stebbings:

我有個問題，當(dāng)你看到模型和計算能力上的支出時，模型的進展遠遠快于數(shù)據(jù)中心的建設(shè)和計算能力的進展。那么，隨著時間的推移，我們是否會在H100或其他18個月前的計算機上運行新一代的模型？是否存在模型進步與計算能力進展之間的不協(xié)調(diào)？

Aidan Gomez:

供應(yīng)鏈問題確實非常有趣。你是否需要建立自己的數(shù)據(jù)中心？不，我們會與其他人合作。這種情況是否會改變？你知道嗎？我們是經(jīng)濟理性的行為者。

如果建立自己的數(shù)據(jù)中心更便宜，我們會這么做。我們做過計算，我們相信我們從供應(yīng)商那里得到的價格讓這個路徑不太吸引人。

但如果出現(xiàn)了一個非常有吸引力的芯片，但沒有供應(yīng)商會為我們采購它，那我們可能會考慮自建。

Harry Stebbings:

你在早期是否遇到過獲取大量計算芯片的挑戰(zhàn)？今天這種情況發(fā)生了變化嗎？

Aidan Gomez:

我們已經(jīng)存在了大約五年了，所以在這個領(lǐng)域開始大熱之前我們就已經(jīng)存在了。我們很幸運。你是否預(yù)料到了這種爆發(fā)？

我不會在當(dāng)初創(chuàng)辦公司如果我不預(yù)料到，但爆發(fā)的方式確實有些意外。它發(fā)生得更晚且更突然。

Harry Stebbings:

是的，我理解。你們在 2017 年合作發(fā)起的公司？沒有，還是 Transformer 的研究。是的，是的。所以你們當(dāng)時預(yù)計它會很快流行起來？

Aidan Gomez:

不，在那一刻沒有。在 2017 年，我只是這個 Transformer 論文的實習(xí)生，這只是研究工作。我們只是創(chuàng)造新的架構(gòu)，提高翻譯分數(shù)3個百分點，僅此而已。

我沒想到這個架構(gòu)，即 Transformer ，以及社區(qū)對它的喜愛和基于它的整個平臺的實際整合。我沒想到。

至于語言建模和整個規(guī)模化項目，我以為世界會更快地關(guān)注到這一塊。這開始變得非常明顯，但花了兩三年的時間，大家才意識到它的潛力，并在全球范圍內(nèi)開始應(yīng)用。

Harry Stebbings:

那段時間怎么樣？很有挑戰(zhàn)性嗎？

Aidan Gomez:

確實很有挑戰(zhàn)性。將技術(shù)直接呈現(xiàn)在用戶面前，這樣你就不必向你的父母解釋了。你可以坐下來，與模型對話，體驗與這些模型對話的感覺。

Harry Stebbings:

你認為聊天是最好的用戶界面嗎？

Aidan Gomez:

對于某些東西來說是的，對于其他東西來說，傳統(tǒng)的圖形用戶界面還是非常不錯的。這取決于情況，聊天作為一種界面并不適用于一切。

我不想為了完成任務(wù)而必須詳細地輸入我的指令。有時候我只想點擊幾個按鈕，通過圖形界面完成任務(wù)。我不認為圖形界面已經(jīng)過時了，也不應(yīng)該用文本框取代一切。

但我確實認為它提供了一個非常有吸引力的界面，語音也是如此。語音是神奇的。我第一次看到模型像人類一樣有說服力地回復(fù)文本時，那是一種神奇的體驗，那發(fā)生在 2017 年，我們提交論文后不久。

我們開始用維基百科來訓(xùn)練語言模型，并從這些模型中采樣，它們能夠像人類一樣撰寫維基百科頁面。那是一個非常神奇的時刻，計算機仿佛醒了過來，開始與我們對話。

接下來的神奇時刻是對話作為一種界面。不是我提交一個指令，模型返回一個響應(yīng)，而是通過聊天與模型進行對話。

Harry Stebbings:

我對語音投資了一些。你認為對語音作為下一代用戶界面的信心是正確且合理的嗎？

Aidan Gomez:

絕對是的。任何與這些模型進行過語音對話的人都會感到震驚。當(dāng)你聽到模型表現(xiàn)出情感和語調(diào)時，當(dāng)你聽到它在說話前吸氣時，當(dāng)你聽到它嘴巴的聲音時，那種體驗是如此引人入勝。

這種體驗很難用語言描述，直到你第一次嘗試時才會明白。這是一個如此吸引人的界面，非常吸引人。

Harry Stebbings:

我一直堅信我們往往會高估短期內(nèi)的變化，而低估長期的變化。你認為這是這種情況嗎？還是說語音即將來臨，并且來得很快？GPT-5 即將來臨，可能是在三到六個月內(nèi)。我們是否低估了短期內(nèi)的變化？

Aidan Gomez:

情況是這樣的。有兩件事情正在發(fā)生。第一，模型進展變得越來越難了。它變得更加困難、費力和昂貴，因為曾經(jīng)有段時間，模型還不夠智能。

我可以隨便找一個人來說，讓他們與模型對話，發(fā)現(xiàn)錯誤，他們會的，并改進它。最終，模型變得如此聰明，以至于讓普通人很難找到知識

Harry Stebbings:

什么時候這就不再值得了呢？如果你想想語言學(xué)習(xí)，比如你可以在六個月內(nèi)學(xué)會95%的語言，但要達到 98% 的熟練度卻需要五年。

我把這個過程簡化到這樣的程度：為了那額外的 0.5% 的提升，你可能需要再投入 10 億美元。那么這就不再有效率了。

Aidan Gomez:

幸運的是，所有東西的成本都在迅速下降。計算成本，每次浮點運算的成本，模型的規(guī)模。每次浮點運算的成本是多少？浮點運算（flop）是計算中的一個單位。

Harry Stebbings:

對我來說，浮點運算好像是個新概念。

Aidan Gomez:

它其實是個非常古老的概念。它是指浮點操作，一個時鐘周期內(nèi)的運算。如果你有 100 億個參數(shù)，這基本上等于一些數(shù)量的浮點運算。

如果你有 1000 億個參數(shù)，那就相當(dāng)于 10 倍的浮點運算次數(shù)。浮點運算的價格隨著時間的推移迅速下降。這正是使得更大模型得以解鎖的原因。今天與 2017 年相比，甚至與兩年前相比，情況已經(jīng)大不相同。

Harry Stebbings:

鑒于這一點，你不認為對于新創(chuàng)公司進入模型領(lǐng)域來說為時已晚嗎？大家都在說，現(xiàn)在進入模型領(lǐng)域為時已晚，但考慮到成本障礙的降低，這是否意味著現(xiàn)在對創(chuàng)業(yè)公司來說比以往更容易進入這個領(lǐng)域？

Aidan Gomez:

是的。構(gòu)建去年的模型變得更便宜，每年成本降低 10 倍或 100 倍。我們獲得了更好的數(shù)據(jù)和更便宜的計算能力。

所以，是的，這確實降低了上一代模型的進入門檻。但現(xiàn)實情況是，沒有人關(guān)心上一代的模型，沒有人想要它們。市場上對去年的模型沒有需求。

它們與今年的模型相比顯得毫無用處。任何技術(shù)進步都會讓上一代產(chǎn)品迅速變得過時。

Harry Stebbings:

不同之處在于，構(gòu)建第一個版本可能花費 1000 萬美元，這在軟件產(chǎn)品中是很常見的，而將其提升到第二版本只需額外的 100～200 萬美元。

但是在這里，構(gòu)建一個模型可能需要 30 億美元，而將其提升到下一版本可能需要 50 億美元。這種增量并不是線性的，而是數(shù)量級的。

Aidan Gomez:

我不確定是否總是下一代的構(gòu)建成本更便宜。在芯片等非常復(fù)雜的技術(shù)領(lǐng)域，每一代的成本可能確實會更高，但我們?nèi)匀粫プ觯驗檫@是值得的。

Harry Stebbings:

好的，回到你之前的觀點，對上一代的模型沒有人關(guān)心。

Aidan Gomez:

你剛才在問這些改進是否會持續(xù)，我在說改進這些模型變得越來越難，摩擦越來越大。另一個奇怪的現(xiàn)象是，由于這些模型變得越來越聰明，人們，或者說每個人的能力，使得他們很難區(qū)分不同的模型代際。

你無法分辨它們之間的區(qū)別，因為你沒有足夠的醫(yī)學(xué)、數(shù)學(xué)、物理等方面的專業(yè)知識，無法真正感受到變化。模型已經(jīng)在基礎(chǔ)知識上達到了盡可能的好水平，這就是你我所擁有的知識水平。

所以當(dāng)我們與模型互動時，我們在不同代際之間的體驗是相同的。但實際上，這些代際在更具體的能力或原始智力上發(fā)生了巨大的變化。

你在問，這樣持續(xù)花費大量資金推進是否值得？絕對值得。即使對于你我這樣的消費者來說，當(dāng)我們使用這些技術(shù)時，我們可能不在乎它是否懂得 C-Star 代數(shù)和量子物理，但這對量子物理研究者非常有用。通過提供這些工具，我們將在這些領(lǐng)域取得更大的進展。

這就像一般的技術(shù)問題一樣：我們已經(jīng)有了充足的食物，超級便宜的汽車，每個人口袋里都有手機，我們似乎已經(jīng)足夠好了。

所以，是否還應(yīng)該投資于下一代技術(shù)，比如開發(fā)一種新的航天材料，使得航天器能更高效地進入軌道？

也許這對你來說無關(guān)緊要，但對某些人來說，這非常重要，他們愿意為此付出代價，并且存在市場需求。

Harry Stebbings:

這就是進步得以持續(xù)的方式。進步顯然需要繼續(xù)投入大量資金。你之前提到過一個很有趣的詞：“有效的子公司”。我們看到很多公司被收購或整合進了大公司。

現(xiàn)在每個人都意識到，云服務(wù)是一個持續(xù)帶來收益的“現(xiàn)金?！?，你看到的 Azure 和 AWS 的增長率和盈利能力就是例子。

實際上，我們可能會看到那些較小的模型提供公司大多數(shù)都被這些大型云服務(wù)提供商收購。你認為在未來三到五年，這種情況是否很有可能發(fā)生？三年內(nèi)？

Aidan Gomez:

是的，這個領(lǐng)域會經(jīng)歷一次清理，它已經(jīng)在發(fā)生了。很多模型構(gòu)建者都在尋求與大公司合作。

Harry Stebbings:

他們在 Amazon ，甚至于微軟都有合作。

Aidan Gomez:

是的，這種整合將會越來越多。這種空間的整合是肯定的，但當(dāng)你讓自己成為云服務(wù)提供商的子公司時，這是非常危險的。

Harry Stebbings:

為什么？

Aidan Gomez:

因為這對商業(yè)來說并不是好事。作為一家公司，你需要去說服投資者，他們只關(guān)心資本的回報率，他們給你資金，你用這些資金創(chuàng)造價值。但當(dāng)你從云服務(wù)提供商那里融資時，數(shù)學(xué)就完全不同了。

Harry Stebbings:

你認為風(fēng)投投資者會從我們過去幾年看到的模型投資中賺錢嗎？像 Cohere 的投資者呢？他們會賺很多錢嗎？他們相信你，并投入了大量資金，你會覺得“那筆資金真便宜，我不應(yīng)該給那么多股份?！?/p>

增強勞動力，你需要有一個開發(fā)這些助理的統(tǒng)一平臺，這個平臺對特定工具集沒有偏好，并且根據(jù)實際使用情況合理地優(yōu)先選擇工具集。

Harry Stebbings:

所以你認為這不會由 Copilot 來完成。你提到的 Agents 是風(fēng)險投資界最熱門的話題之一。你認為代理的炒作是合理的嗎？

Aidan Gomez:

炒作是完全合理的。這是 AI 的承諾。這些模型的承諾是它們能夠自己完成工作，這將徹底改變生產(chǎn)力。一旦你有一個模型可以獨立工作很長一段時間，這就完全改變了一個組織的能力。

因此，炒作是合理的。我的質(zhì)疑是，誰最適合構(gòu)建這些產(chǎn)品？是在模型構(gòu)建者內(nèi)部，還是在外部？為什么在模型構(gòu)建者內(nèi)部構(gòu)建這些產(chǎn)品更好？這完全取決于模型的質(zhì)量。模型是代理背后的原因。

因此，你必須能夠在這個層面上進行干預(yù)。如果你不能實際改進模型，讓它在你關(guān)心的事情上表現(xiàn)得更好，那么你作為模型的消費者在構(gòu)建這些產(chǎn)品時處于結(jié)構(gòu)性的不利地位。

Harry Stebbings:

你認為今天誰處于不利地位？大家都在談?wù)?Salesforce ，但我不敢輕視 Benioff。

Aidan Gomez:

他確實非常出色，他非常清楚面臨的威脅，我不認為他會讓 Salesforce 處于不利地位。它不會有太大問題。

另一個問題是，大家容易忘記企業(yè)軟件的粘性有多強。企業(yè)軟件很難被替代，它們往往會存在幾十年。有機會打造真正變革性的消費者體驗，而消費者對單一提供商的忠誠度要低得多。

他們會選擇朋友所在的平臺，或者選擇服務(wù)和產(chǎn)品最好的地方。因此，如果有人能夠提供比現(xiàn)有產(chǎn)品更好的 AI 驅(qū)動的服務(wù)，消費者會轉(zhuǎn)移過去。

你認為誰擁有最好的研究資源？當(dāng)然是 Cohere。除此之外，現(xiàn)在的研究資源非常分散。過去它們非常集中，像 Google Brain。

Harry Stebbings:

為什么他們落后了？

Aidan Gomez:

他們并沒有真正落后。兩周后我們發(fā)布了 Transformer 論文，并開始訓(xùn)練語言模型。所以從技術(shù)上和研究上，Google Br AI n 肯定沒有落后。

我不想評論 Google ，但我可以說，真正重要的是產(chǎn)品愿景和想象力，以及你能夠想象出利用技術(shù)做什么。這不僅僅是技術(shù)開發(fā)本身的問題，而是你對技術(shù)的愿景。

即使你公司內(nèi)部有人看到了這個愿景，你是否有能力讓他們執(zhí)行這個愿景？還是他們需要去別的地方執(zhí)行？這些是你必須要問的問題。

最后，關(guān)于規(guī)?；僭O(shè)，這種認為模型會隨著我們投入更多資源而不斷改進的想法，這是一種非常冒險、不確定甚至瘋狂的賭注。我并不認為 Google 做出的決定是錯誤的。OpenAI  做了非常好的賭注。

Harry Stebbings:

你認為 OpenAI  做出的最佳賭注是什么？

Aidan Gomez:

毫無疑問是規(guī)?；僭O(shè)。就是認為規(guī)?；瘯掷m(xù)下去，我們應(yīng)該繼續(xù)10 倍10 倍地增加投入。很多人不相信這一點，很多人對此持反對意見。他們認為這是一個愚蠢而多余的追求。但他們有信念堅持下來了。

Harry Stebbings:

你認為在 AI 社區(qū)里，大家現(xiàn)在沒有談到的最大問題是什么？在接下來的12到24個月里，我們應(yīng)該怎么看待這個問題？

Aidan Gomez:

現(xiàn)在有一種說法在傳播，說 AI 的發(fā)展已經(jīng)到了平臺期，沒有什么新的東西要來了，速度在放緩。

我真的認為這是錯誤的。不僅僅是從需要 10 倍計算能力的角度來看，而是從方法論的角度來看。

所以當(dāng)我談到推理者、規(guī)劃者以及能夠嘗試、失敗并從失敗中恢復(fù)的模型，以及能夠執(zhí)行需要很長時間才能完成的任務(wù)的模型時，這些都是今天技術(shù)中還不存在的明顯能力。

我們還沒有來得及集中精力去實現(xiàn)這些能力，但在過去的一年多時間里，大家一直在關(guān)注這些問題，這些能力很快就會準備好投產(chǎn)。所以我們會看到這些能力的出現(xiàn)，這將是一個能力上的重大變化。

Harry Stebbings:

那么對于我來說，作為 20VC 的投資者，現(xiàn)在的機會在哪里？

Aidan Gomez:

產(chǎn)品領(lǐng)域、應(yīng)用領(lǐng)域仍然非常有吸引力。這些技術(shù)將會帶來新的產(chǎn)品，它們將改變社交媒體。人們喜歡與這些模型交流，使用時間非常驚人。

Harry Stebbings:

你覺得這是件好事嗎， Aidan？你在一個非常健康自然的環(huán)境中長大，你提到你的家庭，我相信你現(xiàn)在在英國見到他們的次數(shù)更多了。我不希望我的孩子生活在一個他們與生成式系統(tǒng)交流、模仿人類的世界中。我不希望他們從與一個模型的對話中獲得滿足感。

Aidan Gomez:

你可能錯了。你可能希望你的孩子能夠與一個極其富有同情心、非常聰明、知識淵博、安全的智能體交流，它可以教給他們東西，和他們一起玩，它不會對他們發(fā)脾氣，不會對他們發(fā)火，不會欺負他們，不會讓他們產(chǎn)生不安全感。

當(dāng)然，沒有任何東西能取代人類。沒有什么可以取代人類的世界，我們不會突然間全都開始與 ChatBot 約會，導(dǎo)致人類出生率下降。

我不認為會發(fā)生這種情況，對吧？我想要一個孩子，我不能和一個 ChatBot 一起生孩子。

人類伴侶對我來說比任何 ChatBot 都要寶貴得多。就像在職場中，我不認為我們能夠完全取代人類。AI 會增強人類的能力，使人類變得更加高效，但這并不意味著工作崗位會減少。

你無法取代人類。想想銷售吧，如果我是由一個機器人推銷的，我是不會買的。就是這么簡單，我不想和機器對話。

當(dāng)然，某些簡單的購買可能可以由機器人處理，但對于那些對我和我的公司來說非常重要的購買，我希望另一方是一個可以負責(zé)的真人。

如果出現(xiàn)問題，我需要一個有權(quán)力進行干預(yù)的人。所以我真的認為，無論是在消費端，我們是否會沉迷于與 ChatBot 對話，還是在工作端，工作將會消失，導(dǎo)致大規(guī)模失業(yè)，我都看不到這些情況發(fā)生。

Harry Stebbings:

總是有一種認識，即新技術(shù)的采用總會帶來一些輕微的替代，這是正常的，但確實會看到某種形式的替代，但不會是全盤替代。

80%的人，像你看到的祖父母，他們現(xiàn)在看到計算機和電子郵件時可能會想，“我們整天都在做什么？這真是太瘋狂了?！彼晕彝耆猓掖_實擔(dān)心在較低層次的工作中，會有大量的客戶服務(wù)團隊被取代。

Aidan Gomez:

肯定會有局部的替代發(fā)生。但總體上，這將是增長，而不是替代。某些角色確實容易受到技術(shù)的影響，客戶支持就是其中之一。

但最終，仍然需要有人來做這些工作，只是數(shù)量可能會比今天少。但客戶支持是一個艱難的角色，這是一個心理上非常消耗人的工作。如果你曾經(jīng)聽過那些電話錄音，你就會知道這是一份情感上非常消耗的工作。

Harry Stebbings:

是的，這有點像社交媒體平臺上的內(nèi)容審核，那在很多方面也是一種心理創(chuàng)傷。

Aidan Gomez:

每天你醒來，去工作，整天被人罵，還得道歉。所以，也許我們應(yīng)該讓模型處理這些對話，而讓人類來處理那些真正需要人類幫助的客戶支持問題，比如說，解決某個問題，沒有情緒化的抱怨，而是有機會讓這個人的生活變得更好。

Harry Stebbings:

你認為 AI 今天還不能做什么，但在三年內(nèi)將會成為現(xiàn)實并帶來巨大變革？

Aidan Gomez:

AI 的下一個大突破將出現(xiàn)在機器人領(lǐng)域。成本需要降低，但成本已經(jīng)在下降。然后我們需要更強大的模型。

Harry Stebbings:

為什么你認為機器人領(lǐng)域?qū)写蟮耐黄疲?/p>

Aidan Gomez:

因為很多障礙已經(jīng)消失了。之前機器人的推理者和規(guī)劃者（背后的軟件）非常脆弱，你必須為每個任務(wù)編程，它們被硬編碼到特定的環(huán)境中。

所以你必須有一個布局完全一致的廚房，尺寸相同，沒有任何不同的地方，這非常脆弱。但在研究方面，通過使用基礎(chǔ)模型、語言模型，人們實際上開發(fā)出了更好的規(guī)劃者，它們能夠更自然地推理世界。

所以已經(jīng)有很多公司在研究這方面，可能很快就會有人破解通用人形機器人的難題，使其價格便宜且更加穩(wěn)定。

這將會是一個巨大的轉(zhuǎn)變。我不知道這是在未來五年內(nèi)發(fā)生，還是十年內(nèi)發(fā)生，但它肯定會在這個時間范圍內(nèi)出現(xiàn)。

Harry Stebbings:

今天和你聊天真的很有意思。我想進行一個快問快答，我給出一個陳述，你立刻給出你的想法，這樣可以嗎？

Aidan Gomez:

好啊，讓我們開始吧。

Harry Stebbings:

在過去的 12 個月里，你對什么改變了最大的看法？

Aidan Gomez:

數(shù)據(jù)的重要性。我嚴重低估了它。我曾經(jīng)認為一切都在于規(guī)?；?，但在 Cohere 內(nèi)部發(fā)生的許多事情徹底改變了我對構(gòu)建這項技術(shù)的重要性因素的理解。

數(shù)據(jù)質(zhì)量至關(guān)重要。質(zhì)量，比如在數(shù)十億個數(shù)據(jù)點中，一個錯誤的例子就能對模型產(chǎn)生顯著影響。這有點不真實，模型對數(shù)據(jù)的敏感性是如此之高，每個人都低估了這一點。

Harry Stebbings:

你們現(xiàn)在籌集了多少錢？

Aidan Gomez:

總共大約 10 億美元。

Harry Stebbings:

籌集資金最容易的一輪是哪一輪？

Aidan Gomez:

是的，那有點像是一場對話，然后他們說，“這是幾百萬美元，去試試看吧?！彼阅且惠喛赡苁亲钊菀椎摹．?dāng)你試圖籌集 5 億美元時，情況就復(fù)雜得多了。

Harry Stebbings:

當(dāng)你看到賬戶里有 5 億美元到賬時，你會不會覺得有點不真實？因為我管理基金的時候，我們會收到資本調(diào)用的通知，所以這不是一次性得到 5 億美元，而是分幾年逐步到賬。

Aidan Gomez:

是的，你會覺得有點不真實，而且利息非?？捎^。但的確，我有時會感到驚訝。我不是那種還在為 2500 萬美元而煩惱的人。我不清楚確切的數(shù)字，但這是一個很大的數(shù)目。

確實，Cohere 讓我在經(jīng)濟和金錢方面的思維方式有些扭曲了。相比我的競爭對手，這似乎不算多，對吧？

Harry Stebbings:

這會讓你擔(dān)心嗎？

Aidan Gomez:

不會，我的意思是，這是我們戰(zhàn)略的一部分。如果我們想要拿下某個交易，我們可以去拿，但我們的戰(zhàn)略是追求獨立性，自己來做這件事。

Harry Stebbings:

如果你能選擇世界上任何一個董事會成員，你會選擇誰，為什么選擇他們？

Aidan Gomez:

我會選擇 Mike Volpi 和 Jordan Jacobs，他們是我現(xiàn)在的董事會成員。

Harry Stebbings:

為什么 Mike 是如此出色的董事會成員？很多人都這么說。

Aidan Gomez:

是的，Mike 確實非常出色。他給人的感覺是，他之前已經(jīng)見過所有問題。我可以帶著任何問題去找他，而他通常已經(jīng)遇到過三次類似的情況。

第一次是這樣的，第二次是那樣的，第三次又是那樣的。他總是有非常豐富的經(jīng)驗和建議。

Harry Stebbings:

Jeff Hinton 和 Yann LeCun 更偏向哪一個？

Aidan Gomez:

我和 Jeff 個人關(guān)系更緊密，當(dāng)然更傾向于他。Yann的觀點太樂觀了。不，我在許多關(guān)于 AI 的看法上和 Yann 更為一致。

所以 Jeff 是那種非常末日預(yù)言者類型的，認為這項技術(shù)會毀滅世界，而 Yann 則更樂觀一些，而我在這一點上與他更一致。不幸的是，Yann最近有點像是 Elon Musk 的“回復(fù)哥”。

我覺得 Jeff 就像我的聯(lián)合創(chuàng)始人 Nick，他和 Jeff 關(guān)系非常緊密，他們每周一都會一起下棋。Jeff 非常聰明，極具智慧和深思熟慮，他是一個非常深刻的思想家。你們現(xiàn)在在倫敦有團隊，你也住在倫敦？

Harry Stebbings:

每個人都在談?wù)摎W洲的衰落。我和 Founders Fund 的 Daly 聊過，他說西歐可能很快就會成為第三世界國家的集合體，負面情緒很強烈?，F(xiàn)在在倫敦和歐洲建立出色的工程研究團隊，你的感受如何？

Aidan Gomez:

英國在歐洲的表現(xiàn)很突出，這里有一種技術(shù)樂觀精神，人們愿意投資并做出必要的改變來支持生態(tài)系統(tǒng)的發(fā)展。

在歐洲大陸，我的媽媽是英國人，爸爸是西班牙人，我擁有雙重國籍，所以我對這里也很了解，夏天我會在這里度過，家人也在這里。

不幸的是，這里的文化對技術(shù)非常不友好，解決技術(shù)問題的辦法在歐洲人的觀念中就是監(jiān)管。

不過，壓力正在促使變化發(fā)生，法國在歐洲舞臺上變得更加雄心勃勃，并在全球舞臺上發(fā)出更大的聲音，說我們需要更加進步。這可能需要十年時間。

Harry Stebbings:

在過去，沒有遠程辦公。

Aidan Gomez:

Cohere 是在疫情期間誕生的，所以我們完全是遠程辦公。我們遍布各地，雖然并不是完全遠程，我們在多倫多、倫敦、紐約和舊金山都有辦公室。

這些地方確實是公司的核心。人們每天都會到辦公室。面對面的工作效率提升是無法量化的。

Harry Stebbings:

你從來沒有被問過的問題是什么？你認為應(yīng)該被問到的問題是什么？最后一個問題。

Aidan Gomez:

人們應(yīng)該問“你希望事情發(fā)展到哪里？”我經(jīng)常被問到“事情會發(fā)展到哪里？”也經(jīng)常被問到關(guān)于技術(shù)的潛在風(fēng)險。人們在談到 AI 時，腦海中充滿了恐懼，但對我們所擁有的機會討論卻很少。人們不太談?wù)撨@個。

Harry Stebbings:

你希望它發(fā)展到哪里？

Aidan Gomez:

世界的資源供應(yīng)非常有限。我們今天享有的幾乎所有奢侈品都來自于技術(shù)的進步，這些技術(shù)提高了生產(chǎn)力，增加了供應(yīng)，使得事物更加豐富、更便宜。

所以我真正關(guān)心的是利用這項技術(shù)推動世界的生產(chǎn)力，提高人類的效率，能夠做更多的事情。我覺得生產(chǎn)力這個話題非常不性感，太被低估了。

Harry Stebbings:

確實如此，但如果你將 5% 的生產(chǎn)力提升應(yīng)用到國家衛(wèi)生服務(wù)體系，這對國家狀況、國家預(yù)算和醫(yī)療保健將會產(chǎn)生巨大影響，可能影響到數(shù)百萬人的生活。

Aidan Gomez:

是的。在加拿大，實際 GDP 并沒有真正增加。有人稱這是“失落的十年”，因為人們并沒有變得更富有，物品也沒有變得更豐富，你十年間無法負擔(dān)更多東西。

這種停滯會導(dǎo)致很多社會動蕩，當(dāng)經(jīng)濟增長停滯時，人們會為了爭奪有限的資源而爭斗。這種動態(tài)真的讓我很擔(dān)憂。我們作為社會的優(yōu)先事項應(yīng)該是提高生產(chǎn)力和促進增長。