在SIGGRAPH 2024大會(huì)上，英偉達(dá)CEO黃仁勛與Meta創(chuàng)始人兼CEO扎克伯格的深入對談，為我們揭示了生成式AI在信息流和推薦系統(tǒng)中的應(yīng)用前景。這場對話不僅涵蓋了AI技術(shù)的前沿發(fā)展，還深入探討了虛擬世界和機(jī)器人技術(shù)的創(chuàng)新突破。本文將帶你走進(jìn)這場科技盛宴，一探究竟。

7 月 30 日早上 6 點(diǎn)，英偉達(dá) CEO黃仁勛與 Meta 創(chuàng)始人&CEO 扎克伯格在 SIGGRAPH 2024 上展開了對談，共同探討了加速計(jì)算、生成式 AI 以及推動(dòng)下一波創(chuàng)新、虛擬世界和機(jī)器人技術(shù)突破的研究。

黃仁勛強(qiáng)調(diào)了英偉達(dá)在計(jì)算機(jī)圖形學(xué)、圖像處理、AI 和機(jī)器人技術(shù)方面的領(lǐng)導(dǎo)地位，特別是在 AI 與模擬交叉領(lǐng)域的突破。

他提到，英偉達(dá)通過 AI 幫助模擬變得更大規(guī)模、更快，并利用模擬環(huán)境生成合成數(shù)據(jù)。這些技術(shù)的結(jié)合，正在推動(dòng) AI 與模擬技術(shù)的融合發(fā)展。

扎克伯格指出，未來的 AI 將不僅用于內(nèi)容推薦系統(tǒng)，還將用于即時(shí)內(nèi)容生成和從現(xiàn)有內(nèi)容中整合新內(nèi)容，這將徹底改變 Instagram 和 Facebook 等平臺(tái)的信息流和推薦系統(tǒng)。

扎克伯格還表示，智能眼鏡將成為下一代計(jì)算平臺(tái)的移動(dòng)版，而混合現(xiàn)實(shí)頭戴設(shè)備則更像是工作站或游戲主機(jī)，Meta與 EssilorLuxottica 合作，推出了集成攝像頭、麥克風(fēng)和 AI 對話功能的 Ray-Ban 智能眼鏡……

以下是這次對談快速整理的內(nèi)容，enjoy～

Jensen Huang

你知道嗎？90% 的博士生。所以， SIGGRAPH 的真正偉大之處在于，這是計(jì)算機(jī)圖形學(xué)、圖像處理、 AI 和機(jī)器人技術(shù)相結(jié)合的展示。一些公司多年來在這里展示和揭示了驚人的東西，從迪士尼、皮克斯、Adobe、Epic Games，當(dāng)然還有 Nvidia ，我們在這里做了很多工作。今年，我們在 AI 和模擬的交叉點(diǎn)上介紹了20篇論文。我們正在利用 AI 來幫助模擬變得更大規(guī)模、更快，例如可微分物理學(xué)。我們使用模擬來創(chuàng)建合成數(shù)據(jù)生成的模擬環(huán)境，用于 AI 。

所以這兩個(gè)領(lǐng)域真的在結(jié)合起來，我們?yōu)槲覀冊谶@里所做的工作感到非常自豪。在 Meta ，你們做了很多了不起的 AI 工作。我覺得有趣的是，當(dāng)媒體寫關(guān)于 Meta 在過去幾年跳入 AI 領(lǐng)域時(shí)，好像 FAIR（ Meta 的 AI 研究實(shí)驗(yàn)室）一直在工作，我們都在使用 Meta 的PyTorch，你們在計(jì)算機(jī)視覺、語言模型、實(shí)時(shí)翻譯方面的工作都是開創(chuàng)性的。我第一個(gè)問題是，你如何看待 Meta 今天在生成式 AI 方面的進(jìn)展，以及你如何應(yīng)用它來增強(qiáng)你的運(yùn)營或引入你提供的新功能？

Mark Zuckerberg

這里有很多東西要解讀。首先，很高興來到這里。Meta 已經(jīng)做了很多工作，并且在 SIGGRAPH 已經(jīng)有八年了。所以，我的意思是，我們相比你們是新來的。但那是在 2018 年。

我們展示了我們 VR 和混合現(xiàn)實(shí)頭戴設(shè)備的一些早期手部追蹤工作。我想我們已經(jīng)談了很多關(guān)于我們在 Codec Avat AR s 方面的進(jìn)展，這些是我們希望能夠通過消費(fèi)級(jí)頭戴設(shè)備來驅(qū)動(dòng)的照片級(jí)逼真的化身，我們離這個(gè)目標(biāo)越來越近了，所以對此非常興奮。還有我們在顯示系統(tǒng)方面所做的大量工作。

因此，我們展示了很多未來的原型和研究，以便使混合現(xiàn)實(shí)頭戴設(shè)備能夠非常薄，但具有相當(dāng)先進(jìn)的光學(xué)堆疊和顯示系統(tǒng)，集成系統(tǒng)。通常這些是我們第一次在這里展示。所以，來到這里很興奮。這里我不僅在談?wù)撛钪娴臇|西，還有所有的 AI 部分，就像你說的，當(dāng)我們開始 FAIR（ AI 研究中心）時(shí)，那時(shí)候還是 Facebook ，現(xiàn)在是 Meta ，在我們開始現(xiàn)實(shí)實(shí)驗(yàn)室之前，我們已經(jīng)在這方面工作了一段時(shí)間。所有關(guān)于生成式 AI 的東西，這是一個(gè)有趣的革命。

它最終會(huì)使我們所有的不同產(chǎn)品以一種有趣的方式發(fā)生變化。所以，我可以列舉一下，我們已經(jīng)擁有的主要產(chǎn)品線。像是 Instagram 和 Facebook 上的信息流和推薦系統(tǒng)，我們已經(jīng)在這個(gè)旅程中，從只是關(guān)于與你的朋友聯(lián)系開始。排名總是很重要，因?yàn)榧词鼓阒皇顷P(guān)注朋友，如果有人做了一些非常重要的事情，比如你表弟生了孩子，你希望它出現(xiàn)在頂部。如果我們把它埋在你的信息流中，你會(huì)很生氣。

所以排名很重要，但在過去幾年中，它變成了更多的是來自不同的公共內(nèi)容。推薦系統(tǒng)非常重要，因?yàn)楝F(xiàn)在，不僅僅是幾百或幾千個(gè)來自朋友的潛在候選帖子，還有數(shù)百萬條內(nèi)容。這變成了一個(gè)非常有趣的推薦問題。隨著生成式 AI 的發(fā)展，我們很快會(huì)進(jìn)入一個(gè)區(qū)域，不僅是你今天在 Instagram 上看到的大部分內(nèi)容是來自世界各地與你的興趣匹配的推薦內(nèi)容，而不管你是否關(guān)注那些人。

未來很多東西都會(huì)使用這些工具來創(chuàng)建。有些是創(chuàng)作者使用工具來創(chuàng)建新內(nèi)容，最終會(huì)是為你即時(shí)創(chuàng)建的內(nèi)容，或者是從不同的現(xiàn)有內(nèi)容中整合和合成的內(nèi)容。所以，這只是一個(gè)例子，說明我們所做的核心部分將如何演變。而這已經(jīng)在過去20年中不斷演變。

Jensen Huang

人們會(huì)意識(shí)到，世界上最大的計(jì)算系統(tǒng)之一是推薦系統(tǒng)。

Mark Zuckerberg

但這是一個(gè)完全不同的路徑。它不是那種人們談?wù)摰纳墒?AI 的熱點(diǎn)，但就像所有的 Transformer 架構(gòu)一樣，它是一個(gè)類似的事情，只是建立越來越多的通用模型，將非結(jié)構(gòu)化數(shù)據(jù)嵌入特征中。

我的意思是，一個(gè)驅(qū)動(dòng)質(zhì)量改進(jìn)的重要因素是，你過去有不同的模型來處理不同類型的內(nèi)容。最近的一個(gè)例子是，我們有一個(gè)模型來排名和推薦reels，另一個(gè)模型來排名和推薦更長的格式的視頻。然后需要一些產(chǎn)品工作，使系統(tǒng)能夠顯示任何內(nèi)容在一行中。但你創(chuàng)建越通用的推薦模型，它們就會(huì)越好。

所以，我的一部分夢想是，有一天，你幾乎可以想象所有的 Facebook 或 Instagram 都是一個(gè)單一的 AI 模型，它統(tǒng)一了所有這些不同類型的內(nèi)容和系統(tǒng)，實(shí)際上有不同的目標(biāo)在不同的時(shí)間范圍內(nèi)。一部分是展示你今天想看的有趣內(nèi)容，另一部分是幫助你長期建立你的網(wǎng)絡(luò)，比如你可能認(rèn)識(shí)的人或你可能想關(guān)注的賬戶。

Jensen Huang

這些多模態(tài)模型在識(shí)別模式、弱信號(hào)等方面往往表現(xiàn)更好。所以有趣的是， AI 在你們公司如此深入，你們一直在構(gòu)建 GPU 基礎(chǔ)設(shè)施運(yùn)行這些大型推薦系統(tǒng)。

不過一旦你開始進(jìn)入這個(gè)領(lǐng)域，你就會(huì)深入其中。你深入其中，并且非常投入。如今，當(dāng)我使用 WhatsApp 時(shí)，我感覺自己在與 WhatsApp 合作。我喜歡想象，當(dāng)我打字時(shí)，它會(huì)生成圖像。我回過頭來改變我的話語，它又會(huì)生成其他圖像。

Mark Zuckerberg

那是上周的事情。非常興奮?，F(xiàn)在想象一下我，花了很多時(shí)間和我的女兒們在一起，想象她們是美人魚，過去一周里一直很有趣。我的意思是，這就是另一半。許多生成式 AI 的東西，一方面，它將成為所有我們長期以來的工作流程和產(chǎn)品的重大升級(jí)。

但另一方面，這些完全新的東西現(xiàn)在可以被創(chuàng)造出來。所以， Meta AI 的想法是擁有一個(gè) AI 助手，可以幫助你完成我們世界中的不同任務(wù)，并且非常具有創(chuàng)造性。像你所說的那樣。它們非常通用。所以你不需要僅限于此。它將能夠回答任何問題。

隨著時(shí)間的推移，當(dāng)我們從 Llama3 模型進(jìn)化到 Llama4 及其后續(xù)版本時(shí)，它會(huì)感覺不再像是一個(gè)聊天機(jī)器人，你給它一個(gè)提示，它就會(huì)回應(yīng)，然后你再給它一個(gè)提示，它再回應(yīng)。而是你給它一個(gè)意圖。它實(shí)際上可以在多個(gè)時(shí)間框架內(nèi)工作。，它會(huì)預(yù)先承認(rèn)你給了它一個(gè)意圖。我的意思是，有些事情，會(huì)啟動(dòng)計(jì)算任務(wù)，這些任務(wù)可能需要幾周或幾個(gè)月才能完成。然后回來告訴你發(fā)生了什么事情，這將會(huì)非常強(qiáng)大。

Jensen Huang

今天的 AI ，正如你所知，是有些單調(diào)的。你說點(diǎn)什么，它就回你點(diǎn)什么。但顯然，當(dāng)我們考慮一個(gè)任務(wù)或問題時(shí)，我們會(huì)思考多個(gè)選項(xiàng)，或者也許我們會(huì)提出一個(gè)決策樹，并沿著這個(gè)決策樹走，模擬在我們心中，每個(gè)決策可能產(chǎn)生的不同結(jié)果。所以，我們在做計(jì)劃。將來， AI 也會(huì)這么做。當(dāng)你談到你的創(chuàng)造者 AI 愿景時(shí)，我感到非常興奮，這是一個(gè)非常棒的想法。告訴大家關(guān)于創(chuàng)造者 AI 和 AI Studio 的情況吧。

Mark Zuckerberg

其實(shí)，這正是我們所談?wù)摰?，今天我們將其推出得更廣泛。我們的愿景是，我不認(rèn)為只會(huì)有一個(gè) AI 模型。這是行業(yè)中一些其他公司在做的事情，他們在構(gòu)建一個(gè)中央 Agent 。我們會(huì)有一個(gè)可以使用的 Meta AI 助手，但我們的愿景是我們希望賦能所有使用我們產(chǎn)品的人，讓他們?yōu)樽约簞?chuàng)建 Agent 。

這就是平臺(tái)上許多的創(chuàng)造者或數(shù)以百萬計(jì)的小企業(yè)。我們最終希望能夠快速整合你們的所有內(nèi)容，并快速創(chuàng)建一個(gè)商業(yè) Agent ，可以與客戶互動(dòng)，進(jìn)行銷售和客戶支持。我們現(xiàn)在剛剛開始推出的是我們稱之為 AI Studio 的東西。它基本上是一套工具，最終將使每個(gè)創(chuàng)造者能夠建立一個(gè)自己的 AI 版本，作為他們社區(qū)可以互動(dòng)的 Agent 或助手。

這里有一個(gè)基本問題，那就是時(shí)間不夠用。如果你是一個(gè)創(chuàng)造者，你想更多地與社區(qū)互動(dòng)，但時(shí)間有限。同樣地，你的社區(qū)也希望與你互動(dòng)，但時(shí)間有限。所以，下一步就是讓人們能夠創(chuàng)建這些人工制品。它是一個(gè) Agent ，你將它訓(xùn)練成代表你，以你希望的方式表現(xiàn)。這是一種非常創(chuàng)造性的工作，幾乎像是一件藝術(shù)品或內(nèi)容，你在發(fā)布出去。

當(dāng)然，很明顯它不是在與創(chuàng)造者本人互動(dòng)，但這將是另一種有趣的方式，就像創(chuàng)造者在這些社交系統(tǒng)上發(fā)布內(nèi)容一樣，能夠有 Agent 做同樣的事情。同樣地，將會(huì)有一種情況，人們基本上為各種不同的用途創(chuàng)建自己的 Agent 。有些是定制的實(shí)用程序，他們想要完成的任務(wù)，他們想要微調(diào)和訓(xùn)練 Agent 。有些是娛樂，某些人創(chuàng)造的東西只是搞笑和不同方式的搞怪，或帶有一種有趣的態(tài)度，這些可能我們不會(huì)在 Meta AI 作為助手中構(gòu)建進(jìn)去，但人們對此非常感興趣，想要與之互動(dòng)。

然后，一個(gè)有趣的用例是人們使用這些 Agent 進(jìn)行支持。這讓我有點(diǎn)驚訝的是， Meta AI 的一個(gè)主要用例是人們基本上用它來模擬社交場景，不論是專業(yè)場景，例如“我想向經(jīng)理詢問如何獲得晉升或加薪？”或者是和朋友的爭執(zhí)，或者是和女朋友的困難情況，模擬這種對話，看看對話會(huì)如何進(jìn)行，并獲得反饋。

很多人不想與同一種 Agent 互動(dòng)，不論是 Meta AI 還是 ChatGPT 或其他人使用的東西。他們想要?jiǎng)?chuàng)建自己的東西。這就是 AI Studio 的大致方向。但這都是我們更大愿景的一部分，我們認(rèn)為不應(yīng)該只有一個(gè)大 AI 讓人們互動(dòng)。我們認(rèn)為如果有各種不同的東西，世界會(huì)更好、更有趣。

前 a16z 合伙人：ChatGPT 從科研到 1 億用戶可能是陷阱，硅谷的集體押注需要傳統(tǒng)市場邁過 PMF。

Jensen Huang

你可以變得非?？?。如果你是一位藝術(shù)家并且有自己的風(fēng)格，你可以把你的風(fēng)格、你所有的作品，微調(diào)一個(gè)模型。

Mark Zuckerberg

然后這就變成了一個(gè)可以進(jìn)行提示的 AI 模型。

Jensen Huang

你可以讓我創(chuàng)作一些符合我藝術(shù)風(fēng)格的東西。你甚至可以給我一幅畫作為靈感，我可以為你生成一些東西。你來找我的 AI 做這些。將來每個(gè)餐廳、每個(gè)網(wǎng)站可能都會(huì)有這些 AI 。

Mark Zuckerberg

我覺得將來每個(gè)企業(yè)都會(huì)像有電子郵件地址、網(wǎng)站和社交媒體賬號(hào)一樣，擁有一個(gè) AI Agent 來與客戶互動(dòng)。歷史上這些事情一直很難做到。如果你考慮任何公司，可能會(huì)有客戶支持部門，這和銷售部門是分開的，而作為 CEO 你不希望這種情況，因?yàn)檫@是不同的技能。

Jensen Huang

我是你的客戶支持，就為了工作。顯然我是。每次馬克需要什么東西，我不知道是聊天機(jī)器人還是藝術(shù)，但他只是我的聊天機(jī)器人。

Mark Zuckerberg

我想這就是，當(dāng)你是 CEO 時(shí)，你必須做所有的事情。但當(dāng)你在組織中構(gòu)建抽象層時(shí)，很多時(shí)候這些組織是分開的，因?yàn)樗鼈優(yōu)榱瞬煌哪繕?biāo)而優(yōu)化。理想的情況是它們是一個(gè)整體。作為客戶，你不在乎在買東西時(shí)和遇到問題時(shí)會(huì)走不同的路徑。你只希望有一個(gè)地方可以解答你的問題并與企業(yè)互動(dòng)。這對創(chuàng)作者也適用。對消費(fèi)者而言，這些與客戶的互動(dòng)，

Jensen Huang

特別是投訴，會(huì)讓你的公司變得更好。完全同意。所有與 AI 的互動(dòng)會(huì)捕捉到機(jī)構(gòu)知識(shí)，這些都可以進(jìn)入分析，進(jìn)一步改進(jìn) AI ，如此循環(huán)往復(fù)。

Mark Zuckerberg

商業(yè)版本可能會(huì)更多整合，但我們還處于早期階段。通過 AI Studio ，人們可以創(chuàng)建他們的 UGC Agent 和不同的東西，并在這個(gè)飛輪上起步。我對此非常興奮。

Jensen Huang

所以我可以用 AI Studio 來微調(diào)我的圖像，我的圖像收藏嗎？

Mark Zuckerberg

我們會(huì)做到的。

Jensen Huang

那么我可以給它我寫的所有東西，用它作為我的 RAG 嗎？基本上是這樣。好的。然后每次我回到它那里，它會(huì)加載上次的記憶，我們可以繼續(xù)我們的對話，就像什么都沒發(fā)生一樣。

Mark Zuckerberg

就像任何產(chǎn)品一樣，隨著時(shí)間的推移會(huì)變得更好，訓(xùn)練工具也會(huì)變得更好。不僅僅是你想說什么，通常創(chuàng)作者和企業(yè)也有他們想避開的主題。他們在這方面越來越擅長。理想情況是，不只是文字，你幾乎希望能夠進(jìn)行視頻聊天，這與我們正在做的一些編解碼器頭像工作有交集。我們會(huì)實(shí)現(xiàn)這一點(diǎn)。這些東西離我們并不遠(yuǎn)，飛輪轉(zhuǎn)得很快。這很令人興奮。有很多新東西要做。

即使基礎(chǔ)模型的進(jìn)展現(xiàn)在停止了，我們有五年的產(chǎn)品創(chuàng)新期來弄清楚如何最有效地使用已有的東西。但實(shí)際上基礎(chǔ)模型和基礎(chǔ)研究的進(jìn)展在加速。這是一個(gè)相當(dāng)瘋狂的時(shí)代。

Jensen Huang

你的愿景是每個(gè)人都可以有一個(gè) AI ，每個(gè)企業(yè)都可以有一個(gè) AI 。在我們的公司，我希望每個(gè)工程師和每個(gè)軟件開發(fā)者都有一個(gè) AI ，甚至多個(gè) AI 。你對每個(gè)人和每個(gè)公司都能制作自己的 AI 的愿景讓我很喜歡，你開源了 Llama2.1，順便說一下，Llama2 是去年 AI 領(lǐng)域最大的事件。

Mark Zuckerberg

還有 H100，但這是雞和蛋的問題。

Jensen Huang

這是雞和蛋的問題。哪個(gè)先來？H100。Llama2 實(shí)際上不是 H100，而是 A100。所以，這是最大的事件，因?yàn)楫?dāng)它出來時(shí)，它激活了每個(gè)公司、每個(gè)企業(yè)和每個(gè)行業(yè)。

突然間，每個(gè)醫(yī)療保健公司都在構(gòu)建 AI ，每個(gè)公司都在構(gòu)建 AI ，每個(gè)大公司、小公司，初創(chuàng)公司都在構(gòu)建 AI 。它使每個(gè)研究人員都能重新參與 AI ，因?yàn)樗麄冇辛艘粋€(gè)起點(diǎn)。

現(xiàn)在 Llama3.1 出來了，興奮程度非常高。我們與合作伙伴一起部署 Llama3.1，將其帶到全球的企業(yè)。興奮程度超乎想象。它將啟用各種應(yīng)用程序。

但告訴我你的開源哲學(xué)。它從哪里來的？你開源了 PyTorch?，F(xiàn)在這是進(jìn)行 AI 的框架。你又開源了 Llama3.1 或 Llama，圍繞它構(gòu)建了整個(gè)生態(tài)系統(tǒng)，但這一切是從哪里來的？

Mark Zuckerberg

這有很多歷史。我們做了很多開源工作。部分原因是坦率地說，我們在一些其他科技公司之后才開始構(gòu)建分布式計(jì)算基礎(chǔ)設(shè)施和數(shù)據(jù)中心。因此，當(dāng)我們構(gòu)建這些東西時(shí)，它們不再是競爭優(yōu)勢。我們想，既然如此，不如開源，這樣我們就能從生態(tài)系統(tǒng)中受益。因此我們有很多這樣的項(xiàng)目。

最大的項(xiàng)目可能是開放計(jì)算，我們公布了服務(wù)器設(shè)計(jì)、網(wǎng)絡(luò)設(shè)計(jì)，最終是數(shù)據(jù)中心設(shè)計(jì)。通過讓它成為行業(yè)標(biāo)準(zhǔn)，供應(yīng)鏈也圍繞它組織起來，這樣可以為每個(gè)人節(jié)省成本。通過公開這些設(shè)計(jì)，我們基本上節(jié)省了數(shù)十億美元。

Jensen Huang

開放計(jì)算讓我們能夠設(shè)計(jì) Nvidia HGX，使其在某個(gè)數(shù)據(jù)中心內(nèi)突然變得可能。

Mark Zuckerberg

它在每個(gè)數(shù)據(jù)中心都能工作。在每個(gè)數(shù)據(jù)中心都能工作，太棒了。所以我們有一個(gè)很棒的體驗(yàn)。然后我們也用了一些基礎(chǔ)設(shè)施工具，比如 React、PyTorch。我想說在 Llama 出現(xiàn)之前，我們已經(jīng)對這種事情持積極態(tài)度。

對于 AI 模型來說，我有一些看法。首先，在過去20年里，構(gòu)建東西非常有趣。最困難的事情之一是我們不得不通過競爭對手的移動(dòng)平臺(tái)來發(fā)布我們的應(yīng)用程序。一方面，移動(dòng)平臺(tái)對行業(yè)來說是一個(gè)巨大的推動(dòng)力。

另一方面，通過競爭對手的平臺(tái)發(fā)布產(chǎn)品是很有挑戰(zhàn)性的。我成長的時(shí)代，第一版 Facebook 是在網(wǎng)絡(luò)上的，那是開放的。然后隨著向移動(dòng)端的轉(zhuǎn)變，好處是每個(gè)人現(xiàn)在都有口袋電腦。

不好的地方是，我們能做的事情變得更加受限了。當(dāng)你看這些計(jì)算機(jī)代際變化時(shí)，有一種偏見，大家只看移動(dòng)設(shè)備，認(rèn)為這是封閉的生態(tài)系統(tǒng)，因?yàn)樘O果基本上贏得了市場并設(shè)定了標(biāo)準(zhǔn)。我知道技術(shù)上有更多的安卓手機(jī)，但蘋果基本上占據(jù)了整個(gè)市場，并且所有的利潤，安卓在開發(fā)方面基本上是跟隨蘋果的，蘋果顯然贏得了這一代。

即使你回顧上一代，蘋果做的是封閉的事情，但微軟相對來說是更開放的， Windows 運(yùn)行在不同的 OEM 和硬件上，是一個(gè)更開放的生態(tài)系統(tǒng)， Windows 是領(lǐng)先的生態(tài)系統(tǒng)。在PC時(shí)代，開放的生態(tài)系統(tǒng)獲勝了。我希望在下一代計(jì)算中，開放的生態(tài)系統(tǒng)再次成為領(lǐng)先者。始終會(huì)有封閉和開放的兩個(gè)系統(tǒng)，兩者都有理由存在，各有優(yōu)勢。我不是一個(gè)狂熱者，我們也做封閉源代碼的東西，但并不是所有發(fā)布的東西都是開放的。

但總的來說，對整個(gè)行業(yè)來說，如果軟件特別是開放的，那是有很大價(jià)值的。這真的塑造了我的哲學(xué)。對于 Llama AI 和我們在 AR 和 VR 中所做的工作，我們基本上在構(gòu)建一個(gè)開放操作系統(tǒng)，就像 Android 或 Windows 一樣，基本上使我們能夠與許多不同的硬件公司合作，制造各種各樣的設(shè)備。

我們基本上只是希望將生態(tài)系統(tǒng)恢復(fù)到那個(gè)水平，我對下一代的開放系統(tǒng)將獲勝持樂觀態(tài)度。對我們來說，我只是想確保我們能夠構(gòu)建我們將在其上構(gòu)建社交體驗(yàn)的基本技術(shù)，因?yàn)橛刑嗍虑槲以噲D構(gòu)建，但被平臺(tái)提供商拒絕了，所以我對下一個(gè)世代的目標(biāo)是從頭構(gòu)建所有東西。

Jensen Huang

這是一個(gè)很棒的世界，人們致力于構(gòu)建盡可能最好的 AI ，并將其作為服務(wù)提供給世界。但是，如果你想構(gòu)建自己的 AI ，你仍然可以構(gòu)建自己的 AI 。因此，使用 AI 的能力，有很多東西我不想自己制作這件夾克，我更喜歡有人為我制作這件夾克。

你明白我的意思嗎？所以皮革是開源的對我來說沒有什么意義。但擁有出色服務(wù)、令人難以置信的服務(wù)以及開放服務(wù)、開放可用性是很好的概念。

你們做的 3.1 真的很棒，有 4.5 B，有 70 B的 API，可以用于生成合成數(shù)據(jù)，使用較大的模型來教小模型。

盡管較大的模型更通用，但它不那么脆弱。你仍然可以構(gòu)建適合任何操作領(lǐng)域或操作成本的小模型。因此，現(xiàn)在你們構(gòu)建模型的方式是透明的，你們有世界級(jí)的安全團(tuán)隊(duì)、世界級(jí)的倫理團(tuán)隊(duì)，可以以所有人都知道的方式正確構(gòu)建它，我真的很喜歡這一點(diǎn)。

Mark Zuckerberg

我之前岔開話題了，但我要補(bǔ)充一點(diǎn)。我們這樣做是因?yàn)槲覀兿Ｍ@種東西存在，并且我們不希望被某個(gè)封閉的模型排除在外。但這不僅僅是一塊可以構(gòu)建的軟件，你需要一個(gè)生態(tài)系統(tǒng)。

如果我們不開放源代碼，它幾乎不會(huì)運(yùn)作得很好。我們這樣做不是因?yàn)槲覀兪抢髁x者，盡管這對生態(tài)系統(tǒng)有幫助，但我們這樣做是因?yàn)槲覀冋J(rèn)為這會(huì)使我們構(gòu)建的東西最好，因?yàn)橛幸粋€(gè)強(qiáng)大的生態(tài)系統(tǒng)。

Jensen Huang

看看有多少人為 PyTorch 生態(tài)系統(tǒng)做出了貢獻(xiàn)？數(shù)以百計(jì)的工程師。Nvidia 公司單獨(dú)就有幾百名工程師專注于讓 PyTorch 更好、更可擴(kuò)展、更高效等等。

Mark Zuckerberg

而且當(dāng)某些東西成為行業(yè)標(biāo)準(zhǔn)時(shí)，其他人會(huì)圍繞它做工作。所以所有的硅和系統(tǒng)最終會(huì)優(yōu)化以很好地運(yùn)行這東西，這將有利于所有人，但也會(huì)與我們構(gòu)建的系統(tǒng)配合得很好。這只是如何變得非常有效的一個(gè)例子。所以，開源策略將是一個(gè)很好的商業(yè)策略。人們還沒有完全理解。

Jensen Huang

我認(rèn)識(shí)到重要的事情，Llama 確實(shí)很重要。我們圍繞它構(gòu)建了一個(gè)叫做 ?AI Factory、 ?AI Foundry 的概念，以便我們可以幫助每個(gè)人構(gòu)建。很多人有構(gòu)建 AI 的愿望，對他們來說擁有 AI 很重要，因?yàn)橐坏┧麄儗⑵浼{入他們的數(shù)據(jù)飛輪，他們公司的知識(shí)就會(huì)被編碼并嵌入到 AI 中。所以他們不能讓 AI 飛輪、數(shù)據(jù)飛輪、經(jīng)驗(yàn)飛輪在別處。開源讓他們能做到這一點(diǎn)。但他們不知道如何將整個(gè)事情變成 AI 。

所以我們創(chuàng)建了這個(gè)叫 ?AI Foundry 的東西，我們提供工具、提供專長、Llama 技術(shù)，我們有能力幫助他們將整個(gè)事情轉(zhuǎn)變成 AI 服務(wù)。當(dāng)我們完成后，他們擁有它。輸出是我們稱之為 NIM 的東西，它神經(jīng)微服務(wù)?？梢韵螺d它，拿去運(yùn)行在任何他們喜歡的地方，包括在本地。

我們有一整套合作伙伴生態(tài)系統(tǒng)，從可以運(yùn)行 NIM OEM 到我們訓(xùn)練并與之合作創(chuàng)建基于 Llama NIM 和流水線的 GSI?，F(xiàn)在我們正在全球各地幫助企業(yè)這樣做。這真的很令人興奮，都是 Llama 開源引發(fā)的。

Mark Zuckerberg

特別是幫助人們從大模型中訓(xùn)練出自己的模型，這將是一個(gè)非常有價(jià)值的新事物。正如我們在產(chǎn)品方面談到的，我不認(rèn)為將會(huì)有一個(gè)主要的 AI Agent ，所有人都會(huì)與之對話。我也不認(rèn)為將會(huì)有一個(gè)所有人都使用的模型。

Jensen Huang

我們有芯片設(shè)計(jì) AI ，我們有軟件編碼 AI 。我們的軟件編碼 AI 理解USD，因?yàn)槲覀優(yōu)?Omniverse 編寫USD。我們有軟件 AI 理解 Verilog，我們的Verilog。我們有軟件 AI 理解我們的 bug 數(shù)據(jù)庫，知道如何幫助我們分類 bug，并發(fā)送給合適的工程師。

每個(gè) AI 都是基于 Llama 進(jìn)行微調(diào)的。我們微調(diào)它們，為它們設(shè)置防護(hù)。如果我們有一個(gè)用于芯片設(shè)計(jì)的 AI ，我們不希望它回答政治和宗教問題。所以我們?yōu)樗鼈冊O(shè)置防護(hù)。每家公司基本上會(huì)有適用于每個(gè)功能的 AI 。他們需要幫助才能做到這一點(diǎn)。

Mark Zuckerberg

未來的一個(gè)大問題是，人們在多大程度上會(huì)使用更大、更復(fù)雜的模型，而不是為他們的特定用途訓(xùn)練自己的模型。至少將會(huì)有各種不同模型的廣泛普及。

Jensen Huang

我們使用最大的模型。原因是我們的工程師時(shí)間非常寶貴。我們現(xiàn)在正在優(yōu)化 405B 模型的性能。405B 模型不適合任何 GPU ，無論多大。所以MV Link 性能非常重要。每一個(gè) GPU 都通過這個(gè)非阻塞交換機(jī)連接。在 HGX 中，例如，有兩個(gè)這樣的交換機(jī)。我們使所有這些 GPU 能夠高效運(yùn)行 405B 模型。我們這樣做是因?yàn)楣こ處煏r(shí)間對我們來說非常寶貴，我們希望使用盡可能好的模型。事實(shí)上，這種成本效益并不重要。所以我們只是想確保為他們提供最佳質(zhì)量的結(jié)果。

Mark Zuckerberg

405B 的推理成本大約是 GPT-4o 模型的一半。所以我要補(bǔ)充這一點(diǎn)。這已經(jīng)很不錯(cuò)了。人們在設(shè)備上做一些事情或希望使用更小的模型時(shí)，他們會(huì)將其簡化。所以那是完全不同的一組服務(wù)。

Jensen Huang

AI 在運(yùn)行。假設(shè)我們雇傭 AI 來設(shè)計(jì)芯片，每小時(shí)可能花費(fèi) 10 美元。如果你不斷使用它，并且將它與許多工程師共享，那么每個(gè)工程師可能都有一個(gè) AI 在他們旁邊。這并不昂貴。我們支付工程師很多錢。所以對我們來說，每小時(shí)幾美元就能增強(qiáng)某個(gè)非常有價(jià)值的人的能力。

如果你還沒有雇傭 AI ，馬上去做。這就是我們要說的。讓我們談?wù)勏乱徊ɡ顺?。我非常喜歡你們所做的工作，計(jì)算機(jī)視覺。我們內(nèi)部經(jīng)常使用的一個(gè)模型是“分割一切”。我們現(xiàn)在在訓(xùn)練 AI 模型理解視頻，以便我們能夠更好地建?，F(xiàn)實(shí)世界。

在我們的用例中，主要用于機(jī)器人技術(shù)和工業(yè)數(shù)字化，并將這些 AI 模型連接到 Omniverse ，以便更好地建模和表示物理世界。我有一些在這些 Omniverse 世界中運(yùn)行得更好的機(jī)器人。你的Rayband Meta glass應(yīng)用，將 AI 引入虛擬世界的愿景真的很有趣。告訴我們有關(guān)它的情況。

Mark Zuckerberg

好吧，我們其實(shí)正在這里展示該模型的下一版本 SIGRAF Segment Anything 2。它現(xiàn)在更快了。它在視頻中也能工作。因?yàn)樗情_放的，很多更嚴(yán)肅的應(yīng)用也能在各行各業(yè)中使用?？茖W(xué)家用這個(gè)研究珊瑚礁和自然棲息地的演變。但能夠在視頻中做到這一點(diǎn)，并且能夠零樣本并與之交互，告訴它你想跟蹤什么，是非?？岬难芯?。

Jensen Huang

例如，為什么我們使用它呢？例如，你有一個(gè)倉庫，里面有很多攝像頭，倉庫的 AI 監(jiān)控所有事情，假設(shè)有一堆箱子倒了或有人把水灑在地上，或任何事故即將發(fā)生。AI 識(shí)別它，生成文本，發(fā)送給某人，并幫助解決問題。這是使用它的一種方式。與其錄制一切，如果發(fā)生事故，開始記錄每一納秒的視頻并回放那個(gè)時(shí)刻，它只記錄重要的部分，因?yàn)樗涝诳词裁础Ｋ杂幸粋€(gè)視頻理解模型，一個(gè)視頻語言模型，對所有這些有趣的應(yīng)用非常有用。現(xiàn)在你們還在研究什么？

Mark Zuckerberg

有所有的智能眼鏡。我們將下一個(gè)計(jì)算平臺(tái)分為混合現(xiàn)實(shí)頭戴設(shè)備和智能眼鏡。智能眼鏡更容易被人理解，因?yàn)閹缀趺總€(gè)人都在戴眼鏡，最終都會(huì)升級(jí)到智能眼鏡，而世界上有超過十億人戴眼鏡。所以這將是一個(gè)非常大的市場。VR MR頭戴設(shè)備，有些人覺得它適合游戲或其他用途，有些人還不感興趣。我的觀點(diǎn)是，兩者都會(huì)存在于世界上。智能眼鏡會(huì)成為下一代計(jì)算平臺(tái)的移動(dòng)版，混合現(xiàn)實(shí)頭戴設(shè)備則更像是你的工作站或游戲主機(jī)，當(dāng)你想進(jìn)行更沉浸式的會(huì)話時(shí)，你會(huì)坐下來使用更多計(jì)算能力。眼鏡體積很小，有很多限制，就像你不能在手機(jī)上做同樣水平的計(jì)算。

Jensen Huang

它正好趕上了生成式 AI 的所有突破。

Mark Zuckerberg

對于智能眼鏡，我們從兩個(gè)不同的方向來解決問題。一方面，我們在構(gòu)建理想的全息 AR 眼鏡的所需技術(shù)。我們正在進(jìn)行所有定制的硅工作、定制的顯示堆棧工作，所有使其工作的技術(shù)。而且它是眼鏡，不是頭戴設(shè)備，不像 VR MR頭戴設(shè)備。它們看起來像眼鏡。但與現(xiàn)在你戴的眼鏡仍有很大差距。

Ray-Bans雖然很好，但還不能完全容納所有需要的技術(shù)以實(shí)現(xiàn)全息 AR 。我們正在接近，未來幾年會(huì)更接近。價(jià)格還會(huì)很高，但這將開始成為產(chǎn)品。另一個(gè)角度是從外觀好看的眼鏡開始。與世界上最好的眼鏡制造商合作，如 EssilorLuxottica，他們制造所有的大品牌，如 Ray-Ban、Oakley、Oliver Peoples 等，這基本上是EssilorLuxottica的天下。

所以我們與他們合作，Ray-Ban 眼鏡已進(jìn)入第二代。目標(biāo)是限制在一個(gè)看起來很好的眼鏡內(nèi)，盡可能多地放入技術(shù)。理解我們不可能完全實(shí)現(xiàn)我們的理想。但它最終會(huì)是看起來很好的眼鏡?，F(xiàn)在它有攝像頭可以拍照和錄像，可以直播到 Instagram ，可以進(jìn)行 WhatsApp 視頻通話，并向?qū)Ψ秸故灸闼吹降?。它有麥克風(fēng)和揚(yáng)聲器，開放式耳機(jī)，許多人覺得比耳塞更舒適。

可以聽音樂，像私人體驗(yàn)?？梢越与娫挕５珎鞲衅靼『每梢耘c AI 對話。這是一個(gè)意外。如果你五年前問我，我們會(huì)先得到全息 AR 還是 AI ，我會(huì)說是全息 AR 。因?yàn)轱@示技術(shù)和虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)技術(shù)在不斷進(jìn)步。

但 LLM 的突破改變了這一點(diǎn)。我們有了高質(zhì)量的 AI ，并且以很快的速度變得更好，這比全息 AR 早。我們運(yùn)氣好，因?yàn)槲覀冊谘邪l(fā)這些產(chǎn)品。最終會(huì)有一系列不同的眼鏡產(chǎn)品，不同價(jià)格和技術(shù)水平。我猜沒有顯示屏的 AI 眼鏡，大約 300 美元，會(huì)是一個(gè)很大的產(chǎn)品，成千上萬甚至數(shù)百萬人會(huì)擁有。所以你會(huì)有超級(jí)互動(dòng)的 AI 與你對話。

Jensen Huang

你展示了視覺語言理解。你有實(shí)時(shí)翻譯。你可以用一種語言對我說話，我會(huì)用另一種語言聽到。

Mark Zuckerberg

顯示器顯然也會(huì)很棒，但這會(huì)給眼鏡增加一點(diǎn)重量，也會(huì)讓它們更貴。所以會(huì)有很多人想要那種全息顯示，但也會(huì)有很多人希望最終能有真的很薄的眼鏡。

Jensen Huang

在工業(yè)應(yīng)用和一些工作應(yīng)用中，我們需要那種全息顯示。

Mark Zuckerberg

在消費(fèi)品中也是如此。

Jensen Huang

你這么認(rèn)為嗎？

Mark Zuckerberg

我在疫情期間想了很多，當(dāng)時(shí)大家都遠(yuǎn)程辦公。這很好，很棒我們有這個(gè)，但未來，我們距離能夠進(jìn)行虛擬會(huì)議的時(shí)代不遠(yuǎn)了，就像我沒有真的在這里，而是我的全息影像。這種感覺就像我們在那里一樣，物理上在場。我們可以一起工作和合作。這對于 AI 來說尤其重要。

Jensen Huang

我可以接受一種不需要一直佩戴的設(shè)備。

Mark Zuckerberg

但我們會(huì)達(dá)到這個(gè)點(diǎn)。在眼鏡中，有薄框和厚框，有各種風(fēng)格。所以我不認(rèn)為我們離擁有全息眼鏡的形式還很遠(yuǎn)。但在一副時(shí)尚的稍厚框的眼鏡中實(shí)現(xiàn)這個(gè)目標(biāo)并不遙遠(yuǎn)。

我試圖成為一種風(fēng)格的領(lǐng)導(dǎo)者，以便在眼鏡上市之前能影響它。但我看到很多，現(xiàn)在還早。我覺得如果未來業(yè)務(wù)的一個(gè)重要部分是打造人們愿意佩戴的時(shí)尚眼鏡，那么我應(yīng)該開始更多地關(guān)注這一點(diǎn)。

所以我們可能需要告別我每天穿同樣?xùn)|西的版本。眼鏡也是一樣的。與手表或手機(jī)不同，人們真的不希望看起來都一樣。所以這會(huì)是一個(gè)開放生態(tài)系統(tǒng)，因?yàn)槿藗儠?huì)對款式和風(fēng)格有巨大的需求。不像每個(gè)人都想戴同一副眼鏡，那樣行不通。

Jensen Huang

你是對的，Mark，這真是不可思議的時(shí)代，整個(gè)計(jì)算堆棧正在被重新定義。我們?nèi)绾慰创浖?，?軟件一代到軟件二代，現(xiàn)在我們基本上進(jìn)入了軟件三代。從通用計(jì)算到生成性神經(jīng)網(wǎng)絡(luò)處理的計(jì)算方式，能力和應(yīng)用程序現(xiàn)在是過去難以想象的。

這項(xiàng)技術(shù)，無論是通用的還是 VI（視覺智能），我不記得有哪項(xiàng)技術(shù)以如此快的速度影響消費(fèi)者、企業(yè)和科學(xué)領(lǐng)域。能夠跨越氣候技術(shù)、生物技術(shù)、物理科學(xué)等各個(gè)科學(xué)領(lǐng)域。生成式 AI ?正在每個(gè)我們遇到的領(lǐng)域中進(jìn)行根本性轉(zhuǎn)變。此外，生成式 AI ?將對社會(huì)產(chǎn)生深遠(yuǎn)影響，影響我們制造的產(chǎn)品。

有人問我，是否會(huì)有一個(gè) Jensen AI ？這正是你所說的創(chuàng)意 AI ，我們可以自己構(gòu)建 AI ，并加載我寫過的所有內(nèi)容。然后用我回答問題的方式進(jìn)行微調(diào)。希望隨著時(shí)間的推移，通過使用的積累，它會(huì)成為一個(gè)真正優(yōu)秀的助手和伴侶。它不會(huì)帶有評(píng)判性，所以你可以隨時(shí)與之互動(dòng)。這些真的是令人難以置信的事情。我們一直在寫很多東西。

想象一下，只需提供三四個(gè)主題，它就能以我的語氣寫作并作為起點(diǎn)。所以我們現(xiàn)在可以做的事情真的太多了。與你合作真的很棒。我知道建立一家公司并不容易，你從桌面到移動(dòng)設(shè)備，再到 VR ，再到 AI 所有這些設(shè)備的轉(zhuǎn)變。視頻領(lǐng)域也多次發(fā)生轉(zhuǎn)變，我深知這有多難。我們多年來都遭受了很多挫折，但這正是成為先鋒和創(chuàng)新者所需要的。所以，看著你真的很棒。

Mark Zuckerberg

如果你繼續(xù)做之前做的事情，也不確定是否是轉(zhuǎn)型。但這很不錯(cuò)。但這是一點(diǎn)增加。這一切還有更多的章節(jié)。而且我覺得，對于你們來說也是一樣的——看你們走過的這段旅程真是有趣。我們經(jīng)歷了一個(gè)階段，每個(gè)人都覺得，所有事情都要轉(zhuǎn)向這些設(shè)備。這只是要變得超級(jí)便宜的計(jì)算能力。而你們只是繼續(xù)堅(jiān)持下去。實(shí)際上，你們會(huì)需要這些能夠并行處理的大型系統(tǒng)。

Jensen Huang

我們走了另一條路，而不是制造越來越小的設(shè)備，我們做了一臺(tái)計(jì)算機(jī)。我們開始制造圖形芯片， GPU ?，F(xiàn)在，當(dāng)你部署一個(gè) GPU 時(shí)，你仍然稱它為 Hopper H100。所以你們知道，當(dāng) Mark 稱它為 H100 時(shí)，他的數(shù)據(jù)中心有 H100，你們即將達(dá)到 60 萬，我們是很好的客戶。

Mark Zuckerberg

有一天，你說，幾周后，我們在 SIGGRAPH 做這件事。我說，我那天沒有什么安排，聽起來很有趣。

Jensen Huang

完全正確。我那天下午沒事。你就出現(xiàn)了。事情就是如此不可思議，這些系統(tǒng)你們建造的，這些巨大的系統(tǒng)，難以協(xié)調(diào)，難以運(yùn)行。你說你們比大多數(shù)人晚進(jìn)入 GPU 領(lǐng)域。但你們操作的規(guī)模比幾乎任何人都大。這真是不可思議。祝賀你們所做的一切。