太瘋狂了！Claude 3 Opus竟然干掉了GPT-4。在Chatbot Arena最新的聊天機(jī)器人對戰(zhàn)排行榜中，Claude 3的超大杯成功登頂，就連最小的Claude 3 HaiKu都達(dá)到了GPT-4水平！

太瘋狂了！Claude 3 Opus超越了GPT-4，成為新的國王！

今天，Chatbot Arena更新了聊天機(jī)器人對戰(zhàn)的排行榜，在經(jīng)過了時間的洗禮和群眾的檢驗(yàn)之后，之前略遜于GPT-4的Claude 3竟然反超了！

而且不僅僅是Claude 3的超大杯Opus成功登頂，藐視眾生，Claude 3家族的整體表現(xiàn)都非常亮眼。

大杯Claude 3 Sonnet排到了第4，就連最小的Claude 3 HaiKu都達(dá)到了GPT-4水平！

B端产品经理的能力模型与学习提升

B端产品经理面临的第一大挑战，是如何正确的分析诊断业务问题。 这也是最难的部分，产品设计知识对这部分工作基本没有帮助，如果想做好业务分析诊断，必须具备扎实 ...

查看详情 >

那么相比于基準(zhǔn)測試跑分，這個榜單的權(quán)威性如何？

Chatbot Arena（聊天機(jī)器人競技場），由伯克利團(tuán)隊開發(fā)，每個模型在榜單上的得分，完全取決于真實(shí)人類用戶的使用體驗(yàn)。

我們來看一下打分規(guī)則：

用戶同時向兩個匿名模型（比如ChatGPT、Claude、Llama）提出任何相同的問題，然后根據(jù)回答投票給表現(xiàn)更好的模型；

如果一次回答不能確定，用戶可以繼續(xù)聊天，直到確定獲勝者；

如果在對話中透露了模型的身份，則不會計算投票。

Chatbot Arena平臺收集了超過40萬人的投票，來計算出這個大模型的等級分排行榜，最終找出誰是冠軍。

顯然，這回Claude 3贏麻了。

我們來看一下真實(shí)的戰(zhàn)況：

在所有非平局對戰(zhàn)中， A對B獲勝的比例：

模型之間的對戰(zhàn)次數(shù)（無平局）：

GPT-4終于被干掉了，對此，有網(wǎng)友開始惡搞：

剛在當(dāng)?shù)爻锌吹絊am Altman，他一臉震驚地看著手機(jī)。幾秒鐘后，他真的倒下了，開始劇烈顫抖。經(jīng)過2分鐘的搖晃和尖叫，一群人圍繞著他試圖幫助他。但令人驚訝的是，他在2分鐘后停止了顫抖和尖叫，站起來，拿起手機(jī)開始撥打一個號碼。

“準(zhǔn)備釋放……”

咱也不知道Altman要放的是不是GPT-5。

網(wǎng)友表示，Claude確實(shí)要比GPT勤奮得多：

GPT-4-Turbo非常懶惰。在任何編碼任務(wù)中，它都會跳過部分代碼，并表示“你自己知道要放什么”，而Opus可以毫無遺漏地輸出整個代碼。

就連Claude-2也通過自己的勤奮和耐心感動了這位網(wǎng)友。

更有比較務(wù)實(shí)的網(wǎng)友指出，Haiku的排名更為重要，因?yàn)樗堑谝粋€可以以極低成本即時運(yùn)行的LLM，并且具有足夠高的智能來提供實(shí)時客戶服務(wù)。

盲生你發(fā)現(xiàn)了華點(diǎn)！Claude 3 Haiku不僅與原始版本的GPT-4表現(xiàn)一樣好，關(guān)鍵是相當(dāng)便宜，在一些平臺你甚至可以免費(fèi)使用。

大家于是紛紛夸起了Claude 3 Haiku：

智能相當(dāng)于GPT-4，價格比GPT-3.5便宜，而且據(jù)說模型可能只有20B大小。

有網(wǎng)友表示，OpenAI不行啦，現(xiàn)在Anthropic才是老大，一時間，平臺內(nèi)外充滿了快活的空氣。

ChatGPT 一年零增長

回過頭來再看ChatGPT這邊，從最初的高光、王者，到現(xiàn)在不能說泯然眾人吧，反正多少有點(diǎn)寒酸了。
最近，有關(guān)統(tǒng)計平臺曝出：ChatGPT在過去一年中居然零增長！

最近一段時間，ChatGPT一直被指責(zé)懶惰、系統(tǒng)提示臃腫，而另一方面競爭也愈演愈烈——Claude 3和Gemini Pro 1.5現(xiàn)在都提供了比GPT-4多8倍的上下文長度和更好的recall能力。

對于幾乎每個ChatGPT用例，現(xiàn)在都有大量垂直化的AI初創(chuàng)公司，致力于滿足用戶的需求，而不是滿足于現(xiàn)有的ChatGPT界面和捆綁工具

它們有更好的UI選項(xiàng)（例如IDE和圖像/文檔編輯器）、更好的原生集成（例如用于cron重復(fù)操作）、更好的隱私/企業(yè)保護(hù)（例如用于醫(yī)療保健和金融），更細(xì)粒度的控制（GPT的默認(rèn)RAG是幼稚且不可配置的）。

以下是一些網(wǎng)友列舉了相關(guān)垂直領(lǐng)域的產(chǎn)品，以及公司的融資情況：

從某種意義上說，OpenAI的B2B和B2C部分相互競爭，這在某種程度上是良性競爭——OpenAI可以使用來自ChatGPT的RLHF數(shù)據(jù)進(jìn)行訓(xùn)練。

而新的GPT商店可以看作是，OpenAI為了抓住這些垂直化需求的嘗試。

——與其離開平臺，到處支付20美元/月，為什么不留在ChatGPT內(nèi)部而只需要支付一次，讓OpenAI將理論上的收入分配給GPT創(chuàng)作者？

對此，大部分創(chuàng)作者也很明智，一般只向ChatGPT發(fā)布精簡版的應(yīng)用，作為自己主要平臺的一個渠道。

在游戲機(jī)業(yè)務(wù)中，眾所周知，購買決策往往是由平臺獨(dú)占游戲驅(qū)動的。從某種意義上說，ChatGPT的未來會以平臺專屬模型為特色。

所以，當(dāng)Sora甚至是GPT-5公開發(fā)布時，一定會率先登陸自家的平臺，也許那將是下一輪ChatGPT的增長點(diǎn)。

參考資料：

https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard