國(guó)內(nèi)大公司現(xiàn)在基本上都研發(fā)了自己的大模型，都支持很多功能。之前也有不少人對(duì)這些模型進(jìn)行了分析，但都是單一的產(chǎn)品。這篇文章，我們從多個(gè)維度，以競(jìng)品分析的方式對(duì)國(guó)內(nèi)的幾個(gè)大模型進(jìn)行比較一下。

一、競(jìng)品分析目的與意義

AI 大模型的英文含義是：Large AI Models。他的的定義通常指的是具有大量參數(shù)和復(fù)雜結(jié)構(gòu)的人工智能模型，這些模型利用深度學(xué)習(xí)技術(shù)，通過(guò)大規(guī)模的數(shù)據(jù)訓(xùn)練，能夠在多個(gè)任務(wù)上表現(xiàn)出優(yōu)越的性能。

由于市面上涌現(xiàn)了各種各樣的大模型，對(duì)于我們用戶(hù)來(lái)說(shuō)，并不知道哪種大模型比較適合我們，或者說(shuō)哪種比較好用，這次我用六個(gè)維度來(lái)測(cè)評(píng)一下國(guó)內(nèi)十款大模型，讓大家可以根據(jù)自己的需求，來(lái)選擇適合自己的模型來(lái)使用。

二、在研究大模型之前，讓我們來(lái)簡(jiǎn)單了解一下這些大模型里面的一些基本的定義

1）大語(yǔ)言模型（Large Language Model, LLM）是一種專(zhuān)門(mén)用于處理和生成自然語(yǔ)言文本的人工智能模型，它有大量參數(shù)和復(fù)雜結(jié)構(gòu)，能夠理解、生成和翻譯自然語(yǔ)言。大語(yǔ)言模型通常通過(guò)在大規(guī)模文本數(shù)據(jù)上進(jìn)行訓(xùn)練，學(xué)習(xí)語(yǔ)言的各種模式和特征。

2）多模態(tài)大模型（Multimodal Models）是指能夠處理和理解多種類(lèi)型數(shù)據(jù)（如文本、圖像、音頻、視頻等）的人工智能模型。這些模型通過(guò)集成不同模態(tài)的數(shù)據(jù)，能夠更全面地理解和生成復(fù)雜信息。這種能力使多模態(tài)大模型在各種應(yīng)用場(chǎng)景中表現(xiàn)出色，例如自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別和生成、以及多模態(tài)交互等。

做了8年产品经理后，我是这么看产品经理的

我个人是从非常初级的产品经理做起，再到负责一个大产品的项目管理，现在有幸跳出了日常基础的工作更多的去看产品的PMF，product strategy...

查看详情 >

3）通用語(yǔ)言模型（General Language Models）是一個(gè)廣泛的術(shù)語(yǔ)，通常用來(lái)描述能夠處理多種語(yǔ)言任務(wù)的模型，而不論其規(guī)模大小。GLM可以包含從小型到大型的各種模型，關(guān)鍵在于它們具備處理自然語(yǔ)言的通用能力。這些模型可能專(zhuān)注于特定類(lèi)型的任務(wù)，如問(wèn)答系統(tǒng)、文本分類(lèi)或語(yǔ)言生成，但它們通常設(shè)計(jì)得足夠靈活，以適應(yīng)多種不同的應(yīng)用場(chǎng)景。

三、競(jìng)品分析

1、模型選擇

本次主要分析國(guó)內(nèi)使用率比較高的通義千問(wèn)、文心一言、kimi等10個(gè)左右的大模型，通過(guò)日常生活、工作流程等方式做對(duì)比和總結(jié)說(shuō)明，分析出幾款相對(duì)比較好用的大模型。

2、調(diào)研維度

為了更直觀測(cè)試這些模型在實(shí)際場(chǎng)景下的表現(xiàn)，我們收集整理一套場(chǎng)景數(shù)據(jù)集，主要包括：

是否能夠聯(lián)網(wǎng)獲取信息、知識(shí)理解、上傳文本分析、文生圖、邏輯推理、休閑問(wèn)答（多倫對(duì)話能力）等六個(gè)方向進(jìn)行調(diào)研

3、調(diào)研過(guò)程

給每個(gè)分析角度一個(gè)規(guī)則，分析這些模型的回答是否能按照這些規(guī)則輸出相對(duì)穩(wěn)定的回答，并對(duì)這些回答給出一個(gè)相對(duì)合理的分?jǐn)?shù)。

基本的規(guī)則為：

由于已經(jīng)上線的大模型已經(jīng)屬于相對(duì)完善的模型，所以我根據(jù)模型的回答，分析回答后得出：回答是否“不滿足預(yù)期”、“符合預(yù)期”和“高于預(yù)期”

• 不滿足預(yù)期的標(biāo)準(zhǔn)為：需求不滿足（包括：部分滿足和部分不滿足）、內(nèi)容質(zhì)量相關(guān)（包括：內(nèi)容不全面、語(yǔ)句前后不通、信息前后不一致、有危害性的信息、還有一些不太符合要求的格式）
• 高于預(yù)期的標(biāo)準(zhǔn)為：語(yǔ)意正確、格式美觀、沒(méi)有那些危險(xiǎn)有害偏激的信息、有提煉的總結(jié)、有一些推理的過(guò)程等等。

評(píng)分標(biāo)準(zhǔn)：（滿分10分）

• 不滿足預(yù)期：需求不滿足的比如回答與問(wèn)題無(wú)關(guān)的直接0分、有高危害信息內(nèi)容：0分、內(nèi)容不全面：-1分、語(yǔ)句前后不通順：-1分、信息前后不一致：-1分、有偏見(jiàn)性的行為：-1分、格式不符合：-1分
• 高于預(yù)期：語(yǔ)意正確：+1分、格式分段/分點(diǎn)合理美觀：+1分、有提煉總結(jié)：+1分、有推理過(guò)程等：+1分

1）是否能夠聯(lián)網(wǎng)獲取信息

總結(jié)：在進(jìn)行了一系列的測(cè)試之后，測(cè)試結(jié)果顯示，除了百小應(yīng)未能聯(lián)網(wǎng)外，其他所有模型都有聯(lián)網(wǎng)功能，豆包、文心一言、萬(wàn)知在格式是也比較美觀合理。豆包在需求之外還進(jìn)行了問(wèn)題拓展，所以分?jǐn)?shù)較高。

2）知識(shí)理解

總結(jié)：在進(jìn)行了一系列的測(cè)試之后，測(cè)試結(jié)果顯示，所有模型均能回答出所提出的問(wèn)題，但是，智普AI和萬(wàn)知可以在需求滿足，分段分點(diǎn)有總結(jié)的情況下，全面的回答出了問(wèn)題。所以分?jǐn)?shù)較高

3）上傳文本分析

總結(jié)：在進(jìn)行了一系列的測(cè)試之后，測(cè)試結(jié)果顯示，除了訊飛星火、智普AI、萬(wàn)知、360智腦基本都能滿足需求，而kimi大模型邏輯清晰、分段分點(diǎn)回答、結(jié)尾也有對(duì)全文的總結(jié)，所以分?jǐn)?shù)較高。

4）文生圖

總結(jié)：在進(jìn)行了一系列的測(cè)試之后，測(cè)試結(jié)果顯示，除了通義千問(wèn)、文心一言、豆包和騰訊元寶其余模型均不能直接生成圖片。

5）邏輯推理

總結(jié)：在進(jìn)行了一系列的測(cè)試之后，測(cè)試結(jié)果顯示，所有模型均能回答正確，通義千問(wèn)、文心一言、訊飛星火、騰訊元寶的答案既滿足需求答案正確、也有推理過(guò)程格式分點(diǎn)、分段有合理性，所以分?jǐn)?shù)較高。

6）休閑問(wèn)答（多倫對(duì)話能力）

總結(jié)：在進(jìn)行了一系列的測(cè)試之后，測(cè)試結(jié)果顯示，大多數(shù)模型都能滿足需求，有很多模型都自稱(chēng)AI，非常有AI感，少數(shù)模型，比如文心一言、豆包與之對(duì)話，讓人感覺(jué)對(duì)面是您的朋友，沒(méi)有AI的距離感，讓人感覺(jué)很舒適。所以得分較高。

四、總結(jié)分析

總的排名為：

1、文心一言（8.2） 2、騰訊元寶（7.8） 3、豆包（7.7） 4、通義千問(wèn)（7.5） 5、kimi（6.5） 6、智譜AI（5.3） 7、訊飛星火（5.2） 萬(wàn)知（5.2） 9、白小應(yīng) 360智腦。（4.5）

以上排名均為本人對(duì)大模型的主觀判斷，謹(jǐn)代表自己。不代表任何官方和別人哈。

最后，我們期待國(guó)內(nèi)AI企業(yè)能持續(xù)引領(lǐng)技術(shù)創(chuàng)新，深化行業(yè)應(yīng)用，為社會(huì)創(chuàng)造更多價(jià)值。展望未來(lái)，讓我們共同期待AI技術(shù)帶來(lái)的無(wú)限可能，攜手開(kāi)啟智能新時(shí)代的大門(mén)。