Tokens是啥?為啥大模型要按Tokens收費?
隨著大模型的興起,Token這種收費模式也逐漸被大家所接受。那么,為什么是這樣收費呢?本文將深入解析Tokens的本質(zhì),探討其在大模型中的作用,以及按Tokens收費的合理性、優(yōu)勢和未來趨勢,供大家參考。
如果你用過ChatGPT、文心一言這類大模型產(chǎn)品,可能會注意到它們的收費方式很特別——按Tokens數(shù)量計費。這和傳統(tǒng)軟件按次數(shù)、按時間收費的模式完全不同。
為什么大模型對Tokens這么“斤斤計較”?Tokens到底是什么呢?
一、什么是Tokens?
在大語言模型中,Token 是指輸入文本的一小部分,它可以是一個單詞、一個字符或者一部分單詞。在不同的語言模型中,Token 的定義和處理方式可能有所不同,但基本原理是一致的:模型將文本分割成更小的單元進(jìn)行處理和理解。
1. 拆解文本的“樂高積木”
Tokens不是簡單的“字”或“詞”,而是大模型理解文本的最小單位。
- 中文:1個漢字 ≈ 1.5-2個Tokens(因為要考慮詞語組合)
- 英文:1個單詞 ≈ 1-3個Tokens(比如“ChatGPT”會被拆成“Chat”+“GPT”)
特殊符號:標(biāo)點、空格都可能單獨算Token
舉個例子:
“你好!今天天氣真好。”(共8個字)
實際可能被拆成:你 | 好 | ! | 今天 | 天氣 | 真 | 好 |。 → 8個Tokens
2. 為什么非要拆成Tokens?
人類看文字是整體,但AI只能處理數(shù)字。Tokens相當(dāng)于把文字轉(zhuǎn)成數(shù)字編碼的“橋梁”,每個Token對應(yīng)一串?dāng)?shù)字(比如你=1024,好=2048),方便AI計算。
二、那為什么非要按Tokens收費呢?
大模型運行的計算成本非常高按tokens計費是為了更精準(zhǔn)控制資源使用這樣的計費方式更加的透明和公平
1. 成本跟著Tokens走
- 算力消耗:處理100個Tokens的提問,比10個Tokens復(fù)雜10倍,GPU顯卡要燒更多電。
- 內(nèi)存占用:AI生成答案時,需要記住之前的Tokens(類似你寫作文要記得前文),Tokens越多,內(nèi)存壓力越大。
- 響應(yīng)時間:Tokens越多,AI“思考”時間越長,服務(wù)器排隊更久。
2. 更公平的“用多少付多少”
傳統(tǒng)會員制(比如包月)的問題是:輕度用戶補貼重度用戶。按Tokens收費后,偶爾用AI查資料的人不用幫天天寫代碼的土豪用戶買單。
3. 商業(yè)模式的可持續(xù)性
大模型訓(xùn)練成本極高(GPT-4耗資約1億美元),按Tokens收費能讓企業(yè)根據(jù)實際使用量調(diào)整資源,避免虧損,持續(xù)優(yōu)化模型。
三、Tokens和傳統(tǒng)API收費有啥不同?
雖然,DeepSeek也是通過API調(diào)用,但這只是技術(shù)方式,而不是收費方式。不過,之前的API調(diào)用,業(yè)界默認(rèn)的收費方式是按次收費,每調(diào)用一次,收取固定費用。簡單來說,傳統(tǒng)API像“按碗賣米粉”,一碗一個價;Tokens則是“按克賣和牛”,用得多就付得多。
四、除了API、Tokens收費方式,還有沒有其他收費方式?
除了按Tokens收費,市面上也有其他模式,但各有優(yōu)缺點:
1. 訂閱制(包月/包年)
? 適合高頻用戶
? 企業(yè)可能虧本(比如用戶瘋狂薅羊毛)
2. 按時間收費(比如1元/分鐘)
? 簡單直接
? 不公平(AI處理100字和1000字耗時不同)
3. 按功能分級(基礎(chǔ)版/專業(yè)版)
? 適合明確需求場景
? 無法覆蓋長尾需求
4. 為什么Tokens模式勝出?
它最接近真實成本,同時讓用戶靈活控制預(yù)算(比如設(shè)置每月Tokens上限)。
五、Tokens是AI世界的“硬通貨”
Tokens的本質(zhì):文本處理的“工作量單位”,直接掛鉤AI的算力成本。
- 收費邏輯:用多少資源付多少錢,避免“大鍋飯”式的不公平。
- 未來趨勢:隨著模型升級,單Token成本可能下降,但計費方式不會大變。
下次用AI時,不妨留意一下你的輸入字?jǐn)?shù)——你花的每一分錢,都在為這些“文本顆?!辟I單!
六、問題解答
Q:目前我們隨便用哪個大模型都是免費的,可以直接使用,那么這個token收費是哪方收費了呢。
A:目前雖然有一些大模型可以免費使用,但 token 收費主要是由大模型的服務(wù)提供商收取的。大模型的服務(wù)提供商主要是指那些開發(fā)、訓(xùn)練和部署大模型,并將其作為服務(wù)提供給用戶的公司或機(jī)構(gòu)。這些提供商通過自己的平臺或接口,讓用戶能夠使用大模型進(jìn)行各種應(yīng)用,如文本生成、自然語言處理等。
本文由 @貝琳_belin 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)
- 目前還沒評論,等你發(fā)揮!