這是一份寫給非技術(shù)崗的產(chǎn)品經(jīng)理/運(yùn)營(yíng)的token應(yīng)用指南?？梢栽诹私鈚oken概念的同時(shí)，也能夠知道設(shè)計(jì)產(chǎn)品時(shí)和token相關(guān)的注意點(diǎn)。

自從2022年末OpenAI推出通用大語(yǔ)言模型ChatGPT后，這兩年各種大語(yǔ)言模型層出不窮，眼花繚亂。可能你們公司也蠢蠢欲動(dòng)，“我們也要做AI+產(chǎn)品！”。接著你所在的產(chǎn)品部門喜獲一個(gè)Epic，“研究如何引入AI升級(jí)原本的產(chǎn)品”或者“研究引入AI是否可以找到新的增長(zhǎng)點(diǎn)”。

這個(gè)時(shí)候還沒怎么了解AI的你，會(huì)怎么邁出第一步？你可能已經(jīng)是LLM的重度使用者，也可能是剛剛體驗(yàn)的小白。但本著產(chǎn)品經(jīng)理特有的好奇心，你可能最先想知道的是，大語(yǔ)言模型究竟有什么魔法，竟然可以“聽”懂我們的問(wèn)題，并給出恰當(dāng)?shù)幕卮?，有時(shí)候給到的回答甚至還滿讓人驚喜的。接著可能就會(huì)思考，那我們到底可以怎么使用大語(yǔ)言模型這個(gè)全能型”機(jī)“才呢？

Token作為大語(yǔ)言模型最基本的概念之一，可能很容易在你搜索相關(guān)資料的時(shí)候頻繁出現(xiàn)。

在這里小小劇透一下，token不僅是了解大語(yǔ)言模型時(shí)最先接觸到的基本概念之一，它也很有可能從此顛覆你某些產(chǎn)品技能，從商業(yè)分析到產(chǎn)品定價(jià)，從用戶體驗(yàn)到產(chǎn)品決策，都可能因?yàn)檫@個(gè)小小的概念讓你產(chǎn)品技能的做法或流程變的很不一樣。

一、Token的基本概念

那到底什么是token呢？Token就是指文本中最小的有意義的單位。是不是有點(diǎn)抽象？我們來(lái)通過(guò)一個(gè)簡(jiǎn)單的例子看下大語(yǔ)言模型是怎么回答我們的問(wèn)題，并理解token到底是什么。

1. 大語(yǔ)言模型怎么回答我們的問(wèn)題？

當(dāng)大語(yǔ)言模型收到我們一個(gè)問(wèn)題，它的運(yùn)作原理其實(shí)很簡(jiǎn)單，用一個(gè)我很喜歡的教授說(shuō)的一個(gè)很形象的比喻，就是在做文字接龍游戲。也就是給它一個(gè)沒有完成的句子，它幫你補(bǔ)完。在補(bǔ)句子的過(guò)程中，它會(huì)預(yù)測(cè)接下來(lái)接哪個(gè)字是最合理的。

比如問(wèn)大語(yǔ)言模型，“中國(guó)的首都在哪里？”，它會(huì)覺得可能接“北”最合理，然后把輸出的內(nèi)容接在你的問(wèn)題后面，所以這次的輸入就變成，”中國(guó)的首都在哪里？北“，這個(gè)時(shí)候它會(huì)覺得接”京“最合理。接下去重復(fù)上一個(gè)步驟，然后發(fā)現(xiàn)接好”京“之后看起來(lái)沒什么好接的了。就覺得這句句子補(bǔ)完了。那”北京“就是它回答的答案。

2. Token到底是什么

我們給大語(yǔ)言模型一個(gè)未完成的句子，后面可以接的字有很多不同的可能。比如輸入上海大，可能是上海大學(xué)，可能是上海大樓，可能是上海大師賽等等等等。

實(shí)際上大語(yǔ)言模型的輸出就是給每一個(gè)可以接的符號(hào)一個(gè)機(jī)率?！睂W(xué)“是一個(gè)符號(hào)，”樓“是一個(gè)符號(hào)，”師“也是一個(gè)符號(hào)。所以它的輸出其實(shí)就是一個(gè)幾率分布，即給每一個(gè)可以選擇的符號(hào)一個(gè)機(jī)率。然后按照這個(gè)幾率分布投骰子，投到哪個(gè)符號(hào)，那個(gè)符號(hào)就會(huì)被輸出出來(lái)。這些符號(hào)又叫做token。

這就是我們經(jīng)常所說(shuō)的，大語(yǔ)言模型的本質(zhì)上就是在預(yù)測(cè)下一個(gè)token出現(xiàn)的概率。也正是因?yàn)檫@樣，即使問(wèn)大語(yǔ)言模型相同的問(wèn)題，每次產(chǎn)生的答案可能也都是不一樣的。因?yàn)槊看蔚幕卮鸲际怯须S機(jī)性的。

就如同我們?cè)O(shè)計(jì)MVP產(chǎn)品的時(shí)候，最困難的事情不就是怎么定義這個(gè)Minimum么？那”文本中最小的有意義的單位“里的“最小”指的是什么呢？一個(gè)字？一個(gè)詞？

這件困難的事情在訓(xùn)練語(yǔ)言模型時(shí)就交給了模型開發(fā)者，模型開發(fā)者會(huì)預(yù)先設(shè)定好token，用于平衡計(jì)算復(fù)雜度和語(yǔ)言信息的覆蓋，所以這里的“最小”可能是一個(gè)單詞，可能是一個(gè)子詞，也可能是一個(gè)字符。

正因?yàn)槊總€(gè)模型在開發(fā)的時(shí)候會(huì)設(shè)定好token，所以

• 不同的語(yǔ)言模型，定義的token可能不一樣
• 中文的語(yǔ)言模型和英文的語(yǔ)言模型定義的token可能也不一樣

接下來(lái)，每個(gè)token都會(huì)被轉(zhuǎn)換成一串對(duì)應(yīng)且不變的數(shù)字，因?yàn)榛谏窠?jīng)網(wǎng)絡(luò)的語(yǔ)言模型不能理解文本，只能理解數(shù)字。

所以，一個(gè)模型的token總量可以理解為這個(gè)模型的詞匯表。而每個(gè)token都是一連串的數(shù)字，且這個(gè)數(shù)字是不變的。

二、大語(yǔ)言模型中token長(zhǎng)度限制

模型能夠同時(shí)處理token的數(shù)量，叫做token的長(zhǎng)度。這個(gè)長(zhǎng)度是有限制的。比如我們使用一個(gè)模型，它的token限制是4096個(gè)token，這就意味著你在一次請(qǐng)求中，輸入和輸出的總token數(shù)不能超過(guò)4096個(gè)。

Token長(zhǎng)度限制很容易和上下文窗口限制混淆。

上下文窗口限制指的是模型在一次交互中可以”記住“多少信息，也就是在整個(gè)對(duì)話過(guò)程中可以使用的最大token數(shù)。上下文窗口決定了模型對(duì)輸入內(nèi)容的理解深度和生成輸出的能力。比如，模型的上下文窗口大小是4096 token，那么無(wú)論你對(duì)模型輸入多少次信息，所有這些輸入和生成的內(nèi)容加起來(lái)不能超過(guò)4096 token。一旦超過(guò)，最早輸入的內(nèi)容可能會(huì)被”遺忘“，從而無(wú)法用于生成新的輸出。

總結(jié)來(lái)說(shuō)，

• token長(zhǎng)度限制指模型一次輸入或輸出的總token限制數(shù)。
• 上下文窗口限制指整個(gè)對(duì)話過(guò)程中，模型能夠處理所有token的最大數(shù)量。

舉個(gè)例子

假設(shè)我們?cè)谕鎮(zhèn)骷垪l游戲，我們只能在紙條上寫下4096個(gè)字符的內(nèi)容，也就是說(shuō)我們之間所有的交流內(nèi)容不能超過(guò)這個(gè)長(zhǎng)度。這個(gè)就是“上下文窗口限制”。一旦紙條上的內(nèi)容超過(guò)了4096個(gè)字符，就必須把最早的內(nèi)容擦掉一些，才能寫下新的內(nèi)容。而“token限制”就是我們每次傳紙條最多能寫的字符，比如我們?cè)O(shè)置了我們每次傳遞最多只能寫200個(gè)字符。那如果在一次傳遞中我已經(jīng)寫了180個(gè)字符，你就只能寫20個(gè)字符。

三、設(shè)計(jì)產(chǎn)品時(shí)，token會(huì)給到你的”驚喜”和”驚嚇”

“驚嚇”：token 從技術(shù)單元轉(zhuǎn)化為計(jì)費(fèi)單元，并且可能比你想象的更貴！

影響：引入大語(yǔ)言模型后，當(dāng)我們分析ROI時(shí)，如果沒有把token的使用成本考慮進(jìn)入，不僅不能為公司產(chǎn)生利潤(rùn)，還可能賠錢。有些時(shí)候，token的使用成本甚至可能改變產(chǎn)品的定價(jià)策略。

舉例：

企業(yè)有一個(gè)線上模擬練習(xí)的產(chǎn)品，專門為用戶提供在特定場(chǎng)景下的技能練習(xí)，從而讓用戶通過(guò)刻意練習(xí)后在實(shí)際工作中也能穩(wěn)定的發(fā)揮所需的技能。通常當(dāng)我們分析這個(gè)產(chǎn)品的ROI時(shí)，成本這邊可能最大的投入是一次性的研發(fā)成本以及后續(xù)的軟件維護(hù)成本。

企業(yè)想要引入大語(yǔ)言模型升級(jí)這個(gè)模擬練習(xí)產(chǎn)品，這樣可以讓用戶有更真實(shí)的體驗(yàn)從而達(dá)到更好的練習(xí)效果。當(dāng)我們分析這個(gè)產(chǎn)品的ROI時(shí)，不僅要考慮研發(fā)成本等，還需要計(jì)算出用戶每練習(xí)一次token所產(chǎn)生的成本，這個(gè)成本不僅僅是產(chǎn)品發(fā)布后用戶使用時(shí)會(huì)產(chǎn)生的，在產(chǎn)品研發(fā)測(cè)試、GTM的過(guò)程中都可能產(chǎn)生。而這些成本不僅會(huì)影響GTM Stragety，也會(huì)影響到后續(xù)的產(chǎn)品定價(jià)。

產(chǎn)品經(jīng)理只有把token相關(guān)的影響因素都充分考慮后，才能提升用戶體驗(yàn)的同時(shí)還能保證產(chǎn)品盈利。

“驚嚇“：更好的體驗(yàn)？呃，也許沒那么美好。

影響：我們都知道在互聯(lián)網(wǎng)時(shí)代性能體驗(yàn)有一個(gè)原則是2-5-10原則，也就是當(dāng)用戶能夠在2秒以內(nèi)得到響應(yīng)時(shí)，會(huì)感覺系統(tǒng)的響應(yīng)很快，而在2-5秒間會(huì)覺得還可以，在5-10秒間覺得勉強(qiáng)可以接受，但是當(dāng)超過(guò)10s時(shí)，用戶會(huì)因?yàn)楦杏X糟透了而離開你的產(chǎn)品。但是當(dāng)我們引入大語(yǔ)言模型后，我們很有可能為了更好的功能用了很長(zhǎng)的提示詞，用戶很有可能因?yàn)榈却龝r(shí)間過(guò)長(zhǎng)直接離開了產(chǎn)品，甚至都沒有機(jī)會(huì)體驗(yàn)到AI帶來(lái)的功能提升。

舉例： 還是上面那個(gè)例子，企業(yè)想要引入大語(yǔ)言模型升級(jí)模擬練習(xí)產(chǎn)品，這個(gè)模擬練習(xí)中有一個(gè)NPC會(huì)和用戶互動(dòng)。為了讓NPC能夠根據(jù)用戶的輸入給到更精準(zhǔn)的反饋，我們給到NPC一個(gè)非常詳細(xì)的劇本，包含了方方面面的考量。NPC確實(shí)能夠非常精準(zhǔn)的回復(fù)用戶每次的輸入，但是用戶每一次輸入之后都需要等待10秒以上，如果這個(gè)練習(xí)的互動(dòng)是很多輪次的，那顯然用戶是沒有這個(gè)耐心完成練習(xí)的。

產(chǎn)品經(jīng)理找到準(zhǔn)確性和用戶體驗(yàn)的最佳平衡點(diǎn)，才能讓用戶感受到AI帶來(lái)的更好的體驗(yàn)。

”驚喜“：效果太差？不，只是token限制了模型發(fā)揮。

影響：在互聯(lián)網(wǎng)時(shí)代，一旦我們?cè)O(shè)計(jì)產(chǎn)品功能沒有達(dá)到我們的效果，或者技術(shù)實(shí)現(xiàn)成本過(guò)高或有困難的時(shí)候，我們需要一起討論并修改整個(gè)產(chǎn)品。而當(dāng)你的想要達(dá)到的功能是基于大模型時(shí)，有時(shí)候你只需要做一個(gè)動(dòng)作，就是換一個(gè)大預(yù)言模型，產(chǎn)品功能就達(dá)到我們的預(yù)期效果了。

舉例：

企業(yè)想要把私有知識(shí)庫(kù)搬進(jìn)大模型，這樣但凡之后用戶問(wèn)到和這個(gè)領(lǐng)域相關(guān)的問(wèn)題，AI就能表現(xiàn)的非常專業(yè)。但是有些知識(shí)庫(kù)非常龐大的。在前面token長(zhǎng)度我們了解到，大語(yǔ)言模型對(duì)于token是有限制的，如果我們選擇了一個(gè)模型，它的token限制是4096，但是可能其中一個(gè)知識(shí)庫(kù)本身的量級(jí)已經(jīng)占用了3000個(gè)token，再加上相關(guān)的提示詞所需要的token數(shù)，知識(shí)庫(kù)的3000個(gè)token在2500個(gè)token的時(shí)候就被截?cái)?。這個(gè)時(shí)候當(dāng)用戶問(wèn)到相關(guān)知識(shí)的時(shí)候，準(zhǔn)確率只有60%。但是當(dāng)我們換了一個(gè)模型，它的token限制是8192，那么準(zhǔn)確率一下子就飆升到92%并達(dá)到了產(chǎn)品設(shè)計(jì)時(shí)的期待。

四、結(jié)語(yǔ)

Token是語(yǔ)言模型中一個(gè)非常重要的基本概念，我們?cè)搅私鈚oken，就可以越有效地利用大語(yǔ)言模型，從而幫助我們?cè)谠O(shè)計(jì)AI+產(chǎn)品時(shí)更加的游刃有余！