在數(shù)字化浪潮的推動下，推薦系統(tǒng)已成為連接用戶與內(nèi)容、商品和服務(wù)的橋梁。本文深入探討了推薦策略評估指標(biāo)體系的定義，旨在為策略產(chǎn)品經(jīng)理提供一套系統(tǒng)化的思維框架。

今天跟大家聊聊推薦系統(tǒng)當(dāng)中的業(yè)務(wù)評估指標(biāo)如何制定。我面試的時候也會問這個問題，很多同學(xué)在這塊會搞混，很多人會回答：精確率，召回率，AUC這些？

這些確實(shí)是衡量推薦模型本身的一些指標(biāo)，為什么說這些回答本身也沒有大問題？

我們先來看看用模型的方式去解決問題的思路：

在問題建模階段，其中就有一項(xiàng)就是關(guān)于評估指標(biāo)的確認(rèn)，這塊主要是用來反映模型本身的效果，通常來說就是剛才說的精確率，召回率，AUC這些。

而這些指標(biāo)通常是算法工程師比較關(guān)注的，那么很明顯這個問題關(guān)鍵在于業(yè)務(wù)評估指標(biāo)怎么定義，所以就應(yīng)該更多的從產(chǎn)品，業(yè)務(wù)的角度去思考。

像搜索推薦這種策略性產(chǎn)品，業(yè)務(wù)評估是一項(xiàng)必須要做的事情。通過業(yè)務(wù)評估的方法，發(fā)現(xiàn)當(dāng)前策略中存在的問題點(diǎn)，對于優(yōu)先級比較高的問題以需求和項(xiàng)目的方式推薦，這是策略產(chǎn)品經(jīng)理主要工作之一。

做到这三点挑战，产品经理只会不断升值

好的产品经理是很稀缺的，懂用户、懂商业、懂数据的产品经理走出互联网，依然是抢手货。相反，如果只做简单传话、低效执行、浅层思考的产品经理，恐怕走不过未来3-5年的洪流。

查看详情 >

在之前的文章當(dāng)中，我不止一次提到過策略是業(yè)務(wù)的策略，撇開業(yè)務(wù)談策略都是耍流氓，因此對于推薦策略的評估也需要區(qū)分不同的業(yè)務(wù)場景。

今天我會給大家講一下當(dāng)前比較主流的三大類業(yè)務(wù)的推薦系統(tǒng)的業(yè)務(wù)評估指標(biāo)。

01 內(nèi)容類場景

內(nèi)容是一種比較常見的推薦結(jié)果形式，我們常說的內(nèi)容不僅僅是指文字，還包括像音頻，短視頻，直播等新型的內(nèi)容形態(tài)。

除了像今日頭條，抖音，騰訊新聞，微博，知乎這類應(yīng)用存在大量的內(nèi)容推薦策略，其實(shí)諸如淘寶，京東等電商業(yè)務(wù)也有很多的內(nèi)容個性化應(yīng)用。

最新改版的淘寶，首頁推薦feed流里面就包含了大量的內(nèi)容推薦結(jié)果，而且還把“逛逛”內(nèi)容社區(qū)搬到了第二個TAB上。無一例外，這些內(nèi)容的背后都是無數(shù)個性化內(nèi)容推薦策略運(yùn)作的結(jié)果。

一般我們在評估類似這種內(nèi)容場景下的推薦策略的時候，相比轉(zhuǎn)化，我們更注重用戶對內(nèi)容信息的消費(fèi)效率。因此對于這類型場景下的推薦效果我們更應(yīng)該采用信息維度的指標(biāo)去進(jìn)行評估。通常包括如下幾個：

• 點(diǎn)擊數(shù)：內(nèi)容被點(diǎn)擊的人數(shù)和次數(shù)
• CTR：內(nèi)容的曝光點(diǎn)擊率
• 停留時長：用戶在內(nèi)容feed，內(nèi)容詳情頁的停留時長
• 閱讀深度：用戶對內(nèi)容的瀏覽層級，通常通過單次瀏覽頁面的個數(shù)來衡量

上面這些指標(biāo)通常是對內(nèi)容類推薦場景下的策略效果進(jìn)行業(yè)務(wù)評估使用的指標(biāo)。

02 交易類場景

交易類場景則比較好理解，典型的比如淘寶，京東首頁的猜你喜歡，為你推薦中的商品feed。因?yàn)橥扑]的結(jié)果就是商品，所以此時推薦系統(tǒng)的目標(biāo)就是讓用戶在該商品上進(jìn)行下單，轉(zhuǎn)化。

很明顯的一個流程就是：商品推薦位-商品列表頁/詳情頁-購物車-提交訂單頁-支付完成頁。

相比內(nèi)容類場景下，推薦系統(tǒng)注重對內(nèi)容信息的消費(fèi)效率，在交易類場景下，推薦系統(tǒng)則更關(guān)注用戶在此場景下產(chǎn)生的訂單量，訂單金額。

所以對這類場景下推薦策略效果進(jìn)行業(yè)務(wù)評估時，常用的指標(biāo)有：

1. CVR：訂單曝光轉(zhuǎn)化率
2. CTR：點(diǎn)擊曝光轉(zhuǎn)化率
3. 訂單量：由對應(yīng)推薦位帶來的訂單量
4. 訂單金額：由對應(yīng)推薦位帶來的訂單金額
5. 支付率：從提單到支付的完成率
6. 加車率：從商品詳情頁到購物車的轉(zhuǎn)化率

交易類場景上面五個是比較通用的，可以看出來交易類場景基本以當(dāng)前場景為平臺帶來的收益為主。

03 體驗(yàn)類場景

最后一個則無論是在內(nèi)容信息，還是在交易成交類場景下都需要關(guān)注的：體驗(yàn)類場景。

相比上面的兩大場景，我們可以用客觀的數(shù)據(jù)來進(jìn)行衡量，體驗(yàn)類場景則略帶主觀。

因此在進(jìn)行綜合評估之前，通常需要認(rèn)為制定一套團(tuán)隊(duì)公認(rèn)的評估標(biāo)準(zhǔn)，以指導(dǎo)體驗(yàn)場景下對推薦策略好壞的評估。

雖然需要人為制定評估標(biāo)準(zhǔn)去規(guī)范整個評估的流程，但并不是說體驗(yàn)類場景沒有對應(yīng)的評估指標(biāo)。下面幾個是常見的幾個指標(biāo)：

1. 主動負(fù)反饋率：用戶主動反饋不感興趣的比率。
2. 品類多樣性：衡量推薦結(jié)果的豐富度
3. 用戶滿意度指數(shù)：通過case評測的方法來綜合評定策略的滿意度

上面三類就是對推薦策略常見的三種業(yè)務(wù)評估指標(biāo)，還是那句話撇開業(yè)務(wù)談策略是耍流氓，同樣對于不同場景下的推薦結(jié)果的評估也需要制定不同的評估標(biāo)準(zhǔn)和指標(biāo)。

當(dāng)然在實(shí)際應(yīng)用的時候，場景大多數(shù)情況下不是單一的。比如淘寶首頁推薦feed流，有商品，有內(nèi)容，也有短視頻等，所以很多時候我們要綜合考慮多場景的評估。

以上希望能給你帶來啟發(fā)。