你是不是也有過這樣的經(jīng)歷或感受：只要刷起短視頻軟件，不花上一定時間消磨在其中，你滑動的手指好像就停不下來？而在這現(xiàn)象背后，可能是“推薦系統(tǒng)”和“算法”在讓你“上癮”。具體如何解讀推薦系統(tǒng)的存在和作用？一起來看看作者的分析。

不知道你是不是跟我一樣，特別喜歡刷抖音，經(jīng)常一天要刷個把小時，無論是通勤路上，還是工作間隙，一有時間就會刷起來，在自己不間斷發(fā)出的「哈哈」和「臥槽」聲中逐漸沉迷，無法自拔。

不過可能不只你我，截至2022年第四季度，抖音日活用戶超7億，人均日使用時長高達(dá)140分鐘，換句話說，每天有7億人，平均刷2個多小時短視頻，這還不算快手、微信視頻號等其它平臺。短視頻到底有什么魔力，能夠讓我們?nèi)绱恕干习a沉迷」？

本文將從推薦系統(tǒng)實(shí)現(xiàn)原理的角度剖析短視頻「上癮」原因和不良影響，以及對我們該如何應(yīng)對。

一、為什么會對短視頻「上癮」？

短視頻讓我們上癮的魔力歸根結(jié)底就是：太好看了！非常符合我們每個人的觀看內(nèi)容偏好，就像預(yù)言家一樣，總能精準(zhǔn)的知道，我們會喜歡什么樣的內(nèi)容。

能達(dá)到這樣的精準(zhǔn)效果，短視頻平臺靠的主要是：海量的UGC視頻內(nèi)容供給，巨量的用戶及行為數(shù)據(jù)，智能推薦算法。這三者組成一套內(nèi)容推薦系統(tǒng)，做到對內(nèi)容和人的充分理解，為我們提供精準(zhǔn)的內(nèi)容消費(fèi)預(yù)測和候選推薦。

這就像你的朋友們給你推薦電影，朋友A自身看過很多電影，同時也大概知道你喜歡或者討厭什么類型的電影；另一個朋友B沒怎么看過電影，跟你也不太熟悉。那么朋友A更大概率能給你推薦符合你口味的電影。

這套推薦系統(tǒng)也像是你的一個「朋友」，只不過他看過數(shù)百億乃至千億數(shù)量的短視頻，同時也了解你幾乎所有的畫像信息（年齡/性別/收入/位置/興趣等）和此前你對視頻做過的所有行為數(shù)據(jù)（完播/點(diǎn)贊/評論/關(guān)注/轉(zhuǎn)發(fā)等），到今天為止，這個「朋友」找到符合你口味短視頻的概率非常嚇人，接近100%，并且?guī)缀跏窃谌魏文愦蜷_短視頻app的時候。這個「朋友」具體是怎么工作的呢，能有如此恐怖的效果？

內(nèi)容推薦系統(tǒng)的工作流程大概如下圖所示：

推薦算法的流程，簡單理解可以分為召回，粗排（序）和精排（序）三個步驟。召回就是從我們的海量內(nèi)容庫中，按照各種理由找到部分作品進(jìn)入用戶的候選作品池，這些召回理由有很多，比如當(dāng)前最熱的作品，比如你的朋友點(diǎn)贊過的作品，等等。

粗排主要是做一些簡單粗略的排序，用于在召回后減少候選池的內(nèi)容量級，比如各個召回源的TOPK排序，粗排會將候選池截?cái)嗟揭粋€可控的量級（一般到千的量級），不然精排階段會非常耗時，精排一般都采用模型進(jìn)行排序，比如LR（線性回歸），LR+GBDT（線性回歸+樹模型），F(xiàn)M（因子分解模型），DNN（深度學(xué)習(xí)模型）等，排序后候選內(nèi)容池會到百量級。

這些排序策略和模型的輸入都是用戶的各種靜態(tài)和行為特征（也就是圖中的用戶特征和用戶行為日志，比如你的地理位置信息、你對內(nèi)容的點(diǎn)贊、評論等行為）以及內(nèi)容的特征（比如，內(nèi)容的標(biāo)題、分類、基于畫面理解提取的特征向量等），輸出就是你對某一個候選視頻的各種行為目標(biāo)的預(yù)測，比如，多大概率會看完、多大概率會點(diǎn)贊等等。

基于這些目標(biāo)預(yù)測，最終會綜合成一個唯一排序分值，決定最終推薦你的候選視頻的順序。然后會下發(fā)到你的手機(jī)App上，讓你能刷到，你刷到之后的所有后續(xù)對于視頻的行為，也會通過日志實(shí)時上報(bào)和進(jìn)行計(jì)算，再更新相關(guān)的所有數(shù)據(jù)，用于迭代下一刷視頻的推薦。

想必到這里你會發(fā)現(xiàn)，推薦系統(tǒng)是一個動態(tài)循環(huán)，不停的基于內(nèi)容的更新，用戶的行為反饋進(jìn)行迭代和更新，保證最終預(yù)測準(zhǔn)確的概率逼近100%。（更詳細(xì)的推薦系統(tǒng)介紹，感興趣的可以看我之前寫的一篇文章運(yùn)營必知「推薦」二三事）這套系統(tǒng)，可以很好地提升你消費(fèi)內(nèi)容的體驗(yàn)，讓你對每個候選視頻都很滿意的看完，甚至產(chǎn)生互動行為（點(diǎn)贊評論），不停的刷下去，因?yàn)檫@套系統(tǒng)優(yōu)化的目標(biāo)就是讓你做這些。

有沒有突然感覺后背發(fā)涼，表面上看，推薦系統(tǒng)似乎為我們消費(fèi)內(nèi)容提供便捷的服務(wù)，但從推薦系統(tǒng)的角度看，我們的行為似乎是被「他」掌控的。

推薦系統(tǒng)比我們自己都更了解自己，當(dāng)我們對短視頻「上癮」后，我們的那些自由的意志，我們對世界的認(rèn)知和各種決策是不是也會被這套機(jī)器系統(tǒng)所左右？如果有人惡意的使用這套系統(tǒng)，我們會不會被潛移默化的植入某些想法（洗腦），進(jìn)而影響我們在現(xiàn)實(shí)世界的行為？

答案是肯定的！而這一切的原因都是來自算法的系統(tǒng)性偏差。

二、算法的系統(tǒng)性偏差（Bias）

通過前面的介紹，我們知道推薦系統(tǒng)的工作流程，是「用戶」通過與內(nèi)容的交互，產(chǎn)生了「數(shù)據(jù)」，這些數(shù)據(jù)再被推薦「模型」用于訓(xùn)練和預(yù)測用戶后續(xù)的內(nèi)容偏好，「模型」預(yù)測的結(jié)果再推薦給「用戶」，進(jìn)一步影響用戶未來的行為和決策。由此可見，推薦系統(tǒng)是由用戶（User）、數(shù)據(jù)（Data）、模型（Model），三者相互作用產(chǎn)生的一個動態(tài)的反饋閉環(huán)。如下圖所示：

在這個循環(huán)中，每一步推薦系統(tǒng)都會產(chǎn)生一定的偏差（Bias）。在用戶（User）和內(nèi)容交互產(chǎn)生數(shù)據(jù)（Data）的過程中會產(chǎn)生如下Bias：

• 位置偏差（Position Bias）：位置偏差在搜索系統(tǒng)中是一個經(jīng)典并持續(xù)存在的偏差，同樣在推薦系統(tǒng)中也會存在，用戶更傾向于和位置靠前的內(nèi)容進(jìn)行互動。尤其會對“用戶點(diǎn)擊行為”作為正例信號進(jìn)行學(xué)習(xí)的模型，位置偏差會在訓(xùn)練、評估階段產(chǎn)生錯誤影響。
• 觀測/曝光偏差（Observation Bias/Exposure Bias）：因?yàn)閮H有一部分特定內(nèi)容曝光給了用戶，沒有曝光的內(nèi)容卻也不能直接認(rèn)為是用戶不感興趣，用戶用戶自身的喜好（比如主動搜索，點(diǎn)擊等）或者所處的地理位置，興趣圈層，都會導(dǎo)致部分內(nèi)容更容易曝光。
• 選擇偏差（Selection Bias）：用戶傾向于給自己喜歡或者不喜歡的內(nèi)容進(jìn)行反饋，那些喜惡程度不高的一般就不會有反饋，這就會導(dǎo)致，可觀測到的互動反饋數(shù)據(jù)并不是所有內(nèi)容的代表性樣本。換而言之，這部分?jǐn)?shù)據(jù)是“非隨機(jī)缺失”，這就會導(dǎo)致后續(xù)的內(nèi)容更偏向兩個極端，完全不給討厭的內(nèi)容，只給超級喜歡的。
• 從眾偏差（Conformity Bias）：用戶對于內(nèi)容的評價和反饋會和大眾趨同，比如一個幾萬贊的視頻，比一個沒有贊的視頻更容易讓用戶點(diǎn)贊。

在數(shù)據(jù)進(jìn)入模型的階段，因?yàn)槟Ｐ陀懈鞣N假設(shè)，用于提升模型的泛化能力，例如我們常用的奧卡姆剃刀原理、CNN的局部性假設(shè)、RNN的時間依賴假設(shè)、注意力機(jī)制假設(shè)等等，通常這些是有利的，但是也會造成也會造成歸納偏差（Inductive Bias）。

模型輸出結(jié)果給到用戶的過程中，推薦結(jié)果常見的偏差有：

• 熱門偏差（Popularity Bias）：熱門的內(nèi)容獲得了比預(yù)期更高的熱度，長尾物品得不到足夠曝光、馬太效應(yīng)嚴(yán)重。
• 不公平性（Unfairness）：這個偏差的本質(zhì)原因是數(shù)據(jù)的有偏，會帶來社會性問題（年齡、性別、種族、社交關(guān)系多少等歧視）。不公平性更多是由于系統(tǒng)數(shù)據(jù)分布不平衡造成的，例如某個基本由年輕用戶組成的內(nèi)容平臺較難對于老年用戶的行為進(jìn)行建模，系統(tǒng)推薦出的視頻會更傾向于有年輕化。
• 內(nèi)容偏差（Content Bias）：內(nèi)容本身也存在巨大的偏差，雖然當(dāng)前短視頻平臺有著海量的內(nèi)容，但這些內(nèi)容中，品類和主題分布上一定是不均勻的，而且會存在各種導(dǎo)向的內(nèi)容，有的甚至是欺騙性的內(nèi)容，比如我們經(jīng)?？吹降臉?biāo)題黨，夸大性內(nèi)容和謠言，這些內(nèi)容上的偏差對于推薦系統(tǒng)來說是很難甄別的。

上述的這些偏差，在推薦系統(tǒng)的反饋循環(huán)中會不斷被加?。˙ias Amplification in Loop），模型在存在偏差的歷史數(shù)據(jù)中，通過不斷的迭代學(xué)習(xí)，讓偏差進(jìn)一步加深，導(dǎo)致推薦生態(tài)逐步惡化。有些偏差目前是有辦法解決的，比如位置偏差，但有些偏差，比如內(nèi)容偏差，不公平性，這些都是固有數(shù)據(jù)導(dǎo)致的，難以完全解決。

值得注意的是，雖然偏差在不斷加深，但用戶的使用時長卻隨著明顯增長，當(dāng)我們嘗試去解決一些偏差的時候（Debias），大概率都是會帶來用戶使用時長的下降，特別是在比較短的周期內(nèi)，這像極了毒品上癮后的戒斷反應(yīng)。造成這種「戒斷反應(yīng)」的本質(zhì)原因是因?yàn)槠畹漠a(chǎn)生，基本是來自用戶自身的偏見，而推薦系統(tǒng)在不斷的強(qiáng)化這個偏見。

這種偏見的強(qiáng)化，會給我們的認(rèn)知帶來很多不良的影響：

• 推薦系統(tǒng)對于偏見的強(qiáng)化，會打破我們在強(qiáng)化現(xiàn)有想法和獲取新想法之間的認(rèn)知平衡，它使得我們周圍充滿著我們熟悉且認(rèn)可得想法和觀點(diǎn)，讓我們對自己的想法過于自信，大家應(yīng)該都有類似的例子，我們很容易在短視頻上扎堆看到跟你想法一致的視頻，很多內(nèi)容創(chuàng)造者也在刻意的生產(chǎn)迎合大家的內(nèi)容，會讓你覺得自己十分的正確，使我們沉浸在同質(zhì)化的信息和觀點(diǎn)之中，導(dǎo)致人對不同的觀點(diǎn)、文化和思想缺乏了解。
• 推薦系統(tǒng)會把我們的注意力限制在一個非常狹窄的領(lǐng)域內(nèi)，也就是人們常說的「信息繭房」，限制我們探索到新內(nèi)容的可能，甚至?xí)硪庾R形態(tài)的偏見，導(dǎo)致人的思想收到限制，有可能使人深陷分裂和對立的泥淖之中。大家看看相同的內(nèi)容，在抖音下的評論和在twitter下的評論，就大概能理解這種對立。
• 在有偏的內(nèi)容中，我們接觸到的信息量有限，缺乏全面的信息支持，容易誤導(dǎo)判斷力，做出不準(zhǔn)確的判斷和決策。特別是很多虛假和錯誤的引導(dǎo)內(nèi)容，更大概率的造成我們的判斷錯誤。大家自己回想一下，那些廣為流傳的謠言。

推薦系統(tǒng)，仿佛在悄悄地編織一個「囚籠」，讓我們在手機(jī)屏幕的方寸之地沉迷且享受，消磨著時間。幸運(yùn)的是，我們還有自醒的可能，想必你也曾在刷了幾個小時短視頻后，陷入深深的不安和煩躁。那么我們?nèi)绾尾拍軖昝撏扑]系統(tǒng)對我們的「囚禁」呢？

三、如何掙脫推薦系統(tǒng)的「囚禁」？

其實(shí)掙脫推薦系統(tǒng)最簡單的方法就是，卸載掉這些個性化推薦的內(nèi)容app。網(wǎng)信辦在2021年8月份提出，并于2022年3月1日正式施行的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》中直指算法推薦功能，提出算法推薦服務(wù)提供者應(yīng)當(dāng)向用戶提供不針對個人特征的選項(xiàng)，或者向用戶提供便捷的關(guān)閉算法推薦服務(wù)的選項(xiàng)。我們可以看出來，國家也意識到了算法的不良影響，并在嘗試幫我們解決這個問題。

但我覺得卸載或者關(guān)掉所謂的推薦系統(tǒng)，不是對抗算法「囚禁」的好方法。我們身處信息爆炸的時代，推薦系統(tǒng)本身是一個為我們篩選和過濾的工具，而讓算法能「囚禁」我們的原因是我們喪失了自主思考的習(xí)慣，選擇部分甚至無條件的相信他們提供的內(nèi)容。

想要對抗推薦系統(tǒng)的「囚禁」，只能是我們自我覺醒，拿回信息選擇的主動權(quán)。

• 多元化的信息源，不要只局限于特定的平臺或者特定的社交圈子，可以通過關(guān)注不同的社交媒體賬號、閱讀不同領(lǐng)域的文章、參加不同類型的線下活動等方式獲取多元化的信息。多主動尋找不同觀點(diǎn)，善用搜索工具和一些信息聚合工具，不是一味的僅僅接受信息，這可以有效的幫助我們打破「信息繭房」，發(fā)現(xiàn)更大的世界。
• 培養(yǎng)批判性思維：對獲取信息進(jìn)行分析和評估，不要輕易相信和傳播未經(jīng)證實(shí)的消息。對于重要的信息，一定要查證信息的來源，并且比較不同來源的信息，要能夠區(qū)分什么是事實(shí)，什么是觀點(diǎn)，分析信息中的邏輯，從多個角度思考問題，避免受到單一思維模式的影響。有很多介紹批判性思維的書和文章，大家有興趣可以看看。

最后，借用Neil Postman（尼爾·波茲曼）在《技術(shù)壟斷：文化向技術(shù)投降》書中說的一句話作為結(jié)尾：「每一種新技術(shù)都既是包袱又是恩賜，不是非此即彼的結(jié)果，而是利弊同在的產(chǎn)物。」

我想推薦系統(tǒng)亦是如此。

主要參考資料：

• Bias and Debias in Recommender System: A Survey and Future Directions（https://dl.acm.org/doi/abs/10.1145/3564284）
• 《推薦系統(tǒng)實(shí)戰(zhàn)》項(xiàng)亮
• 推薦生態(tài)中的bias和debias （https://zhuanlan.zhihu.com/p/342905546）
• 算法社會的“囚徒風(fēng)險”（https://tisi.org/19332）
• Support byChatGPT