A/B 測試，簡單來說，就是為同一個目標制定兩個方案（比如兩個頁面），讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個方案更符合設(shè)計。那我們要如何通過 AB Testing 提升產(chǎn)品數(shù)據(jù)？

產(chǎn)品或者設(shè)計師在做設(shè)計方案時，會有一套方法論來制作多個方案，經(jīng)過評審之后一般都會得出一個平衡了用戶體驗和業(yè)務(wù)目標的方案。但往往也存在一種情況：A方案和B方案各有優(yōu)劣，實在無法主觀判斷兩個方案上線之后數(shù)據(jù)如何。

如果AB方案的實現(xiàn)成本不是很高，就可以使用AB Testing來解決。依據(jù)上線之后的數(shù)據(jù)表現(xiàn)，最終上線數(shù)據(jù)更好的方案。

1. 原理

數(shù)理統(tǒng)計學中有一個概念叫“假設(shè)檢驗(Hypothesis Testing）”，其基本的原理是對整體特征做出某種假設(shè)，然后通過抽樣研究的統(tǒng)計推理，對此假設(shè)應(yīng)該被拒絕還是接受作出推斷。

在假設(shè)檢驗中，存在原假設(shè)和備擇假設(shè)，以下圖為例：

改變按鈕樣式的AB Testing

原假設(shè)指改變按鈕樣式會帶來轉(zhuǎn)化率的提升，備擇假設(shè)是改變按鈕樣式不會帶來轉(zhuǎn)化率的提升。

原假設(shè)和備擇假設(shè)有且只能有一個為真。

2. 背景

Google是最早將AB Testing應(yīng)用到互聯(lián)網(wǎng)產(chǎn)品的公司，谷歌工程師在2000年進行了他們的第一次AB測試，試圖確定在搜索引擎結(jié)果頁面上顯示的最佳結(jié)果數(shù)量。后來AB測試不斷發(fā)展，但基礎(chǔ)和基本原則通常保持不變，2011年，谷歌首次測試后11年，谷歌進行了7,000多次不同的AB測試。

目前像Facebook、LinkedIn等公司都有專門的增長團隊來做AB Testing的實驗（增長團隊的核心就是不斷的進行AB Testing來提升產(chǎn)品數(shù)據(jù)），并且團隊負責人直接向CEO匯報，最近兩年國內(nèi)不少公司也越來越重視數(shù)據(jù)增長。

3. AB Testing越來越被重視的原因

為什么數(shù)據(jù)增長會在互聯(lián)網(wǎng)行業(yè)興起，我認為有兩點原因：

• 一是互聯(lián)網(wǎng)產(chǎn)品的表現(xiàn)形式趨于成熟，目前市場上主流的智能手機操作系統(tǒng)只有iOS和Android，它們在交互和視覺層面越來越規(guī)范和統(tǒng)一；
• 二是互聯(lián)網(wǎng)產(chǎn)品設(shè)計的方法論逐漸成熟，互聯(lián)網(wǎng)公司產(chǎn)品設(shè)計流程的分工已經(jīng)很細，產(chǎn)品經(jīng)理、交互設(shè)計師、視覺設(shè)計師，而且每個崗位都有成熟的方法論。

由于這兩點原因，導(dǎo)致大家做出來的東西在用戶體驗層面已經(jīng)拉不開很大的差距，這時候如何在同質(zhì)化產(chǎn)品中脫穎而出變得更加困難，其中通過科學的方法，采用認知心理學和統(tǒng)計學相關(guān)知識的AB Testing展現(xiàn)了它的威力，并為互聯(lián)網(wǎng)產(chǎn)品的數(shù)據(jù)增長帶來了新的動力。

4. 具體方法論：如何做實驗？

①提出想法，設(shè)定假設(shè)

得出假設(shè)的方法有很多，包括福格模型、頭腦風暴、經(jīng)驗總結(jié)、行業(yè)借鑒、公司不同部門人員提出建議、用戶調(diào)研、數(shù)據(jù)分析。方法有很多，以后我們會詳細介紹。

②預(yù)估成本/設(shè)定優(yōu)先級

有些實驗方案不僅涉及設(shè)計和開發(fā)成本，還需要額外的資金成本，像增加現(xiàn)金或優(yōu)惠券獎勵來提升轉(zhuǎn)化率的實驗，這個時候需要對該類實驗經(jīng)濟成本預(yù)估，并且結(jié)合ICE模型來設(shè)定優(yōu)先級，決定哪個實驗先做，哪個實驗后做。

ICE模型是指：Impact Level 重要度；Confidence 自信度； Ease 容易度。每項滿分為十分，ICE總分為三項的平均分，ICE分值越高，對應(yīng)的優(yōu)先級也越高。

③設(shè)計方案

決定了哪些實驗先做，哪些后做，接下來就要開始進入方案的設(shè)計階段了，有些簡單的實驗可能不需要經(jīng)過設(shè)計階段，可以直接開發(fā)上線。主要跟交互設(shè)計師，根據(jù)第一步提出的假設(shè)，提出多種方案，最后選擇一到兩個方案進行AB testing。

著名的資訊公司Upworthy會對每篇即將上線的文章討論出25個標題，最終選擇2個標題進行A B testing。

④確定實驗人數(shù)和周期

關(guān)于計算實驗人數(shù)和周期，有很多工具網(wǎng)站可以使用，例如：Evanmiller網(wǎng)站。打開這個網(wǎng)站，你會發(fā)現(xiàn)有四個字段需要輸入：

• 一個是Baseline conversion rate，指原有的轉(zhuǎn)化率；
• 二是Minimum Detectable Effect，指預(yù)計會提升的百分比，另外兩個是β和α值，你只要記住設(shè)定這兩個值是為了保證實驗結(jié)果的準確性。一般β值會設(shè)定在5%/10%，α值會取1%~10%之間。

⑤安排開發(fā)與測試

這個大家太熟悉了，就不多說。

⑥分析實驗結(jié)果

在分析實驗結(jié)果的時候要特別注意兩點：

• 一要排除其他因素導(dǎo)致的數(shù)據(jù)變動，例如你的產(chǎn)品是受季節(jié)影響的話，實驗得出的數(shù)據(jù)要扣除季節(jié)對數(shù)據(jù)產(chǎn)生的影響；
• 二是確保關(guān)聯(lián)數(shù)據(jù)也有相應(yīng)增長，例如你的實驗是要提升活動詳情頁到支付頁的轉(zhuǎn)化率，實驗結(jié)果顯示，轉(zhuǎn)化率從之前的5%提升到了6%，這相當于增長了20%。但是別高興太早，你要看看這增加的20%的用戶，有沒有成功進入下一步，也就是支付成功，很有可能本次實驗只是把用戶從活動詳情頁吸引到了支付頁，但是吸引來的用戶并沒有去真正下單。

⑦擴大實驗或失敗

分析完實驗結(jié)果后，如果判定實驗成功，接下來就擴大實驗范圍，把本次改進覆蓋所有用戶；如果實驗失敗，也不要灰心，畢竟AB Testing的成功率并不是很高，大膽的接受實驗失敗，并開始下一個實驗吧。

5. 注意事項

1. 確保實驗的變量唯一；
2. 確保試驗周期不能過長，一般控制在2到3周，最好不要超過一個月；
3. 確保α和β值在合理的區(qū)間內(nèi)，保證實驗的準確性；
4. 分析實驗結(jié)果時，記得排除其他因素在實驗中的影響。

#專欄作家#

鄒志楠，微信公眾號：鄒志楠，人人都是產(chǎn)品經(jīng)理專欄作家。用戶體驗設(shè)計師，專注于互聯(lián)網(wǎng)產(chǎn)品設(shè)計。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議