無論是產(chǎn)品功能還是運(yùn)營策略，都需要通過數(shù)據(jù)來提供參考與指導(dǎo)。本文通過業(yè)務(wù)場景和案例呈現(xiàn)，詳細(xì)拆解2種最常見的數(shù)據(jù)分析方法——對比分析法和控制變量分析法，讓我們的數(shù)據(jù)分析少走彎路。

第一種：對比分析法

“無對比，不分析”，對比分析法也叫對比法，是數(shù)據(jù)分析中最常見也是最基礎(chǔ)的分析方法，

如果我們對數(shù)據(jù)的評估和匯報缺少了對比，就無法說明效果是好還是壞。

1. 絕對數(shù)對比 與 相對數(shù)對比

首先我們需要了解絕對數(shù)對比和相對數(shù)對比：

• 在數(shù)據(jù)分析中，絕對數(shù)對比一般是指正數(shù)之間的對比，如支付人數(shù)、DAU、GMV等；
• 而相對數(shù)對比一般是相對數(shù)之間的對比，如轉(zhuǎn)化率、增長率、完成率等。

如下圖登錄用戶量的對比就屬于絕對數(shù)對比，用戶留存率的對比則屬于相對數(shù)對比。

2. 環(huán)比分析

環(huán)比，表示連續(xù)2個統(tǒng)計周期內(nèi)的量級變化比，例如連續(xù)兩日、兩周、兩月的量級變化比，都可以稱為環(huán)比。環(huán)比分析一般體現(xiàn)該時間段對比上個連續(xù)時間段的數(shù)據(jù)變化情況。

計算公式：環(huán)比增長率=（本期數(shù)-上期數(shù)）/上期數(shù) × 100%

舉個環(huán)比分析簡單例子：我們在9月第三周針對50%的隨機(jī)用戶A群進(jìn)行了活動營銷激勵，整體GMV環(huán)比第二周上升50%。

這里就是將第二周看做基準(zhǔn)，默認(rèn)第三周自然GMV為100萬。通過活動營銷激勵后，第三周實(shí)際GMV為150萬，對比第二周增長了50萬，環(huán)比增長率為50%。

這個例子來說，如果在正常情況下，環(huán)比分析給出的50%增長，可以證明活動帶來了明顯的GMV增長，效果好像不錯，但是環(huán)比分析結(jié)果也會存在騙人的時候，我們繼續(xù)往下看下面的例子：

看到活動效果良好，我們在9月第四周又取了剩下的隨機(jī)用戶群B進(jìn)行了活動營銷激勵，GMV環(huán)比第三周反而下降了7%。同樣的激勵策略，不僅沒有得到環(huán)比提升50%的數(shù)據(jù)效果重現(xiàn)，反而下降了7%。

在這里就體現(xiàn)出了一個環(huán)比分析法的弊端：無法消除周期波動變化的影響。

原因是我們的產(chǎn)品在節(jié)假日前期數(shù)據(jù)波動特別大，僅通過該環(huán)比數(shù)據(jù)沒有辦法客觀的進(jìn)行運(yùn)營效果評估。如9月第四周是國慶前的最后一周，用戶的交易數(shù)據(jù)會有明顯的下降，營銷動作是很難提升GMV超過上周（上期）的量級水平，如果通過僅僅通過環(huán)比給出的數(shù)據(jù)結(jié)果，一定是本期對比上期環(huán)比下降x%。

遇到這種周期波動特別大的分析場景，則需要加入同比分析法，與環(huán)比分析法共同進(jìn)行分析。

3. 同比分析法

同比，表示本期與上年同期的量級變化比，例如本日、本周、本月內(nèi)的量級變化對比去年同日、同周、同月的量級變比。

計算公式與環(huán)比增長率相同：

同比增長率=（本期數(shù)-上期數(shù)）/上期數(shù) × 100%

同樣國慶前做活動的例子，通過環(huán)比分析，因?yàn)楣?jié)假日因素波動，沒有辦法得到真實(shí)的營銷增長情況，那么通過環(huán)比+同比分析，就可以對比出9月第四周對比上年同期的增長情況：

• 18年環(huán)比：18年9月第四周 環(huán)比 第三周，GMV下降20%；
• 19年環(huán)比：而19年9月第四周 環(huán)比 第三周，GMV僅下降7%，下降幅度小于去年下降水平；
• 19年同比：且19年9月第四周 同比 18年9月第四周，GMV上漲75%，而第三周的同比上漲僅為50%；

綜上的環(huán)比與同比分析，我們可以對19年9月第四周的運(yùn)營策略做出真實(shí)評估：有效的帶來GMV增長。

此外，我們還可以根據(jù)18年9月第四周的環(huán)比降幅，預(yù)估19年9月第四周的自然GMV，從而評估19年9月第四周的GMV增長量為20萬：

• 19年9月第四周GMV增長=實(shí)際GMV-自然GMV
• 19年9月第四周GMV增長=實(shí)際GMV-19年第三周GMV*（1+19年9月第三周同比增長率）
• 19年9月第四周GMV增長=140萬-150萬*（1-20%）= 20萬

同比主要是為了消除可能存在的周期變動的影響，當(dāng)連續(xù)兩個周期波動特別大的時候，就不能只用環(huán)比去進(jìn)行效果評估了，則需要將同比與環(huán)比放在一起進(jìn)行分析。

那么同比和環(huán)比都用上了，就能保證數(shù)據(jù)結(jié)果的正確性嗎？

不一定，接著上面的活動來說，我們預(yù)估2019年9月第四周的自然GMV，是默認(rèn)2018年9月第四周是沒有進(jìn)行任何對GMV產(chǎn)生波動動作的自然環(huán)比下降，但如果2018年9月第四周有進(jìn)行用戶激勵的運(yùn)營動作，那真實(shí)的環(huán)比降幅可能就不止20%，甚至更高。

考慮到這種未知的干擾情況，影響我們對數(shù)據(jù)結(jié)果的評估與分析，我們就需要換一種能夠減少未知干擾的分析方法——控制變量分析法。

第二種：控制變量分析法

1. 什么是控制變量法

控制變量法是在蒙特卡洛方法中用于減少方差的一種技術(shù)方法。該方法通過對已知量的了解來減少對未知量估計的誤差。

控制變量法簡單來講，就是我們工作中最常見的A/B test。制定兩種方案，將用戶隨機(jī)分成實(shí)驗(yàn)組與對照組，實(shí)驗(yàn)組用戶進(jìn)行產(chǎn)品功能或營銷激勵的單一變量干預(yù)，對照組不進(jìn)行任何干預(yù)自然運(yùn)行，一段時間后分別統(tǒng)計兩組用戶的數(shù)據(jù)表現(xiàn)，評估功能或激勵效果。

A/B test 的優(yōu)化內(nèi)容主要有6個方向，可以根據(jù)不同的內(nèi)容設(shè)計不同的優(yōu)化方案，進(jìn)行效果測試；

2. 控制變量法分析過程

我們以發(fā)放6元無門檻紅包激勵用戶下單為例，看下A/B test在營銷中分析過程；

1. 將目標(biāo)用戶群隨機(jī)劃分為實(shí)驗(yàn)組和對照組，每組各10萬人，保證兩組用戶隨機(jī)分布；
2. 將實(shí)驗(yàn)組進(jìn)行單一變量營銷，如發(fā)放6元無門檻紅包，對照組不進(jìn)行營銷，用于觀測自然轉(zhuǎn)化情況；
3. 觀察一段時間內(nèi)的轉(zhuǎn)化率及客單價數(shù)據(jù)，評估支付人數(shù)提升與GMV提升效果；

提升支付人數(shù)：對實(shí)驗(yàn)組進(jìn)行干預(yù)后提升了轉(zhuǎn)化率，實(shí)際提升支付人數(shù)2000人。

GMV提升：將提升的支付人數(shù)結(jié)合客單價進(jìn)行計算，統(tǒng)計最終的GMV提升40萬。

3. 特別注意兩點(diǎn)

通過ABtest只能減少未知情況帶來的干擾，無法做到完全排除未知情況帶來的干擾，所以在落地的過程中，仍有兩點(diǎn)需要特別注意，不要被數(shù)據(jù)欺騙：

（1）實(shí)驗(yàn)組與對照組的用戶群樣本量太少

實(shí)驗(yàn)組和對照組的樣本量不需要完全一致，但至少需要保障一定的量級，如果樣本量級太小，很容易受到個體的影響，導(dǎo)致結(jié)果異常。

若想降低個體影響可以參考以下兩種方案：

• 擴(kuò)大試驗(yàn)樣本：提高實(shí)驗(yàn)組或?qū)φ战M的用戶群，降低個體影響；
• 延長試驗(yàn)時間：將數(shù)據(jù)監(jiān)控的時間延長，讓數(shù)據(jù)結(jié)果盡可能的收斂；

（2）實(shí)驗(yàn)組和對照組的用戶群沒有做到絕對的隨機(jī)

例如，產(chǎn)品或技術(shù)同學(xué)通過尾號單雙來進(jìn)行實(shí)驗(yàn)組和對照組的劃分，進(jìn)行產(chǎn)品新功能的實(shí)驗(yàn)。此時運(yùn)營同學(xué)又針對尾號0和1的用戶進(jìn)行營銷測試，最后肯定會導(dǎo)致雙方的實(shí)驗(yàn)結(jié)果異常，得出錯誤的結(jié)論。

參考方法：不要通過簡單規(guī)則分組，盡量通過隨機(jī)數(shù)或者隨機(jī)序列進(jìn)行隨機(jī)分組。

總結(jié)

通過對比分析法對數(shù)據(jù)進(jìn)行環(huán)比、同比等多維度的評估，通過控制變量分析法減少未知干擾的誤差，做到數(shù)據(jù)分析的相對科學(xué)，才能為業(yè)務(wù)提供正確的數(shù)據(jù)指導(dǎo)。

以上是最近學(xué)習(xí)工作中的一些案例和心得分享，希望能給你帶來一些思路！

相關(guān)閱讀

數(shù)據(jù)分析：三步搭建基礎(chǔ)分析框架

本文由 @許金坤 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議