編輯導語：在滲透式項目中，往往需要通過測試對照來支撐運營快速決策，那么哪一種測試對照才是科學有效的呢？本文從全量的AB測試對照的局限性出發(fā)，提出了一種全新的付費會員對照評估方法，一起看看吧。

一、現(xiàn)狀問題

隨著業(yè)務的發(fā)展，我們發(fā)現(xiàn)AB測試的全量對照存在較大的局限性，比如在滲透式項目這種場景下，由于項目前期滲透率較低，通過全量的AB測試對照往往會導致整體增量價值不高，無法支撐運營快速決策是否可以持續(xù)投入項目。

什么是滲透式項目？

滲透式項目是特指在運營周期內(nèi)，可預見性地無法快速達到高用戶滲透率的產(chǎn)品，例如付費會員、積分等。它往往跟常規(guī)的AB測試中文案調(diào)整、UI優(yōu)化等元素對實驗組用戶可以100%影響的項目相對。

二、解決方案

根據(jù)翻閱行業(yè)內(nèi)的相關資料，筆者無法在行業(yè)內(nèi)找到已經(jīng)落地的可行的解決方案，于是沿著這個問題進行思考。

解決這個問題的核心點在于：

找到滲透節(jié)點的用戶的對照組，對比兩類用戶的用戶價值數(shù)據(jù)。

什么是滲透節(jié)點？

可以理解為，滲透式項目的用戶核心行為節(jié)點即為滲透節(jié)點。例如：付費會員項目對應的「購買付費會員」行為節(jié)點，積分項目的對應「領取積分」行為節(jié)點。

評估步驟：

經(jīng)過思考，找到了一個方法，由于行業(yè)內(nèi)沒有找到其他人有發(fā)表過這種方法，暫且將此對照方法命名為「碧落對照法」，具體步驟如下：

1. 數(shù)據(jù)測試

根據(jù)常規(guī)AB測試方法對滲透式項目進行測試（這里不對AB測試的知識做展開介紹，不理解的同學自行搜索學習）。

假設該項目分兩組，分別是實驗組A及對照組B

2. 數(shù)據(jù)回收

1）回收AB組分別的大盤實驗進入用戶數(shù)及用戶價值數(shù)據(jù)。

2）回收實驗組中滲透節(jié)點的用戶數(shù)及用戶價值數(shù)據(jù)。

3.數(shù)據(jù)分析

1）AB組滲透節(jié)點的用戶增量價值評估

實驗組A未滲透人群數(shù)量及價值測算：假設實驗組A未滲透的用戶數(shù)及對于的用戶價值為a3和A3，那么：a3=a1-a2，A3=A1-A2。

對照組B理論上滲透/未滲透用戶數(shù)量測算：假設a2和a3在對照組B中分別有兩組用戶對應，理論上用戶數(shù)量比例應當一致，我們假設對應的為b2和b3，那么：b2=a2*（a1/b1），b3=a3*（a1/b1）=b1-b2。

• 對照組B理論上未滲透人群價值測算：理論上，b3人群跟a3人群的人均價值一致，我們將b3人群的總用戶價值定義為B3，那么：B3=b3*（A3/a3）。
• 對照組B理論上滲透人群價值測算：根據(jù)上述數(shù)據(jù)，很容易得出對照組B理論上滲透人群價值，我們認定為B2，即B2=B1-B3。

實驗組A滲透節(jié)點的用戶增量價值測算：

△實驗組A滲透節(jié)點用戶增量價值提升比例=（b2*A2/a2-B2）/B2

2）AB組大盤用戶價值數(shù)據(jù)對比

實驗組A大盤用戶增量價值測算：△實驗組A大盤用戶增量價值提升比例=（b1*A1/a1-B1）/B1

3）預估滲透式項目的滲透率上限，以此預估在高滲透率下項目的理論增量價值

假設該項目預估滲透率上限為X，顯然：1≥X≥a2/a1。假設在該滲透率狀態(tài)下，a2和a3人群各自的人均價值不變（實際上，隨著滲透率的逐步提高，兩類用戶的人均價值均有可能下降），那么，在該項目滲透率狀態(tài)下，大盤的用戶增量價值將在新的狀態(tài)下得到整體的提高，測算邏輯跟現(xiàn)有狀態(tài)下測算一致。

4. 舉個例子

1）數(shù)據(jù)測試

以某APP付費會員項目為例，我們對付費會員項目進行AB測試，比例為5：5。

2）數(shù)據(jù)回收

a. 回收付費會員AB組分別的大盤實驗進入用戶數(shù)及交叉用戶數(shù)據(jù)。

交叉定義：某平臺的完成兩個及以上業(yè)務交易的用戶。

b. 回收實驗組中購買付費會員的用戶數(shù)及對應的交叉用戶數(shù)據(jù)?！纲徺I付費會員交叉率為24%=240/1000」

3）數(shù)據(jù)分析

a. 購買付費會員用戶增量價值評估

實驗組A未購買付費會員用戶數(shù)量及對應交叉用戶數(shù)：

• 實驗組A未購買付費會員用戶數(shù)量=10000-1000=9000。
• 實驗組A未購買付費會員用戶對應交叉用戶數(shù)=1050-240=810?！肝促徺I付費會員交叉率為9%=810/9000」

對照組B理論上的購買/未購買付費會員用戶數(shù)量測算：購買付費會員用戶和未購買付費會員用戶理論上分別為：1000和9000。

• 對照組B理論上未購買付費會員交叉用戶測算：理論上，對照組B跟實驗組A中未購買付費會員的用戶交叉效率應該一致，那么，對照組B中未購買付費會員交叉用戶數(shù)=9000*（810/9000）=810。
• 對照組B理論上購買付費會員交叉用戶測算：根據(jù)上述數(shù)據(jù)，很容易得出，對照組B理論上付費會員交叉用戶數(shù)=1000-810=190。

實驗組A購買付費會員的增量交叉用戶比例：

△實驗組A購買付費會員用戶增量交叉用戶提升比例=（240-190）/240=20.83%。

b. AB組大盤用戶價值數(shù)據(jù)對比

實驗組A大盤交叉用戶增量測算：△實驗組A購買付費會員用戶增量交叉用戶提升比例=（1050-1000）/1000=5%。

c. 預估滲透式項目的滲透率上限，以此預估在高滲透率下項目的理論增量價值假設該項目預估滲透率上限為50%。

假設在該滲透率狀態(tài)下，購買付費會員和未購買付費會員的交叉效率不變（實際上，隨著滲透率的逐步提高，兩類用戶的人均價值均有可能下降），那么，在50%的滲透率下，對應的大盤增量交叉用戶提升比例=（2600-1000）/1000=130%

三、總結(jié)

總結(jié)一下：

本方案的核心是，通過模擬計算找到滲透節(jié)點用戶在對照組同樣的用戶的價值數(shù)據(jù)，以此取得相對合理的對照。

本方法具有一定的先進性：

在項目滲透率低且大盤價值增量對比不明顯時，本方案可以找到一個理論上的滲透節(jié)點用戶的對照組，能夠應用到運營上快速決策項目是否可以進一步推進。

但同時也有它的局限性：

跟AB測試一樣，所有的增量數(shù)據(jù)只能反映當下的數(shù)據(jù)增量，不能直接視為長期的數(shù)據(jù)增量。隨著滲透率的提高，項目預估高滲透率狀態(tài)下的理論增量價值實際并不準確，有可能盲目高估。

作者：碧落，微信公眾號：運營沉思錄

本文由 @碧落 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自?Unsplash，基于 CC0 協(xié)議