戰(zhàn)：因果推斷、假設(shè)檢驗(yàn)與樣本量設(shè)計(jì))
1. 別急著開實(shí)驗(yàn)先把A/B test到底在解決什么問題想清楚我第一次正經(jīng)跑A/B test是在一個(gè)電商項(xiàng)目上。當(dāng)時(shí)我把商品詳情頁的按鈕從加入購物車改成立即購買跑了三天實(shí)驗(yàn)組轉(zhuǎn)化率高出對照組整整0.6個(gè)百分點(diǎn)我興沖沖地推動(dòng)上線。結(jié)果上線兩周后大盤轉(zhuǎn)化率紋絲不動(dòng)甚至還微跌了一點(diǎn)。復(fù)盤的時(shí)候我才發(fā)現(xiàn)那三天的勝利根本站不住腳——每天的樣本量只有一千出頭0.6個(gè)百分點(diǎn)的差距完全落在隨機(jī)波動(dòng)的范圍里。這件事給了我一個(gè)很深的教訓(xùn)A/B test不是跑兩個(gè)版本看誰數(shù)字高它是一門關(guān)于因果推斷的手藝做不好你拿到的不過是自己騙自己的噪聲。所謂A/B test本質(zhì)上是一次受控實(shí)驗(yàn)。你把流量隨機(jī)切成兩組一組看到舊版本對照組Control一組看到新版本實(shí)驗(yàn)組Treatment除了你要驗(yàn)證的那一個(gè)變量之外其余條件盡量保持一致然后比較兩組在關(guān)鍵指標(biāo)上的差異。它的目標(biāo)只有一個(gè)判斷這個(gè)改動(dòng)和指標(biāo)變化之間到底有沒有因果關(guān)系而不是僅僅存在相關(guān)關(guān)系。這跟藥廠做雙盲臨床試驗(yàn)的思路是一模一樣的只不過藥廠用的是病人我們用的是用戶。這里有個(gè)特別容易被混淆的點(diǎn)。日常做數(shù)據(jù)分析我們經(jīng)?？吹皆缟匣钴S的用戶轉(zhuǎn)化率更高然后有人就說那我們早上多推活動(dòng)吧。這是典型的相關(guān)性誤讀——早上活躍的人可能本身就是重度用戶轉(zhuǎn)化率高跟早上沒關(guān)系。A/B test的價(jià)值就在于它用隨機(jī)化把這種混雜因素洗掉了兩組用戶的構(gòu)成在期望上是相同的唯一的系統(tǒng)性差別就是你改的那個(gè)東西。這就是它能談因果的底氣。1.1 A/B test解決的從來不是數(shù)據(jù)對比而是因果歸屬很多新手把A/B test理解成一個(gè)對比工具覺得只要兩組數(shù)字?jǐn)[在一起誰高誰就好。這個(gè)理解是有問題的。我舉個(gè)例子假設(shè)你想驗(yàn)證一種新肥料能不能讓莊稼增產(chǎn)你在地的東邊施了新肥西邊用老肥結(jié)果東邊收成好。你能直接下結(jié)論說新肥有效嗎不能——因?yàn)闁|邊那塊地可能光照更好、土壤更肥、離水渠更近。你比較的不是肥料這一個(gè)變量你把地塊的差異也一起比進(jìn)去了。A/B test要做的恰恰是把光照、土壤、水渠這些干擾項(xiàng)通過隨機(jī)分配抹平。當(dāng)用戶是被隨機(jī)分到兩組的那么所有你能想到和想不到的特征——年齡、設(shè)備、地域、使用習(xí)慣、甚至今天心情——都會(huì)在兩組之間大致均衡分布。這樣一來兩組之間剩下的系統(tǒng)性差異理論上就只有你的那個(gè)改動(dòng)。這就是因果歸屬的含義我們把指標(biāo)的差異歸因到了那個(gè)唯一的干預(yù)上。所以判斷一次實(shí)驗(yàn)值不值得做有個(gè)很簡單的自問我能不能隨機(jī)地把用戶分到不同的體驗(yàn)里并且保證除了我要測的改動(dòng)之外其他都不一樣如果答案是肯定的那A/B test適合你如果答案是否定的你需要考慮別的因果推斷方法。1.2 一個(gè)合格的實(shí)驗(yàn)必須同時(shí)滿足的三個(gè)條件我梳理了一下一個(gè)能得出可信結(jié)論的實(shí)驗(yàn)至少要滿足下面三條缺一條結(jié)論就會(huì)打折扣。隨機(jī)化分配。這是整個(gè)實(shí)驗(yàn)的地基。隨機(jī)化不是說隨便分而是要求每個(gè)用戶被分到任意一組的概率是已知且相等的通常是各50%。工程上我們一般用哈希函數(shù)基于用戶ID來分流而不是用隨機(jī)數(shù)——因?yàn)橛脩艨赡軙?huì)刷新頁面、跨設(shè)備訪問用隨機(jī)數(shù)會(huì)導(dǎo)致同一個(gè)人一會(huì)兒看到A一會(huì)兒看到B體驗(yàn)割裂數(shù)據(jù)也被污染。哈希分流的妙處在于同一個(gè)用戶ID永遠(yuǎn)落在同一組穩(wěn)定且可復(fù)現(xiàn)。平行對照。實(shí)驗(yàn)組和對照組必須在同一時(shí)間段并行運(yùn)行。這一點(diǎn)經(jīng)常被忽視。有些團(tuán)隊(duì)圖省事先跑一周舊版本再跑一周新版本這叫前后對比而不是A/B test。問題是這兩周之間可能發(fā)生了太多別的事節(jié)假日、競品動(dòng)作、天氣、系統(tǒng)故障、大盤自然波動(dòng)。你根本分不清指標(biāo)變化是新版本帶來的還是時(shí)間帶來的。單一變更與可解釋性。理想情況下一次實(shí)驗(yàn)只改一個(gè)變量。如果你既改了按鈕文案、又換了按鈕顏色、還調(diào)整了頁面布局那么就算指標(biāo)漲了你也不知道是哪個(gè)改動(dòng)起的作用下次想復(fù)用都沒法復(fù)用。當(dāng)然現(xiàn)實(shí)里產(chǎn)品迭代往往是一起打包上線的這時(shí)候就需要退一步接受我測的是這個(gè)整包方案但心里要清楚你是沒法拆解貢獻(xiàn)度的。1.3 什么時(shí)候不該用A/B testA/B test不是萬能藥。這幾年我看到不少人硬把A/B test往不合適的場景上套結(jié)果做出來的結(jié)論比不做還危險(xiǎn)。第一類是無法隨機(jī)化的場景。比如你想評估一次品牌廣告投放的效果你沒法隨機(jī)地把用戶分組然后強(qiáng)迫一部分人看電視廣告、另一部分人不看。再比如監(jiān)管政策變更、價(jià)格體系調(diào)整這類全局性動(dòng)作一旦上線就是全體生效壓根切不出對照組。第二類是樣本量嚴(yán)重不足。你的產(chǎn)品一天只有幾百個(gè)UV還指望測出1%的提升這在統(tǒng)計(jì)上是不可能的任務(wù)。后面我會(huì)算給你看一個(gè)10%基線的指標(biāo)要測出1個(gè)百分點(diǎn)的絕對提升每組需要一萬五千左右的樣本。流量不夠你跑一個(gè)月也攢不齊。第三類是倫理或體驗(yàn)風(fēng)險(xiǎn)。比如涉及退款政策、隱私相關(guān)的改動(dòng)把一部分用戶分到更差的版本里可能帶來投訴或者合規(guī)風(fēng)險(xiǎn)這時(shí)候要謹(jǐn)慎評估。面對這些場景你可以考慮傾向得分匹配、斷點(diǎn)回歸、雙重差分DID或者切換實(shí)驗(yàn)Switchback Test——切換實(shí)驗(yàn)的思路是讓整個(gè)大盤在不同時(shí)間片上交替使用新舊版本用時(shí)間做對照特別適合那些沒法切用戶、只能整體切換的場景比如推薦算法的大盤調(diào)度。這些方法各有各的假設(shè)比A/B test更容易被質(zhì)疑但總比拍腦袋強(qiáng)。2. 統(tǒng)計(jì)學(xué)地基p值、置信區(qū)間和它們被誤讀的一百種方式聊完為什么做接下來必須啃下統(tǒng)計(jì)學(xué)這塊硬骨頭。我見過太多人實(shí)驗(yàn)工具用得飛起報(bào)表拉得漂漂亮亮但你問他p值是0.03是什么意思他答不上來。這就像開車不看儀表盤遲早要出事。這一節(jié)我會(huì)盡量用人話把這些概念講透不講公式推導(dǎo)只講它們在實(shí)際決策里怎么用、以及最容易踩的認(rèn)知陷阱。2.1 零假設(shè)與備擇假設(shè)先假定改了沒用假設(shè)檢驗(yàn)的邏輯跟我們?nèi)粘Ｖ庇X是反著來的。我們平時(shí)想證明新版本更好但統(tǒng)計(jì)學(xué)要求你先假定新版本沒有任何效果然后看數(shù)據(jù)是否強(qiáng)烈到能推翻這個(gè)假定。這個(gè)先假定沒用的說法就叫零假設(shè)Null HypothesisH0。對應(yīng)的**備擇假設(shè)Alternative HypothesisH1**才是你想證明的東西——新版本跟舊版本有差異。整個(gè)檢驗(yàn)過程就是在H0成立的前提下計(jì)算出觀察到當(dāng)前這么極端的數(shù)據(jù)的概率有多大這個(gè)概率就是p值。如果這個(gè)概率特別小我們就說在H0成立的前提下出現(xiàn)這種數(shù)據(jù)的可能性太低了所以H0大概率不成立我們拒絕它。打個(gè)比方。你懷疑一枚硬幣被做了手腳于是先假定它是公平的H0。然后你拋了100次發(fā)現(xiàn)60次正面。如果你拋出來是50次正面左右那很正常啥也說明不了但60次正面就有點(diǎn)反常了。假設(shè)檢驗(yàn)要回答的就是如果硬幣真的公平拋100次出現(xiàn)60次及以上正面的概率有多大這個(gè)概率算出來大概是2.8%如果你事先設(shè)定的門檻是5%那這個(gè)概率小于門檻你就可以拒絕公平這個(gè)假設(shè)。關(guān)鍵點(diǎn)在于我們永遠(yuǎn)不能證明H1成立只能說H0在數(shù)據(jù)面前站不住腳。這兩者聽起來差不多實(shí)際上差著十萬八千里后面講p值誤讀的時(shí)候你會(huì)有更深的體會(huì)。2.2 第一類錯(cuò)誤、第二類錯(cuò)誤你要防的是哪一個(gè)只要是基于樣本做推斷就一定會(huì)犯錯(cuò)因?yàn)槟憧吹牟皇侨慷浅闃?。錯(cuò)誤分兩種我習(xí)慣用一個(gè)法庭類比來記第一類錯(cuò)誤Type I Error假陽性H0其實(shí)是對的你卻拒絕了它。翻譯到法庭上就是這個(gè)人無罪你卻判他有罪。翻譯到A/B test里就是新版本其實(shí)沒用你卻說它有用把它上線了。犯這個(gè)錯(cuò)的概率就是顯著性水平α通常設(shè)成0.05意思是我容忍5%的概率誤把一個(gè)無效的改動(dòng)當(dāng)成有效的。第二類錯(cuò)誤Type II Error假陰性H0其實(shí)是錯(cuò)的你卻沒有拒絕它。法庭版本是這個(gè)人有罪你卻把他放了。A/B test版本是新版本確實(shí)有效但你樣本不夠或者運(yùn)氣不好沒測出來把它砍掉了。犯這個(gè)錯(cuò)的概率記作β通常設(shè)成0.2意思是我容忍20%的概率漏掉一個(gè)真實(shí)有效的改動(dòng)。由此衍生出兩個(gè)核心概念顯著性水平α決定了你判錯(cuò)案的門檻**統(tǒng)計(jì)功效Power 1 - β**決定了你抓得住真兇的能力。功效0.8意味著如果新版本真的有我們預(yù)期的那么大效果這次實(shí)驗(yàn)有80%的概率能把它識(shí)別出來。這里有個(gè)我特別想強(qiáng)調(diào)的取舍α和β是此消彼長的。你把α調(diào)得更嚴(yán)比如從0.05降到0.01假陽性是少了但同樣的樣本量下功效會(huì)下降假陰性會(huì)變多。所以你不能單方面貪心地要求兩樣都低要么就得加樣本。這個(gè)權(quán)衡是每個(gè)實(shí)驗(yàn)設(shè)計(jì)者必須做的選擇題。概念含義常用取值業(yè)務(wù)含義α顯著性水平容忍假陽性的概率0.05誤把無效改動(dòng)當(dāng)有效的風(fēng)險(xiǎn)β第二類錯(cuò)誤率容忍假陰性的概率0.2漏掉真實(shí)有效改動(dòng)的風(fēng)險(xiǎn)Power統(tǒng)計(jì)功效1 - β0.8能識(shí)別出真實(shí)效果的概率p值H0成立時(shí)觀測到當(dāng)前數(shù)據(jù)的概率與α比較越小越反常注意α0.05不是鐵律。如果你的產(chǎn)品改動(dòng)上線成本極高、一旦錯(cuò)了損失巨大比如涉及資金、支付、核心算法那把α設(shè)到0.01甚至更嚴(yán)是合理的。反之如果只是文案小改錯(cuò)上線成本很低放寬到0.1也能接受。2.3 p值到底是什么以及它不是什么p值是這幾年被罵得最慘的統(tǒng)計(jì)指標(biāo)問題不在它本身而在它被濫用。我用一句話給它定個(gè)性p值是在改動(dòng)完全無效這個(gè)假設(shè)下你觀測到的或更極端的數(shù)據(jù)出現(xiàn)的概率。注意是數(shù)據(jù)的概率不是假設(shè)為真的概率。最常見的誤讀有四種我一個(gè)個(gè)拆。第一種誤讀p0.03意味著新版本有97%的概率更好。錯(cuò)。p值說的是數(shù)據(jù)不是假設(shè)。它沒有給你任何關(guān)于新版本更好這個(gè)命題為真的概率。要得到那種概率你得用貝葉斯方法那是另一套體系。第二種誤讀p0.05說明新版本沒用。錯(cuò)得離譜。p0.05只說明數(shù)據(jù)不足以證明有差異它可能是真的沒差異也可能是樣本不夠沒測出來。統(tǒng)計(jì)學(xué)上有個(gè)說法叫absence of evidence is not evidence of absence翻譯過來就是沒有證據(jù)不等于證據(jù)不存在。我吃過這個(gè)虧一個(gè)真實(shí)的提升因?yàn)闃颖玖繘]算夠p0.08被判了不顯著直接砍掉后來補(bǔ)足樣本重測發(fā)現(xiàn)效果是真的。第三種誤讀p值越小效果越大。p值大小同時(shí)受效果大小和樣本量影響。一個(gè)微乎其微的效果只要樣本量足夠大也能得到極小的p值。反過來一個(gè)巨大的效果在小樣本下p值可能也不小。所以看p值一定要配套看效應(yīng)量也就是提升幅度本身。第四種誤讀p0.05就代表業(yè)務(wù)上值得上線。這更是把統(tǒng)計(jì)顯著和業(yè)務(wù)顯著混為一談。統(tǒng)計(jì)顯著只代表這個(gè)差異不太可能是巧合但差異本身可能只有0.05%用戶根本感知不到上線投入的人力還不如省省。給不給上線得看這個(gè)提升帶來的收益能不能覆蓋開發(fā)成本這是業(yè)務(wù)判斷不是統(tǒng)計(jì)判斷。2.4 置信區(qū)間比p值更好用如果讓我只能選一個(gè)指標(biāo)來看實(shí)驗(yàn)結(jié)果我會(huì)選置信區(qū)間Confidence IntervalCI而不是p值。為什么呢因?yàn)閜值只告訴你有沒有差異而置信區(qū)間同時(shí)告訴你差異大概有多大、以及有多不確定。95%置信區(qū)間的準(zhǔn)確含義比較繞如果你把這個(gè)實(shí)驗(yàn)重復(fù)無數(shù)次每次都算一個(gè)95%置信區(qū)間那么這些區(qū)間里大約95%會(huì)包含真實(shí)的效應(yīng)值。對單次實(shí)驗(yàn)來說我們通常就說真實(shí)效應(yīng)有95%的把握落在這個(gè)范圍內(nèi)。舉個(gè)例子假設(shè)實(shí)驗(yàn)組比對照組轉(zhuǎn)化率提升了1個(gè)百分點(diǎn)95%置信區(qū)間是[0.2%, 1.8%]。這個(gè)區(qū)間完全在0的右側(cè)說明效果是正向的且統(tǒng)計(jì)顯著。同時(shí)你還能看到最樂觀的情況提升1.8%最保守也有0.2%。如果最保守的這個(gè)下界你也能接受那這個(gè)改動(dòng)就值得上線。要是區(qū)間是[-0.5%, 2.5%]跨過了0那就說明方向都不確定別提上線了。我個(gè)人的習(xí)慣是看實(shí)驗(yàn)結(jié)論必看三樣點(diǎn)估計(jì)提升幅度、置信區(qū)間、p值。三者放在一起看一個(gè)實(shí)驗(yàn)到底贏了多少、穩(wěn)不穩(wěn)基本就清晰了。光看p值是典型的只見樹木不見森林。3. 開跑之前必須算的賬樣本量與統(tǒng)計(jì)功效實(shí)驗(yàn)設(shè)計(jì)里最容易被跳過的一步就是提前算樣本量。很多人是先跑起來再說跑幾天看看結(jié)果要么樣本不夠下不了結(jié)論要么白白浪費(fèi)兩周流量。我把話放這兒不提前算樣本量的實(shí)驗(yàn)大概率是浪費(fèi)。這一節(jié)我把怎么算、算完怎么用、以及怎么少花流量也能測準(zhǔn)都講一遍。3.1 決定樣本量的四個(gè)參數(shù)樣本量不是拍腦袋定的它是被四個(gè)參數(shù)唯一確定的。想清楚這四個(gè)樣本量就是個(gè)填空題?；€轉(zhuǎn)化率p對照組當(dāng)前的指標(biāo)水平。比如當(dāng)前下單轉(zhuǎn)化率是10%。最小可檢測效應(yīng)Minimum Detectable EffectMDE你能接受的最小有意義提升。這個(gè)要慎重定。定得太小比如0.1%樣本量會(huì)爆炸定得太大比如50%的相對提升那大多數(shù)正常的改動(dòng)都達(dá)不到實(shí)驗(yàn)永遠(yuǎn)不顯著。我的經(jīng)驗(yàn)是MDE通常取相對提升5%~20%具體看業(yè)務(wù)改版動(dòng)作大就定得大一點(diǎn)精細(xì)化調(diào)優(yōu)就定得小一點(diǎn)。顯著性水平α一般是0.05對應(yīng)雙側(cè)檢驗(yàn)的z值約1.96。統(tǒng)計(jì)功效1-β一般是0.8對應(yīng)z值約0.84。把這四個(gè)參數(shù)代進(jìn)公式就能算出每組需要的樣本量。下面這個(gè)公式適用于比較兩個(gè)比例的經(jīng)典場景n 2 × (z_{1-α/2} z_{1-β})2 × p? × (1 - p?) / Δ2 其中 n 每組所需樣本量 p? 兩組基線率的平均值 (p_control p_treatment) / 2 Δ 絕對效應(yīng)量 p_treatment - p_control z 標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)如果嫌麻煩業(yè)內(nèi)有個(gè)很好用的近似式每組樣本量 ≈ 16 × p × (1-p) / Δ2這個(gè)16就是把(1.960.84)2≈7.84再乘2湊整來的算出來的結(jié)果跟精確公式差不了多少做快速估算非常夠用。3.2 手把手算一遍從10%基線到1%絕對提升光說公式太空我們算一遍實(shí)際數(shù)字你感受一下樣本量到底有多大。場景對照組基線轉(zhuǎn)化率10%我們希望檢測出**相對提升10%**的效果也就是絕對提升1個(gè)百分點(diǎn)即實(shí)驗(yàn)組目標(biāo)為11%。取α0.05功效0.8。代入公式p? (0.10 0.11) / 2 0.105p? × (1 - p?) 0.105 × 0.895 0.093975Δ 0.11 - 0.10 0.01Δ2 0.0001z_{0.975} 1.96z_{0.80} 0.8416兩者之和 2.8016平方 ≈ 7.849所以n 2 × 7.849 × 0.093975 / 0.0001 15.698 × 0.093975 / 0.0001 ≈ 14752結(jié)果是每組約14750人兩組合計(jì)約3萬人。用近似公式驗(yàn)證一下16 × 0.093975 / 0.0001 ≈ 15036跟精確值非常接近可見這個(gè)近似式足夠靠譜?？吹竭@個(gè)數(shù)字你應(yīng)該對樣本量有點(diǎn)敬畏了。如果你的產(chǎn)品每天轉(zhuǎn)化用戶只有500個(gè)那這個(gè)實(shí)驗(yàn)光是攢樣本就要攢上近60天。這時(shí)候你有兩個(gè)選擇要么把MDE放大比如只關(guān)心20%以上的相對提升要么想辦法提高實(shí)驗(yàn)的靈敏度。前者是妥協(xié)后者是技術(shù)活。用Python寫個(gè)小工具幾行就能算from scipy.stats import norm def sample_size_per_group(p_base, mde_rel, alpha0.05, power0.8): p_base : 對照組基線轉(zhuǎn)化率例如 0.10 mde_rel : 相對提升幅度例如 0.10 表示提升10% alpha : 顯著性水平 power : 統(tǒng)計(jì)功效 p_treat p_base * (1 mde_rel) p_bar (p_base p_treat) / 2 delta p_treat - p_base z_alpha norm.ppf(1 - alpha / 2) z_beta norm.ppf(power) n 2 * (z_alpha z_beta) ** 2 * p_bar * (1 - p_bar) / delta ** 2 return int(n) 1 # 向上取整 print(sample_size_per_group(0.10, 0.10)) # 約 14753 print(sample_size_per_group(0.10, 0.20)) # 相對提升20%樣本量驟降你可以自己跑一下會(huì)發(fā)現(xiàn)相對提升20%時(shí)樣本量幾乎只有提升10%時(shí)的四分之一。這也解釋了為什么大改動(dòng)往往更容易測出效果——不是因?yàn)榇蟾膭?dòng)一定更好而是因?yàn)榇蟾膭?dòng)更容易被檢測到。提示如果你做的是連續(xù)型指標(biāo)比如人均停留時(shí)長、客單價(jià)樣本量公式不一樣它依賴的是指標(biāo)的方差而不是比例。但思路完全一致方差越大、MDE越小需要的樣本越多。業(yè)界通用的估算工具如在線樣本量計(jì)算器一般都支持這兩種類型。3.3 實(shí)驗(yàn)要跑多久別讓周期毀掉結(jié)論算出每組樣本量之后還要把它換算成跑幾天。這一步的坑特別多。首先用你產(chǎn)品的日活或日均落入實(shí)驗(yàn)的用戶數(shù)除一下就知道大概需要多少天。但這里有個(gè)隱藏殺手用戶行為的周期性。工作日和周末用戶的下單行為可能天差地別月初發(fā)工資那幾天和月末消費(fèi)傾向也不一樣。如果你的實(shí)驗(yàn)只跑了工作日或者橫跨了一個(gè)大促那結(jié)論很可能是被周期性因素污染的。所以我的建議是實(shí)驗(yàn)周期至少覆蓋一個(gè)完整的周7天最好能覆蓋兩周。這樣每周各天的差異會(huì)被平均掉。如果你的業(yè)務(wù)有明顯的月度周期理論上最好覆蓋一個(gè)月但那往往不現(xiàn)實(shí)這時(shí)候就退而求其次保證覆蓋整周并在結(jié)論里標(biāo)注未覆蓋月度周期。第二個(gè)坑是實(shí)驗(yàn)啟動(dòng)的初期污染。用戶剛進(jìn)入新版本時(shí)行為可能有新鮮感效應(yīng)——短時(shí)間內(nèi)點(diǎn)擊率暴漲過幾天又回落?；蛘叻催^來老用戶突然看到界面變了產(chǎn)生排斥。這類效應(yīng)一般持續(xù)幾天所以實(shí)驗(yàn)也不要只看第一天。第三個(gè)坑是用戶首次進(jìn)入實(shí)驗(yàn)的時(shí)間。要確保實(shí)驗(yàn)組的用戶和對照組的用戶是在同一個(gè)時(shí)間窗口里首次接觸到版本的否則一個(gè)跑了三天、一個(gè)跑了七天樣本構(gòu)成就不一樣了這叫新鮮度偏差。3.4 提升靈敏度的幾個(gè)實(shí)用手段當(dāng)你流量不夠、又不想放大MDE的時(shí)候還有一招降低指標(biāo)方差也就是讓同樣的效果更容易被看見。這在統(tǒng)計(jì)上叫方差縮減Variance Reduction。我介紹幾個(gè)我實(shí)際用過、比較靠譜的。CUPEDControlled-experiment Using Pre-Experiment Data這個(gè)方法是微軟提出來的思路很巧妙。它利用實(shí)驗(yàn)開始之前的用戶行為數(shù)據(jù)作為協(xié)變量來修正實(shí)驗(yàn)期指標(biāo)。比如你知道每個(gè)實(shí)驗(yàn)用戶在實(shí)驗(yàn)前的歷史下單次數(shù)就可以用這個(gè)歷史值把實(shí)驗(yàn)期指標(biāo)的方差抽掉一部分。效果非常顯著我實(shí)測下來方差經(jīng)常能降低30%~50%等效于把樣本量需求砍掉一大截。代碼上也不難核心就幾行回歸調(diào)整。import numpy as np def cuped_adjust(y, x, thetaNone): y : 實(shí)驗(yàn)期指標(biāo)比如是否下單 x : 實(shí)驗(yàn)前協(xié)變量比如實(shí)驗(yàn)前7天下單次數(shù) theta : 調(diào)整系數(shù)默認(rèn)用 Cov(y,x)/Var(x) 估計(jì) if theta is None: theta np.cov(y, x)[0, 1] / np.var(x) return y - theta * (x - np.mean(x)) # 對實(shí)驗(yàn)組和對照組的 y 都做調(diào)整后再做檢驗(yàn)配對設(shè)計(jì)把特征相似的用戶配對然后一對里隨機(jī)一個(gè)進(jìn)實(shí)驗(yàn)組、一個(gè)進(jìn)對照組。這樣組間差異會(huì)小很多但工程實(shí)現(xiàn)復(fù)雜一般大規(guī)模實(shí)驗(yàn)用不上。更敏感的指標(biāo)有時(shí)候主指標(biāo)太粗比如是否下單這種0/1指標(biāo)方差天然就大。你可以換成更細(xì)的代理指標(biāo)比如加購次數(shù)、頁面停留時(shí)長這些指標(biāo)方差小、對改動(dòng)更敏感。但要注意代理指標(biāo)動(dòng)了不代表主指標(biāo)一定動(dòng)別撿了芝麻丟了西瓜。分流比例不均如果你對數(shù)據(jù)非常有把握可以把分流比例從50/50調(diào)成70/30實(shí)驗(yàn)組多一些在總流量固定時(shí)這通常能讓整體功效略微提升一點(diǎn)點(diǎn)。但收益有限且會(huì)減少對照組信息量我個(gè)人不太推薦優(yōu)先用這招。4. 分流與實(shí)驗(yàn)設(shè)計(jì)讓兩組真的可比前面都是紙上談兵的統(tǒng)計(jì)這一節(jié)落到工程實(shí)現(xiàn)。分流的代碼寫得對不對直接決定了實(shí)驗(yàn)數(shù)據(jù)能不能用。我見過不少實(shí)驗(yàn)結(jié)論漂亮但底層分流有bug白忙一場。這里面我認(rèn)為最核心的三個(gè)環(huán)節(jié)是哈希分流、AA檢驗(yàn)、SRM檢測。4.1 隨機(jī)化的工程實(shí)現(xiàn)哈希分流怎么寫前面說過別用隨機(jī)數(shù)分流要用哈希分流。核心思路是把「實(shí)驗(yàn)ID 用戶ID 鹽值」拼成一個(gè)字符串用哈希函數(shù)映射成一個(gè)固定長度的數(shù)字再取模映射到具體的桶bucket里。為什么要有「鹽值salt」因?yàn)槿绻阒挥糜脩鬒D哈希那么同一個(gè)用戶在你們所有的實(shí)驗(yàn)里都會(huì)被分到同一比例的桶里長期下來會(huì)導(dǎo)致實(shí)驗(yàn)污染——某些用戶總是在實(shí)驗(yàn)組某些總在對照組長期行為會(huì)分化。加一個(gè)跟實(shí)驗(yàn)ID相關(guān)的鹽值就能讓同一個(gè)用戶在不同實(shí)驗(yàn)里的分組互相獨(dú)立。import hashlib def hash_bucket(exp_id: str, user_id: str, salt: str v1, n_buckets: int 10000) - int: key f{exp_id}:{salt}:{user_id} digest hashlib.md5(key.encode(utf-8)).hexdigest() # 取前8位十六進(jìn)制轉(zhuǎn)成整數(shù)再取模 return int(digest[:8], 16) % n_buckets def assign_group(exp_id: str, user_id: str, salt: str v1, split: float 0.5, n_buckets: int 10000) - str: bucket hash_bucket(exp_id, user_id, salt, n_buckets) if bucket int(n_buckets * split): return control return treatment print(assign_group(exp_001, user_9527)) # 穩(wěn)定輸出 control 或 treatment這段代碼的核心優(yōu)點(diǎn)有兩個(gè)冪等同一個(gè)用戶無論訪問多少次結(jié)果永遠(yuǎn)一致可復(fù)現(xiàn)你用同樣的鹽值和ID在任何環(huán)境里都能算出相同的分組方便排查問題。有一個(gè)細(xì)節(jié)值得注意哈希桶的粒度。如果你的實(shí)驗(yàn)很多或者需要在一組實(shí)驗(yàn)里嵌套多層比如先分實(shí)驗(yàn)流量、再分實(shí)驗(yàn)組建議采用多層分流Layered Experiment / Overlapping Experiment的思路。這種方法把流量池切成多個(gè)正交層不同層之間的實(shí)驗(yàn)互不干擾可以同時(shí)跑很多實(shí)驗(yàn)而不互相踩腳。這個(gè)方法最早是搜索引擎公司用來同時(shí)跑大量算法實(shí)驗(yàn)的現(xiàn)在很多實(shí)驗(yàn)平臺(tái)都借鑒了這個(gè)設(shè)計(jì)。4.2 AA檢驗(yàn)上線前的自我體檢分流代碼寫完之后千萬別直接跑真實(shí)驗(yàn)。先跑一次AA檢驗(yàn)對照組和實(shí)驗(yàn)組跑的是完全一樣的版本理論上兩組的指標(biāo)應(yīng)該沒有統(tǒng)計(jì)顯著的差異。如果AA檢驗(yàn)都能跑出顯著差異那說明你的分流邏輯或者埋點(diǎn)有問題。我見過一次特別嚇人的AA結(jié)果兩組轉(zhuǎn)化率差了3個(gè)百分點(diǎn)p值0.001。排查之后發(fā)現(xiàn)是埋點(diǎn)上報(bào)時(shí)間不一致實(shí)驗(yàn)組的日志匯總有延遲導(dǎo)致一部分下單沒算進(jìn)去。這種bug如果混在真實(shí)驗(yàn)里足夠讓你做出一個(gè)完全錯(cuò)誤的決策。AA檢驗(yàn)跑多久我的經(jīng)驗(yàn)是跑夠單組樣本量的50%~100%。不用跑完整周期但樣本太少也看不出問題。AA檢驗(yàn)的通過標(biāo)準(zhǔn)是指標(biāo)差異應(yīng)該落在合理的隨機(jī)波動(dòng)范圍內(nèi)p值大于0.05甚至更寬比如大于0.01就可以繼續(xù)。如果AA反復(fù)出現(xiàn)顯著差異就別急著上真實(shí)驗(yàn)。4.3 SRM樣本比例失衡最容易被忽略的致命傷**SRMSample Ratio Mismatch樣本比例失衡**是實(shí)驗(yàn)圈公認(rèn)的實(shí)驗(yàn)殺手之一。它的意思很簡單你設(shè)定分流比例是50/50但實(shí)際跑下來落到兩組的人數(shù)卻是49/51、甚至48/52差距大到不像隨機(jī)波動(dòng)。SRM為什么可怕因?yàn)樗f明分流機(jī)制本身出了問題實(shí)驗(yàn)數(shù)據(jù)很可能是被某種系統(tǒng)性偏差污染的這時(shí)候你算出來的所有p值、置信區(qū)間都不可信。哪怕指標(biāo)看起來漂亮也不能信。檢測SRM用卡方擬合優(yōu)度檢驗(yàn)from scipy.stats import chisquare # 假設(shè)預(yù)期比例 50:50實(shí)際觀測到的樣本數(shù) observed [4980, 5020] total sum(observed) expected [total * 0.5, total * 0.5] stat, p chisquare(observed, expected) print(fchi2{stat:.3f}, p{p:.4f}) # 判據(jù)p 0.001 視為存在 SRM判據(jù)有個(gè)經(jīng)驗(yàn)值p值小于0.001就判定為SRM而不是常規(guī)的0.05。原因是我們對SRM要更敏感也更寬容——太敏感會(huì)誤報(bào)但0.001這個(gè)門檻足夠低一旦觸發(fā)基本就是真有問題。常見的SRM原因我列一下都是實(shí)戰(zhàn)中高頻出現(xiàn)的原因類別具體表現(xiàn)排查手段分流邏輯bug哈希取模寫錯(cuò)、邊界判定漏桶用固定測試集跑分流單測埋點(diǎn)/日志丟失某一版本上報(bào)延遲或失敗對比兩組的日志條數(shù)、上報(bào)延遲路由/跳轉(zhuǎn)攔截某些版本被安全策略或CDN攔截檢查中間件、頻率限制用戶主動(dòng)跳出新版本加載慢用戶提前關(guān)閉看兩組的跳出率是否異常分桶污染用戶跨設(shè)備、跨端導(dǎo)致重復(fù)計(jì)入用穩(wěn)定ID而非設(shè)備ID分流注意SRM一旦觸發(fā)不要試圖解釋它。很多人的第一反應(yīng)是哦可能是新版本加載慢導(dǎo)致的用戶跑了然后繼續(xù)看數(shù)據(jù)。正確的做法是終止實(shí)驗(yàn)、排查根因、修復(fù)后重跑。用被污染的數(shù)據(jù)下結(jié)論是拿業(yè)務(wù)決策賭運(yùn)氣。4.4 偷看數(shù)據(jù)與序貫檢驗(yàn)還有個(gè)特別隱蔽的坑叫偷看數(shù)據(jù)Peeking。很多團(tuán)隊(duì)跑實(shí)驗(yàn)時(shí)每天都看一遍顯著性看到p0.05就宣布勝利、停止實(shí)驗(yàn)。這個(gè)做法在統(tǒng)計(jì)上是錯(cuò)誤的它會(huì)大幅拉高假陽性率。原因在于經(jīng)典的假設(shè)檢驗(yàn)要求你在實(shí)驗(yàn)開始前就固定樣本量跑滿后再看一次。如果你反復(fù)看、隨時(shí)可能停止那你就相當(dāng)于給了數(shù)據(jù)很多次變得顯著的機(jī)會(huì)。哪怕新版本完全沒效果你每天看一眼連續(xù)看兩周出現(xiàn)一次p0.05的概率遠(yuǎn)高于5%實(shí)測能到20%~30%。這就好比你在賭場里一直下注總覺得下一把會(huì)贏但最終是概率在收割你。解決這個(gè)問題有兩條路。第一條是老老實(shí)實(shí)跑滿樣本量再看簡單粗暴但有效。第二條是采用序貫檢驗(yàn)Sequential Testing方法它專門處理反復(fù)看數(shù)據(jù)的場景通過對每次檢驗(yàn)的閾值做動(dòng)態(tài)調(diào)整來控制整體的假陽性率。業(yè)界常用的有SPRT序貫概率比檢驗(yàn)和Always-Valid p-value?，F(xiàn)在一些實(shí)驗(yàn)平臺(tái)默認(rèn)就用了這類方法允許你隨時(shí)看、隨時(shí)停但解釋起來更復(fù)雜需要團(tuán)隊(duì)有一定的統(tǒng)計(jì)學(xué)基礎(chǔ)。我個(gè)人的建議是如果你的團(tuán)隊(duì)統(tǒng)計(jì)功底一般就老老實(shí)實(shí)跑滿再看如果實(shí)驗(yàn)很頻繁、流程要求實(shí)時(shí)決策那就統(tǒng)一用序貫方法別讓兩套標(biāo)準(zhǔn)混用。5. 指標(biāo)、多重比較與結(jié)果解讀實(shí)驗(yàn)跑完了數(shù)據(jù)處理也做對了接下來是解讀環(huán)節(jié)。這一步看起來簡單其實(shí)是魔鬼藏在細(xì)節(jié)的重災(zāi)區(qū)。指標(biāo)定錯(cuò)了、結(jié)論會(huì)跑偏多重比較沒校正、會(huì)撿到假顯著辛普森悖論沒注意、整體贏了局部輸了。這一節(jié)我逐條拆開講。5.1 主指標(biāo)、護(hù)欄指標(biāo)、代理指標(biāo)怎么定一次實(shí)驗(yàn)只盯一個(gè)指標(biāo)非常容易走偏。我的習(xí)慣是設(shè)計(jì)一個(gè)主指標(biāo) 若干護(hù)欄指標(biāo) 可選代理指標(biāo)。主指標(biāo)Primary Metric這是你做這次實(shí)驗(yàn)想優(yōu)化的核心指標(biāo)一次實(shí)驗(yàn)最好只有一個(gè)。比如改版商品詳情頁主指標(biāo)就是下單轉(zhuǎn)化率。定多了會(huì)引出多重比較問題下面會(huì)講而且會(huì)讓人模糊焦點(diǎn)。護(hù)欄指標(biāo)Guardrail Metric這些指標(biāo)不是你要提升的而是要保證不被搞壞的。比如你為了提升下單轉(zhuǎn)化可能會(huì)加很多引導(dǎo)按鈕但用戶體驗(yàn)可能變差導(dǎo)致退款率上升、客服投訴率上升、頁面加載時(shí)長上升。護(hù)欄指標(biāo)的作用就是兜底一旦某個(gè)護(hù)欄指標(biāo)顯著惡化哪怕主指標(biāo)漲了也要謹(jǐn)慎上線。代理指標(biāo)Proxy Metric當(dāng)你關(guān)心的長期指標(biāo)比如用戶留存、NPS很難在實(shí)驗(yàn)周期內(nèi)觀察到時(shí)可以用短期相關(guān)的代理指標(biāo)。比如用7日復(fù)訪率代理長期留存用加購率代理下單率。用代理指標(biāo)的好處是靈敏但代價(jià)是它和真實(shí)目標(biāo)的關(guān)系只是相關(guān)而非因果結(jié)論要打折扣表述。指標(biāo)類型作用舉例使用注意主指標(biāo)衡量改動(dòng)是否達(dá)成目標(biāo)下單轉(zhuǎn)化率只設(shè)一個(gè)提前定義護(hù)欄指標(biāo)防止體驗(yàn)或業(yè)務(wù)倒退退款率、投訴率、加載時(shí)長惡化即亮紅燈需解釋代理指標(biāo)短期替代長期目標(biāo)7日復(fù)訪率相關(guān)性需論證慎下結(jié)論5.2 辛普森悖論整體贏局部輸辛普森悖論是數(shù)據(jù)分析里最反直覺的現(xiàn)象之一在分組數(shù)據(jù)里A組每個(gè)子集都比B組好但合起來看A組反而更差。放在A/B test里就是整體看實(shí)驗(yàn)組贏了但拆開每個(gè)細(xì)分人群看實(shí)驗(yàn)組都輸了或者反過來。它的成因是組間構(gòu)成比例不同。我舉個(gè)具體的例子。假設(shè)你的實(shí)驗(yàn)涉及新老兩類用戶新用戶轉(zhuǎn)化率天然低老用戶轉(zhuǎn)化率天然高。對照組老用戶100人轉(zhuǎn)化30%新用戶100人轉(zhuǎn)化10% → 整體轉(zhuǎn)化20%實(shí)驗(yàn)組老用戶20人轉(zhuǎn)化40%新用戶180人轉(zhuǎn)化20% → 整體轉(zhuǎn)化21.8%你看實(shí)驗(yàn)組在每個(gè)細(xì)分人群里都贏了40%30%20%10%但整體實(shí)驗(yàn)組的轉(zhuǎn)化率21.8%比對照組的20%高看起來好像也是實(shí)驗(yàn)組贏。這是因?yàn)樾掠脩舻恼急仍趯?shí)驗(yàn)組里大幅提高了——嗯這個(gè)例子里剛好沒體現(xiàn)出悖論。我再構(gòu)造一個(gè)能體現(xiàn)的。對照組老用戶200人轉(zhuǎn)化率30%新用戶800人轉(zhuǎn)化率5% → 整體200×0.3 800×0.05/1000 10%實(shí)驗(yàn)組老用戶800人轉(zhuǎn)化率40%新用戶200人轉(zhuǎn)化率10% → 整體800×0.4 200×0.1/1000 34%這種情況下兩邊的細(xì)分都贏了整體也贏了。要構(gòu)造悖論需要人群占比發(fā)生方向相反的傾斜?？傊?dāng)實(shí)驗(yàn)組和對照組的人群構(gòu)成顯著不同時(shí)聚合指標(biāo)的比較可能完全誤導(dǎo)。所以實(shí)戰(zhàn)里我強(qiáng)烈建議看到顯著的聚合結(jié)果時(shí)一定要做細(xì)分拆解Segmentation Analysis看看是不是某個(gè)子人群的變化被平均掉了或者放大了。常見的拆解維度有新老用戶、設(shè)備類型、地域、渠道來源、活躍度分層。當(dāng)然拆得太多又會(huì)掉進(jìn)多重比較的坑所以要配合校正手段使用。5.3 多重比較跑20個(gè)指標(biāo)總有一個(gè)顯著**多重比較Multiple Comparisons**是假陽性的重災(zāi)區(qū)。道理很簡單如果每個(gè)檢驗(yàn)都是α0.05那單獨(dú)一個(gè)檢驗(yàn)的假陽性率是5%但如果你獨(dú)立跑20個(gè)檢驗(yàn)至少有一個(gè)假陽性的概率是1 - (1 - 0.05)^20 ≈ 0.642也就是說你跑20個(gè)指標(biāo)即使所有改動(dòng)其實(shí)完全無效也有約64%的概率至少看到一個(gè)顯著的結(jié)果。這就像拋20次硬幣總會(huì)遇到幾次連著正面一樣是純粹的概率現(xiàn)象。解決手段主要有兩個(gè)。Bonferroni校正最保守也最簡單。把每個(gè)檢驗(yàn)的顯著性閾值從α改成α/mm是檢驗(yàn)次數(shù)。比如你跑20個(gè)指標(biāo)那每個(gè)指標(biāo)的閾值就設(shè)成0.05/20 0.0025。這種方法能嚴(yán)格控制假陽性但代價(jià)是功效下降嚴(yán)重容易漏掉真實(shí)效果。Benjamini-HochbergBHFDR校正控制的是假發(fā)現(xiàn)率False Discovery Rate比Bonferroni溫和得多是實(shí)際用起來更舒服的方法。它的思路是把所有p值從小到大排序找到最大的那個(gè)滿足 p_i ≤ (i/m) × α 的位置該位置及其之前的所有假設(shè)都判為顯著。import numpy as np def bh_correction(p_values, alpha0.05): p np.array(p_values) m len(p) order np.argsort(p) sorted_p p[order] thresholds np.arange(1, m 1) / m * alpha # 找到滿足條件的最大的 i passed sorted_p thresholds if not passed.any(): return np.zeros(m, dtypebool) k np.max(np.where(passed)[0]) significant np.zeros(m, dtypebool) significant[order[:k 1]] True return significant pvals [0.001, 0.008, 0.02, 0.04, 0.06, 0.2, 0.5] print(bh_correction(pvals))實(shí)戰(zhàn)建議如果實(shí)驗(yàn)里只跑了一個(gè)主指標(biāo)不用校正如果拆了10個(gè)細(xì)分人群或者跟蹤了多個(gè)指標(biāo)至少要做一次FDR校正否則你的發(fā)現(xiàn)里摻了多少假貨自己都不知道。注意校正不是萬能的。它只解決你主動(dòng)做了多次檢驗(yàn)的問題不解決你看數(shù)據(jù)挑指標(biāo)的問題。如果先看哪個(gè)指標(biāo)顯著就把它當(dāng)主指標(biāo)那校正也救不了你。主指標(biāo)一定要在實(shí)驗(yàn)前就定死。5.4 從顯著性到?jīng)Q策別把p0.05當(dāng)成圣旨最后一個(gè)環(huán)節(jié)是從統(tǒng)計(jì)結(jié)論到業(yè)務(wù)決策。這中間隔著一條很寬的溝很多團(tuán)隊(duì)容易一頭扎進(jìn)p0.05就上線的簡單邏輯里。我的決策框架是這樣的分三層。第一層看統(tǒng)計(jì)顯著性p值是否達(dá)標(biāo)、置信區(qū)間是否跨0。這層決定數(shù)據(jù)支不支持這個(gè)結(jié)論。第二層看業(yè)務(wù)顯著性效應(yīng)量夠不夠大。一個(gè)提升0.02%的改動(dòng)哪怕p0.0001上線的人力成本都未必回得來。我會(huì)算一筆賬這個(gè)提升在全年大盤能帶來多少收益能不能覆蓋開發(fā)和維護(hù)成本。第三層看風(fēng)險(xiǎn)與護(hù)欄相關(guān)護(hù)欄指標(biāo)有沒有惡化、細(xì)分人群里有沒有人明顯吃虧、實(shí)驗(yàn)周期內(nèi)有沒有被特殊事件大促、事故污染。這層決定能不能上、什么時(shí)候上、要不要分批上。這三層都過了才叫可以上線。任何一層不過就需要補(bǔ)測、或者小流量灰度、或者干脆放棄。單純盯著p值做決策是把業(yè)務(wù)當(dāng)成了統(tǒng)計(jì)學(xué)考試。6. 落地實(shí)操一套能跑起來的最小實(shí)驗(yàn)流程前面五節(jié)都是拆解原理這一節(jié)我把它們串成一條能落地的流程。不管你是用現(xiàn)成的商業(yè)實(shí)驗(yàn)平臺(tái)還是自己搭一套輕量系統(tǒng)這套流程和關(guān)鍵節(jié)點(diǎn)都適用。6.1 技術(shù)架構(gòu)的最小閉環(huán)一套能用的A/B實(shí)驗(yàn)系統(tǒng)其實(shí)不一定需要多復(fù)雜我把它拆成五個(gè)關(guān)鍵模塊缺哪個(gè)都不行。分桶服務(wù)Bucketing Service負(fù)責(zé)根據(jù)用戶ID決定他落入哪個(gè)組。就是前面講的哈希分流邏輯。這個(gè)服務(wù)要做得快——每次請求都要校驗(yàn)分組如果它拖慢了主流程用戶體驗(yàn)會(huì)倒退所以通常用本地緩存 布隆過濾器來加速。配置中心Config Service存儲(chǔ)每個(gè)實(shí)驗(yàn)的配置實(shí)驗(yàn)ID、分流比例、生效范圍比如僅限某幾個(gè)城市、某幾個(gè)渠道、時(shí)間窗口。分桶服務(wù)拿到用戶分組后結(jié)合配置中心判斷這個(gè)用戶是否真的進(jìn)入實(shí)驗(yàn)。配置中心最好支持熱更新這樣你調(diào)整實(shí)驗(yàn)參數(shù)不用重啟服務(wù)。埋點(diǎn)上報(bào)Event Tracking用戶的行為數(shù)據(jù)曝光、點(diǎn)擊、下單要打上實(shí)驗(yàn)標(biāo)簽和分組信息方便后續(xù)歸因。這一步最容易出bug務(wù)必保證曝光埋點(diǎn)在用戶真實(shí)看到版本時(shí)上報(bào)而不是在進(jìn)入頁面時(shí)上報(bào)否則會(huì)虛高。指標(biāo)計(jì)算Metric Aggregation把埋點(diǎn)數(shù)據(jù)按實(shí)驗(yàn)、按組聚合算出各種指標(biāo)。這一步往往是離線批處理天級(jí)更新。要注意數(shù)據(jù)口徑的統(tǒng)一別讓實(shí)驗(yàn)組和對照組用了不同的分母。分析平臺(tái)Analysis Reporting把聚合數(shù)據(jù)做統(tǒng)計(jì)檢驗(yàn)算p值、置信區(qū)間、SRM檢驗(yàn)結(jié)果生成實(shí)驗(yàn)報(bào)告。這一步可以簡單到一個(gè)腳本也可以復(fù)雜到一整套可視化平臺(tái)。6.2 常見問題速查表我把這些年遇到的高頻問題整理成表方便你對照排查。這些問題基本涵蓋了A/B test執(zhí)行中出現(xiàn)狀況的八成?，F(xiàn)象可能原因排查/解決辦法p值總在0.05附近反復(fù)橫跳樣本量不足在功效邊緣補(bǔ)樣本或放大MDE實(shí)驗(yàn)組樣本數(shù)明顯偏多/偏少SRM分流或埋點(diǎn)bug卡方檢驗(yàn)p0.001就終止排查AA檢驗(yàn)出現(xiàn)顯著差異分流邏輯或埋點(diǎn)不一致固定ID跑分流單測檢查上報(bào)延遲多個(gè)指標(biāo)都顯著多重比較假陽性做BH或Bonferroni校正整體顯著但拆開看都輸了辛普森悖論人群構(gòu)成傾斜按人群分層重算看加權(quán)結(jié)果第一天大漲后面回落新鮮感效應(yīng)/首因效應(yīng)拉長周期看穩(wěn)態(tài)數(shù)據(jù)實(shí)驗(yàn)跑不動(dòng)樣本攢不齊流量太小或MDE定太小用CUPED降方差或放大MDE每次看數(shù)據(jù)結(jié)果都不一樣偷看數(shù)據(jù)Peeking跑滿再看或改用序貫檢驗(yàn)主指標(biāo)漲了但投訴變多護(hù)欄指標(biāo)被忽視建立護(hù)欄指標(biāo)看板主指標(biāo)護(hù)欄一起決策實(shí)驗(yàn)結(jié)論無法復(fù)現(xiàn)分流不穩(wěn)定或環(huán)境差異檢查鹽值、埋點(diǎn)口徑、是否被其他實(shí)驗(yàn)干擾6.3 我自己踩過的坑和幾條經(jīng)驗(yàn)寫到這兒我把這些年做實(shí)驗(yàn)積累的幾條經(jīng)驗(yàn)擺出來都是花錢買來的教訓(xùn)希望你能少走點(diǎn)彎路。第一條實(shí)驗(yàn)前一定要寫清楚假設(shè)。別只寫改版詳情頁要寫成我認(rèn)為把購買按鈕置頂能提升下單轉(zhuǎn)化率因?yàn)闇p少了用戶的視覺搜索成本預(yù)期提升幅度在5%~15%。把假設(shè)寫細(xì)你才能在跑完之后判斷是假設(shè)本身錯(cuò)了還是假設(shè)對但實(shí)現(xiàn)沒做好。這一步很多團(tuán)隊(duì)省了導(dǎo)致實(shí)驗(yàn)做完只有數(shù)字沒有認(rèn)知。第二條MDE不要拍腦袋要從業(yè)務(wù)倒推。我見過太多人把MDE定得特別小想著我要測出1%的提升結(jié)果實(shí)驗(yàn)跑了兩個(gè)月都攢不夠樣本。正確的做法是先問業(yè)務(wù)我們至少要提升多少才值得上線那個(gè)數(shù)就是MDE。業(yè)務(wù)說5%才有意義你就按5%算樣本別去追那1%。第三條永遠(yuǎn)先跑AA檢驗(yàn)。哪怕你的實(shí)驗(yàn)系統(tǒng)用了半年沒出過事也別跳過AA。分流邏輯、埋點(diǎn)、日志統(tǒng)計(jì)任何一環(huán)改過代碼都要重新跑AA。AA通過是實(shí)驗(yàn)數(shù)據(jù)能用的最低門檻。第四條別迷信一次實(shí)驗(yàn)的結(jié)論。一個(gè)顯著的實(shí)驗(yàn)結(jié)果如果跟你的業(yè)務(wù)直覺嚴(yán)重不符先懷疑數(shù)據(jù)別急著慶?；蛘呖车?。我遇過一個(gè)實(shí)驗(yàn)實(shí)驗(yàn)組轉(zhuǎn)化率暴漲30%大家狂喜結(jié)果排查發(fā)現(xiàn)是實(shí)驗(yàn)組的推薦位恰好命中了一個(gè)爆款商品。這種假提升披著統(tǒng)計(jì)顯著的外衣最容易被當(dāng)成真效果。第五條把失敗的實(shí)驗(yàn)也存檔。很多團(tuán)隊(duì)只記錄成功的實(shí)驗(yàn)失敗的實(shí)驗(yàn)隨手丟了。這是巨大的浪費(fèi)。失敗的實(shí)驗(yàn)告訴你什么方向走不通也是有價(jià)值的信息。更實(shí)際的是當(dāng)你三個(gè)月后又想試同一個(gè)方向時(shí)翻出歷史實(shí)驗(yàn)?zāi)軒湍闶∠乱惠喠髁?。我建議給每個(gè)實(shí)驗(yàn)都建個(gè)記錄假設(shè)、設(shè)計(jì)、結(jié)果、結(jié)論、后續(xù)動(dòng)作。第六條實(shí)驗(yàn)文化比實(shí)驗(yàn)工具更重要。一個(gè)團(tuán)隊(duì)能不能做實(shí)驗(yàn)不取決于有沒有好平臺(tái)而取決于愿不愿意用數(shù)據(jù)推翻自己的主觀判斷。如果產(chǎn)品經(jīng)理覺得我就知道這個(gè)改動(dòng)是對的然后無視實(shí)驗(yàn)結(jié)論硬推上線那再好的實(shí)驗(yàn)系統(tǒng)也是擺設(shè)。工具解決的是怎么測文化解決的是測了之后信不信。后者難得多也重要得多。關(guān)于這個(gè)主題后續(xù)還能延伸出很多有意思的方向比如怎么用實(shí)驗(yàn)做長期效應(yīng)評估實(shí)驗(yàn)結(jié)束后繼續(xù)跟蹤、怎么做跨實(shí)驗(yàn)的影響分析多個(gè)實(shí)驗(yàn)同時(shí)跑會(huì)不會(huì)互相干擾、以及大規(guī)模實(shí)驗(yàn)平臺(tái)的分層正交設(shè)計(jì)。每一個(gè)都值得單獨(dú)寫一篇。不過就原理層面來說把隨機(jī)化、假設(shè)檢驗(yàn)、樣本量、分流、多重比較這五個(gè)環(huán)節(jié)吃透你已經(jīng)超過市面上八成的從業(yè)者了。 A/B測試實(shí)戰(zhàn)：因果推斷、假設(shè)檢驗(yàn)與樣本量設(shè)計(jì)
1. 別急著開實(shí)驗(yàn)先把A/B test到底在解決什么問題想清楚我第一次正經(jīng)跑A/B test是在一個(gè)電商項(xiàng)目上。當(dāng)時(shí)我把商品詳情頁的按鈕從加入購物車改成立即購買跑了三天實(shí)驗(yàn)組轉(zhuǎn)化率高出對照組整整0.6個(gè)百分點(diǎn)我興沖沖地推動(dòng)上線。結(jié)果上線兩周后大盤轉(zhuǎn)化率紋絲不動(dòng)甚至還微跌了一點(diǎn)。復(fù)盤的時(shí)候我才發(fā)現(xiàn)那三天的勝利根本站不住腳——每天的樣本量只有一千出頭0.6個(gè)百分點(diǎn)的差距完全落在隨機(jī)波動(dòng)的范圍里。這件事給了我一個(gè)很深的教訓(xùn)A/B test不是跑兩個(gè)版本看誰數(shù)字高它是一門關(guān)于因果推斷的手藝做不好你拿到的不過是自己騙自己的噪聲。所謂A/B test本質(zhì)上是一次受控實(shí)驗(yàn)。你把流量隨機(jī)切成兩組一組看到舊版本對照組Control一組看到新版本實(shí)驗(yàn)組Treatment除了你要驗(yàn)證的那一個(gè)變量之外其余條件盡量保持一致然后比較兩組在關(guān)鍵指標(biāo)上的差異。它的目標(biāo)只有一個(gè)判斷這個(gè)改動(dòng)和指標(biāo)變化之間到底有沒有因果關(guān)系而不是僅僅存在相關(guān)關(guān)系。這跟藥廠做雙盲臨床試驗(yàn)的思路是一模一樣的只不過藥廠用的是病人我們用的是用戶。這里有個(gè)特別容易被混淆的點(diǎn)。日常做數(shù)據(jù)分析我們經(jīng)?？吹皆缟匣钴S的用戶轉(zhuǎn)化率更高然后有人就說那我們早上多推活動(dòng)吧。這是典型的相關(guān)性誤讀——早上活躍的人可能本身就是重度用戶轉(zhuǎn)化率高跟早上沒關(guān)系。A/B test的價(jià)值就在于它用隨機(jī)化把這種混雜因素洗掉了兩組用戶的構(gòu)成在期望上是相同的唯一的系統(tǒng)性差別就是你改的那個(gè)東西。這就是它能談因果的底氣。1.1 A/B test解決的從來不是數(shù)據(jù)對比而是因果歸屬很多新手把A/B test理解成一個(gè)對比工具覺得只要兩組數(shù)字?jǐn)[在一起誰高誰就好。這個(gè)理解是有問題的。我舉個(gè)例子假設(shè)你想驗(yàn)證一種新肥料能不能讓莊稼增產(chǎn)你在地的東邊施了新肥西邊用老肥結(jié)果東邊收成好。你能直接下結(jié)論說新肥有效嗎不能——因?yàn)闁|邊那塊地可能光照更好、土壤更肥、離水渠更近。你比較的不是肥料這一個(gè)變量你把地塊的差異也一起比進(jìn)去了。A/B test要做的恰恰是把光照、土壤、水渠這些干擾項(xiàng)通過隨機(jī)分配抹平。當(dāng)用戶是被隨機(jī)分到兩組的那么所有你能想到和想不到的特征——年齡、設(shè)備、地域、使用習(xí)慣、甚至今天心情——都會(huì)在兩組之間大致均衡分布。這樣一來兩組之間剩下的系統(tǒng)性差異理論上就只有你的那個(gè)改動(dòng)。這就是因果歸屬的含義我們把指標(biāo)的差異歸因到了那個(gè)唯一的干預(yù)上。所以判斷一次實(shí)驗(yàn)值不值得做有個(gè)很簡單的自問我能不能隨機(jī)地把用戶分到不同的體驗(yàn)里并且保證除了我要測的改動(dòng)之外其他都不一樣如果答案是肯定的那A/B test適合你如果答案是否定的你需要考慮別的因果推斷方法。1.2 一個(gè)合格的實(shí)驗(yàn)必須同時(shí)滿足的三個(gè)條件我梳理了一下一個(gè)能得出可信結(jié)論的實(shí)驗(yàn)至少要滿足下面三條缺一條結(jié)論就會(huì)打折扣。隨機(jī)化分配。這是整個(gè)實(shí)驗(yàn)的地基。隨機(jī)化不是說隨便分而是要求每個(gè)用戶被分到任意一組的概率是已知且相等的通常是各50%。工程上我們一般用哈希函數(shù)基于用戶ID來分流而不是用隨機(jī)數(shù)——因?yàn)橛脩艨赡軙?huì)刷新頁面、跨設(shè)備訪問用隨機(jī)數(shù)會(huì)導(dǎo)致同一個(gè)人一會(huì)兒看到A一會(huì)兒看到B體驗(yàn)割裂數(shù)據(jù)也被污染。哈希分流的妙處在于同一個(gè)用戶ID永遠(yuǎn)落在同一組穩(wěn)定且可復(fù)現(xiàn)。平行對照。實(shí)驗(yàn)組和對照組必須在同一時(shí)間段并行運(yùn)行。這一點(diǎn)經(jīng)常被忽視。有些團(tuán)隊(duì)圖省事先跑一周舊版本再跑一周新版本這叫前后對比而不是A/B test。問題是這兩周之間可能發(fā)生了太多別的事節(jié)假日、競品動(dòng)作、天氣、系統(tǒng)故障、大盤自然波動(dòng)。你根本分不清指標(biāo)變化是新版本帶來的還是時(shí)間帶來的。單一變更與可解釋性。理想情況下一次實(shí)驗(yàn)只改一個(gè)變量。如果你既改了按鈕文案、又換了按鈕顏色、還調(diào)整了頁面布局那么就算指標(biāo)漲了你也不知道是哪個(gè)改動(dòng)起的作用下次想復(fù)用都沒法復(fù)用。當(dāng)然現(xiàn)實(shí)里產(chǎn)品迭代往往是一起打包上線的這時(shí)候就需要退一步接受我測的是這個(gè)整包方案但心里要清楚你是沒法拆解貢獻(xiàn)度的。1.3 什么時(shí)候不該用A/B testA/B test不是萬能藥。這幾年我看到不少人硬把A/B test往不合適的場景上套結(jié)果做出來的結(jié)論比不做還危險(xiǎn)。第一類是無法隨機(jī)化的場景。比如你想評估一次品牌廣告投放的效果你沒法隨機(jī)地把用戶分組然后強(qiáng)迫一部分人看電視廣告、另一部分人不看。再比如監(jiān)管政策變更、價(jià)格體系調(diào)整這類全局性動(dòng)作一旦上線就是全體生效壓根切不出對照組。第二類是樣本量嚴(yán)重不足。你的產(chǎn)品一天只有幾百個(gè)UV還指望測出1%的提升這在統(tǒng)計(jì)上是不可能的任務(wù)。后面我會(huì)算給你看一個(gè)10%基線的指標(biāo)要測出1個(gè)百分點(diǎn)的絕對提升每組需要一萬五千左右的樣本。流量不夠你跑一個(gè)月也攢不齊。第三類是倫理或體驗(yàn)風(fēng)險(xiǎn)。比如涉及退款政策、隱私相關(guān)的改動(dòng)把一部分用戶分到更差的版本里可能帶來投訴或者合規(guī)風(fēng)險(xiǎn)這時(shí)候要謹(jǐn)慎評估。面對這些場景你可以考慮傾向得分匹配、斷點(diǎn)回歸、雙重差分DID或者切換實(shí)驗(yàn)Switchback Test——切換實(shí)驗(yàn)的思路是讓整個(gè)大盤在不同時(shí)間片上交替使用新舊版本用時(shí)間做對照特別適合那些沒法切用戶、只能整體切換的場景比如推薦算法的大盤調(diào)度。這些方法各有各的假設(shè)比A/B test更容易被質(zhì)疑但總比拍腦袋強(qiáng)。2. 統(tǒng)計(jì)學(xué)地基p值、置信區(qū)間和它們被誤讀的一百種方式聊完為什么做接下來必須啃下統(tǒng)計(jì)學(xué)這塊硬骨頭。我見過太多人實(shí)驗(yàn)工具用得飛起報(bào)表拉得漂漂亮亮但你問他p值是0.03是什么意思他答不上來。這就像開車不看儀表盤遲早要出事。這一節(jié)我會(huì)盡量用人話把這些概念講透不講公式推導(dǎo)只講它們在實(shí)際決策里怎么用、以及最容易踩的認(rèn)知陷阱。2.1 零假設(shè)與備擇假設(shè)先假定改了沒用假設(shè)檢驗(yàn)的邏輯跟我們?nèi)粘Ｖ庇X是反著來的。我們平時(shí)想證明新版本更好但統(tǒng)計(jì)學(xué)要求你先假定新版本沒有任何效果然后看數(shù)據(jù)是否強(qiáng)烈到能推翻這個(gè)假定。這個(gè)先假定沒用的說法就叫零假設(shè)Null HypothesisH0。對應(yīng)的**備擇假設(shè)Alternative HypothesisH1**才是你想證明的東西——新版本跟舊版本有差異。整個(gè)檢驗(yàn)過程就是在H0成立的前提下計(jì)算出觀察到當(dāng)前這么極端的數(shù)據(jù)的概率有多大這個(gè)概率就是p值。如果這個(gè)概率特別小我們就說在H0成立的前提下出現(xiàn)這種數(shù)據(jù)的可能性太低了所以H0大概率不成立我們拒絕它。打個(gè)比方。你懷疑一枚硬幣被做了手腳于是先假定它是公平的H0。然后你拋了100次發(fā)現(xiàn)60次正面。如果你拋出來是50次正面左右那很正常啥也說明不了但60次正面就有點(diǎn)反常了。假設(shè)檢驗(yàn)要回答的就是如果硬幣真的公平拋100次出現(xiàn)60次及以上正面的概率有多大這個(gè)概率算出來大概是2.8%如果你事先設(shè)定的門檻是5%那這個(gè)概率小于門檻你就可以拒絕公平這個(gè)假設(shè)。關(guān)鍵點(diǎn)在于我們永遠(yuǎn)不能證明H1成立只能說H0在數(shù)據(jù)面前站不住腳。這兩者聽起來差不多實(shí)際上差著十萬八千里后面講p值誤讀的時(shí)候你會(huì)有更深的體會(huì)。2.2 第一類錯(cuò)誤、第二類錯(cuò)誤你要防的是哪一個(gè)只要是基于樣本做推斷就一定會(huì)犯錯(cuò)因?yàn)槟憧吹牟皇侨慷浅闃?。錯(cuò)誤分兩種我習(xí)慣用一個(gè)法庭類比來記第一類錯(cuò)誤Type I Error假陽性H0其實(shí)是對的你卻拒絕了它。翻譯到法庭上就是這個(gè)人無罪你卻判他有罪。翻譯到A/B test里就是新版本其實(shí)沒用你卻說它有用把它上線了。犯這個(gè)錯(cuò)的概率就是顯著性水平α通常設(shè)成0.05意思是我容忍5%的概率誤把一個(gè)無效的改動(dòng)當(dāng)成有效的。第二類錯(cuò)誤Type II Error假陰性H0其實(shí)是錯(cuò)的你卻沒有拒絕它。法庭版本是這個(gè)人有罪你卻把他放了。A/B test版本是新版本確實(shí)有效但你樣本不夠或者運(yùn)氣不好沒測出來把它砍掉了。犯這個(gè)錯(cuò)的概率記作β通常設(shè)成0.2意思是我容忍20%的概率漏掉一個(gè)真實(shí)有效的改動(dòng)。由此衍生出兩個(gè)核心概念顯著性水平α決定了你判錯(cuò)案的門檻**統(tǒng)計(jì)功效Power 1 - β**決定了你抓得住真兇的能力。功效0.8意味著如果新版本真的有我們預(yù)期的那么大效果這次實(shí)驗(yàn)有80%的概率能把它識(shí)別出來。這里有個(gè)我特別想強(qiáng)調(diào)的取舍α和β是此消彼長的。你把α調(diào)得更嚴(yán)比如從0.05降到0.01假陽性是少了但同樣的樣本量下功效會(huì)下降假陰性會(huì)變多。所以你不能單方面貪心地要求兩樣都低要么就得加樣本。這個(gè)權(quán)衡是每個(gè)實(shí)驗(yàn)設(shè)計(jì)者必須做的選擇題。概念含義常用取值業(yè)務(wù)含義α顯著性水平容忍假陽性的概率0.05誤把無效改動(dòng)當(dāng)有效的風(fēng)險(xiǎn)β第二類錯(cuò)誤率容忍假陰性的概率0.2漏掉真實(shí)有效改動(dòng)的風(fēng)險(xiǎn)Power統(tǒng)計(jì)功效1 - β0.8能識(shí)別出真實(shí)效果的概率p值H0成立時(shí)觀測到當(dāng)前數(shù)據(jù)的概率與α比較越小越反常注意α0.05不是鐵律。如果你的產(chǎn)品改動(dòng)上線成本極高、一旦錯(cuò)了損失巨大比如涉及資金、支付、核心算法那把α設(shè)到0.01甚至更嚴(yán)是合理的。反之如果只是文案小改錯(cuò)上線成本很低放寬到0.1也能接受。2.3 p值到底是什么以及它不是什么p值是這幾年被罵得最慘的統(tǒng)計(jì)指標(biāo)問題不在它本身而在它被濫用。我用一句話給它定個(gè)性p值是在改動(dòng)完全無效這個(gè)假設(shè)下你觀測到的或更極端的數(shù)據(jù)出現(xiàn)的概率。注意是數(shù)據(jù)的概率不是假設(shè)為真的概率。最常見的誤讀有四種我一個(gè)個(gè)拆。第一種誤讀p0.03意味著新版本有97%的概率更好。錯(cuò)。p值說的是數(shù)據(jù)不是假設(shè)。它沒有給你任何關(guān)于新版本更好這個(gè)命題為真的概率。要得到那種概率你得用貝葉斯方法那是另一套體系。第二種誤讀p0.05說明新版本沒用。錯(cuò)得離譜。p0.05只說明數(shù)據(jù)不足以證明有差異它可能是真的沒差異也可能是樣本不夠沒測出來。統(tǒng)計(jì)學(xué)上有個(gè)說法叫absence of evidence is not evidence of absence翻譯過來就是沒有證據(jù)不等于證據(jù)不存在。我吃過這個(gè)虧一個(gè)真實(shí)的提升因?yàn)闃颖玖繘]算夠p0.08被判了不顯著直接砍掉后來補(bǔ)足樣本重測發(fā)現(xiàn)效果是真的。第三種誤讀p值越小效果越大。p值大小同時(shí)受效果大小和樣本量影響。一個(gè)微乎其微的效果只要樣本量足夠大也能得到極小的p值。反過來一個(gè)巨大的效果在小樣本下p值可能也不小。所以看p值一定要配套看效應(yīng)量也就是提升幅度本身。第四種誤讀p0.05就代表業(yè)務(wù)上值得上線。這更是把統(tǒng)計(jì)顯著和業(yè)務(wù)顯著混為一談。統(tǒng)計(jì)顯著只代表這個(gè)差異不太可能是巧合但差異本身可能只有0.05%用戶根本感知不到上線投入的人力還不如省省。給不給上線得看這個(gè)提升帶來的收益能不能覆蓋開發(fā)成本這是業(yè)務(wù)判斷不是統(tǒng)計(jì)判斷。2.4 置信區(qū)間比p值更好用如果讓我只能選一個(gè)指標(biāo)來看實(shí)驗(yàn)結(jié)果我會(huì)選置信區(qū)間Confidence IntervalCI而不是p值。為什么呢因?yàn)閜值只告訴你有沒有差異而置信區(qū)間同時(shí)告訴你差異大概有多大、以及有多不確定。95%置信區(qū)間的準(zhǔn)確含義比較繞如果你把這個(gè)實(shí)驗(yàn)重復(fù)無數(shù)次每次都算一個(gè)95%置信區(qū)間那么這些區(qū)間里大約95%會(huì)包含真實(shí)的效應(yīng)值。對單次實(shí)驗(yàn)來說我們通常就說真實(shí)效應(yīng)有95%的把握落在這個(gè)范圍內(nèi)。舉個(gè)例子假設(shè)實(shí)驗(yàn)組比對照組轉(zhuǎn)化率提升了1個(gè)百分點(diǎn)95%置信區(qū)間是[0.2%, 1.8%]。這個(gè)區(qū)間完全在0的右側(cè)說明效果是正向的且統(tǒng)計(jì)顯著。同時(shí)你還能看到最樂觀的情況提升1.8%最保守也有0.2%。如果最保守的這個(gè)下界你也能接受那這個(gè)改動(dòng)就值得上線。要是區(qū)間是[-0.5%, 2.5%]跨過了0那就說明方向都不確定別提上線了。我個(gè)人的習(xí)慣是看實(shí)驗(yàn)結(jié)論必看三樣點(diǎn)估計(jì)提升幅度、置信區(qū)間、p值。三者放在一起看一個(gè)實(shí)驗(yàn)到底贏了多少、穩(wěn)不穩(wěn)基本就清晰了。光看p值是典型的只見樹木不見森林。3. 開跑之前必須算的賬樣本量與統(tǒng)計(jì)功效實(shí)驗(yàn)設(shè)計(jì)里最容易被跳過的一步就是提前算樣本量。很多人是先跑起來再說跑幾天看看結(jié)果要么樣本不夠下不了結(jié)論要么白白浪費(fèi)兩周流量。我把話放這兒不提前算樣本量的實(shí)驗(yàn)大概率是浪費(fèi)。這一節(jié)我把怎么算、算完怎么用、以及怎么少花流量也能測準(zhǔn)都講一遍。3.1 決定樣本量的四個(gè)參數(shù)樣本量不是拍腦袋定的它是被四個(gè)參數(shù)唯一確定的。想清楚這四個(gè)樣本量就是個(gè)填空題?；€轉(zhuǎn)化率p對照組當(dāng)前的指標(biāo)水平。比如當(dāng)前下單轉(zhuǎn)化率是10%。最小可檢測效應(yīng)Minimum Detectable EffectMDE你能接受的最小有意義提升。這個(gè)要慎重定。定得太小比如0.1%樣本量會(huì)爆炸定得太大比如50%的相對提升那大多數(shù)正常的改動(dòng)都達(dá)不到實(shí)驗(yàn)永遠(yuǎn)不顯著。我的經(jīng)驗(yàn)是MDE通常取相對提升5%~20%具體看業(yè)務(wù)改版動(dòng)作大就定得大一點(diǎn)精細(xì)化調(diào)優(yōu)就定得小一點(diǎn)。顯著性水平α一般是0.05對應(yīng)雙側(cè)檢驗(yàn)的z值約1.96。統(tǒng)計(jì)功效1-β一般是0.8對應(yīng)z值約0.84。把這四個(gè)參數(shù)代進(jìn)公式就能算出每組需要的樣本量。下面這個(gè)公式適用于比較兩個(gè)比例的經(jīng)典場景n 2 × (z_{1-α/2} z_{1-β})2 × p? × (1 - p?) / Δ2 其中 n 每組所需樣本量 p? 兩組基線率的平均值 (p_control p_treatment) / 2 Δ 絕對效應(yīng)量 p_treatment - p_control z 標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)如果嫌麻煩業(yè)內(nèi)有個(gè)很好用的近似式每組樣本量 ≈ 16 × p × (1-p) / Δ2這個(gè)16就是把(1.960.84)2≈7.84再乘2湊整來的算出來的結(jié)果跟精確公式差不了多少做快速估算非常夠用。3.2 手把手算一遍從10%基線到1%絕對提升光說公式太空我們算一遍實(shí)際數(shù)字你感受一下樣本量到底有多大。場景對照組基線轉(zhuǎn)化率10%我們希望檢測出**相對提升10%**的效果也就是絕對提升1個(gè)百分點(diǎn)即實(shí)驗(yàn)組目標(biāo)為11%。取α0.05功效0.8。代入公式p? (0.10 0.11) / 2 0.105p? × (1 - p?) 0.105 × 0.895 0.093975Δ 0.11 - 0.10 0.01Δ2 0.0001z_{0.975} 1.96z_{0.80} 0.8416兩者之和 2.8016平方 ≈ 7.849所以n 2 × 7.849 × 0.093975 / 0.0001 15.698 × 0.093975 / 0.0001 ≈ 14752結(jié)果是每組約14750人兩組合計(jì)約3萬人。用近似公式驗(yàn)證一下16 × 0.093975 / 0.0001 ≈ 15036跟精確值非常接近可見這個(gè)近似式足夠靠譜?？吹竭@個(gè)數(shù)字你應(yīng)該對樣本量有點(diǎn)敬畏了。如果你的產(chǎn)品每天轉(zhuǎn)化用戶只有500個(gè)那這個(gè)實(shí)驗(yàn)光是攢樣本就要攢上近60天。這時(shí)候你有兩個(gè)選擇要么把MDE放大比如只關(guān)心20%以上的相對提升要么想辦法提高實(shí)驗(yàn)的靈敏度。前者是妥協(xié)后者是技術(shù)活。用Python寫個(gè)小工具幾行就能算from scipy.stats import norm def sample_size_per_group(p_base, mde_rel, alpha0.05, power0.8): p_base : 對照組基線轉(zhuǎn)化率例如 0.10 mde_rel : 相對提升幅度例如 0.10 表示提升10% alpha : 顯著性水平 power : 統(tǒng)計(jì)功效 p_treat p_base * (1 mde_rel) p_bar (p_base p_treat) / 2 delta p_treat - p_base z_alpha norm.ppf(1 - alpha / 2) z_beta norm.ppf(power) n 2 * (z_alpha z_beta) ** 2 * p_bar * (1 - p_bar) / delta ** 2 return int(n) 1 # 向上取整 print(sample_size_per_group(0.10, 0.10)) # 約 14753 print(sample_size_per_group(0.10, 0.20)) # 相對提升20%樣本量驟降你可以自己跑一下會(huì)發(fā)現(xiàn)相對提升20%時(shí)樣本量幾乎只有提升10%時(shí)的四分之一。這也解釋了為什么大改動(dòng)往往更容易測出效果——不是因?yàn)榇蟾膭?dòng)一定更好而是因?yàn)榇蟾膭?dòng)更容易被檢測到。提示如果你做的是連續(xù)型指標(biāo)比如人均停留時(shí)長、客單價(jià)樣本量公式不一樣它依賴的是指標(biāo)的方差而不是比例。但思路完全一致方差越大、MDE越小需要的樣本越多。業(yè)界通用的估算工具如在線樣本量計(jì)算器一般都支持這兩種類型。3.3 實(shí)驗(yàn)要跑多久別讓周期毀掉結(jié)論算出每組樣本量之后還要把它換算成跑幾天。這一步的坑特別多。首先用你產(chǎn)品的日活或日均落入實(shí)驗(yàn)的用戶數(shù)除一下就知道大概需要多少天。但這里有個(gè)隱藏殺手用戶行為的周期性。工作日和周末用戶的下單行為可能天差地別月初發(fā)工資那幾天和月末消費(fèi)傾向也不一樣。如果你的實(shí)驗(yàn)只跑了工作日或者橫跨了一個(gè)大促那結(jié)論很可能是被周期性因素污染的。所以我的建議是實(shí)驗(yàn)周期至少覆蓋一個(gè)完整的周7天最好能覆蓋兩周。這樣每周各天的差異會(huì)被平均掉。如果你的業(yè)務(wù)有明顯的月度周期理論上最好覆蓋一個(gè)月但那往往不現(xiàn)實(shí)這時(shí)候就退而求其次保證覆蓋整周并在結(jié)論里標(biāo)注未覆蓋月度周期。第二個(gè)坑是實(shí)驗(yàn)啟動(dòng)的初期污染。用戶剛進(jìn)入新版本時(shí)行為可能有新鮮感效應(yīng)——短時(shí)間內(nèi)點(diǎn)擊率暴漲過幾天又回落?；蛘叻催^來老用戶突然看到界面變了產(chǎn)生排斥。這類效應(yīng)一般持續(xù)幾天所以實(shí)驗(yàn)也不要只看第一天。第三個(gè)坑是用戶首次進(jìn)入實(shí)驗(yàn)的時(shí)間。要確保實(shí)驗(yàn)組的用戶和對照組的用戶是在同一個(gè)時(shí)間窗口里首次接觸到版本的否則一個(gè)跑了三天、一個(gè)跑了七天樣本構(gòu)成就不一樣了這叫新鮮度偏差。3.4 提升靈敏度的幾個(gè)實(shí)用手段當(dāng)你流量不夠、又不想放大MDE的時(shí)候還有一招降低指標(biāo)方差也就是讓同樣的效果更容易被看見。這在統(tǒng)計(jì)上叫方差縮減Variance Reduction。我介紹幾個(gè)我實(shí)際用過、比較靠譜的。CUPEDControlled-experiment Using Pre-Experiment Data這個(gè)方法是微軟提出來的思路很巧妙。它利用實(shí)驗(yàn)開始之前的用戶行為數(shù)據(jù)作為協(xié)變量來修正實(shí)驗(yàn)期指標(biāo)。比如你知道每個(gè)實(shí)驗(yàn)用戶在實(shí)驗(yàn)前的歷史下單次數(shù)就可以用這個(gè)歷史值把實(shí)驗(yàn)期指標(biāo)的方差抽掉一部分。效果非常顯著我實(shí)測下來方差經(jīng)常能降低30%~50%等效于把樣本量需求砍掉一大截。代碼上也不難核心就幾行回歸調(diào)整。import numpy as np def cuped_adjust(y, x, thetaNone): y : 實(shí)驗(yàn)期指標(biāo)比如是否下單 x : 實(shí)驗(yàn)前協(xié)變量比如實(shí)驗(yàn)前7天下單次數(shù) theta : 調(diào)整系數(shù)默認(rèn)用 Cov(y,x)/Var(x) 估計(jì) if theta is None: theta np.cov(y, x)[0, 1] / np.var(x) return y - theta * (x - np.mean(x)) # 對實(shí)驗(yàn)組和對照組的 y 都做調(diào)整后再做檢驗(yàn)配對設(shè)計(jì)把特征相似的用戶配對然后一對里隨機(jī)一個(gè)進(jìn)實(shí)驗(yàn)組、一個(gè)進(jìn)對照組。這樣組間差異會(huì)小很多但工程實(shí)現(xiàn)復(fù)雜一般大規(guī)模實(shí)驗(yàn)用不上。更敏感的指標(biāo)有時(shí)候主指標(biāo)太粗比如是否下單這種0/1指標(biāo)方差天然就大。你可以換成更細(xì)的代理指標(biāo)比如加購次數(shù)、頁面停留時(shí)長這些指標(biāo)方差小、對改動(dòng)更敏感。但要注意代理指標(biāo)動(dòng)了不代表主指標(biāo)一定動(dòng)別撿了芝麻丟了西瓜。分流比例不均如果你對數(shù)據(jù)非常有把握可以把分流比例從50/50調(diào)成70/30實(shí)驗(yàn)組多一些在總流量固定時(shí)這通常能讓整體功效略微提升一點(diǎn)點(diǎn)。但收益有限且會(huì)減少對照組信息量我個(gè)人不太推薦優(yōu)先用這招。4. 分流與實(shí)驗(yàn)設(shè)計(jì)讓兩組真的可比前面都是紙上談兵的統(tǒng)計(jì)這一節(jié)落到工程實(shí)現(xiàn)。分流的代碼寫得對不對直接決定了實(shí)驗(yàn)數(shù)據(jù)能不能用。我見過不少實(shí)驗(yàn)結(jié)論漂亮但底層分流有bug白忙一場。這里面我認(rèn)為最核心的三個(gè)環(huán)節(jié)是哈希分流、AA檢驗(yàn)、SRM檢測。4.1 隨機(jī)化的工程實(shí)現(xiàn)哈希分流怎么寫前面說過別用隨機(jī)數(shù)分流要用哈希分流。核心思路是把「實(shí)驗(yàn)ID 用戶ID 鹽值」拼成一個(gè)字符串用哈希函數(shù)映射成一個(gè)固定長度的數(shù)字再取模映射到具體的桶bucket里。為什么要有「鹽值salt」因?yàn)槿绻阒挥糜脩鬒D哈希那么同一個(gè)用戶在你們所有的實(shí)驗(yàn)里都會(huì)被分到同一比例的桶里長期下來會(huì)導(dǎo)致實(shí)驗(yàn)污染——某些用戶總是在實(shí)驗(yàn)組某些總在對照組長期行為會(huì)分化。加一個(gè)跟實(shí)驗(yàn)ID相關(guān)的鹽值就能讓同一個(gè)用戶在不同實(shí)驗(yàn)里的分組互相獨(dú)立。import hashlib def hash_bucket(exp_id: str, user_id: str, salt: str v1, n_buckets: int 10000) - int: key f{exp_id}:{salt}:{user_id} digest hashlib.md5(key.encode(utf-8)).hexdigest() # 取前8位十六進(jìn)制轉(zhuǎn)成整數(shù)再取模 return int(digest[:8], 16) % n_buckets def assign_group(exp_id: str, user_id: str, salt: str v1, split: float 0.5, n_buckets: int 10000) - str: bucket hash_bucket(exp_id, user_id, salt, n_buckets) if bucket int(n_buckets * split): return control return treatment print(assign_group(exp_001, user_9527)) # 穩(wěn)定輸出 control 或 treatment這段代碼的核心優(yōu)點(diǎn)有兩個(gè)冪等同一個(gè)用戶無論訪問多少次結(jié)果永遠(yuǎn)一致可復(fù)現(xiàn)你用同樣的鹽值和ID在任何環(huán)境里都能算出相同的分組方便排查問題。有一個(gè)細(xì)節(jié)值得注意哈希桶的粒度。如果你的實(shí)驗(yàn)很多或者需要在一組實(shí)驗(yàn)里嵌套多層比如先分實(shí)驗(yàn)流量、再分實(shí)驗(yàn)組建議采用多層分流Layered Experiment / Overlapping Experiment的思路。這種方法把流量池切成多個(gè)正交層不同層之間的實(shí)驗(yàn)互不干擾可以同時(shí)跑很多實(shí)驗(yàn)而不互相踩腳。這個(gè)方法最早是搜索引擎公司用來同時(shí)跑大量算法實(shí)驗(yàn)的現(xiàn)在很多實(shí)驗(yàn)平臺(tái)都借鑒了這個(gè)設(shè)計(jì)。4.2 AA檢驗(yàn)上線前的自我體檢分流代碼寫完之后千萬別直接跑真實(shí)驗(yàn)。先跑一次AA檢驗(yàn)對照組和實(shí)驗(yàn)組跑的是完全一樣的版本理論上兩組的指標(biāo)應(yīng)該沒有統(tǒng)計(jì)顯著的差異。如果AA檢驗(yàn)都能跑出顯著差異那說明你的分流邏輯或者埋點(diǎn)有問題。我見過一次特別嚇人的AA結(jié)果兩組轉(zhuǎn)化率差了3個(gè)百分點(diǎn)p值0.001。排查之后發(fā)現(xiàn)是埋點(diǎn)上報(bào)時(shí)間不一致實(shí)驗(yàn)組的日志匯總有延遲導(dǎo)致一部分下單沒算進(jìn)去。這種bug如果混在真實(shí)驗(yàn)里足夠讓你做出一個(gè)完全錯(cuò)誤的決策。AA檢驗(yàn)跑多久我的經(jīng)驗(yàn)是跑夠單組樣本量的50%~100%。不用跑完整周期但樣本太少也看不出問題。AA檢驗(yàn)的通過標(biāo)準(zhǔn)是指標(biāo)差異應(yīng)該落在合理的隨機(jī)波動(dòng)范圍內(nèi)p值大于0.05甚至更寬比如大于0.01就可以繼續(xù)。如果AA反復(fù)出現(xiàn)顯著差異就別急著上真實(shí)驗(yàn)。4.3 SRM樣本比例失衡最容易被忽略的致命傷**SRMSample Ratio Mismatch樣本比例失衡**是實(shí)驗(yàn)圈公認(rèn)的實(shí)驗(yàn)殺手之一。它的意思很簡單你設(shè)定分流比例是50/50但實(shí)際跑下來落到兩組的人數(shù)卻是49/51、甚至48/52差距大到不像隨機(jī)波動(dòng)。SRM為什么可怕因?yàn)樗f明分流機(jī)制本身出了問題實(shí)驗(yàn)數(shù)據(jù)很可能是被某種系統(tǒng)性偏差污染的這時(shí)候你算出來的所有p值、置信區(qū)間都不可信。哪怕指標(biāo)看起來漂亮也不能信。檢測SRM用卡方擬合優(yōu)度檢驗(yàn)from scipy.stats import chisquare # 假設(shè)預(yù)期比例 50:50實(shí)際觀測到的樣本數(shù) observed [4980, 5020] total sum(observed) expected [total * 0.5, total * 0.5] stat, p chisquare(observed, expected) print(fchi2{stat:.3f}, p{p:.4f}) # 判據(jù)p 0.001 視為存在 SRM判據(jù)有個(gè)經(jīng)驗(yàn)值p值小于0.001就判定為SRM而不是常規(guī)的0.05。原因是我們對SRM要更敏感也更寬容——太敏感會(huì)誤報(bào)但0.001這個(gè)門檻足夠低一旦觸發(fā)基本就是真有問題。常見的SRM原因我列一下都是實(shí)戰(zhàn)中高頻出現(xiàn)的原因類別具體表現(xiàn)排查手段分流邏輯bug哈希取模寫錯(cuò)、邊界判定漏桶用固定測試集跑分流單測埋點(diǎn)/日志丟失某一版本上報(bào)延遲或失敗對比兩組的日志條數(shù)、上報(bào)延遲路由/跳轉(zhuǎn)攔截某些版本被安全策略或CDN攔截檢查中間件、頻率限制用戶主動(dòng)跳出新版本加載慢用戶提前關(guān)閉看兩組的跳出率是否異常分桶污染用戶跨設(shè)備、跨端導(dǎo)致重復(fù)計(jì)入用穩(wěn)定ID而非設(shè)備ID分流注意SRM一旦觸發(fā)不要試圖解釋它。很多人的第一反應(yīng)是哦可能是新版本加載慢導(dǎo)致的用戶跑了然后繼續(xù)看數(shù)據(jù)。正確的做法是終止實(shí)驗(yàn)、排查根因、修復(fù)后重跑。用被污染的數(shù)據(jù)下結(jié)論是拿業(yè)務(wù)決策賭運(yùn)氣。4.4 偷看數(shù)據(jù)與序貫檢驗(yàn)還有個(gè)特別隱蔽的坑叫偷看數(shù)據(jù)Peeking。很多團(tuán)隊(duì)跑實(shí)驗(yàn)時(shí)每天都看一遍顯著性看到p0.05就宣布勝利、停止實(shí)驗(yàn)。這個(gè)做法在統(tǒng)計(jì)上是錯(cuò)誤的它會(huì)大幅拉高假陽性率。原因在于經(jīng)典的假設(shè)檢驗(yàn)要求你在實(shí)驗(yàn)開始前就固定樣本量跑滿后再看一次。如果你反復(fù)看、隨時(shí)可能停止那你就相當(dāng)于給了數(shù)據(jù)很多次變得顯著的機(jī)會(huì)。哪怕新版本完全沒效果你每天看一眼連續(xù)看兩周出現(xiàn)一次p0.05的概率遠(yuǎn)高于5%實(shí)測能到20%~30%。這就好比你在賭場里一直下注總覺得下一把會(huì)贏但最終是概率在收割你。解決這個(gè)問題有兩條路。第一條是老老實(shí)實(shí)跑滿樣本量再看簡單粗暴但有效。第二條是采用序貫檢驗(yàn)Sequential Testing方法它專門處理反復(fù)看數(shù)據(jù)的場景通過對每次檢驗(yàn)的閾值做動(dòng)態(tài)調(diào)整來控制整體的假陽性率。業(yè)界常用的有SPRT序貫概率比檢驗(yàn)和Always-Valid p-value?，F(xiàn)在一些實(shí)驗(yàn)平臺(tái)默認(rèn)就用了這類方法允許你隨時(shí)看、隨時(shí)停但解釋起來更復(fù)雜需要團(tuán)隊(duì)有一定的統(tǒng)計(jì)學(xué)基礎(chǔ)。我個(gè)人的建議是如果你的團(tuán)隊(duì)統(tǒng)計(jì)功底一般就老老實(shí)實(shí)跑滿再看如果實(shí)驗(yàn)很頻繁、流程要求實(shí)時(shí)決策那就統(tǒng)一用序貫方法別讓兩套標(biāo)準(zhǔn)混用。5. 指標(biāo)、多重比較與結(jié)果解讀實(shí)驗(yàn)跑完了數(shù)據(jù)處理也做對了接下來是解讀環(huán)節(jié)。這一步看起來簡單其實(shí)是魔鬼藏在細(xì)節(jié)的重災(zāi)區(qū)。指標(biāo)定錯(cuò)了、結(jié)論會(huì)跑偏多重比較沒校正、會(huì)撿到假顯著辛普森悖論沒注意、整體贏了局部輸了。這一節(jié)我逐條拆開講。5.1 主指標(biāo)、護(hù)欄指標(biāo)、代理指標(biāo)怎么定一次實(shí)驗(yàn)只盯一個(gè)指標(biāo)非常容易走偏。我的習(xí)慣是設(shè)計(jì)一個(gè)主指標(biāo) 若干護(hù)欄指標(biāo) 可選代理指標(biāo)。主指標(biāo)Primary Metric這是你做這次實(shí)驗(yàn)想優(yōu)化的核心指標(biāo)一次實(shí)驗(yàn)最好只有一個(gè)。比如改版商品詳情頁主指標(biāo)就是下單轉(zhuǎn)化率。定多了會(huì)引出多重比較問題下面會(huì)講而且會(huì)讓人模糊焦點(diǎn)。護(hù)欄指標(biāo)Guardrail Metric這些指標(biāo)不是你要提升的而是要保證不被搞壞的。比如你為了提升下單轉(zhuǎn)化可能會(huì)加很多引導(dǎo)按鈕但用戶體驗(yàn)可能變差導(dǎo)致退款率上升、客服投訴率上升、頁面加載時(shí)長上升。護(hù)欄指標(biāo)的作用就是兜底一旦某個(gè)護(hù)欄指標(biāo)顯著惡化哪怕主指標(biāo)漲了也要謹(jǐn)慎上線。代理指標(biāo)Proxy Metric當(dāng)你關(guān)心的長期指標(biāo)比如用戶留存、NPS很難在實(shí)驗(yàn)周期內(nèi)觀察到時(shí)可以用短期相關(guān)的代理指標(biāo)。比如用7日復(fù)訪率代理長期留存用加購率代理下單率。用代理指標(biāo)的好處是靈敏但代價(jià)是它和真實(shí)目標(biāo)的關(guān)系只是相關(guān)而非因果結(jié)論要打折扣表述。指標(biāo)類型作用舉例使用注意主指標(biāo)衡量改動(dòng)是否達(dá)成目標(biāo)下單轉(zhuǎn)化率只設(shè)一個(gè)提前定義護(hù)欄指標(biāo)防止體驗(yàn)或業(yè)務(wù)倒退退款率、投訴率、加載時(shí)長惡化即亮紅燈需解釋代理指標(biāo)短期替代長期目標(biāo)7日復(fù)訪率相關(guān)性需論證慎下結(jié)論5.2 辛普森悖論整體贏局部輸辛普森悖論是數(shù)據(jù)分析里最反直覺的現(xiàn)象之一在分組數(shù)據(jù)里A組每個(gè)子集都比B組好但合起來看A組反而更差。放在A/B test里就是整體看實(shí)驗(yàn)組贏了但拆開每個(gè)細(xì)分人群看實(shí)驗(yàn)組都輸了或者反過來。它的成因是組間構(gòu)成比例不同。我舉個(gè)具體的例子。假設(shè)你的實(shí)驗(yàn)涉及新老兩類用戶新用戶轉(zhuǎn)化率天然低老用戶轉(zhuǎn)化率天然高。對照組老用戶100人轉(zhuǎn)化30%新用戶100人轉(zhuǎn)化10% → 整體轉(zhuǎn)化20%實(shí)驗(yàn)組老用戶20人轉(zhuǎn)化40%新用戶180人轉(zhuǎn)化20% → 整體轉(zhuǎn)化21.8%你看實(shí)驗(yàn)組在每個(gè)細(xì)分人群里都贏了40%30%20%10%但整體實(shí)驗(yàn)組的轉(zhuǎn)化率21.8%比對照組的20%高看起來好像也是實(shí)驗(yàn)組贏。這是因?yàn)樾掠脩舻恼急仍趯?shí)驗(yàn)組里大幅提高了——嗯這個(gè)例子里剛好沒體現(xiàn)出悖論。我再構(gòu)造一個(gè)能體現(xiàn)的。對照組老用戶200人轉(zhuǎn)化率30%新用戶800人轉(zhuǎn)化率5% → 整體200×0.3 800×0.05/1000 10%實(shí)驗(yàn)組老用戶800人轉(zhuǎn)化率40%新用戶200人轉(zhuǎn)化率10% → 整體800×0.4 200×0.1/1000 34%這種情況下兩邊的細(xì)分都贏了整體也贏了。要構(gòu)造悖論需要人群占比發(fā)生方向相反的傾斜?？傊?dāng)實(shí)驗(yàn)組和對照組的人群構(gòu)成顯著不同時(shí)聚合指標(biāo)的比較可能完全誤導(dǎo)。所以實(shí)戰(zhàn)里我強(qiáng)烈建議看到顯著的聚合結(jié)果時(shí)一定要做細(xì)分拆解Segmentation Analysis看看是不是某個(gè)子人群的變化被平均掉了或者放大了。常見的拆解維度有新老用戶、設(shè)備類型、地域、渠道來源、活躍度分層。當(dāng)然拆得太多又會(huì)掉進(jìn)多重比較的坑所以要配合校正手段使用。5.3 多重比較跑20個(gè)指標(biāo)總有一個(gè)顯著**多重比較Multiple Comparisons**是假陽性的重災(zāi)區(qū)。道理很簡單如果每個(gè)檢驗(yàn)都是α0.05那單獨(dú)一個(gè)檢驗(yàn)的假陽性率是5%但如果你獨(dú)立跑20個(gè)檢驗(yàn)至少有一個(gè)假陽性的概率是1 - (1 - 0.05)^20 ≈ 0.642也就是說你跑20個(gè)指標(biāo)即使所有改動(dòng)其實(shí)完全無效也有約64%的概率至少看到一個(gè)顯著的結(jié)果。這就像拋20次硬幣總會(huì)遇到幾次連著正面一樣是純粹的概率現(xiàn)象。解決手段主要有兩個(gè)。Bonferroni校正最保守也最簡單。把每個(gè)檢驗(yàn)的顯著性閾值從α改成α/mm是檢驗(yàn)次數(shù)。比如你跑20個(gè)指標(biāo)那每個(gè)指標(biāo)的閾值就設(shè)成0.05/20 0.0025。這種方法能嚴(yán)格控制假陽性但代價(jià)是功效下降嚴(yán)重容易漏掉真實(shí)效果。Benjamini-HochbergBHFDR校正控制的是假發(fā)現(xiàn)率False Discovery Rate比Bonferroni溫和得多是實(shí)際用起來更舒服的方法。它的思路是把所有p值從小到大排序找到最大的那個(gè)滿足 p_i ≤ (i/m) × α 的位置該位置及其之前的所有假設(shè)都判為顯著。import numpy as np def bh_correction(p_values, alpha0.05): p np.array(p_values) m len(p) order np.argsort(p) sorted_p p[order] thresholds np.arange(1, m 1) / m * alpha # 找到滿足條件的最大的 i passed sorted_p thresholds if not passed.any(): return np.zeros(m, dtypebool) k np.max(np.where(passed)[0]) significant np.zeros(m, dtypebool) significant[order[:k 1]] True return significant pvals [0.001, 0.008, 0.02, 0.04, 0.06, 0.2, 0.5] print(bh_correction(pvals))實(shí)戰(zhàn)建議如果實(shí)驗(yàn)里只跑了一個(gè)主指標(biāo)不用校正如果拆了10個(gè)細(xì)分人群或者跟蹤了多個(gè)指標(biāo)至少要做一次FDR校正否則你的發(fā)現(xiàn)里摻了多少假貨自己都不知道。注意校正不是萬能的。它只解決你主動(dòng)做了多次檢驗(yàn)的問題不解決你看數(shù)據(jù)挑指標(biāo)的問題。如果先看哪個(gè)指標(biāo)顯著就把它當(dāng)主指標(biāo)那校正也救不了你。主指標(biāo)一定要在實(shí)驗(yàn)前就定死。5.4 從顯著性到?jīng)Q策別把p0.05當(dāng)成圣旨最后一個(gè)環(huán)節(jié)是從統(tǒng)計(jì)結(jié)論到業(yè)務(wù)決策。這中間隔著一條很寬的溝很多團(tuán)隊(duì)容易一頭扎進(jìn)p0.05就上線的簡單邏輯里。我的決策框架是這樣的分三層。第一層看統(tǒng)計(jì)顯著性p值是否達(dá)標(biāo)、置信區(qū)間是否跨0。這層決定數(shù)據(jù)支不支持這個(gè)結(jié)論。第二層看業(yè)務(wù)顯著性效應(yīng)量夠不夠大。一個(gè)提升0.02%的改動(dòng)哪怕p0.0001上線的人力成本都未必回得來。我會(huì)算一筆賬這個(gè)提升在全年大盤能帶來多少收益能不能覆蓋開發(fā)和維護(hù)成本。第三層看風(fēng)險(xiǎn)與護(hù)欄相關(guān)護(hù)欄指標(biāo)有沒有惡化、細(xì)分人群里有沒有人明顯吃虧、實(shí)驗(yàn)周期內(nèi)有沒有被特殊事件大促、事故污染。這層決定能不能上、什么時(shí)候上、要不要分批上。這三層都過了才叫可以上線。任何一層不過就需要補(bǔ)測、或者小流量灰度、或者干脆放棄。單純盯著p值做決策是把業(yè)務(wù)當(dāng)成了統(tǒng)計(jì)學(xué)考試。6. 落地實(shí)操一套能跑起來的最小實(shí)驗(yàn)流程前面五節(jié)都是拆解原理這一節(jié)我把它們串成一條能落地的流程。不管你是用現(xiàn)成的商業(yè)實(shí)驗(yàn)平臺(tái)還是自己搭一套輕量系統(tǒng)這套流程和關(guān)鍵節(jié)點(diǎn)都適用。6.1 技術(shù)架構(gòu)的最小閉環(huán)一套能用的A/B實(shí)驗(yàn)系統(tǒng)其實(shí)不一定需要多復(fù)雜我把它拆成五個(gè)關(guān)鍵模塊缺哪個(gè)都不行。分桶服務(wù)Bucketing Service負(fù)責(zé)根據(jù)用戶ID決定他落入哪個(gè)組。就是前面講的哈希分流邏輯。這個(gè)服務(wù)要做得快——每次請求都要校驗(yàn)分組如果它拖慢了主流程用戶體驗(yàn)會(huì)倒退所以通常用本地緩存 布隆過濾器來加速。配置中心Config Service存儲(chǔ)每個(gè)實(shí)驗(yàn)的配置實(shí)驗(yàn)ID、分流比例、生效范圍比如僅限某幾個(gè)城市、某幾個(gè)渠道、時(shí)間窗口。分桶服務(wù)拿到用戶分組后結(jié)合配置中心判斷這個(gè)用戶是否真的進(jìn)入實(shí)驗(yàn)。配置中心最好支持熱更新這樣你調(diào)整實(shí)驗(yàn)參數(shù)不用重啟服務(wù)。埋點(diǎn)上報(bào)Event Tracking用戶的行為數(shù)據(jù)曝光、點(diǎn)擊、下單要打上實(shí)驗(yàn)標(biāo)簽和分組信息方便后續(xù)歸因。這一步最容易出bug務(wù)必保證曝光埋點(diǎn)在用戶真實(shí)看到版本時(shí)上報(bào)而不是在進(jìn)入頁面時(shí)上報(bào)否則會(huì)虛高。指標(biāo)計(jì)算Metric Aggregation把埋點(diǎn)數(shù)據(jù)按實(shí)驗(yàn)、按組聚合算出各種指標(biāo)。這一步往往是離線批處理天級(jí)更新。要注意數(shù)據(jù)口徑的統(tǒng)一別讓實(shí)驗(yàn)組和對照組用了不同的分母。分析平臺(tái)Analysis Reporting把聚合數(shù)據(jù)做統(tǒng)計(jì)檢驗(yàn)算p值、置信區(qū)間、SRM檢驗(yàn)結(jié)果生成實(shí)驗(yàn)報(bào)告。這一步可以簡單到一個(gè)腳本也可以復(fù)雜到一整套可視化平臺(tái)。6.2 常見問題速查表我把這些年遇到的高頻問題整理成表方便你對照排查。這些問題基本涵蓋了A/B test執(zhí)行中出現(xiàn)狀況的八成?，F(xiàn)象可能原因排查/解決辦法p值總在0.05附近反復(fù)橫跳樣本量不足在功效邊緣補(bǔ)樣本或放大MDE實(shí)驗(yàn)組樣本數(shù)明顯偏多/偏少SRM分流或埋點(diǎn)bug卡方檢驗(yàn)p0.001就終止排查AA檢驗(yàn)出現(xiàn)顯著差異分流邏輯或埋點(diǎn)不一致固定ID跑分流單測檢查上報(bào)延遲多個(gè)指標(biāo)都顯著多重比較假陽性做BH或Bonferroni校正整體顯著但拆開看都輸了辛普森悖論人群構(gòu)成傾斜按人群分層重算看加權(quán)結(jié)果第一天大漲后面回落新鮮感效應(yīng)/首因效應(yīng)拉長周期看穩(wěn)態(tài)數(shù)據(jù)實(shí)驗(yàn)跑不動(dòng)樣本攢不齊流量太小或MDE定太小用CUPED降方差或放大MDE每次看數(shù)據(jù)結(jié)果都不一樣偷看數(shù)據(jù)Peeking跑滿再看或改用序貫檢驗(yàn)主指標(biāo)漲了但投訴變多護(hù)欄指標(biāo)被忽視建立護(hù)欄指標(biāo)看板主指標(biāo)護(hù)欄一起決策實(shí)驗(yàn)結(jié)論無法復(fù)現(xiàn)分流不穩(wěn)定或環(huán)境差異檢查鹽值、埋點(diǎn)口徑、是否被其他實(shí)驗(yàn)干擾6.3 我自己踩過的坑和幾條經(jīng)驗(yàn)寫到這兒我把這些年做實(shí)驗(yàn)積累的幾條經(jīng)驗(yàn)擺出來都是花錢買來的教訓(xùn)希望你能少走點(diǎn)彎路。第一條實(shí)驗(yàn)前一定要寫清楚假設(shè)。別只寫改版詳情頁要寫成我認(rèn)為把購買按鈕置頂能提升下單轉(zhuǎn)化率因?yàn)闇p少了用戶的視覺搜索成本預(yù)期提升幅度在5%~15%。把假設(shè)寫細(xì)你才能在跑完之后判斷是假設(shè)本身錯(cuò)了還是假設(shè)對但實(shí)現(xiàn)沒做好。這一步很多團(tuán)隊(duì)省了導(dǎo)致實(shí)驗(yàn)做完只有數(shù)字沒有認(rèn)知。第二條MDE不要拍腦袋要從業(yè)務(wù)倒推。我見過太多人把MDE定得特別小想著我要測出1%的提升結(jié)果實(shí)驗(yàn)跑了兩個(gè)月都攢不夠樣本。正確的做法是先問業(yè)務(wù)我們至少要提升多少才值得上線那個(gè)數(shù)就是MDE。業(yè)務(wù)說5%才有意義你就按5%算樣本別去追那1%。第三條永遠(yuǎn)先跑AA檢驗(yàn)。哪怕你的實(shí)驗(yàn)系統(tǒng)用了半年沒出過事也別跳過AA。分流邏輯、埋點(diǎn)、日志統(tǒng)計(jì)任何一環(huán)改過代碼都要重新跑AA。AA通過是實(shí)驗(yàn)數(shù)據(jù)能用的最低門檻。第四條別迷信一次實(shí)驗(yàn)的結(jié)論。一個(gè)顯著的實(shí)驗(yàn)結(jié)果如果跟你的業(yè)務(wù)直覺嚴(yán)重不符先懷疑數(shù)據(jù)別急著慶?；蛘呖车?。我遇過一個(gè)實(shí)驗(yàn)實(shí)驗(yàn)組轉(zhuǎn)化率暴漲30%大家狂喜結(jié)果排查發(fā)現(xiàn)是實(shí)驗(yàn)組的推薦位恰好命中了一個(gè)爆款商品。這種假提升披著統(tǒng)計(jì)顯著的外衣最容易被當(dāng)成真效果。第五條把失敗的實(shí)驗(yàn)也存檔。很多團(tuán)隊(duì)只記錄成功的實(shí)驗(yàn)失敗的實(shí)驗(yàn)隨手丟了。這是巨大的浪費(fèi)。失敗的實(shí)驗(yàn)告訴你什么方向走不通也是有價(jià)值的信息。更實(shí)際的是當(dāng)你三個(gè)月后又想試同一個(gè)方向時(shí)翻出歷史實(shí)驗(yàn)?zāi)軒湍闶∠乱惠喠髁?。我建議給每個(gè)實(shí)驗(yàn)都建個(gè)記錄假設(shè)、設(shè)計(jì)、結(jié)果、結(jié)論、后續(xù)動(dòng)作。第六條實(shí)驗(yàn)文化比實(shí)驗(yàn)工具更重要。一個(gè)團(tuán)隊(duì)能不能做實(shí)驗(yàn)不取決于有沒有好平臺(tái)而取決于愿不愿意用數(shù)據(jù)推翻自己的主觀判斷。如果產(chǎn)品經(jīng)理覺得我就知道這個(gè)改動(dòng)是對的然后無視實(shí)驗(yàn)結(jié)論硬推上線那再好的實(shí)驗(yàn)系統(tǒng)也是擺設(shè)。工具解決的是怎么測文化解決的是測了之后信不信。后者難得多也重要得多。關(guān)于這個(gè)主題后續(xù)還能延伸出很多有意思的方向比如怎么用實(shí)驗(yàn)做長期效應(yīng)評估實(shí)驗(yàn)結(jié)束后繼續(xù)跟蹤、怎么做跨實(shí)驗(yàn)的影響分析多個(gè)實(shí)驗(yàn)同時(shí)跑會(huì)不會(huì)互相干擾、以及大規(guī)模實(shí)驗(yàn)平臺(tái)的分層正交設(shè)計(jì)。每一個(gè)都值得單獨(dú)寫一篇。不過就原理層面來說把隨機(jī)化、假設(shè)檢驗(yàn)、樣本量、分流、多重比較這五個(gè)環(huán)節(jié)吃透你已經(jīng)超過市面上八成的從業(yè)者了。