辛普森悖論 (Simpson's Paradox) 是英國統(tǒng)計學(xué)家 E.H.辛普森 (E.H.Simpson) 于1951年提出的悖論，即在某個條件下的兩組數(shù)據(jù)，在分別討論時都會滿足某種性質(zhì)，可是一旦合并起來進(jìn)行考慮，卻可能導(dǎo)致相反的結(jié)論。
舉一個辛普森悖論的簡單小例子：一個大學(xué)里有商學(xué)院和法學(xué)院兩個學(xué)院。這兩個學(xué)院的女生都抱怨“男生錄取率比女生錄取率高”，有性別歧視。但是學(xué)校做總錄取率統(tǒng)計，卻發(fā)現(xiàn)總體來說女生錄取率遠(yuǎn)遠(yuǎn)高于男生錄取率！
商學(xué)院男生錄取率75%高于女生錄取率49%，法學(xué)院男生錄取率10%也高于女生錄取率5%，但是總計來說男生錄取率只有21%，只有女生錄取率42%的一半。
為什么兩個學(xué)院都是男生錄取率高于女生錄取率，但是加起來男生錄取率卻不如女生錄取率呢？主要是因為這兩個學(xué)院男女比例很不一樣，具體的統(tǒng)計學(xué)原理我們后面會詳細(xì)分析。
這個詭異 (Counter intuitive) 的現(xiàn)象在現(xiàn)實生活中經(jīng)常被忽略，畢竟只是一個統(tǒng)計學(xué)現(xiàn)象，一般情況下不會影響到我們的行動。但是對于使用科學(xué)的 AB 測試進(jìn)行試驗的企業(yè)決策者來說，如果不了解辛普森悖論，就可能會錯誤的設(shè)計試驗，盲目的解讀試驗結(jié)論，從而對決策產(chǎn)生不利影響。
我們用一個真實的醫(yī)學(xué) AB 測試案例來說明這個問題。這是一個腎結(jié)石手術(shù)療法的 AB 測試結(jié)果：
看上去無論是對于大型結(jié)石還是小型結(jié)石，A 療法都比 B 療法的療效好。但是總計而言，似乎 B 療法比 A 療法要好。
這個 AB 測試的結(jié)論是有巨大問題的，無論是從細(xì)分結(jié)果看，還是從總計結(jié)果看，都無法真正判斷哪個療法好。
那么，問題出在哪里呢？這個 AB 測試的兩個試驗組的病歷選取有問題，都不具有足夠的代表性。參與試驗的醫(yī)生人為的制造了兩個本身不相似的試驗組，因為醫(yī)生似乎覺得病情較重的患者更適合 A 療法，病情較輕的患者更適合 B 療法，所以下意識的在隨機分配患者的時候，讓 A 組里面大結(jié)石病歷要多，而 B 組里面小結(jié)石病歷要多。
更重要的問題是，很有可能影響患者康復(fù)率的最重要因素并不是療法的選擇，而是病情的輕重！換句話說，A 療法之所以看上去不如 B 療法，主要是因為 A 組病人里重病患者多，并不是因為 A 組病人采用 A 療法。
所以，這一組不成功的 AB 測試，問題出在試驗流量分割的不科學(xué)，主要是因為流量分割忽略了一個重要的“隱藏因素”，也就是病情輕重。正確的試驗實施方案，兩組試驗患者里，重病患者的比例應(yīng)該保持一致。
因為很多人容易忽略辛普森悖論，以至于有人可以專門利用這個方法來投機取巧。舉個例子，比100場球賽以總勝率評價好壞。取巧的人專找高手挑戰(zhàn)20場，勝1場，另外80場則找平手挑戰(zhàn)，勝40場，結(jié)果勝率41%；認(rèn)真的人則專挑高手挑戰(zhàn)80場而勝8場，而剩下20場平手打個全勝，結(jié)果勝率為28%，比41%小很多。但仔細(xì)觀察挑戰(zhàn)對象，后者明顯更有實力。
從這幾個辛普森悖論的例子出發(fā)，聯(lián)想到我們互聯(lián)網(wǎng)產(chǎn)品運營的實踐，一個非常常見的誤判例子是這樣的：拿1%用戶跑了一個試驗，發(fā)現(xiàn)試驗版本購買率比對照版本高，就說試驗版本更好，我們要發(fā)布試驗版本。其實，可能只是我們的試驗組里圈中了一些愛購買的用戶而已。最后發(fā)布試驗版本，反而可能降低用戶體驗，甚至可能造成用戶留存和營收數(shù)額的下降。
那么，如何才能在 AB 測試的設(shè)計、實施，以及分析的時候，規(guī)避辛普森悖論造成的各種大坑呢？
最重要的一點是，要得到科學(xué)可信的 AB 測試試驗結(jié)果，就必須合理的進(jìn)行正確的流量分割，保證試驗組和對照組里的用戶特征是一致的，并且都具有代表性，可以代表總體用戶特征。
作者：王曄
來源：吆喝科技
愛盈利（aiyingli.com）移動互聯(lián)網(wǎng)最具影響力的盈利指導(dǎo)網(wǎng)站。定位于服務(wù)移動互聯(lián)網(wǎng)創(chuàng)業(yè)者，移動盈利指導(dǎo)。我們的目標(biāo)是讓盈利目標(biāo)清晰可見！降低門檻，讓缺乏經(jīng)驗、資金有限的個人和團(tuán)隊獲得經(jīng)驗和機會，提高熱情，激發(fā)產(chǎn)品。 
