產(chǎn)品開發(fā)過程中，我們經(jīng)常會遇到各種決策問題。本文將為你介紹，硅谷決定產(chǎn)品走向的最終統(tǒng)計(jì)學(xué)判據(jù) — “p<0.05”

我過完年回來上班啦！好興奮??！因?yàn)?。。終于可以再次見到好基友Tommy了。。。可我今兒，一打眼就發(fā)現(xiàn)他不對，愁眉苦臉的，就問咋滴了呢。

他說：“哎，最近又收到好多人寄來的刀片兒。。?！?/p>

原來，這是用戶們在抱怨他的產(chǎn)品不好用呢：“這個(gè)App是腦殘嗎…”,? “孤兒產(chǎn)品…”

哎，我們搞App真的很難，因?yàn)橛刑嗵嗟募?xì)節(jié)，要做決策了。有一丟丟搞不好，用戶就會不開心。比如，按鈕應(yīng)該放在上面，還是側(cè)面？讓用戶手機(jī)驗(yàn)證，還是密碼驗(yàn)證？二維碼還是手動輸入？等等等等。。。

關(guān)鍵是人們的要求又不一樣！總自相矛盾。。。

比如你問妹子想吃啥，她嘴上說“隨便”，其實(shí)她心里是想說：

這是一道送命題。。我們也很無奈啊，我們雖然工資低，但是放假少啊，心累……

那，時(shí)間緊迫，競爭壓力好大，產(chǎn)品畢竟總要出去的。那最后到底怎么做決定啊！

最科學(xué)的辦法，還真不是靠產(chǎn)品經(jīng)理拍腦袋，也不是靠碼農(nóng)和設(shè)計(jì)師撕逼，更不是靠高層們微信扔骰子定的。

其實(shí)，好多硅谷企業(yè)呢，現(xiàn)在都已經(jīng)有了一套科學(xué)方法啦！

最簡單地，總結(jié)起來就是一個(gè)公式：

P<0.05

這是TM啥？

這是一個(gè)統(tǒng)計(jì)學(xué)公式，現(xiàn)在已經(jīng)被硅谷各企業(yè)廣泛采用，來做產(chǎn)品的決策了！

那應(yīng)該怎么實(shí)用呢？下面我就來給你爆料下，這個(gè)不是秘密的公開內(nèi)幕吧！

案件重現(xiàn)

現(xiàn)在你接到一個(gè)產(chǎn)品優(yōu)化任務(wù)，核心KPI是要提升一個(gè)按鈕的點(diǎn)擊率。那個(gè)按鈕可能是“搜索”按鈕，可能是“預(yù)定”，也可能是“了解更多”，等等等等?？傊?，越多人點(diǎn)擊越好。

現(xiàn)有的線上產(chǎn)品方案，那個(gè)按鈕是一個(gè)綠色的。

你知道，因?yàn)樾睦韺W(xué)因素，“顏色”對用戶行為有顯著的影響吧。（不知道也不怕，我之前的文章有介紹過“顏色”在產(chǎn)品里的作用和背后的心理學(xué)原理，點(diǎn)這里：王者榮耀和LOL：真受不了沒素質(zhì)玩家）

于是，你現(xiàn)在想試試把按鈕的顏色從綠色改成紅色，想看看是不是有更多的人點(diǎn)擊。應(yīng)該怎么辦呢？當(dāng)然是做實(shí)驗(yàn)啦！

好了，現(xiàn)在實(shí)驗(yàn)上線開始，你讓一半兒的人看到綠色按鈕，而另外一半兒的人看到的，則是紅色：

實(shí)驗(yàn)結(jié)束后，你得到的結(jié)果是這樣的：

A組，綠色：100個(gè)人看到了這個(gè)按鈕，沒人點(diǎn)擊這個(gè)按鈕

B組，紅色：同樣有100個(gè)人看到，50個(gè)人點(diǎn)擊。。。

結(jié)論很明顯嘛。你得出結(jié)論，A組點(diǎn)擊率0，B組點(diǎn)擊率50%，B組高于A組，紅色有效的促進(jìn)了用戶點(diǎn)擊！實(shí)驗(yàn)成功??！

是的，很好，到目前為止沒有任何問題。這個(gè)產(chǎn)品決策很愉快的就決定了，你也成功交差。

下面，咱們看一個(gè)稍微復(fù)雜一點(diǎn)的例子。

你應(yīng)該知道，手機(jī)的“推送通知”對挽留用戶很重要吧。發(fā)一個(gè)推送，用戶沒準(zhǔn)就會點(diǎn)開好久不用的App了。這樣就會促進(jìn)用戶對App的交互了。（我之前的文章也有詳細(xì)介紹過優(yōu)化“推送通知”的辦法，點(diǎn)這里：避免騷擾用戶？硅谷這樣打造移動推送通知?。?/p>

你又知道，現(xiàn)在都流行做個(gè)性化推送。之前你們的產(chǎn)品線上運(yùn)行的可能是一個(gè)非個(gè)性化的群發(fā)通知，所以，你又有了一個(gè)想法，想試試個(gè)性化通知內(nèi)容，是不是更有效呢。

于是，你設(shè)計(jì)了一個(gè)實(shí)驗(yàn)，分別給兩組人發(fā)了不一樣的推送通知內(nèi)容，就像這樣：

第一組收到的是非個(gè)性的：“屠龍寶刀點(diǎn)就送！明星都在玩！”

第二組則有一點(diǎn)點(diǎn)個(gè)性化：“{$Name(玩家姓名)}，屠龍寶刀點(diǎn)就送！明星都在玩！”

推送發(fā)出之后，過了24小時(shí)的測量周期，你收到的實(shí)驗(yàn)結(jié)果如下。

第一組，有95個(gè)人看到了，有4個(gè)人打開了App。

第二組，有107個(gè)人看到了，有11個(gè)人打開了App。

跟上面按鈕顏色的例子數(shù)據(jù)處理一樣，你開始進(jìn)行了數(shù)據(jù)分析：

第一組，是非個(gè)性化的推送，接收到推送之后，用戶的App打開率是 4 / 95 = 4.21%

對于第二組的個(gè)性化推送組，App打開率是11 / 107 = 10.28%。

于是你直接得出結(jié)論：第二組更好！

事情就……結(jié)束了么？要是在硅谷的話，你會被直接噴回來。

為什么？？因?yàn)檫@個(gè)結(jié)論，根本不可靠！兩組的打開App的行為很有可能只是巧合，是一個(gè)完全隨機(jī)的事情！

比如，你先用左手拋硬幣5次，發(fā)現(xiàn)2次硬幣正面朝上。之后再用右手拋硬幣5次，發(fā)現(xiàn)3次硬幣正面朝上。于是你得出結(jié)論，右手拋硬幣出現(xiàn)正面的概率是60%，高于左手的40%。 – 這明顯是錯(cuò)誤的。因?yàn)闊o論那個(gè)手拋硬幣，都應(yīng)該是50%的概率而已。

同樣的道理，回到推送的分析案例，那憑什么，你在這里就能直接相信這個(gè)結(jié)果呢？提高的打開率，真的是因?yàn)椤皞€(gè)性化”的原因造成的呢，還是僅僅只是一個(gè)巧合呢？

對于此，統(tǒng)計(jì)學(xué)上會有一個(gè)概念，叫做 – “p值”。

p值是啥？

在展開復(fù)雜的計(jì)算之前，為防止你被繞暈，先直接上一句最最最簡單的靈魂總結(jié)：

p值，就是實(shí)驗(yàn)結(jié)果不能被相信的概率。

也就是說，p值就是“實(shí)驗(yàn)結(jié)果完全是瞎貓碰到死耗子”的幾率。

直覺告訴我們，這個(gè)p值應(yīng)該是越低越好，因?yàn)樵降?，他就表示我們的?shí)驗(yàn)越可以被相信。

那么多低是低呢？標(biāo)準(zhǔn)是啥？硅谷各公司，普遍采用的p值標(biāo)準(zhǔn)線是0.05。如果p小于0.05，那結(jié)論就可以被相信了！

下面咱們來計(jì)算一下p值。（需要你靜下心來讀）

統(tǒng)計(jì)方法上，我們會先來一個(gè)“無效假設(shè)（Null Hypothesis）”：也就是假設(shè)結(jié)果純屬巧合，也就是假設(shè)“個(gè)性化”通知根本沒啥卵用。如果沒啥用的話，那就是說。。。兩組之間的實(shí)際App打開率應(yīng)該相等的*（此處有簡化，詳情見文末）。

我們來算一下，第一組的App打開率4/95 = 4.21%。

下面，重點(diǎn)來了，我們需要計(jì)算的是，按照4.21%這個(gè)打開率，第二組出現(xiàn)11個(gè)人打開App的概率是多少呢？這個(gè)概率，就是“無效假設(shè)”成立的概率。

無論文科理科，這是一道高考送分題，答案就是：

這個(gè)值，就是p值， p = 0.0037。它代表，“個(gè)性化通知”沒有任何用處的概率僅為0.0037。

剛剛說過，p值的檢測標(biāo)準(zhǔn)是0.05，你看，咱打開率的p值小于0.05，那么就可以說實(shí)驗(yàn)可信！“個(gè)性化”通知，對于促進(jìn)用戶打開App，有效！你們決定上線新產(chǎn)品！

可是就在這時(shí)，數(shù)據(jù)部門，突然給你發(fā)來了最新的另一組數(shù)據(jù)。。。

實(shí)戰(zhàn)應(yīng)用

數(shù)據(jù)部門告訴你，用戶看了推送通知之后，其實(shí)還有一些用戶有刪除App的行為發(fā)生?？赡苁且?yàn)榭戳颂嗤扑吞珶┝?，直接刪了App。數(shù)據(jù)是這樣的：

現(xiàn)在這樣看來，第二組收到個(gè)性化推送的人，刪除率是2.8%，高于第一組的1.1%。甚至都已經(jīng)雙倍了！難道是因?yàn)橛脩艨吹搅俗约旱拿衷谕扑屠铮芎ε氯缓缶桶袮pp刪掉了？

這可怎么評價(jià)?。?！太煩了，要是兩組數(shù)據(jù)結(jié)論不同，還怎么上線新產(chǎn)品啊。。?？磥碛忠罕屏耍?。

稍等，我們剛剛介紹了p值的概念呀！！趕緊計(jì)算一下刪除率的p值！

經(jīng)過一番計(jì)算，刪除率的p值等于……p = 0.1795??！大于0.05，什么意思，p值大于上面提到的分界線！也就是說，刪除率上升，純屬偶然！

這下好啦??！產(chǎn)品決策清晰了！

相比原來的非個(gè)性化推送，我們發(fā)現(xiàn)個(gè)性化的推送打開率有顯著性提升，而刪除率則沒有顯著的統(tǒng)計(jì)學(xué)差異。

于是，你歡快地決定：上線“個(gè)性化推送”功能?。?今晚請大家吃雞??！

A/B測試

上面提到的，整個(gè)新產(chǎn)品的驗(yàn)證過程，被稱之為“A/B Test”（AB測試）。A和B就是指，實(shí)驗(yàn)里的兩個(gè)組。

AB測試是最最簡單的工具啦，實(shí)際工作中會遇到更多的奇葩情況，那“A/B Test”可就不夠了。比如，涉及到兩個(gè)用戶以上的社交功能，還有涉及到“錢”的情況等等，這些我以后再講。。。

可以說，硅谷就是由實(shí)驗(yàn)驅(qū)動著的。無論是一個(gè)小小的UI變動，還是推薦算法模型的升級，都會進(jìn)行一次實(shí)驗(yàn)。因?yàn)閷?shí)在是太常用了，很多大型App里，往往同時(shí)運(yùn)行著超級多的實(shí)驗(yàn)。

為了提高效率，各廠們都紛紛開發(fā)了，專門的實(shí)驗(yàn)工具和分析系統(tǒng)，讓人們快速使用。

比如：

Google旗下Analytics產(chǎn)品的Content Experiments工具：

他可以快速的通過UI創(chuàng)建一個(gè)實(shí)驗(yàn)，還能在運(yùn)行時(shí)，利用Multi-armed bandit算法，自動調(diào)整并分配流量比例，到不同的用戶組，以加快實(shí)驗(yàn)速度。結(jié)束后，還會自動生成報(bào)表。

Uber的實(shí)驗(yàn)平臺XP：

XP不僅是實(shí)驗(yàn)和分析工具，還幫助Uber安全上線和部署新功能，實(shí)時(shí)觀測數(shù)據(jù)。

Airbnb的實(shí)驗(yàn)框架?ERF（Experimentation Reporting Framework）：

ERF的交互設(shè)計(jì)非常好，還提供了美觀的報(bào)表系統(tǒng)，p值一目了然：

Netflix的跨平臺實(shí)驗(yàn)工具ABlaze：

他有著跨平臺的優(yōu)良特性。要知道，其實(shí)Netflix的壓力非常大。數(shù)據(jù)發(fā)現(xiàn)，如果用戶不能在90秒內(nèi)找到自己喜歡的影片，他們就會關(guān)掉App。借助ABlaze，Netflix得以快速迭代產(chǎn)品，以便滿足全球超過一億用戶的觀影需求。

其實(shí)，這里還是要提一句，硅谷各企業(yè)的產(chǎn)品決策，絕對不是只考慮“p<0.05”這么簡單啦。

這里也僅是出于科普的目的，對實(shí)際情況進(jìn)行了極大的簡化。

比如，當(dāng)年“扁平化設(shè)計(jì)”剛出的時(shí)候，通過數(shù)據(jù)來看，用戶肯定不滿意，覺得丑。但是蘋果，偏是不聽呢～ 就要上線，就要上線，就要上線～ 最后你看，用戶乃至業(yè)界還不都是被成功的教育了。

更進(jìn)一步

你可能會問，為啥這些硅谷企業(yè)都選0.05這個(gè)數(shù)字呢？

答案就是：

嗯……其實(shí)這個(gè)真的就只是一個(gè)約定俗成的數(shù)值而已。

Tommy告訴我，提出這個(gè)值的人，還是和英國有關(guān)。這是幾十年前，英國統(tǒng)計(jì)學(xué)家Ronald Fisher提出來的，后人沿用了而已。

當(dāng)然，很多產(chǎn)品為了更加可靠，也會使用更低的p值, 比如0.01。

不僅僅是硅谷這樣的工業(yè)界啦，在學(xué)術(shù)界，尤其是統(tǒng)計(jì)學(xué)支撐的學(xué)科，比如心理學(xué)，生物醫(yī)學(xué)甚至經(jīng)濟(jì)學(xué)，“p < 0.05”早就被當(dāng)作常識一樣了。

比如，醫(yī)學(xué)領(lǐng)域，有人提出了一種新藥。想知道這種新藥的效果，那就要進(jìn)行實(shí)驗(yàn)了。簡單來講，他們會找到一些病人，隨機(jī)的分成兩組，比如每組20個(gè)人。

雙盲測試：醫(yī)生和患者都不知道分組情況

一組人，作為測試組，會按時(shí)吃這種新藥。而另一組則是控制組，不會吃這種藥。

當(dāng)然了，也不是啥也不吃。他們會被要求隨便吃點(diǎn)啥，比如吃淀粉片，這東西被稱為“安慰劑”。

因?yàn)樾睦镒饔靡矔绊懼委熜Ч?，所以不能讓他們知道其?shí)他們吃的東西沒啥用嘛。吃安慰劑，就能保證他們不知道自己被分到了控制組。

實(shí)驗(yàn)結(jié)束之后，會看看哪組人治愈率更高，這我也是從身邊好多醫(yī)學(xué)生物學(xué)博士朋友那里知道的：他們經(jīng)常說，科研狗奮斗一生，就為了那0.05，其實(shí)硅谷的碼農(nóng)們又何嘗不是呀～

后記

我告訴Tommy，你看“p < 0.05”對吧，這就意味著，概率上來講，咱們每上線20個(gè)產(chǎn)品，其實(shí)就會有一個(gè)產(chǎn)品是垃圾。。。所以，別難過了 ，你可能就。。。恰好是那個(gè)垃圾。。。

然后Tommy把我打了一頓

備注

文中p值計(jì)算過程和描述并不完全準(zhǔn)確哈，而是為了可讀性，進(jìn)行了簡化。首先p值不是“無效假設(shè)”成立的概率，而只是可以“表示”這個(gè)概率的大小。另在案例計(jì)算中，因?yàn)榈谝唤M的4.21%也不能代表真實(shí)情況。這里其實(shí)是在比較兩個(gè)樣本的分布。特此大感謝我的數(shù)據(jù)科學(xué)家同事+朋友Cora幫我Review～實(shí)際比較復(fù)雜，比如先看成是一個(gè)正態(tài)分布，然后計(jì)算一堆值，再。。不說了，你去看統(tǒng)計(jì)學(xué)課本吧。。但是告訴你一個(gè)小秘密，已經(jīng)有很多開源在線工具可以幫你計(jì)算p值了: （ 可見對于文中的例子，打開率p值可以為0.0453。）

另外，感謝我的博士朋友：（以下為他貢獻(xiàn)原文）其實(shí)利用p值是頻率學(xué)派的假設(shè)檢驗(yàn)方法，而p值的濫用已經(jīng)是科學(xué)界的一個(gè)嚴(yán)重問題。2017年nature上有篇文章redefine statistical significance 是一堆統(tǒng)計(jì)學(xué)大佬寫給科學(xué)家群體的，大意是我們認(rèn)為貝葉斯假設(shè)檢驗(yàn)的框架更好，但是鑒于科學(xué)家普遍沒有受過貝葉斯框架的訓(xùn)練，那么為了降低得出錯(cuò)誤結(jié)論的概率，至少把p值的閾值降到0.005。

作者：Han，facebook美國硅谷總部商業(yè)產(chǎn)品全棧軟件工程師。先后負(fù)責(zé)facebook中小企業(yè)廣告及大型電商零售企業(yè)廣告商業(yè)產(chǎn)品開發(fā)。微信公眾號：涵的硅谷成長筆記（ID：HanGrowth)，和我一起向硅谷大牛們發(fā)起夸學(xué)科學(xué)習(xí)進(jìn)擊，共同見證進(jìn)步。

本文由 @Han 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自pixabay，基于CC0協(xié)議

愛盈利-運(yùn)營小咖秀(www.jza6.com) 始終堅(jiān)持研究分享移動互聯(lián)網(wǎng)App運(yùn)營推廣經(jīng)驗(yàn)、策略、全案、渠道等純干貨知識內(nèi)容；是廣大App運(yùn)營從業(yè)者的知識啟蒙、成長指導(dǎo)、進(jìn)階學(xué)習(xí)的集聚平臺；

想了解更多移動互聯(lián)網(wǎng)干貨知識，請關(guān)注微信公眾號運(yùn)營小咖秀（ID: yunyingshow）