昨天被美國大選刷屏了，咱們像看春晚一樣關(guān)注著別人家的大選，也是怪有意思的。我們數(shù)據(jù)人的朋友圈看到的都是這樣的：《大數(shù)據(jù)與美國總統(tǒng)》，《2016美國大選，來自人工智能和大數(shù)據(jù)的預(yù)測(cè)》，《美國大選倒計(jì)時(shí)：R語言和蒙特卡洛算法預(yù)測(cè)希拉里贏面高達(dá)89%》…預(yù)測(cè)上大部分都是說希拉里勝面高。

可實(shí)際結(jié)果卻是相反的，就連兩次成功預(yù)測(cè)大選結(jié)果的538網(wǎng)站的Nate Silver預(yù)測(cè)大神這次也失算了。那么大數(shù)據(jù)到底是如何預(yù)測(cè)的?到底是什么原因?qū)е虏粶?zhǔn)確?36大數(shù)據(jù)（http://www.36dsj.com/）

首先我們說說大數(shù)據(jù)能干啥。紐約時(shí)報(bào)對(duì)美國大選結(jié)果的可視化分析：大數(shù)據(jù)時(shí)代的第一次美國大選，地理學(xué)和可視化像透鏡一樣，可以讓我們更加清楚地認(rèn)識(shí)數(shù)據(jù)。圖二：希拉里贏了紐約、洛杉磯、芝加哥、灣區(qū)、波士頓、西雅圖、費(fèi)城和華盛頓等幾乎美國所有的大城市，但是卻輸了中小城市。每個(gè)鼠標(biāo)點(diǎn)上去就會(huì)有詳細(xì)數(shù)據(jù)呈現(xiàn)，看上去非?！懊篮谩保@就是大數(shù)據(jù)的魅力。

同時(shí)，紐約時(shí)報(bào)還做了對(duì)大選的競(jìng)選預(yù)測(cè)：36大數(shù)據(jù)（http://www.36dsj.com/）

做預(yù)測(cè)的當(dāng)然也不止紐約時(shí)報(bào)一家，我們從網(wǎng)上搜了一些預(yù)測(cè)來看看方法。The Yhat Blog：

在這篇文章中，作者以R語言來實(shí)現(xiàn)。預(yù)測(cè)數(shù)據(jù)來源：1，選舉團(tuán)(electoral college);2，近期投票數(shù)據(jù)。作者選用了一個(gè)GitHub上的CSV文件作為選舉團(tuán)數(shù)據(jù)源。36大數(shù)據(jù)（http://www.36dsj.com/）

投票數(shù)據(jù)選擇的是 electionprojection.com，并抓取了每個(gè)州的數(shù)據(jù)，形成表單。

有些州比其他州投票更加頻繁。像阿拉巴馬州(3 次)這種投票積累對(duì) Trump 有利，但影響非常小。相比之下，競(jìng)爭(zhēng)激烈的佛羅里達(dá)州(27 次)或賓夕法尼亞州(21 次)，會(huì)對(duì)我們的預(yù)測(cè)造成巨大的影響。

接下來關(guān)鍵的一點(diǎn)是為每次投票設(shè)置權(quán)重。我們給每次投票都分配一直指數(shù)衰減權(quán)重(exponentially decaying weights)。

第三步開始模擬選舉。使用的是最簡(jiǎn)單的蒙特卡洛模擬生成合成的競(jìng)選數(shù)據(jù)。將找到的投票數(shù)據(jù)結(jié)果隨機(jī)化，生成“what if”結(jié)果。

首先按州來拆分?jǐn)?shù)據(jù)。這是重要的，因?yàn)槊绹倪x舉不是由每個(gè)公民投票決定的，而是由每個(gè)州的結(jié)果決定的。我們對(duì)每個(gè)州的投票加上權(quán)重，然后對(duì)每個(gè)州的候選人的總加權(quán)投票進(jìn)行求和。最后將對(duì)每個(gè)候選人投票使用隨機(jī)變量以創(chuàng)建蒙特卡洛模擬。使用一個(gè)平均值為 1、方差為 0.15 的正態(tài)分布來改變每個(gè)候選人的投票總數(shù)。

最后，將上述步驟重復(fù)1000次。36大數(shù)據(jù)（http://www.36dsj.com/）

我們看看結(jié)果：希拉里贏：89%36大數(shù)據(jù)（http://www.36dsj.com/）

希拉里大獲全勝(高出對(duì)方 400 票及以上)：0.11%36大數(shù)據(jù)（http://www.36dsj.com/）

特朗普大獲全勝：0%36大數(shù)據(jù)（http://www.36dsj.com/）

還有個(gè)ASA’s Prediction Competition的，數(shù)據(jù)取自538網(wǎng)站，也是得出結(jié)果是希拉里勝，并給出了簡(jiǎn)單的代碼。網(wǎng)址：https://www.r-statistics.com/2016/08/presidential-election-predictions-2016/

GitHub上還有開源出來的蒙特卡洛預(yù)測(cè)大選代碼，有興趣的也可以看一看：https://github.com/GaryBoone/PresidentialMonteCarlo

要說大選預(yù)測(cè)，那么“數(shù)據(jù)大神”Nate Silver就不得不拿出來說一說。Nate Silver早年是搞統(tǒng)計(jì)的，對(duì)數(shù)據(jù)非常有興趣，在審計(jì)公司畢馬威當(dāng)了四年顧問，后來開始靠數(shù)據(jù)分析創(chuàng)業(yè)。他對(duì)美國職業(yè)棒球大聯(lián)盟的球員進(jìn)行數(shù)據(jù)分析，預(yù)測(cè)棒球賽的結(jié)果非常成功。2007年Silver建立了“538”網(wǎng)站(http://fivethirtyeight.com)。2008年大選，Silver預(yù)測(cè)對(duì)了50個(gè)州選舉結(jié)果中的49個(gè)。2012年，預(yù)測(cè)奧巴馬勝出概率高達(dá)9成，和一般專家說的奧巴馬與羅姆尼五五開的預(yù)測(cè)很大差異，最后結(jié)果出來全部50個(gè)州都預(yù)測(cè)對(duì)了。

538網(wǎng)站的數(shù)據(jù)來源自民調(diào)數(shù)據(jù)，但是由于各種民調(diào)的機(jī)構(gòu)背景、立場(chǎng)傾向、覆蓋人群、舉辦時(shí)間都有差異。所以Silver會(huì)根據(jù)擬投票選民、會(huì)后彈升、忽略第三黨候選人、趨勢(shì)走向、黨派傾向五個(gè)因素對(duì)數(shù)據(jù)進(jìn)行調(diào)整。據(jù)Business Insider報(bào)道，Nate Silver將概率學(xué)中的貝葉斯決策理論(Bayesian Theorem)應(yīng)用到大選預(yù)測(cè)中，用數(shù)學(xué)方法對(duì)未知事件進(jìn)行概率分析。最后一步就是對(duì)所有不準(zhǔn)確性作出解釋，并對(duì)最終大選反復(fù)模擬測(cè)試，調(diào)整誤差。隨著大選日接近，不準(zhǔn)確性會(huì)愈發(fā)降低。538給出了希拉里與川普各自的勝選可能性以及在幾個(gè)月內(nèi)的變化趨勢(shì)：

但最終他失算了，估計(jì)內(nèi)心也是各種崩潰和自我安慰，但是還嘴硬說自己不吃驚：

大多數(shù)人將此結(jié)果歸于民調(diào)數(shù)據(jù)不準(zhǔn)確。538預(yù)測(cè)的根據(jù)在于各項(xiàng)傳統(tǒng)民調(diào)。而各技術(shù)宅玩的預(yù)測(cè)數(shù)據(jù)來源很多也是基于538的數(shù)據(jù)，所以大家統(tǒng)一都得出了希拉里會(huì)獲勝的結(jié)果。像洛杉磯時(shí)報(bào)與南加州大學(xué)合作做出的民調(diào)得出的結(jié)果是完全相反的，他預(yù)測(cè)的是川普勝出。已經(jīng)有不少解讀民調(diào)的資料，包含樣本取得，樣本所提供的信息，誤差界限等，咱們也不需要細(xì)細(xì)說了。

其實(shí)數(shù)據(jù)統(tǒng)計(jì)原理大家都明白，第一需關(guān)注數(shù)據(jù)源。數(shù)據(jù)報(bào)告出處以及數(shù)據(jù)來源，數(shù)據(jù)采集面向的對(duì)象，數(shù)據(jù)的時(shí)效性和相關(guān)性。第二是數(shù)據(jù)統(tǒng)計(jì)過程。雖然原始的數(shù)據(jù)相同，但是數(shù)據(jù)處理的過程不同。具體情況通?？煞譃樗姆N：抽樣方法、樣本選取、離群值處理及統(tǒng)計(jì)指標(biāo)設(shè)置。抽樣方法，樣本選取等都與結(jié)果緊密相關(guān)。

數(shù)據(jù)不會(huì)說謊，但是從數(shù)據(jù)源和數(shù)據(jù)處理過程就可能造成不一樣的結(jié)果。據(jù)說有網(wǎng)友查看了《紐約時(shí)報(bào)》網(wǎng)站競(jìng)選預(yù)測(cè)指針的源代碼，發(fā)現(xiàn)其指針變化并非來自實(shí)時(shí)數(shù)據(jù)，而是隨機(jī)搖擺。

另外大選民調(diào)的抽樣點(diǎn)不夠均勻分布，支持川普者表示沉默或者說假話，導(dǎo)致了數(shù)據(jù)一邊倒。就像只去華爾街、硅谷來統(tǒng)計(jì)人均收入，必然浮夸;去貧民窟統(tǒng)計(jì)收入必然悲慘。數(shù)據(jù)如同金礦，需要人使用工具來開采、提煉、加工，當(dāng)對(duì)這些數(shù)字進(jìn)行解讀，從獲取到分析，這個(gè)過程就可能出現(xiàn)問題，即使每個(gè)步驟看起來都合乎邏輯。阿桑奇的采訪，The Secret World of US Election中，阿桑奇說美國的政治高層以及背后的銀行、財(cái)團(tuán)、跨國企業(yè)、媒體等等，早已組成了一個(gè)龐大的利益圈層，實(shí)際上都在協(xié)力將希拉里推上總統(tǒng)寶座。

我們每個(gè)人都會(huì)有自己的偏見，對(duì)別人的解釋傾向于懷疑。因?yàn)閿?shù)據(jù)是最客觀的東西，于是用數(shù)據(jù)說明就變成了最好的說服別人的方法。所以有時(shí)候我們分析數(shù)據(jù)的目的，可能還不是為了解釋現(xiàn)象獲取信息，其實(shí)僅僅是為了說服別人或者說服自己。

畢竟別人家的選舉，我們也就看看熱鬧，了解下預(yù)測(cè)方法就好了，順便告訴下自己的Boss，看，咱們數(shù)據(jù)分析師多么重要，你想要什么結(jié)果咱們都能給你!當(dāng)然這也是玩笑話，大數(shù)據(jù)的價(jià)值在于真實(shí)可信，這是我們數(shù)據(jù)人的原則所在。36大數(shù)據(jù)（http://www.36dsj.com/）

End.

轉(zhuǎn)載請(qǐng)注明來自36大數(shù)據(jù)（36dsj.com)：36大數(shù)據(jù) » 數(shù)據(jù)會(huì)說謊?從大選預(yù)測(cè)說開去