注：本PPT來源于2013年11月第三屆Oracle技術(shù)嘉年華，由支付寶DW/BI高級(jí)架構(gòu)師周衛(wèi)林 貢獻(xiàn)。我們預(yù)計(jì)目前支付寶的大數(shù)據(jù)技術(shù)已經(jīng)上升到了一個(gè)新的臺(tái)階，但是我們?nèi)匀幌氚堰@個(gè)PPT分享出來，讓大家了解一下，一個(gè)風(fēng)靡全球的支付系統(tǒng)背后到底使用了什么樣的大數(shù)據(jù)技術(shù)，以及支付寶大數(shù)據(jù)技術(shù)的實(shí)踐，給新入場(chǎng)的朋友們作為參考。

正文如下：

支付寶之所以備受大家的喜愛，更重要的是支付寶的安全機(jī)制和使用便捷性。但是，業(yè)界并不僅僅有支付寶一家支付產(chǎn)品，如今微信也已經(jīng)推出了微支付。周衛(wèi)林表示，支付寶的安全性機(jī)制要比微信高，比如大家在一個(gè)會(huì)場(chǎng)開會(huì)，通過后臺(tái)的數(shù)據(jù)分析，基于這個(gè)位置的交易被認(rèn)為是熟人之間的交易，不需要特別的驗(yàn)證，背后有強(qiáng)大的技術(shù)支撐。比如，在小區(qū)中，基于小區(qū)的地理位置信息，人與人之間的交易認(rèn)為是家人之間的交易。

目前，支付寶平臺(tái)每年的數(shù)據(jù)的增長(zhǎng)量超過以往所有年份數(shù)據(jù)累加之和還要多。

不同的業(yè)務(wù)階段，導(dǎo)致不同的數(shù)據(jù)訴求，業(yè)務(wù)模式在最開始的時(shí)候負(fù)責(zé)度比較高，隨著業(yè)務(wù)的增長(zhǎng)對(duì)于創(chuàng)新的要求比較高。

數(shù)據(jù)訴求分析

當(dāng)前業(yè)務(wù)階段的特點(diǎn)：

1、“能一眼看得見的山頭不多了”，面臨創(chuàng)新壓力；
2、“生孩子容易，養(yǎng)孩子難”，如何做好精細(xì)化運(yùn)營(yíng)。

當(dāng)前數(shù)據(jù)訴求的特點(diǎn)：

1、主要用戶不再是管理層(需求固定)，而是一線同學(xué)(需求不固定)；
2、實(shí)現(xiàn)手段，不能僅是報(bào)表(T+1天)，數(shù)據(jù)需要對(duì)接生產(chǎn)系統(tǒng)(T+1秒)。

當(dāng)前的主要矛盾：無法快速響應(yīng)日常需求

1、數(shù)據(jù)分析師/ETL工程師滿足不了日益旺盛的數(shù)據(jù)需求，成為資源瓶頸；
2、精細(xì)化運(yùn)營(yíng)帶來數(shù)據(jù)粒度下降，業(yè)務(wù)發(fā)展帶來數(shù)據(jù)指數(shù)增長(zhǎng)，傳統(tǒng)方案無法應(yīng)對(duì)；
3、缺乏數(shù)據(jù)化運(yùn)營(yíng)的業(yè)務(wù)支撐平臺(tái)。

傳統(tǒng)BI產(chǎn)品存在的幾個(gè)問題：

1、對(duì)大數(shù)據(jù)支持不夠：億級(jí)數(shù)據(jù)的Ad-hoc，玩不了;
2、有學(xué)習(xí)成本：比較專業(yè)，分析師也需要培訓(xùn)才能較好使用;
3、License貴：依據(jù)賬號(hào)數(shù)收費(fèi)，無法大面積開放;
4、需要二次開發(fā)：無法直接給一線人員使用，一般要二次封裝，而且基本無技術(shù)支持。

思路：人人都會(huì)用的大數(shù)據(jù)分析工具

工具讓數(shù)據(jù)的使用更簡(jiǎn)單，人人會(huì)使用數(shù)據(jù)，才是數(shù)據(jù)化運(yùn)營(yíng)的基礎(chǔ)。數(shù)據(jù)邏輯如果不通過可視化的效果很難展現(xiàn)出來支付寶結(jié)合用戶的使用習(xí)慣，自己開發(fā)一套工具，通過工具解決瓶頸的問題。如何讓工具讓數(shù)據(jù)使用更簡(jiǎn)單。站在內(nèi)部角度看到工具的迫切需求，主要是因?yàn)閿?shù)據(jù)越來越多，傳統(tǒng)的工具支撐需求有很大的難度。

HiGo特性介紹

演示環(huán)境說明：

• 數(shù)據(jù)量：18億條記錄，60個(gè)字段，占用空間1.4T
• 機(jī)器量：3臺(tái)，96G內(nèi)存，2T SATA磁盤，6核*2 CPU
• 分40個(gè)shard，每個(gè)shard
• 4600萬條記錄

任意條件的統(tǒng)計(jì)匯總：求浙江和廣東省 4鉆店鋪和5鉆店鋪的店鋪數(shù)，申請(qǐng)貸款金額總和和申請(qǐng)貸款的筆數(shù)總和”

任意條件的多維度分組統(tǒng)計(jì)：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請(qǐng)貸款總金額、申請(qǐng)貸款的筆數(shù)

任意條件的多維度分組統(tǒng)計(jì)，含count distinct：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請(qǐng)貸款的用戶數(shù)

Case when：從一年的貸款數(shù)據(jù)中，看淘寶和天貓每一天申請(qǐng)金額在100W以上的大額貸款的總額，以及所有貸款總額(包括小額)

下面是詳細(xì)的PPT介紹：

End.

轉(zhuǎn)載請(qǐng)注明來自36大數(shù)據(jù)（36dsj.com)：36大數(shù)據(jù) » PPT：支付寶背后的大數(shù)據(jù)技術(shù)——DataLab、Higo的實(shí)踐及應(yīng)用