作者：王聰彬

喜歡海淘的朋友應(yīng)該對eBay并不陌生，如果你還不了解，可以把eBay+PayPal理解為淘寶+支付寶的組合，當(dāng)然eBay不僅有C2C還有B2C的模式，甚至還有二手賣家。

鋪墊了一些背景，我們再來說說電子商務(wù)，現(xiàn)在還有沒網(wǎng)購過的同學(xué)請舉手，1、2、3……可能沒有幾個(gè)。雖然大家都在各種電子商務(wù)網(wǎng)站上購過物，但是你是否知道你在網(wǎng)上的一切行為都已經(jīng)被記錄并進(jìn)行分析。

不論國外還是國內(nèi)的電子商務(wù)企業(yè)，他們的相同點(diǎn)都是以業(yè)務(wù)為導(dǎo)向。eBay的做法是用數(shù)據(jù)驅(qū)動(dòng)商業(yè)，其上所有的數(shù)據(jù)產(chǎn)品都是針對業(yè)務(wù)而生，數(shù)據(jù)部門需要對不斷變化的用戶需求找到解決之法，也就是從客戶的行為數(shù)據(jù)中來尋找價(jià)值。

行為數(shù)據(jù)用混合的手段來處理

數(shù)據(jù)是eBay發(fā)展的基礎(chǔ)和價(jià)值所在，所以eBay數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)從eBay成立的第一天就已經(jīng)存在，從數(shù)據(jù)倉庫到數(shù)據(jù)分析再到數(shù)據(jù)服務(wù)，部門的名字一直隨著發(fā)展在不斷變化。但萬變不離其宗，數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)就是一個(gè)針對數(shù)據(jù)展開想象的部門。

eBay數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)分布在美國西雅圖、圣何塞以及中國上海，而中國團(tuán)隊(duì)全職和外包人員總共將近有100人，其中有不同的職位和分工，包括數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、商業(yè)需求分析師、產(chǎn)品經(jīng)理四大類。兩個(gè)區(qū)域的團(tuán)隊(duì)互相協(xié)作，共同開發(fā)核心數(shù)據(jù)的同時(shí)也支持不同的業(yè)務(wù)部門。

eBay中國數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)主管李煒

eBay目前整體有四大系統(tǒng)，其中三個(gè)為生產(chǎn)系統(tǒng)，一個(gè)為測試開發(fā)系統(tǒng)。生產(chǎn)系統(tǒng)包括：第一，保存交易型數(shù)據(jù)和用戶數(shù)據(jù)的企業(yè)及數(shù)據(jù)倉庫(Enterprise Data Warehouse);第二，Teradata為eBay特別定制的分析系統(tǒng)，主要進(jìn)行非結(jié)構(gòu)化的用戶行為數(shù)據(jù)處理;第三，專門為數(shù)據(jù)分析師使用，方便快速找到想要的數(shù)據(jù)。eBay中國數(shù)據(jù)服務(wù)和解決方案團(tuán)隊(duì)主管李煒指出，前兩個(gè)系統(tǒng)主要為生產(chǎn)環(huán)境做批處理，最后一個(gè)系統(tǒng)是幫助數(shù)據(jù)科學(xué)家進(jìn)行測試和制作分析報(bào)告。

由于eBay電子商務(wù)的性質(zhì)，其用戶行為數(shù)據(jù)占80%以上，而通過買家和賣家的行為數(shù)據(jù)，eBay可以做很多個(gè)性化的應(yīng)用。買家更喜歡買哪些種類下的產(chǎn)品，有哪些購物習(xí)慣、什么時(shí)間購買，這些數(shù)據(jù)可以幫助賣家了解哪些是自己最大的客戶群，以及基于機(jī)器學(xué)習(xí)對未來的熱點(diǎn)市場進(jìn)行預(yù)測。

“eBay的行為數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這對于關(guān)系型數(shù)據(jù)庫的壓力非常大?！崩顭樥劦?。因此eBay則使用了混合方案，使用Hadoop來應(yīng)對海量非結(jié)構(gòu)化數(shù)據(jù)，將原始數(shù)據(jù)首先加載到Hadoop上，完成行級結(jié)構(gòu)化處理，在將這些預(yù)處理好的數(shù)據(jù)送到不同的系統(tǒng)，之后處理已經(jīng)模式化的數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。

eBay擁有龐大的Hadoop節(jié)點(diǎn)和Teradata節(jié)點(diǎn)，這也帶來了三大挑戰(zhàn)：

第一、不同系統(tǒng)間的數(shù)據(jù)搬移，eBay每天產(chǎn)生的數(shù)據(jù)量是巨大的，這些數(shù)據(jù)要在多個(gè)平臺(tái)上搬移，在搬移的過程中要保證不同系統(tǒng)中數(shù)據(jù)的同步和數(shù)據(jù)質(zhì)量。

第二、不同系統(tǒng)的管理，隨著eBay系統(tǒng)平臺(tái)的越來越多樣化，對于Teradata和Hadoop等系統(tǒng)的管理，以及搬移數(shù)據(jù)的管理都需要不斷增強(qiáng)。

第三、技術(shù)能力提升，不同平臺(tái)有不同的技術(shù)，這就需要員工具備綜合技術(shù)能力。

只要有業(yè)務(wù)需求就有數(shù)據(jù)產(chǎn)品

對于eBay來講數(shù)據(jù)平臺(tái)要具備高可靠性、高可用性、易用性。eBay與Teradata的合作已有20年之久，到目前為止eBay的核心數(shù)據(jù)、交易型企業(yè)級數(shù)據(jù)和用戶行為數(shù)據(jù)都在Teradata上進(jìn)行存儲(chǔ)管理和應(yīng)用。

以數(shù)據(jù)驅(qū)動(dòng)商業(yè)是eBay的文化，所以eBay常年積累的數(shù)據(jù)最終都是為了產(chǎn)生價(jià)值而存在，現(xiàn)在除了傳統(tǒng)的數(shù)據(jù)整合，eBay在各個(gè)業(yè)務(wù)環(huán)境中都有著不同的數(shù)據(jù)產(chǎn)品。

eBay有一款針對賣家的線上免費(fèi)工具Seller Hub，可以為每一位賣家進(jìn)行深入的分析，哪些商品更暢銷，產(chǎn)品如何標(biāo)價(jià)才能具備競爭優(yōu)勢等。這中間會(huì)使用到數(shù)據(jù)模型，李煒強(qiáng)調(diào)模型不僅僅從eBay網(wǎng)站中的所有類目中調(diào)取價(jià)格，還會(huì)抓取亞馬遜等電商網(wǎng)站的價(jià)格，而且還會(huì)比對相似產(chǎn)品的關(guān)聯(lián)價(jià)格，最終為賣家提供指導(dǎo)價(jià)格。

結(jié)合了自身數(shù)據(jù)和第三方數(shù)據(jù)也讓eBay可以完善網(wǎng)站上不能捕獲的一些數(shù)據(jù)來繪制用戶畫像，像性別、職業(yè)、收入等。包括對用戶畫像進(jìn)行分級，哪些是潛力賣家，哪些是高風(fēng)險(xiǎn)買家，從而更精準(zhǔn)地進(jìn)行市場推廣。

剛剛更多說的是eBay如何用數(shù)據(jù)提供一些產(chǎn)品，在內(nèi)部eBay同樣用數(shù)據(jù)在優(yōu)化自身網(wǎng)站，在對頁面的設(shè)計(jì)、新功能的設(shè)計(jì)上都會(huì)提供相應(yīng)的建議。

2016年，eBay還將繼續(xù)發(fā)展B2C和C2C市場，但是eBay有B2C、C2C、二手貨多種賣家的存在，如何管理各個(gè)類目中的商品成為一個(gè)非常大的挑戰(zhàn)，eBay要做到把大部分的類目最終關(guān)聯(lián)到結(jié)構(gòu)化的產(chǎn)品系列中，實(shí)現(xiàn)精細(xì)化的管理。

End.

轉(zhuǎn)載請注明來自36大數(shù)據(jù)（36dsj.com)：36大數(shù)據(jù) » 揭秘eBay四大系統(tǒng) 從行為數(shù)據(jù)中尋找價(jià)值