對于企業(yè)來說，要建設(shè)自己的大數(shù)據(jù)平臺，需要的不只是技術(shù)解決方案，更重要的是組建一支優(yōu)秀的數(shù)據(jù)團(tuán)隊(duì)。那么，數(shù)據(jù)團(tuán)隊(duì)有哪些成員組成？他們的工作方式是什么？采用怎樣的組織架構(gòu)來開展工作？

　　1. 數(shù)據(jù)團(tuán)隊(duì)成員

　　這里只討論數(shù)據(jù)團(tuán)隊(duì)中核心成員的角色和他們的工作職責(zé)。

　　1）基礎(chǔ)平臺團(tuán)隊(duì)

　　主要負(fù)責(zé)搭建穩(wěn)定、可靠的大數(shù)據(jù)存儲和計(jì)算平臺。

　　核心成員包括：

　　數(shù)據(jù)開發(fā)工程師

　　負(fù)責(zé)Hadoop、Spark、Hbase和Storm等系統(tǒng)的搭建、調(diào)優(yōu)、維護(hù)和升級等工作，保證平臺的穩(wěn)定。

　　數(shù)據(jù)平臺架構(gòu)師

　　負(fù)責(zé)大數(shù)據(jù)底層平臺整體架構(gòu)設(shè)計(jì)、技術(shù)路線規(guī)劃等工作，確保系統(tǒng)能支持業(yè)務(wù)不斷發(fā)展過程中對數(shù)據(jù)存儲和計(jì)算的高要求。

　　運(yùn)維工程師

　　負(fù)責(zé)大數(shù)據(jù)平臺的日常運(yùn)維工作

　　2）數(shù)據(jù)平臺團(tuán)隊(duì)

　　主要負(fù)責(zé)數(shù)據(jù)的清洗、加工、分類和管理等工作，構(gòu)建企業(yè)的數(shù)據(jù)中心，為上層數(shù)據(jù)應(yīng)用提供可靠的數(shù)據(jù)。

　　數(shù)據(jù)開發(fā)工程師

　　負(fù)責(zé)數(shù)據(jù)清洗、加工、分類等開發(fā)工作，并能響應(yīng)數(shù)據(jù)分析師對數(shù)據(jù)提取的需求。

　　數(shù)據(jù)挖掘工程師

　　負(fù)責(zé)從數(shù)據(jù)中挖掘出有價(jià)值的數(shù)據(jù)，把這些數(shù)據(jù)錄入到數(shù)據(jù)中心，為各類應(yīng)用提供高質(zhì)量、有深度的數(shù)據(jù)。

　　數(shù)據(jù)倉庫架構(gòu)師

　　負(fù)責(zé)數(shù)據(jù)倉庫整體架構(gòu)設(shè)計(jì)和數(shù)據(jù)業(yè)務(wù)規(guī)劃工作。

　　3）數(shù)據(jù)分析團(tuán)隊(duì)

　　主要負(fù)責(zé)為改善產(chǎn)品體驗(yàn)設(shè)計(jì)和商業(yè)決策提供數(shù)據(jù)支持。

　　業(yè)務(wù)分析師

　　主要負(fù)責(zé)深入業(yè)務(wù)線，制定業(yè)務(wù)指標(biāo)，反饋業(yè)務(wù)問題，為業(yè)務(wù)發(fā)展提供決策支持。

　　建模分析師

　　主要負(fù)責(zé)數(shù)據(jù)建模，基于業(yè)務(wù)規(guī)律和數(shù)據(jù)探索構(gòu)建數(shù)據(jù)模型，提升數(shù)據(jù)利用效率和價(jià)值。

　　2. 數(shù)據(jù)團(tuán)隊(duì)的工作方式

　　數(shù)據(jù)團(tuán)隊(duì)的工作可以分成兩大部分，一部分是建設(shè)數(shù)據(jù)存儲和計(jì)算平臺，另一部分是基于數(shù)據(jù)平臺提供數(shù)據(jù)產(chǎn)品和數(shù)據(jù)服務(wù)。

　　平臺的建設(shè)者包括三種人群：基礎(chǔ)平臺團(tuán)隊(duì)對hadoop、spark、storm等各類大數(shù)據(jù)技術(shù)都非常熟悉，負(fù)責(zé)搭建穩(wěn)定、可靠的大數(shù)據(jù)存儲和計(jì)算平臺。數(shù)據(jù)平臺團(tuán)隊(duì)主要負(fù)責(zé)各類業(yè)務(wù)數(shù)據(jù)進(jìn)行清洗、加工、分類以及挖掘分析，然后把數(shù)據(jù)有組織地存儲到數(shù)據(jù)平臺當(dāng)中，形成公司的數(shù)據(jù)中心，需要團(tuán)隊(duì)具有強(qiáng)大的數(shù)據(jù)建模和數(shù)據(jù)管理能力。數(shù)據(jù)產(chǎn)品經(jīng)理團(tuán)隊(duì)主要是分析挖掘用戶需求，構(gòu)建數(shù)據(jù)產(chǎn)品為開發(fā)者、分析師和業(yè)務(wù)人員提供數(shù)據(jù)可視化展示。

　　平臺的使用者也可以包括三種人群：數(shù)據(jù)分析團(tuán)隊(duì)通過分析挖掘數(shù)據(jù)，為改善產(chǎn)品體驗(yàn)設(shè)計(jì)和商業(yè)決策提供數(shù)據(jù)支持。運(yùn)營、市場和管理層可以通過數(shù)據(jù)分析師獲得有建設(shè)性的分析報(bào)告或結(jié)論，也可以直接訪問數(shù)據(jù)產(chǎn)品獲得他們感興趣的數(shù)據(jù)，方便利用數(shù)據(jù)做決策。數(shù)據(jù)應(yīng)用團(tuán)隊(duì)利用數(shù)據(jù)平臺團(tuán)隊(duì)提供的數(shù)據(jù)開展推薦、個(gè)性化廣告等工作。

　　3. 數(shù)據(jù)分析團(tuán)隊(duì)的組織架構(gòu)

　　在整個(gè)大數(shù)據(jù)平臺體系中的團(tuán)隊(duì)：基礎(chǔ)平臺、數(shù)據(jù)平臺、數(shù)據(jù)應(yīng)用和數(shù)據(jù)產(chǎn)品經(jīng)理團(tuán)隊(duì)都可以保持獨(dú)立的運(yùn)作，只有數(shù)據(jù)分析團(tuán)隊(duì)的組織架構(gòu)爭議比較大。數(shù)據(jù)分析團(tuán)隊(duì)一方面要對業(yè)務(wù)比較敏感，另一方面又需要與數(shù)據(jù)平臺技術(shù)團(tuán)隊(duì)有深度融合，以便能獲得他們感興趣的數(shù)據(jù)以及在數(shù)據(jù)平臺上嘗試實(shí)驗(yàn)復(fù)雜建模的可能。

　　從他們的工作方式可以看出，數(shù)據(jù)分析團(tuán)隊(duì)是銜接技術(shù)和業(yè)務(wù)的中間團(tuán)隊(duì)，這樣的團(tuán)隊(duì)組織架構(gòu)比較靈活多變：

　　1）外包

　　公司自身不設(shè)立數(shù)據(jù)分析部門，將數(shù)據(jù)分析業(yè)務(wù)外包給第三方公司，當(dāng)前電信行業(yè)，金融行業(yè)中很多數(shù)據(jù)分析類業(yè)務(wù)都是交給外包公司完成的。

　　優(yōu)勢： 很多情況下，可以降低公司的資金成本和時(shí)間成本；許多公司內(nèi)部缺乏相關(guān)的知識與管理經(jīng)驗(yàn)，外包給專業(yè)的團(tuán)隊(duì)有助于公司數(shù)據(jù)價(jià)值的體現(xiàn) 。

　　劣勢：一方面外包人員的流動和合作變數(shù)，對數(shù)據(jù)的保密性沒有保證；另外一方面，外包團(tuán)隊(duì)對需求的響應(yīng)會比較慢，處理的問題相對通用傳統(tǒng)，對公司業(yè)務(wù)認(rèn)知不如內(nèi)部員工深入，創(chuàng)新較低。

　　2）分散式

　　每個(gè)產(chǎn)品部門獨(dú)立成立數(shù)據(jù)分析團(tuán)隊(duì)，負(fù)責(zé)響應(yīng)自己產(chǎn)品的數(shù)據(jù)需求，為業(yè)務(wù)發(fā)展提供決策支持。

　　優(yōu)勢：數(shù)據(jù)分析團(tuán)隊(duì)與開發(fā)團(tuán)隊(duì)、設(shè)計(jì)團(tuán)隊(duì)以及策劃團(tuán)隊(duì)具有共同的目標(biāo)，團(tuán)隊(duì)整體歸屬感強(qiáng)，績效考核與產(chǎn)品發(fā)展直接掛鉤，有利于業(yè)務(wù)的發(fā)展。

　　劣勢：在業(yè)務(wù)規(guī)模比較小的情況下，數(shù)據(jù)分析師比較少，交流的空間也比較小。因?yàn)樯磉叺耐露疾皇窃擃I(lǐng)域的人才，無法進(jìn)行學(xué)習(xí)交流，所以成長空間會比較小，分析師的流失也會比較嚴(yán)重，最終陷入招募新人——成長受限——離職——招募新人的惡性循環(huán)。另一方面，每個(gè)產(chǎn)品團(tuán)隊(duì)都零星地招募幾個(gè)分析師，整體來看給員工的感覺是公司并不是特別重視數(shù)據(jù)化運(yùn)營的文化，對數(shù)據(jù)的認(rèn)同感會被削弱，不利于公司建立數(shù)據(jù)分析平臺體系。

　　3）集中式

　　數(shù)據(jù)分析團(tuán)隊(duì)與產(chǎn)品團(tuán)隊(duì)、運(yùn)營團(tuán)隊(duì)各自獨(dú)立，團(tuán)隊(duì)的負(fù)責(zé)人具有直接向分管數(shù)據(jù)的副總裁或CEO直接匯報(bào)的權(quán)限，團(tuán)隊(duì)負(fù)責(zé)響應(yīng)各業(yè)務(wù)部門的數(shù)據(jù)需求。

　　優(yōu)勢：分析團(tuán)隊(duì)具有充分的自主權(quán)，可以專心建設(shè)好公司級別的數(shù)據(jù)平臺體系，研究數(shù)據(jù)最具有價(jià)值的那些問題，有權(quán)平衡業(yè)務(wù)短期需求和平臺長期需求直接的關(guān)系。另一方面，這種自上而下建立起來組織架構(gòu)，可以向全體員工傳達(dá)數(shù)據(jù)在公司的重要位置，有利于建立數(shù)據(jù)化運(yùn)營的文化。

　　劣勢：產(chǎn)品業(yè)務(wù)團(tuán)隊(duì)會覺得他們對數(shù)據(jù)的掌控權(quán)比較弱，一些業(yè)務(wù)數(shù)據(jù)需求得不到快速響應(yīng)，認(rèn)為分析團(tuán)隊(duì)的反應(yīng)太慢無法滿足業(yè)務(wù)發(fā)展的需要。隨著業(yè)務(wù)發(fā)展越來越大，產(chǎn)品團(tuán)隊(duì)會自己招募分析師來響應(yīng)數(shù)據(jù)需求，逐漸替代分析團(tuán)隊(duì)的工作，這樣勢必會導(dǎo)致分析團(tuán)隊(duì)的工作被邊緣化。

　　4）嵌入式

　　數(shù)據(jù)分析團(tuán)隊(duì)同樣獨(dú)立于產(chǎn)品團(tuán)隊(duì)存在，但只保留部分資深數(shù)據(jù)專家，負(fù)責(zé)招聘、培訓(xùn)數(shù)據(jù)分析師，然后把這些人派遣到各產(chǎn)品團(tuán)隊(duì)內(nèi)部，來響應(yīng)各類業(yè)務(wù)數(shù)據(jù)需求。

　　優(yōu)勢：團(tuán)隊(duì)的靈活性比較好，可以根據(jù)公司各業(yè)務(wù)線的發(fā)展情況合理調(diào)配人力資源，重點(diǎn)發(fā)展的項(xiàng)目投入優(yōu)秀的人才，一些需要關(guān)閉的項(xiàng)目人才可以轉(zhuǎn)移到其他項(xiàng)目中去。

　　劣勢：分析師被嵌入到產(chǎn)品團(tuán)隊(duì)內(nèi)部，受產(chǎn)品團(tuán)隊(duì)主管的領(lǐng)導(dǎo)，從而失去了自主權(quán)，導(dǎo)致淪落為二等公民。人事關(guān)系在公司數(shù)據(jù)分析團(tuán)隊(duì)中，卻要被業(yè)務(wù)團(tuán)隊(duì)主管考核，但業(yè)務(wù)團(tuán)隊(duì)主管并不關(guān)心他們的職業(yè)發(fā)展，導(dǎo)致分析師的職業(yè)發(fā)展受到限制。

　　那么，到底采取哪一種組織架構(gòu)比較合適呢？

　　可以根據(jù)公司數(shù)據(jù)化運(yùn)營進(jìn)展的深度靈活采取一種或幾種方式。除了外包模式，其他組織架構(gòu)我都經(jīng)歷過，簡單來說，早期采用分散式、中期采用集中式、后期采用分散式或嵌入式以及兩則并存。

　　早期：公司對數(shù)據(jù)體系的投入一般是比較謹(jǐn)慎的，因?yàn)橐娼ㄔO(shè)數(shù)據(jù)體系需要投入大量的人力和財(cái)力，公司不太可能還沒有看清楚局勢的情況下投入那么多資源。所以，往往都是讓每個(gè)產(chǎn)品團(tuán)隊(duì)自己配置分析師，能解決日常的業(yè)務(wù)問題就行。杭研院早期的網(wǎng)易云閱讀、印像派等項(xiàng)目中就是采用的這種分散的模式。

　　中期：隨著業(yè)務(wù)的發(fā)展、公司對數(shù)據(jù)的認(rèn)識有所提高并且重視程度不斷加大，就開始愿意投入資源來構(gòu)建公司級別的數(shù)據(jù)體系。這個(gè)階段采用集中式有利于快速構(gòu)建數(shù)據(jù)分析平臺，為公司各個(gè)產(chǎn)品團(tuán)隊(duì)提供最基礎(chǔ)的數(shù)據(jù)分析體系，能在未來應(yīng)對業(yè)務(wù)的快速發(fā)展。杭研院花了兩年時(shí)間完成了這個(gè)階段的主要工作，并在網(wǎng)易云音樂和易信產(chǎn)品發(fā)展階段起到了至關(guān)重要的作用。

　　后期：一旦公司級別的數(shù)據(jù)分析平臺構(gòu)建完成，消除了早期分散模式中分析師缺少底層平臺支持的窘境，他們能夠在分析平臺上自助完成大量的數(shù)據(jù)分析工作。而且經(jīng)歷過集中式階段的洗禮，公司上上下下對數(shù)據(jù)的認(rèn)識都有了很大的提高。此時(shí)，在回到分散模式時(shí)，原先的很多弊端已基本消除，此外，采用嵌入模式也是可以的。目前杭研院在網(wǎng)易云音樂、網(wǎng)易云課堂、考拉海購等幾個(gè)產(chǎn)品中就是分散式和嵌入式并存的架構(gòu)。

　　總之，沒有最好的組織架構(gòu)，只有適合自己的組織架構(gòu)。

　　【作者介紹　沈琦：網(wǎng)易杭州研究院商業(yè)智能部門總監(jiān)、大數(shù)據(jù)技術(shù)專家　自2007年畢業(yè)以來，一直在網(wǎng)易杭研院從事大數(shù)據(jù)技術(shù)的相關(guān)工作，現(xiàn)擔(dān)任商業(yè)智能部門總監(jiān)，負(fù)責(zé)管理杭研院和考拉兩個(gè)商業(yè)智能團(tuán)隊(duì)，在大數(shù)據(jù)技術(shù)和部門管理方面都具有豐富的經(jīng)驗(yàn)。商業(yè)智能部門負(fù)責(zé)網(wǎng)易數(shù)個(gè)億級用戶產(chǎn)品的數(shù)據(jù)分析工作，覆蓋考拉海淘、云音樂、云課堂、云閱讀和易信等眾多網(wǎng)易明星級產(chǎn)品�！�