- 數據中臺實戰:手把手教你搭建數據中臺
- 董超華
- 2402字
- 2020-09-29 16:55:52
1.3 數據中臺人員構成
中臺的搭建工作一般來說是“一把手工程”。業務中臺承載公司的所有業務,數據中臺承載公司的所有數據。業務中臺既然要承載所有的業務,就要把所有產品線的業務搬到業務中臺,那就涉及大量的跨部門溝通,只有全公司各條產品線都認可中臺模式,業務中臺的搭建工作才會更加順利,因此需要公司的一把手直接領導中臺的搭建工作。
在把各條產品線的業務都接入中臺后,數據也就沉淀下來了。在沒有數據中臺時,數據都是由各個部門匯總給公司的CEO的,等數據到了CEO的層面,信息可能會有一些變化。在擁有了數據中臺之后,CEO可以直接通過數據中臺拿到公司各條產品線的核心數據,從這個方面來講,數據中臺也擴大了CEO的信息視野。
一個典型的中臺組織架構如圖1-5所示。中臺一般會由公司高層直接主管,高層的下面是中臺負責人,其充當部門總監的角色,統一管理公司的業務中臺和數據中臺。

圖1-5 數據中臺的組織架構
一般來說,高層不會做一些細節的工作。中臺負責人需要負責與其他部門合作,當遇到需要與其他部門溝通的重要工作時,就由中臺負責人協調資源來處理。另外,由于業務中臺產生數據,而數據中臺消費數據,雙中臺之間也必定會有大量合作和互動,在產生分歧時也需要中臺負責人來解決問題。
中臺負責人的下面是業務中臺的負責人和數據中臺的負責人。這兩個人分別主導業務中臺和數據中臺的搭建工作,對業務中臺、數據中臺的搭建工作好壞負有直接的責任。他們的工作主要包括項目的規劃、產品團隊的管理、項目管理等。
接下來我們再具體看一下數據中臺的人員構成。一個數據中臺的項目需要10種不同角色(包括數據中臺負責人在內)共同參與,如圖1-6所示。

圖1-6 數據中臺的人員構成
(1)架構師。其是整個數據中臺團隊的技術負責人。使用業界比較成熟的架構設計來構建大的模塊(比如標簽平臺、推薦平臺),能夠避免很多無用的工作。一些需要攻關的技術難題(包括技術選型等)也需要架構師來解決。
(2)項目經理。數據中臺團隊的項目經理主要管理技術團隊,要優化內部合作流程,不斷提高團隊的效率,保證團隊按時、高質量、在成本范圍內完成項目建設。數據中臺團隊內部的溝通機制、對外的溝通機制、研發迭代計劃的制訂等工作都需要項目經理主導。
(3)模型設計師。模型設計是數據中臺搭建過程中比較重要的一環。底層模型直接決定數據中臺數據指標的質量和可擴展性。一個好的模型設計師需要熟悉公司內部每條產品線的業務流程,熟悉每條產品線的數據存儲情況。模型設計師需要和產品經理配合,一起弄清楚每個指標的來龍去脈,并將模型思路、計算方式清晰地告訴數據開發工程師。全面、多維度的建模是數據中臺的基礎,相對來說,模型設計師是數據中臺團隊比較核心的職位。模型設計師需要熟悉數據倉庫各類模型的建模理論,了解數據倉庫數據分層架構,最好有數據倉庫架構設計、模型設計、ETL設計[1]的經驗。
(4)數據開發工程師。其主要和模型設計師打交道。模型設計師會把與產品經理溝通的業務口徑轉化為技術口徑,告訴數據開發工程師每個指標應該從哪里提取數據、指標應該怎么計算。數據開發工程師將計算的結果一層一層匯總,最終要和后端工程師定義數據應用的接口。數據開發工程師需要熟悉大數據工程的基本原理,熟悉流式計算等實時計算,熟悉Hadoop、Spark等離線計算,熟悉大數據存儲等相關內容。
(5)后端開發工程師。數據中臺的后端開發工程師有點與眾不同,主要負責與數據指標相關的工作,與數據開發工程師、產品經理、測試工程師打交道。后端開發工程師需要輸出對內的數據產品開發接口,還要將一部分數據以接口的形式輸出給其他產品線。數據中臺的后端開發工程師需要有數據平臺系統的開發經驗,需要熟悉J2EE技術平臺及主流框架,熟練掌握關系類型數據庫,熟悉Linux、大數據處理、NoSQL等相關技術。
(6)前端開發工程師。其主要和后端開發工程師、測試工程師、UI設計師合作。前端開發工程師需要精通一些前端技術(比如JavaScript、H5等),熟悉一些可視化的圖表組件(比如EChart等)。前端開發工程師需要把數據指標以更通俗易懂的圖表形式顯示給數據中臺的用戶。
(7)UI設計師。其會根據產品經理提供的原型設計效果圖,一旦效果圖通過,UI設計師會給出切圖(功能的標注),然后由前端開發工程師基于切圖完成前端界面的開發。前端開發工程師和UI設計師需要有一定的審美水平,因為視覺設計和交互設計直接決定了產品的用戶體驗。
(8)測試工程師。和一般項目的測試工程師相比,數據中臺的測試工程師有點與眾不同。數據中臺的測試工程師主要測試數據的準確性。數據中臺數據的準確性幾乎決定了數據中臺80%的價值。測試工程師需要理解指標的計算邏輯。數據開發工程師會對數據進行自測,自測是保證數據準確性的第一道門檻。測試工程師是保證數據準確性的第二道門檻。產品功能上線初期會讓運營的同事先試用,這個步驟是保證數據準確性的第三道門檻。在數據中臺的功能運營了一段時間(比如兩個月或三個月)后,測試工程師會組織進行功能回測,這就是保證數據準確性的第四道門檻。
(9)產品經理。最后筆者再說一下產品經理。數據中臺產品經理的工作包括產品的規劃、需求的梳理、功能的設計、功能上線后的跟進等。數據中臺是服務B端的產品,一般會在公司內部孵化出數據服務的產品,用來服務一線的產品/運營人員和公司高層,所以數據中臺產品經理要了解公司每條產品線的業務流程和未來發展方向,這需要其擁有很強的跨部門溝通能力。數據中臺產品經理要為數據中臺的總體價值負責。從上文可知,一個指標的開發常常需要多個角色相互配合才能完成,所以數據中臺產品經理對指標的價值判斷十分重要。
數據中臺產品經理如何保證數據中臺開發的指標都有價值呢?方法是在設定每個指標前,不妨先確定以下兩個問題的答案。
● 這個指標能解決什么業務問題,能幫公司帶來多少交易額?
● 如果有了這個指標,產品/運營人員能提高多少工作效率,節省多少時間?
無論是幫公司賺錢,還是幫公司省錢,對于公司來說都是有價值的事情。
- 從0到1:數據分析師養成寶典
- Python金融數據分析(原書第2版)
- Oracle PL/SQL實例精解(原書第5版)
- 深入淺出 Hyperscan:高性能正則表達式算法原理與設計
- Python數據分析與挖掘實戰(第3版)
- 探索新型智庫發展之路:藍迪國際智庫報告·2015(下冊)
- IPython Interactive Computing and Visualization Cookbook(Second Edition)
- 計算機組裝與維護(微課版)
- Visual Studio 2013 and .NET 4.5 Expert Cookbook
- SIEMENS數控技術應用工程師:SINUMERIK 840D-810D數控系統功能應用與維修調整教程
- 大數據與機器學習:實踐方法與行業案例
- Access 2010數據庫程序設計實踐教程
- MySQL數據庫應用與管理
- 從Lucene到Elasticsearch:全文檢索實戰
- 數據中臺實戰:手把手教你搭建數據中臺