- 數據中臺建設:從方法論到落地實戰
- 彭勇
- 3206字
- 2021-10-15 18:41:49
2.3 數據中臺的建設目標
值得注意的是,數據中臺的建設是一項復雜的系統工程,沒法一蹴而就。根據筆者過去的實戰經驗,數據中臺的建設是一項長期任務,一般持續時間在2年以上。筆者建議數據中臺建設應該在全局戰略規劃的基礎上,逐步分階段完成。在建設數據中臺之前,需要明確數據中臺建設的總體目標和階段性目標,做到目標明確,路徑明晰,節奏清楚。下面分別闡述數據中臺建設的總體目標和階段性目標。
2.3.1 總體目標
阿里巴巴構建數據中臺的目標是“one data,one service”。簡而言之,就是構建統一的數據模型和數據服務體系,服務于內部不同子企業數據應用的需求。認真梳理不同的業務流程,可以發現很多模塊的功能相似,可以將這些模塊抽象為公共服務以服務不同的業務場景。比如,在互聯網保險應用需求矩陣中,有獲客、營銷、保險定制、投保、定價、風險管理、理賠、客服等應用場景。除了常規的BI數據服務,還可以抽象出很多其他的公共數據服務,比如客戶群圈選、客戶評分、客戶屏蔽、產品推薦、營銷活動管理等。
因為數據基礎建設和發展階段存在差異,所以不同的企業建設數據中臺的目標會有所不同。整體而言,建設數據中臺的總體目標主要體現在以下6個方面,如圖2-1所示。

圖2-1 數據中臺建設的整體目標
1.數據戰略目標
要確定數據發展戰略和中長期的落地規劃。比如,解決“數據孤島”問題,實現集團內部數據的互通、共享和標準化,構建統一的客戶視圖,實現客戶全觸點的數據資產化和服務化。
2.組織建設目標和組織績效
要建設與數據戰略相匹配的組織,明確權責。比如,建設數據事業部,其直接向企業總裁匯報,負責企業所有的數據資產,并支持企業內部或外部所有的數據服務。在績效考核方面,第一年以組織建設、基礎建設和人才建設為主,第二年的重點是鍛煉人才,逐步在重點領域開始挖掘和實現數據價值。在第三年之后,數據應用開始遍地開花。
3.人才培養目標
要培養數據中臺需要的人才,明確多長時間培養多少不同層級的人才。
4.數據基礎設施建設目標
要明確數據基礎設施建設的目標和規劃,比如數據平臺、數據倉庫、數據工具、客戶統一ID等的建設目標和規劃。
5.數據智能化建設目標
要了解數據分析和數據智能的現狀,明確數字化和智能化的目標,洞察差距,并彌補差距。
6.數據服務體系建設目標
要建設業務所需要的數據服務體系,全面實現數據價值,支撐業務的數據化和智能化的需求。
2.3.2 數據中臺的標準化
建設數據中臺的戰略目標之一是實現統一的數據標準,實現“書同文、車同軌”。標準化的數據中臺,應該做到有標準框架可以參考,有規范可以依賴,有規則可以遵守,有方法可以用,這有助于提升數據一致性、促進數據生態的建立和協作、打破“數據孤島”、促進數據資產互聯互通,從而實現數據價值最大化。
標準化的內涵是“用同樣的語法和句法,寫同樣的文字,講同一種語言”。從落地角度來說,數據中臺統一的標準應該涉及數據中臺建設的全過程。從描述用語和數據的抽取、清洗、匯聚、開發,到數據模型設計、數據指標的計算、統一ID的規則,再到數據分析、算法模型和數據應用,最后到數據管理、數據安全、數據服務等環節,都必須遵循數據中臺的標準化規范,拉齊認知、消除歧義。
因此,制定數據中臺不同階段的可行標準,成為數據中臺戰略落地的關鍵舉措之一。舉例說明:2019年,中國信息通信研究院和阿里巴巴(北京)軟件服務有限公司牽頭編寫的《數字政務服務平臺技術及標準化白皮書》從術語、功能規范、數據規范、安全標準、無障礙標準和評估測試標準6個方面確定了政務數據中臺的標準。筆者建議在建設企業數據中臺的過程中,可以適度參考該標準。
2.3.3 數據中臺業務化
建設數據中臺的另一個戰略目標是實現“數據業務化,業務數據化”。換句話說,數據中臺不是純技術平臺,而是服務于業務的數據價值支撐平臺。對于數據中臺的設計,數據團隊需要和業務團隊進行充分、廣泛的溝通和對齊,除了需要熟悉現階段業務的需求和痛點,還必須全面評估業務發展的前瞻性數據化需求,做到讓數據中臺和業務中臺全面融合,從而有效地支撐業務的數據化和智能化發展訴求。
另外,要想建設數據中臺,還必須全面研究客戶的價值,盡可能給客戶提供最大的價值、最便捷的服務體驗、最敏捷的動態需求響應,要以客戶為中心,構建客戶統一ID、統一視圖和標簽體系,打造一系列與客戶相關的數據智能服務(比如,偏好分析、價格敏感度分析、風險分析、產品精準推薦、精準定價、客戶價值分析、客戶生命周期分析等服務),滿足業務中臺的動態的業務需求。
一個業務化的數據中臺,距離業務更近,能更好地傾聽業務的聲音和訴求,可以及時應對和響應業務的需求。而業務會源源不斷地給數據中臺提供數據,讓數據中臺更精準、更實時地把握業務發展的脈搏,并及時給予智能的策略反饋。業務中臺是對業務流程、知識的抽象和沉淀,而數據中臺是從數據模型角度對業務知識的抽象、沉淀、積累和迭代。由于業務的靈活性和可變性,數據中臺模型應該適時進行迭代。數據中臺的終極目標是通過業務數據不斷滋補,逐步實現自適應性和智能化迭代能力。
2.3.4 數據中臺平臺化
平臺化意味著充分利用網絡的協同效應將多個群體共性的需求抽象為共享的流程和功能,提供這些客戶群統一對外的公共服務。比如,電商平臺,連接多個買家和賣家,通過提供各種平臺化的優質服務吸引并撮合這兩個客戶群體,讓這兩個客戶群體足不出戶就可以獲得更極致的服務體驗。平臺化的內涵是連接、抽象、共享和高效。數據中臺的平臺化目標是實現數據中臺和業務中臺的互聯互通,通過平臺化的方式構建豐富和強大的數據服務能力。
實現數據中臺平臺化的好處如下。
1.“海納百川,有容乃大”
數據中臺可以基于客戶的需求,連接并融合內外部各種數據能力,形成自己的服務能力,快速響應客戶需求。
2.“共襄盛舉”
數據中臺和業務中臺依托于數據和業務知識,通過共創實現“數據業務化,業務數據化”,以及數據能力的創新和迭代,以滿足業務的個性化需求。
3.“事半功倍,卓有成效”
通過工具化和平臺化的建設,數據中臺連接更多的能力,大大提高了對外服務的效率。
2.3.5 數據中臺服務化
數據中臺服務化的內涵主要體現在以下兩點。
(1)通過對數據能力進行抽象,逐步實現數據能力的模塊化、可配置化、自動化和智能化組合,從而支持更復雜的業務需求。
(2)數據能力的服務化,將數據能力轉化為系統服務,實現服務隨時隨地可以調用,且滿足高可用性。
數據能力的抽象和可組合的意思是將數據能力抽象成原子化的數據能力,將原子化的數據能力組裝成分子化的數據能力,并將其進一步組裝成更加豐富的數據能力。比如,產品推薦服務這個復雜的數據服務由以下服務組成:數據匯聚服務、推薦算法服務和數據排序服務等。而推薦算法服務又由數據預處理服務、數據建模服務、增量學習服務、模型評估服務等組成。
數據能力的服務化意味著數據能力隨時隨地可調用,同時滿足數據服務的穩定、高效和健壯。數據服務化的目標對數據中臺的基礎硬件設施、數據的處理效率、數據模型的設計、平臺的計算能力、服務體系的架構和實現方式提出了新的要求與挑戰。以風險管理服務為例,假設該數據服務的輸出為客戶的風險評分(0~100分)、客戶的風險等級和觸發的風險規則等信息。該服務的主要輸入數據包含客戶畫像、客戶實時的行為數據、客戶歷史逾期數據、客戶關系數據、外部數據等。這些數據被存儲在不同的數據系統中,比如數據倉庫、核心數據庫、列數據庫、流數據庫、圖數據庫等。另外,該服務的高可用性還需要依托于算法的運行效率、計算平臺的能力和健壯性。該數據服務可能被業務中臺中多個公共模塊調用,比如客戶評級、客戶定價、客戶授信、客戶權益等。上述各個重要環節的性能都會影響使用該服務的客戶體驗。如果其中一個環節出現故障,那么整體的服務體驗相當于“歸零”。
因此,數據中臺對外服務的效率、健壯性不僅與數據服務體系的架構和技術實現方式緊密相關,還與下游每個環節的性能息息相關。只有這些節點都滿足高可用性和高健壯性,才能達到數據中臺服務化的終極目標。