5.3　數據中臺建設中的常見問題

前文提到過，國內企業在建設大數據平臺的過程中出現了很多問題，其中涉及多部門合作時問題尤其嚴重，例如各個部門數據重復開發、浪費存儲與計算資源、數據標準不統一、數據使用成本高、業務數據孤島問題嚴重、數據利用效率低等。為了解決這些問題，阿里提出了數據中臺這個概念，將其作為一種新的架構方式。

那么，在數據中臺建設過程中還會出現什么問題？我們根據業界數據中臺的建設實踐，列出了以下常見的問題。

·數據標準建立和協調困難：業務板塊和業務線眾多，數據標準難建立，協調擴展困難。

·技術選型困難：技術選型眾多，不同業務方有不同的數據需求，技術選型時依據這些客觀需求及主觀偏好，會選擇不同的計算框架和數據組件。

·數據需求多樣：業務部門需求多樣化，包括報表計算、可視化看板、數據探索、數據服務、結果推送、數據采集及遷移、A/B測試、標簽體系、用戶觸達、數據應用等。

·數據需求多變：為應對市場的快速變化，業務方的數據需求也是多變的，看板必須能夠按需調整，標簽必須能自主配置，諸如此類的需求需要有大量自助工具來支撐。

·數據正確性難以確定：隨著數據的復雜度越來越高，數據鏈條越來越長，數據源越來越多，保證數據的正確性及驗證數據將成為一個很耗時的問題。

·數據管理復雜：業界對數據的可解釋性、可管理性要求越來越高，各種新存儲架構的加入，使得元數據管理和數據流程標準化更加復雜。

·數據安全管理復雜：如果無法保證數據安全，數據就是不可用的，數據合規使得數據安全成為剛需，這里要求能夠支撐多級數據安全策略、數據鏈路可追溯、敏感數據可加密。

·數據權限管理：在數據賦能的體系中權限控制是很關鍵的功能，需要實現各種級別的數據權限，組織架構、角色、權限策略自動化，以及對新的計算架構的權限管理。

·數據成本高，難以量化：數據成本包括集群成本、運維成本、人力成本、時間成本等，持續系統地計算這些成本需要在系統架構中加入相應的統計接口，而現有的大多數平臺并沒有將這些接口考慮在內。