- 云原生數據中臺:架構、方法論與實踐
- 彭鋒 宋文欣 孫浩峰
- 843字
- 2021-04-30 12:38:50
5.2 從失敗的大數據項目中吸取教訓
顯然,并不是所有的數據中臺項目都會成功。數據中臺的概念出現時間不長,雖然已經有一些關于失敗的數據中臺項目的報道,但還只是零星的個例,我們難以從中總結出可靠的經驗。而大數據技術已經發展十多年了,項目眾多,我們完全可以從失敗的大數據項目中總結經驗,吸取教訓,然后用其指導數據中臺的建設工作,以少走彎路,避免失敗。
自2012年起,NewVantage Partners公司每年面向財富美國1000強企業的管理層調查大數據和AI在其企業內的實施情況。2019年的調查報告揭示了企業數據平臺窘境——盡管在大數據和AI領域投入超過5億美元的公司較上一年增長了66%,但在65家受訪企業里表示“未能或尚早體現可量化業務結果”的企業卻增加了41%。
在研究企業數據平臺項目失敗案例的過程中,我們發現導致企業數據平臺建設失敗的核心原因有以下4個。
·啟動難:缺少用例支持,無法獲得業務支持;需要進行長時間的數據湖設計與技術評估;需要統一組織內多個業務或技術部門。
·數據源難以規模化:缺少對錯綜復雜的源數據系統進行管理的手段;難以跟上不斷增長的數據源系統規模。
·數據使用難以規模化:數據平臺項目跟不上企業創新要求;用例過窄,難以滿足規模化需求;平臺能力跟不上錯綜復雜的用例需求。
·難以實現數據商業化:開發和運營成本極高;難以將數據平臺真正轉化為商業競爭力;難以形成創新文化。
基于此,我們把企業數據平臺的成功要素歸結為:在錯綜復雜的企業技術環境中快速啟動,規模化地引入高價值的新數據源和使用場景,盡早實現數據對整個企業商業系統的價值(對內或對外)。
其中的關鍵詞是“快速啟動”“高價值”“使用場景”“盡早實現數據價值”,第6章將會詳細介紹如何才能達到這樣的建設效果。數據中臺雖然是個較新的概念,但是它要解決的問題并不新鮮,實際上就是大數據平臺建設方式錯誤或不當造成的問題。所以,在建設數據中臺的時候,我們一定要實事求是,根據實際業務場景確定建設路線和評估建設成果,快速實現可衡量的數據價值,避免數據中臺建設重蹈覆轍。
[1] “ Big Data and AI Executive Survey 2020: Executive Summary of Findings”,http://newvantage.com/wp-content/uploads/2020/01/NewVantage-Partners-Big-Data-and-AI-Executive-Survey-2020-1.pdf。