官术网_书友最值得收藏!

1.1 DataOps促進數字化轉型

在當前的數字經濟時代,我國政府出臺了一系列規劃和意見,強調數據作為一種新型的生產要素,應該賦能數字化轉型和實體經濟,因此對數據管理提出了新的要求,即能夠高效、合規、有序、自主地利用數據,在組織內部要能促進數字化轉型,在組織外部要能保障數據要素的有序流通。

當前的數據管理訴求與現狀仍存在較大差距,如圖 1-1 所示。企業希望能夠快速地調取數據,更快地獲得數據洞察;能夠有準確的數據以便輔助做出正確的決策;能夠有自助分析的能力,讓數據分析師、數據科學家進行創新探索;能夠在安全合規的環境中使用數據,等等。由此可見,企業在數字化轉型方面依然任重而道遠。

與此同時,我們也看到了云和大數據技術的普及和演變,以及開源社區的活躍,出現了湖倉一體、流批一體等眾多數據架構和新的數據組件(以下簡稱組件)。這些組件的出現說明當前企業的數據體量更大、類型更加多樣化并且數據分析過程更加復雜。但每一種組件的出現主要是為了解決特定的問題,因此這些組件的組合使用帶來了新的挑戰,包括復雜的數據管道、割裂的元數據、較高的使用門檻和運維成本、不安全的數據環境等。

當前企業在數據管理方面的訴求是從“管”到“用”的轉變:希望有敏捷的數據管道,以便對數據復雜的流程做好編排;希望有統一的元數據,以便形成準確一致的數據語義,讓數據消費者能夠在統一的語言里去理解數據的含義;希望有自主獨立的工作空間,從而能夠讓不同的數據消費者進行獨立的探索;希望有安全可信的數據環境,以便數據消費者更放心地利用數據。圖1-2展示了現代數據棧及其特點,從中可見當下企業對數據管理提出了更高的要求。

圖1-1 數據管理訴求與現狀的差距

圖1-2 現代數據棧及其特點

面對快速變化的業務需求和復雜的技術組件,業界借鑒DevOps(開發運維一體化)的方法,提出DataOps(數據研發運營一體化)的概念。DataOps是應對業務需求快速變化和業務價值轉化的關鍵策略,其通過構建和增強數據管道的方法和技術,滿足新技術引入和數據流向價值流轉化的需求。

DataOps是一種將敏捷、DevOps、精益和產品思維等多個方法論融合在一起的數據開發和運營方法,以實現更高效、更靈活、更穩定的數據生命周期管理。DataOps強調從業務需求到數據分析價值輸出的全鏈條整合,旨在實現敏捷和協作的數據開發,利用DataOps的持續集成/持續交付(Continuous Integration / Continuous Delivery, CI/CD)能力來最大限度地減少流程浪費,并專注于業務本身的成本和收益。同時,DataOps 能夠充分體現產品思維,輸出能夠最大限度滿足業務需求的內容,從而實現數據從數據流向價值流的轉化。

在DataOps中,敏捷的思想體現在快速響應業務需求和變化。參考DevOps的方法,DataOps實現了數據工程更短的迭代周期和更高的交付效率。精益思想的應用可以幫助團隊更好地理解數據價值流,消除數據開發和運營過程中的浪費,優化流程,提高數據生產效率和質量。產品思維是一種以用戶需求為中心、持續創新和迭代的思考方式,強調的是用戶體驗和價值創造。在DataOps中,產品思維的應用可以幫助團隊更好地理解業務需求,將用戶價值放在首位,優化數據產品的設計和功能,實現更高效、更靈活、更穩定的數據生命周期管理。

主站蜘蛛池模板: 深水埗区| 孟连| 广饶县| 阳新县| 务川| 嘉祥县| 乐亭县| 邹城市| 左权县| 个旧市| 区。| 和平区| 威宁| 凤庆县| 万源市| 都兰县| 定结县| 长武县| 桐乡市| 武穴市| 临海市| 邢台县| 黔西| 梁平县| 红安县| 邯郸县| 丹凤县| 拉孜县| 万年县| 阳曲县| 房山区| 崇阳县| 延边| 中超| 韶山市| 奎屯市| 石首市| 澎湖县| 登封市| 玛曲县| 虹口区|