- Data Mesh權威指南
- (澳)扎馬克·德加尼
- 1499字
- 2023-11-02 19:29:46
1.3 原則
4個簡單的原則體現了Data Mesh邏輯架構和運作模式的基礎。這些原則旨在幫助我們實現Data Mesh的目標:在大規(guī)模的數據中增加價值,隨著組織的增長保持敏捷性,以及在復雜多變的業(yè)務環(huán)境中擁抱變化。
下面是這些原則的簡單概要。
1.3.1 領域所有權
把分析型數據的所有權分散到與數據最接近的業(yè)務領域——無論是數據源還是它的主要消費者。根據數據所代表的業(yè)務領域從邏輯上對(分析型)數據進行分解,并獨立地管理面向領域數據的生命周期。
在架構和組織上對齊業(yè)務、技術和分析型數據。
領域所有權的動機是:
?橫向擴展數據分享的能力與組織增長的軸線一致:增加的數據源數量、數據源數量和數據用例多樣性。
?通過本地化業(yè)務領域的變更來優(yōu)化持續(xù)變更。
?通過減少跨團隊的同步,以及消除數據團隊、數據倉庫和數據湖架構的集中化瓶頸來實現敏捷性。
?通過縮小數據的真實來源與用于分析用例的時間和地點之間的差距,提高數據業(yè)務的真實性。
?通過移除復雜的中間數據流水線,提高分析和機器學習解決方案的韌性。
1.3.2 數據即產品
有了這個原則,面向領域的數據就可以作為產品直接分享給數據用戶(數據分析師、數據科學家等)。
數據即產品遵循一系列可用性特征:
?可發(fā)現性
?可尋址性
?可理解性
?可信賴性和真實性
?原生可訪問性
?互操作性和可組合
?自身價值
?安全性
數據產品提供了一組定義明確且易于使用的數據共享契約。每個數據產品都是自治的,其生命周期和模型獨立于其他產品進行管理。
數據即產品引入一個新的邏輯架構單元,稱為數據量子。它控制和封裝了作為產品自治地分享數據時需要的所有結構化組件——數據、元數據、代碼、策略,以及基礎設施依賴的聲明。
數據即產品的動機如下:
?通過改變團隊與數據的關系,消除了創(chuàng)建面向領域的數據孤島的可能性。數據成為團隊共享的產品,而不是收集后成為孤島。
?通過簡化點對點、無摩擦地探索和使用高質量數據的體驗,創(chuàng)建數據驅動的創(chuàng)新文化。
?通過隔離數據產品間的構建時間和運行時間,以及明確定義的數據共享契約,創(chuàng)建變更韌性,使得一個數據的變更不會影響其他數據的穩(wěn)定性。
?通過跨組織邊界共享和使用數據,從數據中獲取更高的價值。
1.3.3 自助數據平臺
這個原則導向了新一代的自助數據平臺服務,它使得各個領域的跨職能團隊能夠自主地共享數據。平臺服務的核心是消除從數據源到數據消費的端到端數據共享旅程中的摩擦。平臺服務管理獨立數據產品的全生命周期。它們管理著一個相互關聯的數據產品的可靠網格,提供了網格級別的體驗,例如在網格上顯示涌現的知識圖譜和網格中的沿襲。該平臺不僅簡化了數據用戶探索、訪問和使用數據產品的體驗,還簡化了數據提供者構建、部署和維護數據產品的體驗。
自助數據平臺的動機如下:
?減少去中心化的數據所有權的總成本。
?抽象數據管理的復雜性,降低領域團隊在管理數據產品的端到端生命周期時的認知負荷。
?動員更多的開發(fā)人員(技術通才)從事數據產品開發(fā)工作,減少對專業(yè)化的需求。
?自動化治理策略,為所有數據產品創(chuàng)建安全與合規(guī)標準。
1.3.4 聯邦計算治理
這個原則創(chuàng)建了一個基于聯邦決策制定和責任結構的數據治理操作模型,包含由領域代表、數據平臺和行業(yè)專家(法務專家、合規(guī)專家、安全專家等)組成的團隊。這個操作模型創(chuàng)建了一個激勵和責任結構,平衡了領域的自主性和敏捷性與網格的全局互操作性。治理執(zhí)行模型高度依賴平臺服務對每個數據產品在細粒度級別的策略的編纂和自動化。
聯邦計算治理的動機如下:
?從獨立但可互操作的數據產品的聚合性和相關性中獲得高階價值的能力。
?消除面向領域的去中心化的不良后果:領域的不兼容性和失去連接。
?使得在跨分布式數據產品組成的網格中實施跨領域治理變得可行。
?減少領域和治理功能之間的人工同步開銷。
- Word 2010中文版完全自學手冊
- InfluxDB原理與實戰(zhàn)
- Redis應用實例
- 區(qū)塊鏈通俗讀本
- 數據挖掘原理與SPSS Clementine應用寶典
- 數據庫技術及應用教程
- LabVIEW 完全自學手冊
- SQL應用及誤區(qū)分析
- 科研統(tǒng)計思維與方法:SPSS實戰(zhàn)
- 企業(yè)主數據管理實務
- Spring Boot 2.0 Cookbook(Second Edition)
- 數據庫原理與設計實驗教程(MySQL版)
- Cognitive Computing with IBM Watson
- 數據庫原理及應用:SQL Server 2016
- NoSQL數據庫原理(第2版·微課版)