- Data Mesh權(quán)威指南
- (澳)扎馬克·德加尼
- 1171字
- 2023-11-02 19:29:48
第2章 領(lǐng)域所有權(quán)原則
Data Mesh的核心是去中心化和將數(shù)據(jù)責(zé)任分配給最接近數(shù)據(jù)的人。這是為了支持橫向擴(kuò)展的結(jié)構(gòu)和持續(xù)快速的變化周期。
那么問題來了:如何確定數(shù)據(jù)分解的邊界?如何集成這些組件?如何分配責(zé)任?
為了找到數(shù)據(jù)分解的軸線,Data Mesh效仿了組織單元的接縫(seams of organizational units)這個方法。它遵循與業(yè)務(wù)一致的職責(zé)進(jìn)行劃分。它不遵循底層技術(shù)解決方案(如數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)流水線等)設(shè)定的邊界,也不遵循功能線、數(shù)據(jù)團(tuán)隊或分析團(tuán)隊設(shè)定的邊界。
在數(shù)據(jù)架構(gòu)分治和數(shù)據(jù)責(zé)任的劃分上,Data Mesh與現(xiàn)有方法是相反的。第8章演示了傳統(tǒng)數(shù)據(jù)架構(gòu)是如何圍繞技術(shù)進(jìn)行劃分的(例如數(shù)據(jù)倉庫),并將數(shù)據(jù)所有權(quán)授予了執(zhí)行相關(guān)技術(shù)的團(tuán)隊(例如數(shù)據(jù)倉庫團(tuán)隊、數(shù)據(jù)管道團(tuán)隊等)。傳統(tǒng)架構(gòu)是組織架構(gòu)的映射,即把共享分析型數(shù)據(jù)的責(zé)任集中在了單一的數(shù)據(jù)團(tuán)隊。以前的方法是為了把處理分析型數(shù)據(jù)管理這一相對較新的領(lǐng)域的復(fù)雜性和成本局部化到專家小組而建立的。
過去組織劃分?jǐn)?shù)據(jù)責(zé)任的方法與現(xiàn)代數(shù)字化業(yè)務(wù)的組織結(jié)構(gòu)不一致。今天的組織基于業(yè)務(wù)領(lǐng)域進(jìn)行拆分。這種拆分在大部分情況下將持續(xù)變化和演進(jìn)的影響局限于一個領(lǐng)域。以Daff為例,它把業(yè)務(wù)(以及促進(jìn)和塑造業(yè)務(wù)的數(shù)字解決方案)拆分為不同領(lǐng)域,比如播客、事件、合作伙伴、聽眾等。
Data Mesh把數(shù)據(jù)共享的責(zé)任給了每一個業(yè)務(wù)領(lǐng)域。每個領(lǐng)域?qū)ζ渥钍煜さ臄?shù)據(jù)負(fù)責(zé),這個領(lǐng)域要么是數(shù)據(jù)的一級用戶,要么控制著數(shù)據(jù)源頭。比如,聽眾團(tuán)隊負(fù)責(zé)聽眾的基本資料、統(tǒng)計特征、聽眾的訂閱事件,以及任何他們最能理解、影響和控制的分析型數(shù)據(jù)。我將其稱為“領(lǐng)域所有權(quán)原則”。

我使用“所有權(quán)”這個詞作為“產(chǎn)品所有權(quán)”的簡稱,即把數(shù)據(jù)作為產(chǎn)品進(jìn)行創(chuàng)建、建模、維護(hù)、演進(jìn)和共享,以滿足數(shù)據(jù)用戶的需求的長期責(zé)任所有權(quán)。
本書中出現(xiàn)的所有“數(shù)據(jù)所有權(quán)”的意義都是有限的,范圍僅限于組織在維護(hù)它們在與內(nèi)部和外部實體(如用戶、客戶和其他組織)的交易中生成的數(shù)據(jù)的質(zhì)量、壽命和合法可訪問性的責(zé)任。
這不應(yīng)該與數(shù)據(jù)主權(quán)(sovereignty)混淆,數(shù)據(jù)主權(quán)指數(shù)據(jù)的收集者對數(shù)據(jù)的控制權(quán)。數(shù)據(jù)的最終主權(quán)仍然屬于用戶、客戶或其他需要獲取和管理其數(shù)據(jù)的組織。組織充當(dāng)數(shù)據(jù)產(chǎn)品所有者,而個體仍然是數(shù)據(jù)所有者。
自主權(quán)數(shù)據(jù)(個人擁有對其個人數(shù)據(jù)的完全控制和權(quán)力)的概念與我的想法接近,但這超出了本書的范疇。
我也避免使用數(shù)據(jù)監(jiān)護(hù)這樣的術(shù)語,因為它們與過去的數(shù)據(jù)管理和治理方法有著特定和不同的含義。這是為了避免與不兼容Data Mesh的現(xiàn)存數(shù)據(jù)治理職責(zé)混淆。
這種相當(dāng)直觀的責(zé)任劃分解決了我將在第7章深入討論的一系列問題,但是帶來了新的挑戰(zhàn)。它導(dǎo)向了分布式的邏輯數(shù)據(jù)架構(gòu)——可伸縮的分布式架構(gòu),更加難以管理。它需要以新的方式處理領(lǐng)域之間的數(shù)據(jù)互操作性和連接性。
在下面的內(nèi)容中,我分析了如何應(yīng)用領(lǐng)域驅(qū)動設(shè)計(Domain-Driven Design,DDD)策略來分解數(shù)據(jù)和它的所有權(quán),介紹了組織轉(zhuǎn)型為面向領(lǐng)域的數(shù)據(jù)所有權(quán)所需要的轉(zhuǎn)變。
- 漫話大數(shù)據(jù)
- 虛擬化與云計算
- Learning Spring Boot
- 云計算與大數(shù)據(jù)應(yīng)用
- 軟件成本度量國家標(biāo)準(zhǔn)實施指南:理論、方法與實踐
- 數(shù)據(jù)庫程序員面試筆試真題庫
- 云數(shù)據(jù)中心網(wǎng)絡(luò)與SDN:技術(shù)架構(gòu)與實現(xiàn)
- Hadoop大數(shù)據(jù)開發(fā)案例教程與項目實戰(zhàn)(在線實驗+在線自測)
- Expert Python Programming(Third Edition)
- 大數(shù)據(jù)與機器學(xué)習(xí):實踐方法與行業(yè)案例
- 云計算寶典:技術(shù)與實踐
- PostgreSQL高可用實戰(zhàn)
- Visual Studio 2012 and .NET 4.5 Expert Development Cookbook
- Access 2010數(shù)據(jù)庫應(yīng)用技術(shù)教程(第二版)
- AI Crash Course