- Data Mesh權威指南
- (澳)扎馬克·德加尼
- 953字
- 2023-11-02 19:29:48
1.7 起源
拒絕一種范式的同時不采納另一種范式就是拒絕科學本身。
——Thomas S. Kuhn, The Structure of Scientific Revolutions
Thomas S. Kuhn是一位美國歷史學家和科學哲學家。他在當時頗具爭議的The Structure of Scientific Revolutions一書中提出了“范式轉變”(paradigm shift)。他觀察到科學如何以兩種主要模式發展:增量式和革命式。科學是在正常科學的連成一長串的過程中發展的,在正常科學中,現有的理論構成了所有進一步研究的基礎,然后是不連續的范式轉變中偶發的顛覆、挑戰和超越現有的知識和規范。比如,從牛頓力學到量子力學的科學發展被認為是范式轉變,因為科學家無法使用現有的理論解釋量子級別的物理的支配定律。Kuhn意識到范式轉變的先決條件是識別異常,即不符合現有標準的觀察結果,然后進入危機階段,在這個階段質疑現有范式在解決新問題和觀察結果中的有效性。他還觀察到,人們試圖在現有的解決方案中引入不可持續的復雜性,以解釋異常現象,但這種嘗試越來越讓人絕望。
這幾乎完全符合Data Mesh的起源和原則。它來自我在第一部分中描述的對異常的認識(故障模式和偶然的復雜性),以及現有數據解決方案的特征難以符合當今企業現實的危機時刻。在數據處理方法的發展過程中,我們正處于一個“Khunian危機”的時刻。因此,需要一種新的范式。
Data Mesh的原則是概括和改編了過去二十年中演進的實踐,并證明其解決了最后的復雜性挑戰:由組織的大規模數字化所導致的軟件復雜性的規模化。
這些原則是數字組織解決組織增長和復雜性的基礎,同時實現了前所未有的數字抱負:把所有的服務轉移到We b上,使用移動設備與客戶作為每一個接觸點,并通過大多數活動的自動化減少組織的同步。它們是對軟件領域的前一個范式轉變的一種適應:微服務(https://oreil.ly/IMENg)和API革命、基于平臺的團隊拓撲注4、計算治理模型(比如“零信任架構”注5)、安全地運維跨云和托管環境的分布式解決方案。在過去的幾年中,這些原則已經被改進,并適用于分析型數據問題空間。
讓我們近距離地看看每一個Data Mesh原則。
注1:這是Everett Rogers在Diffusion of Innovations一書中提到的理論。
注1:第7章揭示了Data Mesh的預期成果,并對如何實現這些結果進行了高層次的描述。
注2:該概念出自Jeff Hawkins和Sandra Blakeslee所著的On Intelligence一書的第165頁。
注3:這個定義來自William H. Inmon,他被認為是數據倉庫之父。
注4:Matthew Skelton and Manual Pais(2019).Team Topologies: Organizing Business and Technology Teams for Fast Flow. Portland, OR: IT Revolution.
注5:Scott W. Rose, Oliver Borchert, Stuart Mitchell, and Sean Connelly(2020).“Zero Trust Architecture”(https://oreil.ly/rGEfn), Special Publication(NIST SP), National Institute of Standards and Technology, Gaithersburg, MD.
- LibGDX Game Development Essentials
- Access 2016數據庫教程(微課版·第2版)
- 有趣的二進制:軟件安全與逆向分析
- SQL Server入門經典
- PySpark大數據分析與應用
- R數據科學實戰:工具詳解與案例分析(鮮讀版)
- Creating Dynamic UIs with Android Fragments(Second Edition)
- 智能數據時代:企業大數據戰略與實戰
- Oracle 12c云數據庫備份與恢復技術
- Proxmox VE超融合集群實踐真傳
- HikariCP連接池實戰
- 數據庫與數據處理:Access 2010實現
- The Natural Language Processing Workshop
- 數據分析方法及應用:基于SPSS和EXCEL環境
- SQL Server 數據庫教程(2008版)