官术网_书友最值得收藏!

  • Data Mesh權威指南
  • (澳)扎馬克·德加尼
  • 1113字
  • 2023-11-02 19:29:47

1.6 數據

Data Mesh專注于分析型數據。它識別了兩種數據模式的模糊劃定,引入了一種將兩種模式緊密結合的新模型,同時又尊重兩種模式之間的明顯區別。

“什么是操作型數據和分析型數據?”對于Data Mesh的早期愛好者來說,這是一個令人困惑的問題。

1.6.1 操作型數據

操作型數據支撐業務運行,并使用事務完整性保存業務的當前狀態。這些數據由事務實時捕獲、存儲和處理,用于OLTP(Online Transaction Processing,聯機事務處理)系統。

操作型數據位于支持業務功能的微服務、應用程序或記錄系統的數據庫中,保存了業務的當前狀態。

操作型數據的建模和存儲針對應用程序或微服務邏輯和訪問模式進行了優化。它會持續更新,通過讀和寫進行訪問。它的設計必須考慮到多人在同一時間以不可預知的順序更新相同的數據的情況,這導致了對事務的需求。這里的訪問是相對即時的活動。

操作型數據被稱為“內部數據”(https://oreil.ly/YOZhC)。它是執行增查改刪(CRUD,Create,Read,Update,Delete)數據操作的應用程序或者微服務的私有數據。操作型數據可以通過API(比如REST、GraphQL甚至事件)有意地共享給外部。這些外部的操作型數據在本質上與內部的操作型數據是一樣的。

操作型數據記錄業務中發生的事情,支持特定于業務活動的決策。簡而言之,操作型數據被直接用于業務運行和服務終端用戶。

以Daff為例。它的聽眾注冊服務實現了訂閱和取消訂閱用戶的業務功能。支持注冊流程,并且保存了當前的訂閱者列表的事務型數據就稱為操作型數據。

現在,操作型數據被收集,然后被轉換為分析型數據。分析型數據訓練機器學習模型,然后以智能服務的形式接入操作型系統。

1.6.2 分析型數據

這是作為業務運行的副產品而創建的數據的歷史性的、集成的和聚合的視圖。它被OLAP(Online Analytical Processing,聯機分析處理)系統維護和使用。

分析型數據是一段時間內業務事實與時間有關的、歷史的和聚合的視圖。對它進行建模的目的是提供回顧性或者展望未來的洞見。分析型數據針對分析邏輯——訓練機器學習模型和創建報表和可視化——進行優化。分析型數據是“外部數據”(https://oreil.ly/X6J5h)的一部分,數據直接被分析消費者使用。

分析型數據具有歷史感。分析用例需要尋找不同時間的比較和趨勢,而操作型數據并不需要太多歷史。

分析型訪問模式傾向于包含對大量數據的密集讀取,而寫入者較少。分析型數據的原始定義是“非易失的、集成的、時變的數據集合”注3,現在依然有效。

簡而言之,分析型數據用于優化業務和用戶體驗。正是這些數據激發了組織里的對人工智能和分析的抱負。

比如,在Daff的例子中,基于用戶的音樂愛好和喜歡的藝術家推薦播放列表以優化聽眾的體驗很重要。幫助訓練播放列表推薦機器學習模型的分析型數據捕獲了聽眾過去的行為,以及聽眾喜歡的音樂的所有特征。這種聚合的和歷史性的視圖就是分析型數據。

當前的分析型數據存儲在數據倉庫或者數據湖中。

主站蜘蛛池模板: 治县。| 恩平市| 和林格尔县| 凭祥市| 临猗县| 冕宁县| 布尔津县| 奉节县| 嘉义市| 图们市| 海宁市| 沂源县| 德庆县| 高密市| 万载县| 万荣县| 青龙| 铜川市| 宣城市| 连江县| 西华县| 淮南市| 荥阳市| 吉首市| 郑州市| 广西| 郑州市| 贵南县| 惠东县| 花莲县| 丰城市| 乌苏市| 长宁县| 井冈山市| 阿拉善左旗| 焉耆| 同德县| 响水县| 筠连县| 澎湖县| 四子王旗|