- 主數據驅動的數據治理:原理、技術與實踐
- 王兆君 曹朝輝 王鉞
- 3447字
- 2019-12-09 14:53:42
3.2 主數據驅動的數據治理框架
3.2.1 治理思路和治理目標
數據治理的核心是加強對數據資產的管控,通過深化數據服務,持續創造價值。數據治理是在數據資產價值創造的過程中,治理團隊對數據資產管理的評價、指導、控制,如圖3-7所示。

圖3-7 數據治理核心工作
根據企業中數據的特征、作用以及管理需求的不同,可將數據資產劃分成為主數據、業務數據、分析數據三個主要部分。主數據包含元數據、引用數據、企業結構數據、業務結構數據等內容,這些數據相對慢變,但對企業具有全局的重要作用;業務數據是在交易和企業活動過程中動態產生的,通常具有實時性的要求;分析數據是對業務數據梳理和加工的產物,相對業務數據而言,實時性要求較低,通常按照分析的主題進行組織和管理。
企業運營的主體活動便是圍繞這三種數據資產展開。主數據和業務數據支撐起企業的業務流程,而主數據和分析數據則是企業商務智能的基礎。其中,主數據會出現在所有重要的業務流程和分析任務中,是企業數據資產中的黃金部分,如圖3-8所示。

圖3-8 企業數據資產構成
為確保企業可進行跨業務領域、跨職能部門、跨信息系統的業務協作和整體分析,需對主數據、業務數據、分析數據進行數據治理,保證其一致性,提升數據質量和數據安全水平。因此,主數據、業務數據和分析數據構成了企業數據治理中三個核心的治理域。每個治理域都包含數據標準管理、元數據/數據模型管理、數據質量管理、數據安全管理、數據生命周期管理5個基本的管理組件。源于主數據的基礎作用,主數據治理是業務數據治理和分析數據治理的前提,為業務系統和分析系統提供基礎性的數據服務。而后續業務數據治理更關注改善數據流通,分析數據治理更關注改善數據洞察。
有別于傳統的企業資產,數據資產來源豐富,可拷貝、可重用,這將導致數據搜集、存儲、使用都具有特殊性。同時,數據還涉及個人隱私、運行安全等問題。當跨業務、跨部門、跨系統進行協作時,更需要數據的一致性。這些都是數據治理要解決的關鍵問題。因此,數據治理不但與數據標準、數據產生過程的業務規范相關,也涉及企業戰略、管理決策架構等因素,是戰略問題、管理問題、技術問題的綜合。
企業必須使數據治理項目更貼近企業整體業務目標,需要真正將數據視為一種戰略資產,構建統一的數據架構和管控體系以滿足企業信息化的整體要求,并制定路線圖,在實現短期目標的同時為企業未來目標做好準備。因此,構建數據治理框架可以從4個方面入手,分別是戰略、信息基礎架構、路線圖、治理任務界定。如圖3-9所示,首先需要確定信息能夠影響的主要業務目標(戰略愿景),其次標識那些能夠滿足信息需求的技術組件和功能,并充分利用現存信息資產獲得治理的速度和靈活性(信息基礎架構),再為企業建立長期和短期的規劃(路線圖),最后需要界定具體的治理任務(治理任務界定),以保證信息的一致性。數據治理通過協調人、管理流程和技術體系,提高企業信息質量、可用性、完整性和安全性,達到掌控信息的目的。

圖3-9 數據治理治理框架的4個方面
3.2.2 治理框架
基于對企業數據資產和經營活動的分析,綜合考慮數據治理在戰略、管理、過程、技術等方面的任務和要求,提出主數據驅動的數據治理框架,如圖3-10所示。

圖3-10 企業數據治理框架
企業開展數據治理之前,應首先明確數據治理的目標。參照ITSS提出的數據治理規范,本框架把實施數據治理的目標總結為運營合規、風險可控、價值創造三個層面,企業可根據自身業務需求進行選擇。其中,運營合規是基礎目標;在合規的基礎上,建立數據風險管控機制,確保數據及其應用滿足風險偏好和風險容忍度;以合規、可控的數據應用為基礎,構建數據價值實現體系,促進數據資產化和數據價值實現。
將數據治理的各項任務和要素劃分在5個不同的域內。
(1)管理域。管理域是數據治理的主要驅動力量,負責確定數據治理的戰略、組織、制度和流程。數據戰略規劃應保持與業務規劃、信息技術規劃的一致,并明確戰略規劃實施的策略。組織架構設計明確責任主體及責權利,通過完善組織機制,獲得利益相關方的理解和支持,制定數據管理的流程和制度,以支撐數據治理的實施。
(2)治理域。治理域是數據治理的主體,明確數據治理的具體目標和責任。依據對數據資產構成的分析,將治理域分為主數據治理、業務數據治理、分析數據治理三部分,其中主數據治理是業務數據治理和分析數據治理的前提,為業務系統和分析系統提供基礎性的數據服務。因數據特征和管理需求不同,三部分的治理任務有所區別,但都應包含以下基本的數據治理組件。
? 數據標準管理:規范了數據治理活動的內容、程序和方法,是相關管理人員和治理活動的行為準則,一般包括數據管理規范、數據應用規范、數據集成服務規范等內容。
? 數據模型管理:數據模型管理實現對元屬性、數據約束條件、校驗規則、編碼規則等方面的定義與管理,以及對數據模型的創建申請、審批和變更申請、審批過程等流程的定義和管控。
? 數據質量管理:數據質量管理對數據從計劃、獲取、存儲、共享、維護、應用和消亡過程中每個階段可能引發的各類數據質量問題進行識別、度量、監控和預警,并通過改善和提高組織的管理水平,使數據質量獲得進一步提高。
? 數據安全管理:數據安全管理通過數據分級、用戶級別及權限的定義來防止無意、故意甚至惡意對數據進行非授權的訪問、瀏覽、修改或刪除。通過數據安全體系的建設,增強信息安全風險防范能力,有效地防范和化解風險,保證業務持續開展,滿足內控和外部法律、法規的要求。
? 數據生命周期管理:數據生命周期管理用于管理信息系統的數據在整個生命周期內的流動,從創建和初始存儲,到它過時被刪除。通過數據生命周期管理可實現數據申請/轉入、數據清洗、數據校驗、數據審核、數據發布、數據維護等功能,最大限度地體現數據的價值。
(3)技術域。技術域是數據治理的支撐條件,提供治理所需的數據架構、管控平臺和治理工具,在IT整體規劃的基礎上,通過持續的評估、改進和優化,支撐數據治理的應用和服務。
(4)過程域。過程域是數據治理實施的具體方法。數據治理過程包含分析、設計、執行、評估4個步驟。在分析階段,應評價數據治理的成熟度、風險及合規性,發現問題;在設計階段,應明確數據治理目標和任務,設計數據標準、數據模型、數據架構,做好數據治理實施的準備;在執行階段,應構建數據治理實施的機制和路徑,確保數據治理實施的有序運行;在評估階段,應監控數據治理的過程,改進數據治理方案,優化數據治理實施策略、方法和流程,促進數據治理體系的完善。
(5)價值域。數據治理的目標是通過對數據資產的有效管控持續創造價值,價值域通過對治理結果的有效整理,通過構建具體化的數據產品,實現上述的價值創造。數據治理的價值體系具體包括三個方面。
? 數據服務:通過數據的采集、清洗、導入,提升數據質量,確保數據的一致性。這部分體現著主數據治理的關鍵價值。
? 數據流通:通過實現信息整合和分發機制,支持跨業務、跨部門、跨系統的信息流轉和協同。這部分體現著業務數據治理的關鍵價值。
? 數據洞察:通過消除數據內在的質量缺陷,明確數據之間的關聯關系,幫助數據分析人員更好地理解數據,實現數據洞察。這部分體現著分析數據治理的關鍵價值。
3.2.3 技術架構
為有效支持數據治理的開展,需要高效、靈活的技術架構和信息管控的工具。在主數據驅動的數據治理框架下,數據治理的技術架構如圖3-11所示。其中基礎數據平臺、業務支持平臺、數據分析平臺分別承載著和主數據、業務數據、分析數據有關的企業運營、管理活動;數據交換平臺將上述三個平臺連接在一起,完成彼此之間的數據交換,是平臺之間的數據通道;數據管控平臺完成上述平臺之間的協調,是平臺之間的控制通道。

圖3-11 數據治理技術架構
數據治理組件輔助完成對主數據、業務數據和分析數據的治理。數據治理組件可看作是實施數據治理的IT工具包,其中包括數據標準管理、元數據/數據模型管理、數據質量管理、數據安全管理、數據生命周期管理5個基本的管理組件,實現治理框架中治理域的基本功能。同時,以工作引擎的方式提供一系列通用工具,包括但不限于:
? 工作流引擎:管理申請、校驗、審核、發布等數據治理的工作流程。
? 清洗引擎:完成采集數據的清洗工作。
? 轉換引擎:完成符合特定條件數據的批量修改和轉換。
? 分析引擎:實現數據質量、數據生命周期管理中的分析任務。
數據治理組件也通過數據交換平臺實現數據導入導出,通過數據管控平臺完成和其他平臺的協調。數據交換平臺和數據管控平臺以總線化的方式提供了可擴展的數據通道和控制通道,而工作引擎則實現了數據治理組件的能力擴展。
- 計算機圖形學
- 精通MATLAB圖像處理
- Dreamweaver 8中文版商業案例精粹
- 腦動力:PHP函數速查效率手冊
- 視覺檢測技術及智能計算
- Cloudera Administration Handbook
- 運動控制器與交流伺服系統的調試和應用
- Red Hat Linux 9實務自學手冊
- 網站入侵與腳本攻防修煉
- Photoshop行業應用基礎
- 基于企業網站的顧客感知服務質量評價理論模型與實證研究
- 工業自動化技術實訓指導
- Mastering Geospatial Analysis with Python
- 伺服與運動控制系統設計
- Wireshark Revealed:Essential Skills for IT Professionals