- 主數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)治理:原理、技術(shù)與實(shí)踐
- 王兆君 曹朝輝 王鉞
- 2614字
- 2019-12-09 14:53:40
2.2 主數(shù)據(jù)管理的概念
2.2.1 主數(shù)據(jù)管理的定義
隨著計(jì)算機(jī)應(yīng)用逐步深入企業(yè)管理的各個(gè)領(lǐng)域,漸漸出現(xiàn)這樣一個(gè)問題:企業(yè)的應(yīng)用軟件往往都是基于業(yè)務(wù)操作層面的需求,面向單一的業(yè)務(wù)設(shè)計(jì),只滿足垂直的業(yè)務(wù)流程管理需求。這些致力于幫助完成業(yè)務(wù)操作的應(yīng)用,一般都需要獨(dú)立的技術(shù)支持,具有獨(dú)立的數(shù)據(jù)定義、數(shù)據(jù)字典、表結(jié)構(gòu)及產(chǎn)品功能設(shè)計(jì)。其結(jié)果是在不同的業(yè)務(wù)層面,存在著重復(fù)的、相互孤立的數(shù)據(jù)來描述同一個(gè)業(yè)務(wù)對(duì)象。換言之,同一業(yè)務(wù)對(duì)象在企業(yè)不同業(yè)務(wù)中有近似甚至不同的名稱及表述方式。在業(yè)務(wù)彼此獨(dú)立的管理模式下,似乎不會(huì)有什么問題。但當(dāng)今的趨勢(shì)是,在激烈的市場(chǎng)競(jìng)爭(zhēng)中,數(shù)據(jù)被作為企業(yè)的核心資產(chǎn)之一,是諸如客戶關(guān)系管理、企業(yè)兼并、新產(chǎn)品研發(fā)等層面的關(guān)鍵要素。這些都依賴于能保證一致性的數(shù)據(jù)。
主數(shù)據(jù)管理描述了一組規(guī)程、技術(shù)和解決方案,這些規(guī)程、技術(shù)和解決方案用于為所有利益相關(guān)方(如用戶、應(yīng)用程序、數(shù)據(jù)倉庫、流程以及貿(mào)易伙伴)創(chuàng)建并維護(hù)業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。主數(shù)據(jù)管理方案通過為跨構(gòu)架、跨平臺(tái)、跨應(yīng)用的系統(tǒng)提供一致的、可識(shí)別的主數(shù)據(jù)對(duì)象來支持整個(gè)企業(yè)的業(yè)務(wù)需求。
從系統(tǒng)應(yīng)用的角度而言,主數(shù)據(jù)管理是把企業(yè)的多個(gè)業(yè)務(wù)系統(tǒng)中最核心的、最需要共享的數(shù)據(jù)(主數(shù)據(jù))進(jìn)行整合,集中進(jìn)行數(shù)據(jù)的清洗和標(biāo)準(zhǔn)化,并且以集成服務(wù)的方式把統(tǒng)一的、完整的、準(zhǔn)確的、具有權(quán)威性的主數(shù)據(jù)分發(fā)給需要使用這些數(shù)據(jù)的應(yīng)用系統(tǒng),包括各業(yè)務(wù)系統(tǒng)和決策支持系統(tǒng)等。
通過主數(shù)據(jù)管理,主數(shù)據(jù)從應(yīng)用和流程中獨(dú)立出來,并且將企業(yè)主數(shù)據(jù)呈現(xiàn)為一系列可重用的服務(wù)。企業(yè)將由此獲得共享的、完整的、準(zhǔn)確的主數(shù)據(jù)。主數(shù)據(jù)管理在保證最高水平的數(shù)據(jù)質(zhì)量和標(biāo)準(zhǔn)化的前提下,實(shí)現(xiàn)了數(shù)據(jù)在不同數(shù)據(jù)庫之間進(jìn)行傳輸和同步的自動(dòng)化,以及在使用這些數(shù)據(jù)的不同應(yīng)用系統(tǒng)之間傳輸和同步的自動(dòng)化。
主數(shù)據(jù)的特性決定了可以從不同維度認(rèn)識(shí)主數(shù)據(jù)管理的范圍。首先,從應(yīng)用范圍來講,主數(shù)據(jù)的應(yīng)用涵蓋了從前端事務(wù)處理系統(tǒng)、后端業(yè)務(wù)數(shù)據(jù)庫到終端的數(shù)據(jù)分析,從源頭到終端再回到源頭的一個(gè)閉環(huán)的反饋系統(tǒng),主數(shù)據(jù)管理需要為各業(yè)務(wù)系統(tǒng)提供標(biāo)準(zhǔn)的、統(tǒng)一的數(shù)據(jù)服務(wù);其次,從業(yè)務(wù)范圍來講,主數(shù)據(jù)管理要覆蓋主數(shù)據(jù)的產(chǎn)生、處理、使用,實(shí)現(xiàn)數(shù)據(jù)的全生命周期管理;第三,從管控范圍來講,必須通過對(duì)組織、流程、績(jī)效考核、數(shù)據(jù)標(biāo)準(zhǔn)、系統(tǒng)應(yīng)用的整體設(shè)計(jì),形成一套體系化的主數(shù)據(jù)管理模式,建立主數(shù)據(jù)管理的長(zhǎng)效機(jī)制。
主數(shù)據(jù)管理是一個(gè)全面的戰(zhàn)略,涵蓋所有需要統(tǒng)一定義的、企業(yè)所需的核心數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)。一些企業(yè)基于慣性思維,將“主數(shù)據(jù)管理”理解為一個(gè)“信息系統(tǒng)項(xiàng)目”,但這種“系統(tǒng)導(dǎo)向”的主數(shù)據(jù)管理很難形成循序漸進(jìn)的提升路徑,在日趨復(fù)雜的技術(shù)變化和業(yè)務(wù)需求面前,將落入尷尬的境地。因此,主數(shù)據(jù)管理的有效途徑是建立一個(gè)包括主數(shù)據(jù)標(biāo)準(zhǔn)體系、主數(shù)據(jù)管控體系、主數(shù)據(jù)質(zhì)量體系和主數(shù)據(jù)安全體系在內(nèi)的、完整的主數(shù)據(jù)體系,建立持續(xù)長(zhǎng)期的管理機(jī)制。
2.2.2 主數(shù)據(jù)管理體系
主數(shù)據(jù)管理體系的規(guī)劃設(shè)計(jì)需要包括4方面的內(nèi)容,如圖2-2所示。

圖2-2 主數(shù)據(jù)管理體系規(guī)劃
1. 主數(shù)據(jù)管控體系
主數(shù)據(jù)管控體系是為了規(guī)范主數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)質(zhì)量、主數(shù)據(jù)安全中的各類管理任務(wù)和活動(dòng)而建立的組織、流程與工具,并實(shí)現(xiàn)這些組織、流程與工具的常態(tài)化運(yùn)轉(zhuǎn);主數(shù)據(jù)管控體系建立的目標(biāo)是制定提升主數(shù)據(jù)質(zhì)量、促進(jìn)主數(shù)據(jù)標(biāo)準(zhǔn)一致、保障主數(shù)據(jù)共享與使用安全。
主數(shù)據(jù)管控體系是一整套體系化的管理模式,管控內(nèi)容涵蓋組織、流程、評(píng)估與考核、系統(tǒng)4個(gè)領(lǐng)域。主數(shù)據(jù)管控體系的目的是以主數(shù)據(jù)標(biāo)準(zhǔn)化為目標(biāo),以主數(shù)據(jù)管理組織建設(shè)為保障,以主數(shù)據(jù)梳理為前提,以主數(shù)據(jù)過程控制為手段,實(shí)現(xiàn)全面、高效的主數(shù)據(jù)管控。
2. 主數(shù)據(jù)標(biāo)準(zhǔn)體系
主數(shù)據(jù)標(biāo)準(zhǔn)體系分為主數(shù)據(jù)管理規(guī)范、主數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)、主數(shù)據(jù)集成服務(wù)標(biāo)準(zhǔn)三大類。主數(shù)據(jù)標(biāo)準(zhǔn)的制定是全面提升主數(shù)據(jù)的質(zhì)量、實(shí)現(xiàn)主數(shù)據(jù)規(guī)范化的前提,主數(shù)據(jù)管理的首要任務(wù)就是要制定集團(tuán)企業(yè)統(tǒng)一的主數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范,開發(fā)共用的、標(biāo)準(zhǔn)的主數(shù)據(jù)平臺(tái)并定義企業(yè)級(jí)的主數(shù)據(jù)模型。數(shù)據(jù)標(biāo)準(zhǔn)的實(shí)施需要秉承定義、執(zhí)行、監(jiān)督檢查三者并重的原則,不僅關(guān)注數(shù)據(jù)標(biāo)準(zhǔn)定義的過程,更要重視主數(shù)據(jù)標(biāo)準(zhǔn)體系落地以及監(jiān)督評(píng)價(jià)工作,并結(jié)合企業(yè)數(shù)據(jù)治理的現(xiàn)狀準(zhǔn)備下一個(gè)實(shí)施周期的規(guī)劃。
主數(shù)據(jù)管理標(biāo)準(zhǔn)規(guī)范管理活動(dòng)的內(nèi)容、程序和方法,是主數(shù)據(jù)管理人員的行為規(guī)范和準(zhǔn)則。主數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)包括主數(shù)據(jù)編碼標(biāo)準(zhǔn)、主數(shù)據(jù)屬性標(biāo)準(zhǔn),是數(shù)據(jù)模型的標(biāo)準(zhǔn),更是主數(shù)據(jù)標(biāo)準(zhǔn)體系的關(guān)鍵組成。主數(shù)據(jù)集成服務(wù)標(biāo)準(zhǔn)對(duì)系統(tǒng)集成的接口、數(shù)據(jù)壓縮方法、數(shù)據(jù)加密方法、集成日志應(yīng)用等進(jìn)行規(guī)定,保證了系統(tǒng)接口集成的統(tǒng)一、規(guī)范。
3. 主數(shù)據(jù)質(zhì)量體系
主數(shù)據(jù)的質(zhì)量體系主要從數(shù)據(jù)質(zhì)量的組織、制度、流程、評(píng)價(jià)標(biāo)準(zhǔn)等方面對(duì)企業(yè)的主數(shù)據(jù)質(zhì)量控制進(jìn)行統(tǒng)一的規(guī)劃。主數(shù)據(jù)質(zhì)量體系是主數(shù)據(jù)管理成果的可靠保證,通過建立質(zhì)量控制體系,實(shí)現(xiàn)主數(shù)據(jù)的高效監(jiān)控,通過主數(shù)據(jù)質(zhì)量的實(shí)時(shí)跟蹤和反饋機(jī)制實(shí)現(xiàn)對(duì)數(shù)據(jù)的持續(xù)優(yōu)化。
4. 主數(shù)據(jù)安全體系
主數(shù)據(jù)安全體系是指為了防止無意、故意甚至惡意對(duì)主數(shù)據(jù)進(jìn)行非授權(quán)的訪問、瀏覽、修改或刪除而制定的規(guī)范及準(zhǔn)則,主要通過主數(shù)據(jù)分級(jí)、用戶級(jí)別及權(quán)限的定義來進(jìn)行主數(shù)據(jù)安全的管理。通過主數(shù)據(jù)安全體系的建設(shè)增強(qiáng)信息安全風(fēng)險(xiǎn)防范能力,有效地防范和化解風(fēng)險(xiǎn),保證業(yè)務(wù)持續(xù)開展,滿足內(nèi)控和外部法律、法規(guī)的符合性要求。
主數(shù)據(jù)管理是企業(yè)信息管理的重要一環(huán)。信息管理是企業(yè)收集、清洗、匯集、管理以及治理所有信息資產(chǎn)的業(yè)務(wù)活動(dòng)。它要求參與其中的各個(gè)環(huán)節(jié),如業(yè)務(wù)交易處理、商業(yè)智能、數(shù)據(jù)倉庫、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)遷移、數(shù)據(jù)集成、主數(shù)據(jù)管理以及信息生命周期管理。
2.2.3 主數(shù)據(jù)管理系統(tǒng)的功能
主數(shù)據(jù)管理系統(tǒng)具備的主要功能如圖2-3所示。

圖2-3 主數(shù)據(jù)管理系統(tǒng)功能
1. 主數(shù)據(jù)模型管理
完成數(shù)據(jù)模型的定義,包括對(duì)業(yè)務(wù)實(shí)體模型、特征模型、屬性模型、編碼規(guī)則、校驗(yàn)規(guī)則和引用規(guī)則等的定義,是完成數(shù)據(jù)的底層架構(gòu)管理。
2. 主數(shù)據(jù)業(yè)務(wù)管理
提供主數(shù)據(jù)全生命周期的業(yè)務(wù)功能,通常包括數(shù)據(jù)申請(qǐng)/轉(zhuǎn)入、數(shù)據(jù)清洗、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)審核、數(shù)據(jù)維護(hù)、數(shù)據(jù)集成和數(shù)據(jù)分發(fā)等業(yè)務(wù)功能。
3. 工作流服務(wù)
定義主數(shù)據(jù)業(yè)務(wù)工作流,完成業(yè)務(wù)授權(quán)綁定以及工作流的可視化,支持主數(shù)據(jù)業(yè)務(wù)流程管理。
4. 數(shù)據(jù)交換中間件管理
負(fù)責(zé)集成接口的管理,完成系統(tǒng)集成需要的技術(shù)架構(gòu)管理。
5. 報(bào)表分析
提供常用報(bào)表查詢和自定義報(bào)表查詢功能,同時(shí)提供報(bào)表數(shù)據(jù)導(dǎo)出功能。
6. 系統(tǒng)管理
負(fù)責(zé)管理平臺(tái)用戶權(quán)限控制,同時(shí)提供日志管理功能,及時(shí)監(jiān)控系統(tǒng)運(yùn)行情況和跟蹤用戶操作過程。
- 大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)
- 傳感器技術(shù)實(shí)驗(yàn)教程
- AWS:Security Best Practices on AWS
- 實(shí)時(shí)流計(jì)算系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
- Learning Apache Cassandra(Second Edition)
- 工業(yè)機(jī)器人工程應(yīng)用虛擬仿真教程:MotoSim EG-VRC
- Zabbix Network Monitoring(Second Edition)
- Hands-On Linux for Architects
- 運(yùn)動(dòng)控制系統(tǒng)應(yīng)用與實(shí)踐
- Storm應(yīng)用實(shí)踐:實(shí)時(shí)事務(wù)處理之策略
- 網(wǎng)站前臺(tái)設(shè)計(jì)綜合實(shí)訓(xùn)
- Extending Ansible
- Pentaho Analytics for MongoDB
- 一步步寫嵌入式操作系統(tǒng)
- 機(jī)床電氣控制與PLC