- 主數(shù)據(jù)驅(qū)動的數(shù)據(jù)治理:原理、技術(shù)與實(shí)踐
- 王兆君 曹朝輝 王鉞
- 3116字
- 2019-12-09 14:53:41
2.3 主數(shù)據(jù)管理的意義
在考慮主數(shù)據(jù)管理的建設(shè)時,必須了解到評估、設(shè)計(jì)、實(shí)施及運(yùn)行主數(shù)據(jù)管理項(xiàng)目或者主數(shù)據(jù)管理平臺本身是需要巨大投入的。這種投入包括時間、人力資源、系統(tǒng)資源及財(cái)力等企業(yè)資源。主數(shù)據(jù)服務(wù)于業(yè)務(wù),任何優(yōu)秀的主數(shù)據(jù)管理方案本身都不能成為項(xiàng)目建設(shè)的最終目標(biāo),它只是實(shí)現(xiàn)企業(yè)其他策略目標(biāo)或業(yè)務(wù)流程的手段。例如,產(chǎn)供銷協(xié)調(diào)、運(yùn)營資本管理、集中采購等業(yè)務(wù)目標(biāo)。
此外,企業(yè)決策及管理層領(lǐng)導(dǎo)們通常并不會因?yàn)镸DM方案能為企業(yè)帶來良好的數(shù)據(jù)而決定為MDM項(xiàng)目買單。MDM項(xiàng)目涉及企業(yè)的各個層面,必須與能夠受益于優(yōu)質(zhì)主數(shù)據(jù)的業(yè)務(wù)緊密結(jié)合在一起,才能受到管理層及各業(yè)務(wù)部門的支持,并在各實(shí)施階段與業(yè)務(wù)部門協(xié)調(diào)推進(jìn)項(xiàng)目。換而言之,籌劃主數(shù)據(jù)管理項(xiàng)目需要結(jié)合企業(yè)的核心業(yè)務(wù),并為其帶來顯著的商業(yè)價值。
2.3.1 主數(shù)據(jù)管理的必要性
目前,在企業(yè)信息化建設(shè)和運(yùn)行過程中,主數(shù)據(jù)管理不善所導(dǎo)致的問題日益增多,主要有以下幾個方面。
? 企業(yè)存在著眾多的信息數(shù)據(jù)和信息管理系統(tǒng),這些系統(tǒng)的信息數(shù)據(jù)各自為政,給信息交互和集成帶來很大的困難,如圖2-4所示。

圖2-4 未進(jìn)行主數(shù)據(jù)管理的企業(yè)內(nèi)的數(shù)據(jù)集成示例
? 描述信息數(shù)據(jù)的方法眾多,沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和流程體系,缺乏有效的數(shù)據(jù)變更和審核機(jī)制。
? 存在大量冗余數(shù)據(jù)和錯誤數(shù)據(jù),嚴(yán)重影響了報(bào)表、高層決策分析的效果。
? 大量分散的數(shù)據(jù)缺乏統(tǒng)一標(biāo)準(zhǔn),數(shù)據(jù)對照和映射關(guān)系復(fù)雜,企業(yè)無法保證業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)的及時性和準(zhǔn)確性。
? 主數(shù)據(jù)結(jié)構(gòu)定義復(fù)雜,把大量的信息含義定義到了數(shù)據(jù)編碼結(jié)構(gòu)中,數(shù)據(jù)校驗(yàn)存在大量人為判斷和手工操作,沒有有效的數(shù)據(jù)清理手段和工具,缺乏質(zhì)量保證過程。
這些問題的出現(xiàn)大大影響了數(shù)據(jù)資產(chǎn)價值的實(shí)現(xiàn),因此,有效的主數(shù)據(jù)管理成為企業(yè)的迫切需求。
在企業(yè)信息化過程中,來自業(yè)務(wù)的需求是各種信息技術(shù)應(yīng)用的根本驅(qū)動力。因此,業(yè)務(wù)驅(qū)動是實(shí)施主數(shù)據(jù)管理的必要條件。
1. 面向業(yè)務(wù)集成的需求驅(qū)動
隨著企業(yè)規(guī)模的不斷擴(kuò)大和企業(yè)信息化建設(shè)的不斷深入,企業(yè)內(nèi)的信息系統(tǒng)應(yīng)用越來越多,數(shù)據(jù)量高速膨脹。例如,某著名保險(xiǎn)集團(tuán)擁有1.1億左右的長期客戶、13條產(chǎn)品線、60多個業(yè)務(wù)系統(tǒng),約200TB規(guī)模的業(yè)務(wù)數(shù)據(jù),這些海量的、分散在不同角落的數(shù)據(jù)導(dǎo)致了數(shù)據(jù)資源利用的復(fù)雜性和管理的困難。同時,企業(yè)內(nèi)部的業(yè)務(wù)區(qū)分或行政分化也在不斷地制造著企業(yè)數(shù)據(jù)交互的斷層。這樣的趨勢使得企業(yè)管理者對業(yè)務(wù)信息系統(tǒng)中的業(yè)務(wù)連貫性和數(shù)據(jù)的完整性予以了前所未有的關(guān)注,對核心業(yè)務(wù)實(shí)體的跨業(yè)務(wù)協(xié)同和跨系統(tǒng)共享產(chǎn)生了具體的要求。主數(shù)據(jù)的統(tǒng)一管理使得企業(yè)能夠集中化管理數(shù)據(jù),在分散的業(yè)務(wù)系統(tǒng)間保證了主數(shù)據(jù)的完整性、一致性,如圖2-5所示。

圖2-5 進(jìn)行主數(shù)據(jù)管理的企業(yè)內(nèi)部數(shù)據(jù)集成
2. 面向企業(yè)變革的需求驅(qū)動
“面對未來,我們唯一能確定的是:未來是不確定的。”世界著名管理咨詢公司——德勤咨詢的CEO吉姆·科普蘭(Jim Copeland)這樣說過。在以全球化和知識管理為特征的新經(jīng)濟(jì)下,企業(yè)變革已成為企業(yè)適應(yīng)市場環(huán)境、實(shí)現(xiàn)長期發(fā)展的必經(jīng)之路。企業(yè)的變革主要包括業(yè)務(wù)流程、組織結(jié)構(gòu)、信息管理系統(tǒng)和崗位角色四方面的變革,這四大因素是相互作用的。信息系統(tǒng)為組織變革提供了工具支持,幫助完成其他三種要素的變革,而其他三種因素的變化也促使信息系統(tǒng)和相關(guān)技術(shù)的完善,形成一個互動的良性循環(huán)。大型企業(yè)通過改革重組、資本運(yùn)營、海外并購、上下游一體化等方式,不斷追求跨越式的發(fā)展和綜合競爭實(shí)力的提升。這種企業(yè)不斷變革的趨勢,對于分散業(yè)務(wù)信息系統(tǒng)的整合和協(xié)同提出了嚴(yán)峻挑戰(zhàn),其成敗的關(guān)鍵和難點(diǎn)就在于主數(shù)據(jù)層面的整合和管理。
3. 面向高層應(yīng)用的需求驅(qū)動
隨著企業(yè)對數(shù)據(jù)分析能力的要求不斷提高,企業(yè)級數(shù)據(jù)倉庫(Enterprise Data Warehouse, EDW)和商務(wù)智能等信息技術(shù)被企業(yè)廣泛應(yīng)用。這些企業(yè)級的信息技術(shù)通過對數(shù)據(jù)的收集、開發(fā)、處理,將數(shù)據(jù)轉(zhuǎn)換為支持企業(yè)戰(zhàn)略決策的知識,從而幫助企業(yè)獲取和保持競爭優(yōu)勢。顯然,只有在實(shí)現(xiàn)數(shù)據(jù)匯總、數(shù)據(jù)規(guī)范化和標(biāo)準(zhǔn)化的前提下,數(shù)據(jù)的抽取、轉(zhuǎn)化和加載的過程才有意義,才能提高EDW的工作效率,并為BI數(shù)據(jù)分析提供可信的數(shù)據(jù)源。
4. 面向內(nèi)控審計(jì)的需求驅(qū)動
隨著社會信息化進(jìn)程的迅速推進(jìn),信息系統(tǒng)不但是實(shí)現(xiàn)風(fēng)險(xiǎn)評估、控制活動和內(nèi)部監(jiān)督的關(guān)鍵工具,更是企業(yè)內(nèi)控體系的監(jiān)控對象。在美國頒布的SOX法案以及中國財(cái)政部、證監(jiān)會、審計(jì)署、銀監(jiān)會、保監(jiān)會五部委聯(lián)合發(fā)布的《企業(yè)內(nèi)部控制基本規(guī)范》等法律法規(guī)中,都有對企業(yè)內(nèi)部的數(shù)據(jù)質(zhì)量和信息化建設(shè)的相關(guān)規(guī)定。主數(shù)據(jù)管理保證了企業(yè)內(nèi)數(shù)據(jù)的一致性、完整性和準(zhǔn)確性,不僅能夠形成完整、統(tǒng)一的數(shù)據(jù)視圖,而且能夠真實(shí)地記錄變化歷史,為管理決策、風(fēng)險(xiǎn)的識別和控制提供了堅(jiān)實(shí)可靠的數(shù)據(jù)基礎(chǔ)。
正是基于這些業(yè)務(wù)驅(qū)動的訴求,主數(shù)據(jù)管理才體現(xiàn)出存在的價值和意義。
2.3.2 主數(shù)據(jù)管理的意義
主數(shù)據(jù)管理使得企業(yè)能夠集中管理數(shù)據(jù),在分散的業(yè)務(wù)系統(tǒng)間保證了主數(shù)據(jù)的完整性、一致性,加強(qiáng)主數(shù)據(jù)規(guī)范性。從信息化建設(shè)的角度來講,主數(shù)據(jù)管理能增強(qiáng)信息化結(jié)構(gòu)的靈活性,構(gòu)建整個企業(yè)內(nèi)的數(shù)據(jù)管理基礎(chǔ)和相應(yīng)標(biāo)準(zhǔn)規(guī)范,并且能夠靈活地適應(yīng)企業(yè)業(yè)務(wù)需求的變化。
從企業(yè)業(yè)務(wù)的角度來講,由于主數(shù)據(jù)在各個業(yè)務(wù)流程中的使用范圍、使用形式不同,主數(shù)據(jù)管理也將為企業(yè)內(nèi)的各個業(yè)務(wù)帶來不同的收益。例如,對于銷售部門,360度的客戶數(shù)據(jù)和產(chǎn)品數(shù)據(jù)將大大增加交叉銷售的機(jī)會,提升市場效率;對于采購部門,整合的物資數(shù)據(jù)和供應(yīng)商數(shù)據(jù)使得統(tǒng)一采購、動態(tài)資源調(diào)配成為可能,從而降低了采購和庫存成本。圖2-6總結(jié)了準(zhǔn)確、一致的主數(shù)據(jù)為各個業(yè)務(wù)帶來的價值。

圖2-6 主數(shù)據(jù)管理帶來的價值
對于整個企業(yè)而言,主數(shù)據(jù)管理將為企業(yè)帶來以下優(yōu)勢。
1. 構(gòu)建集中的主數(shù)據(jù)標(biāo)準(zhǔn)化體系,實(shí)現(xiàn)流程驅(qū)動和數(shù)據(jù)管控
通過數(shù)據(jù)管控體系和數(shù)據(jù)運(yùn)維體系咨詢服務(wù),對組織架構(gòu)、運(yùn)營模式、管控流程、角色與職責(zé)進(jìn)行明晰的定義。通過標(biāo)準(zhǔn)業(yè)務(wù)流程驅(qū)動,構(gòu)建企業(yè)信息基礎(chǔ)數(shù)據(jù)集成和共享平臺,實(shí)現(xiàn)企業(yè)數(shù)據(jù)層面的戰(zhàn)略規(guī)劃管理。主數(shù)據(jù)平臺解決方案支持集團(tuán)化多組織結(jié)構(gòu)的復(fù)雜管理層級,能夠構(gòu)建在多組織結(jié)構(gòu)上的應(yīng)用系統(tǒng),兼顧集團(tuán)公司整體管理和下屬企業(yè)作業(yè)流程之間的平衡。
2. 集中的數(shù)據(jù)訪問,提高數(shù)據(jù)質(zhì)量,降低數(shù)據(jù)集成成本
構(gòu)建通用的、方便的、集中處理的數(shù)據(jù)總線,實(shí)現(xiàn)一致性的企業(yè)數(shù)據(jù)視圖,大大降低數(shù)據(jù)交互訪問的復(fù)雜性。基于面向服務(wù)架構(gòu)的標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù),實(shí)現(xiàn)訪問的透明化。數(shù)據(jù)自動化服務(wù)實(shí)現(xiàn)了統(tǒng)一的業(yè)務(wù)訪問標(biāo)準(zhǔn),主動分發(fā)服務(wù)保證了相關(guān)業(yè)務(wù)目標(biāo)系統(tǒng)數(shù)據(jù)的變更同步性。通過數(shù)據(jù)總線,以靈活、可持續(xù)的方式支持任何面向業(yè)務(wù)的規(guī)則集合,保證數(shù)據(jù)的唯一和規(guī)范,大幅降低數(shù)據(jù)的集成和共享成本。應(yīng)用數(shù)據(jù)標(biāo)準(zhǔn)模型和多重關(guān)聯(lián)校驗(yàn)規(guī)則,對前端數(shù)據(jù)輸入源頭實(shí)現(xiàn)可靠的控制,有效降低人為因素所產(chǎn)生的數(shù)據(jù)問題,提高數(shù)據(jù)應(yīng)用質(zhì)量。
3. 提升數(shù)據(jù)資產(chǎn)管理成熟度,實(shí)現(xiàn)主數(shù)據(jù)全生命周期的動態(tài)管理
基于標(biāo)準(zhǔn)的數(shù)據(jù)管理模型,實(shí)現(xiàn)基于數(shù)據(jù)平臺的規(guī)則整合、統(tǒng)一定義和發(fā)布等事務(wù)的集中處理。通過數(shù)據(jù)的審計(jì)支持,來保證數(shù)據(jù)變化經(jīng)過嚴(yán)格的審批;通過數(shù)據(jù)管理的持續(xù)優(yōu)化和績效改進(jìn),提升數(shù)據(jù)資產(chǎn)的管理成熟度。由此實(shí)現(xiàn)主數(shù)據(jù)申請、校驗(yàn)、審核、發(fā)布、維護(hù)、變更、注銷等全生命周期的業(yè)務(wù)管理,實(shí)時跟蹤和掌控?cái)?shù)據(jù)的變化,建立數(shù)據(jù)的動態(tài)歷史庫,保證數(shù)據(jù)資產(chǎn)管理的持續(xù)優(yōu)化和績效改進(jìn)。
4. 精確決策支持,減少信息統(tǒng)計(jì)匯總成本和信息溝通成本
通過集中的主數(shù)據(jù)管理平臺,為所有信息的交互和集成提供統(tǒng)一的編碼數(shù)據(jù)。在異構(gòu)系統(tǒng)之間協(xié)同業(yè)務(wù)處理的每個階段,編碼信息都是一致的,降低信息核對的成本。通過主數(shù)據(jù)管理和集成,保證信息來源的唯一性和正確性,為決策支持和數(shù)據(jù)倉庫系統(tǒng)提供準(zhǔn)確的數(shù)據(jù)源,避免因?yàn)榛A(chǔ)數(shù)據(jù)的多樣導(dǎo)致信息核對、匯總、統(tǒng)計(jì)的失誤和錯誤。數(shù)據(jù)標(biāo)準(zhǔn)的應(yīng)用提高了溝通的有效性,節(jié)約異構(gòu)系統(tǒng)之間的交互成本,提升信息化的高端收益水平。
- Mastering Mesos
- 工業(yè)機(jī)器人技術(shù)及應(yīng)用
- 協(xié)作機(jī)器人技術(shù)及應(yīng)用
- 控制與決策系統(tǒng)仿真
- Photoshop CS4經(jīng)典380例
- Learning Social Media Analytics with R
- 21天學(xué)通Java
- OpenStack Cloud Computing Cookbook(Second Edition)
- 數(shù)據(jù)挖掘方法及天體光譜挖掘技術(shù)
- Ruby on Rails敏捷開發(fā)最佳實(shí)踐
- 人工智能趣味入門:光環(huán)板程序設(shè)計(jì)
- Windows Server 2008 R2活動目錄內(nèi)幕
- Machine Learning Algorithms(Second Edition)
- 網(wǎng)絡(luò)脆弱性掃描產(chǎn)品原理及應(yīng)用
- 空間機(jī)器人智能感知技術(shù)