- 主數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)治理:原理、技術(shù)與實(shí)踐
- 王兆君 曹朝輝 王鉞
- 2402字
- 2019-12-09 14:53:40
2.1 主數(shù)據(jù)的概念
2.1.1 主數(shù)據(jù)的定義
主數(shù)據(jù)這個(gè)概念起源于ERP等早期制造業(yè)集成應(yīng)用系統(tǒng)的發(fā)展過(guò)程中。隨著各類(lèi)應(yīng)用系統(tǒng)的廣泛應(yīng)用,包括“信息孤島”問(wèn)題在內(nèi)的“數(shù)據(jù)處理危機(jī)”問(wèn)題開(kāi)始出現(xiàn)。在許多企業(yè)信息化初期,所謂的信息系統(tǒng)實(shí)際上是一些互不關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)(數(shù)據(jù)文件和應(yīng)用數(shù)據(jù)庫(kù))和一些程序的堆砌。這類(lèi)信息系統(tǒng)在應(yīng)用過(guò)程中變成一張難解的、充滿(mǎn)冗余數(shù)據(jù)的復(fù)雜大網(wǎng)。由于每個(gè)應(yīng)用所存儲(chǔ)、變換、冗余或重疊的數(shù)據(jù)緊緊交織在一起,因此,修改或擴(kuò)充這種系統(tǒng)的任何部分都是十分困難且代價(jià)高昂的。一些企業(yè)試圖通過(guò)建立數(shù)據(jù)接口來(lái)實(shí)現(xiàn)系統(tǒng)集成,然而這樣的嘗試并沒(méi)有從根本上解決系統(tǒng)集成問(wèn)題,而由此造成數(shù)據(jù)環(huán)境的混亂卻越來(lái)越嚴(yán)重。在企業(yè)信息化浪潮中,數(shù)據(jù)質(zhì)量的重要性越來(lái)越凸顯起來(lái),主數(shù)據(jù)這個(gè)概念被逐步強(qiáng)化和完善,獨(dú)立于業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)管理產(chǎn)品開(kāi)始出現(xiàn)并得到了市場(chǎng)的認(rèn)可。
主數(shù)據(jù)(Master Data)是指具有高業(yè)務(wù)價(jià)值的、可以在企業(yè)內(nèi)跨越各個(gè)業(yè)務(wù)部門(mén)被重復(fù)使用的數(shù)據(jù),是單一、準(zhǔn)確、權(quán)威的數(shù)據(jù)來(lái)源。主數(shù)據(jù)包含元數(shù)據(jù)、屬性、定義、角色、關(guān)聯(lián)關(guān)系、分類(lèi)方法等內(nèi)容,被不同的應(yīng)用所使用,涉及企業(yè)多數(shù)組織及業(yè)務(wù)單元。常見(jiàn)的主數(shù)據(jù)類(lèi)型有產(chǎn)品、物料、客戶(hù)、供應(yīng)商、員工、會(huì)計(jì)科目、組織機(jī)構(gòu)、項(xiàng)目等。
主數(shù)據(jù)之間還有著直接或間接的關(guān)聯(lián)關(guān)系。例如,某一物料可能有多個(gè)供貨商,不同的客戶(hù)群可能由企業(yè)不同的部分提供服務(wù),每個(gè)客戶(hù)還可能關(guān)聯(lián)一個(gè)或多個(gè)指定的銷(xiāo)售代表(員工),生產(chǎn)部門(mén)還可能需要產(chǎn)品與原料間的關(guān)聯(lián)關(guān)系。這些關(guān)聯(lián)性是主數(shù)據(jù)的特性之一。由于主數(shù)據(jù)的這種核心性與相互關(guān)聯(lián)性,因此,它必然存在于企業(yè)多個(gè)業(yè)務(wù)領(lǐng)域中。例如,客戶(hù)存在于銷(xiāo)售系統(tǒng),也存在于支付系統(tǒng);產(chǎn)品存在于銷(xiāo)售訂單中,也存在于生產(chǎn)計(jì)劃或采購(gòu)訂單中。相對(duì)于交易類(lèi)數(shù)據(jù),主數(shù)據(jù)是相對(duì)穩(wěn)定不變的數(shù)據(jù)。穩(wěn)定性是主數(shù)據(jù)的另一個(gè)特性,主數(shù)據(jù)還具有分類(lèi)特性。產(chǎn)品有不同的分類(lèi),如打印機(jī)可分為噴墨打印機(jī)和激光打印機(jī),以便配合不同的配件銷(xiāo)售方案。客戶(hù)可能有不同維度的分類(lèi)方式,如年齡或地域,以便細(xì)化客戶(hù)群體,提供高滿(mǎn)意度服務(wù)。這些分類(lèi)后的主數(shù)據(jù)有助于企業(yè)進(jìn)行數(shù)據(jù)分析,提供準(zhǔn)確度更高的報(bào)表,從而進(jìn)一步提高企業(yè)的整體競(jìng)爭(zhēng)力。
2.1.2 主數(shù)據(jù)的特征
根據(jù)以上定義可以看出,與業(yè)務(wù)型數(shù)據(jù)、分析型數(shù)據(jù)相比,主數(shù)據(jù)具有以下幾個(gè)特征。
? 特征一致性:由于企業(yè)布局的IT應(yīng)用越來(lái)越多,數(shù)據(jù)散落分布在眾多系統(tǒng)中??蛻?hù)服務(wù)部門(mén)、生產(chǎn)部門(mén)以及采購(gòu)部門(mén)都有各自的系統(tǒng),彼此之間信息隔離。即使在一個(gè)業(yè)務(wù)部門(mén)里,也有眾多前端和后端系統(tǒng)。正是由于構(gòu)建在各種架構(gòu)之上的不兼容系統(tǒng)中的這種部門(mén)化數(shù)據(jù),使得創(chuàng)建和維護(hù)主數(shù)據(jù)的“單一”視圖幾乎無(wú)法實(shí)現(xiàn)。由于主數(shù)據(jù)的特征經(jīng)常被用作業(yè)務(wù)流程的判斷條件和數(shù)據(jù)分析的具體維度層次,因此能否保證主數(shù)據(jù)的關(guān)鍵特征在不同應(yīng)用、不同系統(tǒng)中的高度一致直接關(guān)系企業(yè)實(shí)現(xiàn)應(yīng)用集成的成敗。
? 識(shí)別唯一性:在一個(gè)系統(tǒng)、一個(gè)平臺(tái),甚至一個(gè)企業(yè)范圍內(nèi),同一主數(shù)據(jù)實(shí)體要求具有唯一的數(shù)據(jù)標(biāo)識(shí),即數(shù)據(jù)編碼,例如,對(duì)于每位客戶(hù)都有一個(gè)唯一的客戶(hù)編碼。根據(jù)一定編碼規(guī)則得到的唯一的數(shù)據(jù)編碼是進(jìn)行業(yè)務(wù)活動(dòng)的基礎(chǔ),在業(yè)務(wù)流轉(zhuǎn)過(guò)程中各業(yè)務(wù)環(huán)節(jié)完全依賴(lài)業(yè)務(wù)活動(dòng)數(shù)據(jù)中體現(xiàn)的主數(shù)據(jù)編碼識(shí)別標(biāo)志來(lái)定位后續(xù)的操作和處理,在業(yè)務(wù)環(huán)節(jié)結(jié)束后,主數(shù)據(jù)編碼又將成為數(shù)據(jù)分析的主要維度,用來(lái)確定分析的范圍和方向。
? 長(zhǎng)期有效性:主數(shù)據(jù)通常貫穿該業(yè)務(wù)對(duì)象的整個(gè)生命周期甚至更長(zhǎng),換而言之,只要該主數(shù)據(jù)所代表的業(yè)務(wù)對(duì)象仍然繼續(xù)存在或仍具有比較意義,則該主數(shù)據(jù)就需要在系統(tǒng)中繼續(xù)保持其有效性;長(zhǎng)期有效性的另一表現(xiàn)為主數(shù)據(jù)失去其效果時(shí),系統(tǒng)采取的措施通常為標(biāo)記無(wú)效或標(biāo)記刪除而非直接物理刪除。只有定期對(duì)數(shù)據(jù)進(jìn)行歸檔時(shí),才會(huì)考慮將該主數(shù)據(jù)編碼信息從系統(tǒng)中徹底刪除。
? 業(yè)務(wù)穩(wěn)定性:主數(shù)據(jù)作為用來(lái)描述業(yè)務(wù)操作對(duì)象的關(guān)鍵信息,在業(yè)務(wù)過(guò)程中其識(shí)別信息和關(guān)鍵的特征會(huì)被業(yè)務(wù)過(guò)程中產(chǎn)生的數(shù)據(jù)繼承、引用和復(fù)制。但無(wú)論業(yè)務(wù)過(guò)程如何復(fù)雜和持久,除非該主數(shù)據(jù)本身的特征發(fā)生變化,否則主數(shù)據(jù)本身的屬性通常不會(huì)隨業(yè)務(wù)的過(guò)程而被修改。所以當(dāng)識(shí)別主數(shù)據(jù)時(shí),某些與業(yè)務(wù)結(jié)果密切相關(guān)及時(shí)效性很強(qiáng)的特征(如員工薪資等)需要同員工的固定屬性(如員工姓名等)區(qū)別對(duì)待。
2.1.3 主數(shù)據(jù)的范圍
企業(yè)典型的主數(shù)據(jù)類(lèi)型一般包括供應(yīng)商、物料、產(chǎn)品、客戶(hù)、組織、人員、財(cái)務(wù)等數(shù)據(jù)。此外,根據(jù)業(yè)務(wù)需求,關(guān)鍵基礎(chǔ)數(shù)據(jù)也經(jīng)常納入主數(shù)據(jù)的管理范疇。圖2-1顯示了企業(yè)主數(shù)據(jù)的一個(gè)典型示例,根據(jù)企業(yè)的行業(yè)特征和信息化建設(shè)的程度,主數(shù)據(jù)的內(nèi)容也會(huì)發(fā)生變化。

圖2-1 主數(shù)據(jù)實(shí)體示例
? 基礎(chǔ)數(shù)據(jù):各個(gè)業(yè)務(wù)單元通用的社會(huì)主數(shù)據(jù)信息,如國(guó)家地區(qū)、貨幣和行業(yè)分類(lèi)等,這類(lèi)信息一般采用現(xiàn)行的國(guó)家標(biāo)準(zhǔn)。
? 組織機(jī)構(gòu)及人員:組織機(jī)構(gòu)和人員是企業(yè)各項(xiàng)業(yè)務(wù)的主體,標(biāo)準(zhǔn)的組織機(jī)構(gòu)及人員數(shù)據(jù)是集團(tuán)內(nèi)部單位協(xié)作、業(yè)務(wù)協(xié)調(diào)的根本保障,適合采用企業(yè)自行制定的企業(yè)級(jí)標(biāo)準(zhǔn)。
? 財(cái)務(wù)類(lèi)數(shù)據(jù):對(duì)財(cái)務(wù)類(lèi)數(shù)據(jù)進(jìn)行統(tǒng)一管理,有助于實(shí)現(xiàn)集團(tuán)財(cái)務(wù)的集中管控,提高財(cái)務(wù)報(bào)表的準(zhǔn)確性和實(shí)效性。在財(cái)務(wù)數(shù)據(jù)中,為了滿(mǎn)足財(cái)務(wù)審計(jì)、信息披露等規(guī)定的要求,會(huì)計(jì)科目一般參考國(guó)家標(biāo)準(zhǔn)或由企業(yè)集團(tuán)總部統(tǒng)一編制。
? 項(xiàng)目數(shù)據(jù):項(xiàng)目是集團(tuán)企業(yè)的核心業(yè)務(wù),統(tǒng)一的項(xiàng)目編碼,有助于企業(yè)對(duì)業(yè)務(wù)的統(tǒng)一監(jiān)控和管理。只有長(zhǎng)期項(xiàng)目的基礎(chǔ)數(shù)據(jù)部分才納入主數(shù)據(jù)管理的范疇。
? 物資設(shè)備:物資及設(shè)備數(shù)據(jù)的集中管理對(duì)企業(yè)有直接的經(jīng)濟(jì)效益,幫助企業(yè)實(shí)現(xiàn)集中采購(gòu),物資及設(shè)備資源的優(yōu)化配置和高效使用。
? 供應(yīng)商及客戶(hù):統(tǒng)一的供應(yīng)商和客戶(hù)數(shù)據(jù)管理,可以提高企業(yè)的供應(yīng)商管理水平和客戶(hù)服務(wù)水平,為企業(yè)打造和諧的上下游環(huán)境、建立長(zhǎng)期友好的合作關(guān)系提供有力支持。
? 知識(shí)類(lèi)數(shù)據(jù):知識(shí)類(lèi)主數(shù)據(jù)管理有助于對(duì)企業(yè)的無(wú)形資產(chǎn)進(jìn)行有效管理,有效管理企業(yè)信息資源,使之發(fā)揮更大的作用。
? 辦公類(lèi)數(shù)據(jù):辦公類(lèi)主數(shù)據(jù)主要指企業(yè)內(nèi)部流轉(zhuǎn)的公文、使用的標(biāo)準(zhǔn)化單據(jù)/表格、各類(lèi)報(bào)表等,這類(lèi)主數(shù)據(jù)用于支持企業(yè)管理工作的標(biāo)準(zhǔn)化。
- 高性能混合信號(hào)ARM:ADuC7xxx原理與應(yīng)用開(kāi)發(fā)
- Hadoop 2.x Administration Cookbook
- 計(jì)算機(jī)控制技術(shù)
- Apache Hive Essentials
- 視覺(jué)檢測(cè)技術(shù)及智能計(jì)算
- 大數(shù)據(jù)處理平臺(tái)
- Linux服務(wù)與安全管理
- 智能生產(chǎn)線(xiàn)的重構(gòu)方法
- TensorFlow Reinforcement Learning Quick Start Guide
- 悟透AutoCAD 2009案例自學(xué)手冊(cè)
- R Data Analysis Projects
- C++程序設(shè)計(jì)基礎(chǔ)(上)
- Mastering MongoDB 3.x
- 生成對(duì)抗網(wǎng)絡(luò)項(xiàng)目實(shí)戰(zhàn)
- 大數(shù)據(jù)導(dǎo)論