2.2 數據來源

要做大數據，首先要了解自己的企業，或者自己所在的行業的核心是什么。也就是說最關鍵的企業需要找到自己的核心數據（價值）。只有在這個基礎上，建立自己的大數據才能做一些延伸。其次，要找到內部的一些外圍相關數據，去慢慢地成長它。第一層是核心；第二層是外圍相關的數據；第三層是外部機構的一些結構化數據；第四層是社會化的，以及各種現在所謂的非結構化的數據。第一步，找到核心數據，核心數據現在對很多企業來說實際上就是 CRM，自己的用戶系統，這是最重要的。第二步，找到外圍數據，通過營銷活動等獲取大量數據。第三步，找到常規渠道的數據，這就需要企業去找常規渠道里面的數據，跟自己的CRM結合起來，才能為下一步做市場營銷、做推廣、產品創新等建立基礎。第四步，找到外部的社會化的或者非結構化的數據，即現在所謂的社會化媒體數據。這方面信息的主要特征是非結構化，而且非常龐大。

下面以金融企業為例，重點討論金融企業的數據來源、數據現狀，企業存在哪些問題以及應該怎么應對。

2.2.1 核心數據

1．現狀

金融企業的核心數據主要有以下幾個來源，如圖2.2所示。

1）歷史交易數據

按照主數據的普遍規劃來劃分，金融企業一般擁有客戶數據、交易數據、賬戶數據等，這些數據有一些已沉淀了多年，伴隨著當年的一些金融產品進入數據庫，正處于生命周期的某一階段。這些數據極具潛力價值，通常可以用來促進精確營銷、優化產品設計等分析項目。

2）用戶行為數據

企業每天處理海量的交易，有相當一部分交易是網絡上的終端客戶直接發起的，特別是在一些業務促銷活動過程中。因此，柜員服務系統、網上服務系統中產生了大量的業務行為軌跡，這些數據通常可以用來分析提高運營效率、促進精準營銷。

3）系統運行日志

金融企業的應用系統數量較多，分別負責完成各個子領域的業務處理與管理決策。這些應用系統會產生大量的數據庫日志和應用程序日志。在日常維護中，這些日志的數量很大、價值密度低，并不受重視。實際上，通過日志分析應用系統效率，是提高應用系統服務水平和客戶滿意度的重要方法。

4）非結構化數據

金融企業普遍經濟實力雄厚，在眾多基礎設施建設中投入了巨資。因此，通過大規模的語音呼叫中心、郵件中心、短信中心等客戶接觸渠道，金融企業擁有發布和采集數據的主動權。另外，不少金融單位有著遍布全國各行政轄區的客戶服務大廳，在這里安裝了先進的視頻監控系統，視頻數據既能起到安全防范作用，也能用于分析客戶時長等服務類指標。

5）過程文檔數據

金融企業通常都成立了大規模的研發中心和數據中心，按照標準的流程開發和部署應用系統。在這個過程中，將產生大量的需求分析、設計文檔、測試報告、上線部署、問題記錄等過程和技術文檔。這些文檔是分析和提升服務水平的重要來源。

2．問題

核心數據最大的問題在于來源多樣、流動性差、共享性差。

1）數據質量問題

由于某些應用系統開發歷史較久，隨著架構規劃和科學技術的不斷進步，導致接口數量多、數據不一致、數據質量差等問題，因此難以進行大數據分析。

2）內部管理壁壘

金融行業在開展大數據項目獲取數據時，最嚴重的問題是內部管理的壁壘。對于許多企業來說，信息流被各部門彼此分割，數據難以互通，在這種情況下，大數據的共享和匯集變得非常困難，更難以實現大數據的深度應用。

3．解決方法

數據作為一項資產，部門之間數據壁壘的問題，根源不是各部門造成的，而是公司在數據職責權利的定位方面出現了偏差。

因此，解決此問題需要以下幾個途徑。

（1）明確數據相關的職責與歸屬。金融企業要明確：各個渠道和部門擁有的是數據采集職責，為公司增加數據資產；數據資產的所有權與使用權，只能歸公司所有。

（2）提升對數據資產質量的認識。數據資產至關重要，不少金融企業依靠銷售渠道或者第三方平臺開展銷售，若客戶資料質量很差或者根本無法獲取，就相當于向公司提供了偽劣的數據資產。

（3）打通數據流轉。金融行業有獨立的研發中心和數據中心。其中，研發中心負責程序的開發，不得接觸生產數據以及未脫敏的測試數據；數據中心負責程序的部署，不得接觸程序源碼。應用系統研發與生產的剝離也可能會加劇大數據實施的難度。在大數據這項需要創新與試錯的任務面前，數據中心作為數據的實際保有者，往往不愿意向具有創新能力的研發中心提供數據。因此，對大數據應用來說，要確定真正具有創新實踐能力的組織架構，并從決策管理層明確所需的各類支持必須到位，確立一定的考核與激勵措施，做到利益均沾、成果共享。

2.2.2 外圍數據

1．外圍數據的基本準則

（1）符合法律規定，遵循道德規范。這是一項基本要求。

（2）在使用外圍數據前，分析清楚提供者的商業模式，如果提供者的商業模式會給本企業的未來帶來競爭關系，那么合作時需要仔細商榷。

（3）要在購買與交換之間權衡利弊。在數據所有權不清晰的情況下，交換數據是一種合作舉措，可以看作是兩家單位以客戶為中心的目標下開展的聯合行為。

（4）外部數據的目的是補充內部數據，轉化為企業數據資產。如果企業已存在類似的內部數據，但因部門利益割裂的原因無法作為數據資產共享，而采用外購形式彌補，那么這些外部數據往往會變成一個新的分割獨占的數據，同樣不能變成企業級資產。

2．外圍數據來源

隨著數據資產地位的逐漸確立，和固定資產、知識產權一樣，圍繞著數據的交易會形成新的產業鏈條。不過數據資產極為特殊，它的價值會隨著交換與使用而擴大，這與固定資產、貨幣資產存在著顯著不同。另外，所有權和使用權難以界定，也大大增加了數據交易的難度與風險。

金融企業外圍數據的來源如下。

1）數據共享聯盟

對大數據來說，整合和共享的價值更大。例如在醫療行業中，每一個醫院對于自己的數據進行分析，需要共享跨醫院、跨地域的醫療信息。未來數據將呈現出共享的趨勢，數據聯盟成為數據集散地之一。

2）互聯網數據

網絡爬蟲仍然是外部數據的有效獲取途徑，因為互聯網有著最大的數據庫。在進行輿情監控時，這類數據來源是不可少的。另外也可以直接和大型互聯網平臺進行數據交易。

3）運營商數據

例如，在統計房屋空置率時，利用大數據，根據電力局的智能電表數據、水利局的水表走數、郵局和快遞公司的針對該地址的投遞率、通信公司的固定電話使用率，基本能找出哪些房屋無人居住。因此，金融企業在尋找優質企業時可以反其道而行之，挖掘客戶。未來各行業更好地發展的一條捷徑就是客戶資源共享。

3．常見問題

1）數據獲得成本

金融企業數據是非常有價值的一類數據。數據提供商最為知道數據的價值，因此選擇通過“購買加交換”的形式提供數據。金融企業需要評估可能付出的成本與代價。

2）數據價值發揮

很多購買數據的金融企業，是由于內部數據的所有權和使用權不清晰而被迫的行為。在這種情況下，雖然購買數據可以解決某個部門的一時之需，但是這些購入的數據也會陷入部門壁壘之中，無法最大限度地發揮數據的價值。

2.2.3 常規渠道數據

在大數據時代下，數據將逐步發揮生產資料的作用，數據儲備和數據分析能力將成為未來新興國家最重要的核心戰略能力。各地政府正在嘗試由信息公開轉向數據公開。政府開放數據著重于政府主動開放大量的、實時的、結構化的數據和信息，將其在相關業務上所收集、整理、產生或者保有的數據與信息，主動開放給其他對象（包括社會組織與公眾）進行數據創新增值應用。

盡管受格局、意識、管理水平限制，各地各級政府的數據公開呈現出發展迅速但明顯不均的態勢，但是金融企業應該做好準備，將公開數據資產轉化為企業內部的核心競爭能力。

1．政府數據開放存在內驅動力

在所有數據來源中，政府通常掌握著最大量的、關鍵性的數據和公共信息資源，如果加大開發力度，將會極大地推動政府辦事效率的提升和國家信息服務業的發展。

從政府對內有效管理和對外民生服務兩個層面上，降低行政成本、提高決策的科學化水平需要高效、實時的信息系統，而大數據的支持是此類信息系統有效發揮作用的支柱之一。政府提供公共服務、促進經濟社會發展的職能發揮同樣需要大數據支持。政府掌握了大量關于人口、法人和城市空間地理等數據，如果要提供滿足群眾需求、有針對性的公共服務，則需要對所掌握的數據進行精細分析。

2．政府公開數據的步驟

公開數據需要各級政府出臺更多具有可操作性的細則和措施。相應部門應制定由政府或者行業協會牽頭的整合數據標準。定義政府開放數據的最小數據集，從最小數據集方面來控制收集、擴大開放。然后要制定開放數據的相關法規，界定哪些數據可以開放，因為開放數據有成本，要開放那些最有用、需求量最大的數據。最后，還要加大數據開放所帶來的價值分析和評估，研究持續開放的政策。

3．金融行業積極參與政府數據開放的過程

首先，政府數據公開需要一整套的完整規劃、頂層設計和系統建設，貫穿信息收集、整理、存儲、發布、服務等全過程，內容包括信息網絡、應用系統、信息的采集和發布及相關的管理體制、程序、實施模式和項目管理等。其次，政府公開數據在不同部門、不同層級、不同領域、不同行業之間的分享、交換、整合還存在很多問題，想要建成統一的數據平臺，還需要做很多工作。最后，對大數據產業而言，政府公開數據的管理、整合及挖掘，也是具有廣闊前景的業務發展方向。

金融行業應秉承社會和政治責任，發揮資金、網點、技術優勢，積極參與到政府的數據開放的過程中，以政府為導向，幫助建立起公共數據服務平臺，將能夠為自身和行業的健康有序發展起到非常重要的基礎作用。