1.7 企業(yè)如何迎接大數(shù)據(jù)

大數(shù)據(jù)問題不單單發(fā)生在互聯(lián)網(wǎng)等新的事物的數(shù)據(jù)上，有很多問題發(fā)生在企業(yè)的傳統(tǒng)應(yīng)用所產(chǎn)生的數(shù)據(jù)上。隨著數(shù)據(jù)量的增長，現(xiàn)有的IT架構(gòu)慢慢地不能滿足其要求。也就是說，大數(shù)據(jù)一半是新的業(yè)務(wù)，另外一半是解決傳統(tǒng)業(yè)務(wù)的性能問題和管理數(shù)據(jù)的成本問題。比如，中國移動(dòng)的某個(gè)閱讀基地，在數(shù)據(jù)庫上的數(shù)據(jù)為幾百億行，單表在10億行左右。這使得數(shù)據(jù)庫系統(tǒng)經(jīng)常接近崩潰的邊緣，技術(shù)人員把大多數(shù)時(shí)間放在系統(tǒng)管理和維護(hù)上。從2014年開始，中國移動(dòng)的閱讀基地把數(shù)據(jù)系統(tǒng)移向Hadoop系統(tǒng)，從而徹底解決了大數(shù)據(jù)量所引起的問題。

大數(shù)據(jù)新的應(yīng)用是一個(gè)補(bǔ)充，是一個(gè)創(chuàng)新應(yīng)用，而不是去替換傳統(tǒng)的應(yīng)用。如今的數(shù)據(jù)是多種數(shù)據(jù)的混合體，它不能事先預(yù)知數(shù)據(jù)的格式和形態(tài)。實(shí)際上很多的數(shù)據(jù)可能不是由企業(yè)本身所擁有的，而是從外部收集或購買，這樣的話，傳統(tǒng)的應(yīng)用就施展不開了。

大數(shù)據(jù)不應(yīng)該只是IT部門的事情，而是全公司協(xié)同作戰(zhàn)的事情。管理層可以從大數(shù)據(jù)中獲得洞察做決策，運(yùn)營部門可以根據(jù)數(shù)據(jù)分析結(jié)果來改善運(yùn)營策略，市場部門可以從數(shù)據(jù)分析中來優(yōu)化廣告投放策略，甚至是客服部門也可以從數(shù)據(jù)分析結(jié)果中來優(yōu)化自己的工作，更別提銷售部門了，他們更需要大數(shù)據(jù)的支持。

大數(shù)據(jù)是個(gè)機(jī)遇，也是個(gè)挑戰(zhàn)，它是一個(gè)用傳統(tǒng)的技術(shù)方法無法解決的數(shù)據(jù)問題，這對(duì)于企業(yè)來說是一個(gè)挑戰(zhàn)。企業(yè)要迅速接受大數(shù)據(jù)的概念，這不單單是從解決現(xiàn)有的IT問題的角度考慮，更多的應(yīng)該從未來的新的利潤增長點(diǎn)和新的競爭點(diǎn)的角度來考慮，應(yīng)該采用非常積極的態(tài)度。企業(yè)要認(rèn)識(shí)到大數(shù)據(jù)不是在現(xiàn)有架構(gòu)上新增應(yīng)用，而是徹底改變現(xiàn)有架構(gòu)。實(shí)施大數(shù)據(jù)前確定每一步的投資規(guī)模，設(shè)立里程碑和階段目標(biāo)，了解其技術(shù)和商業(yè)不成熟性可能帶來的失誤和風(fēng)險(xiǎn)，避免陷入廠商的炒作陷阱。從IT部門的角度來看，數(shù)據(jù)的價(jià)值應(yīng)該說是由業(yè)務(wù)部門來決定的，所以必須要充分了解業(yè)務(wù)的需求。

關(guān)于大數(shù)據(jù)，企業(yè)首先應(yīng)該考慮的問題不是這些數(shù)據(jù)能為我賺多少錢，而是如果我不去整合內(nèi)部和外部的數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)、分析數(shù)據(jù)，那么未來我會(huì)失去多少錢？我會(huì)比競爭對(duì)手落后多少？數(shù)據(jù)的整合不是一朝一夕的事情，而是需要經(jīng)過一段時(shí)間的累積。有些數(shù)據(jù)是需要從其他渠道拿到。整合數(shù)據(jù)和數(shù)據(jù)分析本身就不是先有雞還是先有蛋的問題，而是你不養(yǎng)雞，你肯定就不會(huì)有蛋。在未來的競爭格局中，數(shù)據(jù)往往能發(fā)揮先發(fā)制人的作用和優(yōu)勢(shì)。

1.7.1 評(píng)估大數(shù)據(jù)方案的維度

對(duì)于企業(yè)而言，構(gòu)建大數(shù)據(jù)平臺(tái)，是個(gè)系統(tǒng)性的工程。企業(yè)可以選擇以增量方式實(shí)現(xiàn)大數(shù)據(jù)解決方案。不是每個(gè)分析和報(bào)告需求都需要大數(shù)據(jù)解決方案。隨著大數(shù)據(jù)技術(shù)的到來，我們會(huì)問自己：“大數(shù)據(jù)是否是我的業(yè)務(wù)問題的正確解決方案，或者它是否為我提供了新的業(yè)務(wù)機(jī)會(huì)？”“企業(yè)IT部門需要掌握哪些技能來理解和分析軟件廠商的大數(shù)據(jù)解決方案？”“現(xiàn)有企業(yè)數(shù)據(jù)和來自外部的數(shù)據(jù)的復(fù)雜性”“哪些維度可幫助評(píng)估大數(shù)據(jù)解決方案的可行性？”。

為了回答上述這些問題，業(yè)內(nèi)專業(yè)人士提出了以下多種維度來評(píng)估大數(shù)據(jù)解決方案的可行性。企業(yè)應(yīng)該依據(jù)自身業(yè)務(wù)的特點(diǎn)，為每個(gè)維度分配一個(gè)權(quán)重和優(yōu)先級(jí)。

●數(shù)據(jù)整合和分析所帶來的業(yè)務(wù)價(jià)值。

●數(shù)據(jù)整合（無論是新來源的數(shù)據(jù)還是原有數(shù)據(jù)）后的數(shù)據(jù)治理考慮。

●企業(yè)是否自己擁有大數(shù)據(jù)技術(shù)人員，廠商是否有足夠的技術(shù)支持人員。

●整個(gè)數(shù)據(jù)量。

●各種各樣的數(shù)據(jù)源、數(shù)據(jù)類型和數(shù)據(jù)格式。

●生成數(shù)據(jù)的速度，需要對(duì)它處理的速度。

●數(shù)據(jù)的真實(shí)性，或者數(shù)據(jù)的不確定性和可信賴性。

1.7.2 業(yè)務(wù)價(jià)值維度

許多企業(yè)想知道，大數(shù)據(jù)產(chǎn)品能否幫助他們找到業(yè)務(wù)機(jī)會(huì)。所以，業(yè)務(wù)價(jià)值維度是指通過大數(shù)據(jù)技術(shù)可以為企業(yè)獲取哪些新業(yè)務(wù)或者解決哪些現(xiàn)有的問題？這需要確定和識(shí)別大數(shù)據(jù)的業(yè)務(wù)場景，并給出關(guān)鍵績效指標(biāo)。這包括研究競爭對(duì)手的行動(dòng)，知曉客戶在尋找什么。表1-1按照行業(yè)給出了一些大數(shù)據(jù)的應(yīng)用示例。

1.7.3 數(shù)據(jù)維度

數(shù)據(jù)維度包括數(shù)據(jù)優(yōu)先級(jí)維度、數(shù)據(jù)復(fù)雜性維度、數(shù)據(jù)量維度、數(shù)據(jù)種類維度、數(shù)據(jù)處理速度和數(shù)據(jù)可信度。

首先要為企業(yè)（或政府部門）的現(xiàn)有數(shù)據(jù)整理出一個(gè)編目（清單），用于識(shí)別內(nèi)部的應(yīng)用系統(tǒng)中存在的數(shù)據(jù)以及從第三方傳入的數(shù)據(jù)。如果業(yè)務(wù)問題可使用現(xiàn)有數(shù)據(jù)解決，那么就不需要使用來自外部的數(shù)據(jù)。有些客戶有一些歸檔數(shù)據(jù)，分析歸檔數(shù)據(jù)來獲得新的業(yè)務(wù)價(jià)值。在有些時(shí)候，包括日志文件、錯(cuò)誤文件和來自應(yīng)用程序的操作數(shù)據(jù)都是寶貴信息的潛在來源。

其次要確定數(shù)據(jù)復(fù)雜性是否在增長？數(shù)據(jù)復(fù)雜性的增長可能表現(xiàn)在數(shù)據(jù)量、種類、速度和真實(shí)性方面。然后要判斷數(shù)據(jù)量是否已增長？如果滿足以下條件，企業(yè)可考慮大數(shù)據(jù)解決方案：

●數(shù)據(jù)大小達(dá)到PB和EB級(jí)，而且未來有可能增長到ZB級(jí)別。

●數(shù)據(jù)量給傳統(tǒng)系統(tǒng)（比如關(guān)系型數(shù)據(jù)庫）的存儲(chǔ)、查詢、共享、分析和可視化數(shù)據(jù)帶來挑戰(zhàn)。

還有一點(diǎn)是，數(shù)據(jù)種類是否已增多？如果滿足以下條件，那可能需要大數(shù)據(jù)解決方案：

●數(shù)據(jù)內(nèi)容和結(jié)構(gòu)無法預(yù)期或預(yù)測。

●數(shù)據(jù)格式各不相同，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。用戶和機(jī)器能夠以任何格式生成數(shù)據(jù)，例如：Microsoft Word文件、Microsoft Excel電子表格、Microsoft PowerPoint演示文稿、PDF文件、社交媒體、Web和軟件日志、電子郵件、來自相機(jī)的照片和視頻、傳感設(shè)備數(shù)據(jù)、基因組和醫(yī)療記錄。

●不斷出現(xiàn)新的數(shù)據(jù)類型。

最后還要考慮的是，數(shù)據(jù)的增長和處理的速度。是否需要即時(shí)響應(yīng)，是否需要實(shí)時(shí)處理傳入的數(shù)據(jù)。對(duì)于數(shù)據(jù)是否值得信賴，如果滿足以下條件，那么需要考慮使用大數(shù)據(jù)解決方案：

●數(shù)據(jù)的真實(shí)性或準(zhǔn)確性未知。

●數(shù)據(jù)包含模糊不清的信息。

●不清楚數(shù)據(jù)是否完整。

如果數(shù)據(jù)的量、種類、速度或真實(shí)性具有合理的復(fù)雜性，那么就采用大數(shù)據(jù)解決方案。對(duì)于更復(fù)雜的數(shù)據(jù)，需要評(píng)估與實(shí)現(xiàn)大數(shù)據(jù)解決方案關(guān)聯(lián)的任何風(fēng)險(xiǎn)。對(duì)于不太復(fù)雜的數(shù)據(jù)，則應(yīng)該評(píng)估傳統(tǒng)的解決方案。

1.7.4 現(xiàn)有IT環(huán)境和成本維度

對(duì)于想要通過大數(shù)據(jù)分析獲取業(yè)務(wù)價(jià)值的情況，我們還要考慮當(dāng)前的IT環(huán)境是否可擴(kuò)展。與企業(yè)IT部門溝通，詢問以下問題，確定能否擴(kuò)展現(xiàn)有的IT平臺(tái)？

●當(dāng)前的數(shù)據(jù)集是否非常大，是否達(dá)到了TB或PB數(shù)量級(jí)？

●現(xiàn)有的數(shù)據(jù)倉庫系統(tǒng)是否包含所有數(shù)據(jù)？

●是否有大量冷數(shù)據(jù)（人們很少接觸的數(shù)據(jù)）未分析？可以通過分析這些數(shù)據(jù)獲得業(yè)務(wù)價(jià)值嗎？

●是否需要丟棄數(shù)據(jù)，因?yàn)闊o法存儲(chǔ)或處理它？

●是否希望在復(fù)雜且大量的數(shù)據(jù)上執(zhí)行數(shù)據(jù)探索？

●是否希望對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析？

對(duì)于這些問題的回答，可以幫助企業(yè)判斷是擴(kuò)充現(xiàn)有數(shù)據(jù)倉庫系統(tǒng)還是部署一套新的大數(shù)據(jù)平臺(tái)軟件。還有一點(diǎn)，我們要比較這兩個(gè)方案的成本。擴(kuò)展現(xiàn)有IT環(huán)境與部署大數(shù)據(jù)系統(tǒng)的成本和可行性取決于：

●現(xiàn)有工具和技術(shù)。

●現(xiàn)有系統(tǒng)的可伸縮性。

●現(xiàn)有環(huán)境的處理能力。

●現(xiàn)有平臺(tái)的存儲(chǔ)能力。

●執(zhí)行的治理和策略。

●現(xiàn)有應(yīng)用系統(tǒng)的異構(gòu)性。

●企業(yè)IT部門的技術(shù)能力（包括為此需要新招人員的成本）。

●從新數(shù)據(jù)源收集的數(shù)據(jù)量和成本。

●新業(yè)務(wù)的復(fù)雜性。

我們要考慮大數(shù)據(jù)工具和技術(shù)需要的基礎(chǔ)架構(gòu)、硬件、軟件和維護(hù)的成本。大數(shù)據(jù)解決方案可以采用增量方式實(shí)現(xiàn)。明確地定義業(yè)務(wù)問題的范圍，并以可度量的方式設(shè)置預(yù)期的業(yè)務(wù)收入提升幅度。企業(yè)可仔細(xì)列出問題的范圍和解決方案帶來的預(yù)期收益。如果該范圍太小，業(yè)務(wù)收益將無法實(shí)現(xiàn)；如果范圍太大，獲得資金和在恰當(dāng)?shù)钠谙迌?nèi)完成項(xiàng)目就會(huì)很有挑戰(zhàn)性。

對(duì)于成本維度，我們還需要考慮是否已有合適的技術(shù)人員？大數(shù)據(jù)解決方案需要特定的技能來理解和分析大數(shù)據(jù)需求，并維護(hù)大數(shù)據(jù)系統(tǒng)。這些技能包括行業(yè)知識(shí)、領(lǐng)域?qū)ｉL，以及有關(guān)大數(shù)據(jù)工具和技術(shù)的知識(shí)。這包括大數(shù)據(jù)建模、統(tǒng)計(jì)、分析等方面的能力。在實(shí)施一個(gè)新的大數(shù)據(jù)項(xiàng)目之前，確保已安排了合適的人員，他們熟悉該領(lǐng)域、能分析大量數(shù)據(jù)，而且能從數(shù)據(jù)生成有意義且有用的業(yè)務(wù)機(jī)會(huì)。

1.7.5 數(shù)據(jù)治理維度

在決定是否實(shí)現(xiàn)一個(gè)大數(shù)據(jù)平臺(tái)時(shí)，企業(yè)要特別關(guān)注那些新數(shù)據(jù)源和新的數(shù)據(jù)元素類型，這些數(shù)據(jù)所有權(quán)可能尚未明確定義。國家的一些規(guī)章制度可能會(huì)禁止企業(yè)獲取和使用的數(shù)據(jù)。例如，在醫(yī)療行業(yè)，直接獲取病人數(shù)據(jù)是否合法？企業(yè)的業(yè)務(wù)流程可能需要修改，以便能夠獲取、存儲(chǔ)和訪問外部數(shù)據(jù)。下面是一些數(shù)據(jù)治理的問題。

●安全性和隱私：在不違反法規(guī)和隱私等前提下，可以訪問哪些數(shù)據(jù)？可以存儲(chǔ)哪些數(shù)據(jù)？哪些數(shù)據(jù)應(yīng)加密？誰可以查看這些數(shù)據(jù)？

●數(shù)據(jù)的標(biāo)準(zhǔn)化：數(shù)據(jù)是否有標(biāo)準(zhǔn)格式？是否有專用的格式？部分?jǐn)?shù)據(jù)是否為非標(biāo)準(zhǔn)格式？

●數(shù)據(jù)可用的時(shí)段：數(shù)據(jù)是否只在一個(gè)允許的時(shí)段才可用？

●數(shù)據(jù)的所有權(quán)：誰擁有該數(shù)據(jù)？是否擁有適當(dāng)?shù)脑L問權(quán)和權(quán)限來使用數(shù)據(jù)？

●允許的用法：允許如何使用該數(shù)據(jù)？

總之，不是所有大數(shù)據(jù)情形都需要大數(shù)據(jù)解決方案。競爭對(duì)手在做什么？哪些市場力量在發(fā)揮作用？客戶想要什么？使用上面的幾個(gè)維度，可以幫助企業(yè)確定大數(shù)據(jù)解決方案是否適合它的業(yè)務(wù)情形。