1.1　大數(shù)據(jù)產(chǎn)生的背景

伴隨著人類信息文明的跨越式發(fā)展，以及一波又一波的信息化建設(shè)浪潮，時(shí)至今日，大數(shù)據(jù)時(shí)代真的來臨了。人類社會(huì)信息科技的發(fā)展為大數(shù)據(jù)時(shí)代的到來提供了技術(shù)支撐，而數(shù)據(jù)產(chǎn)生方式的變革是促進(jìn)大數(shù)據(jù)時(shí)代到來的至關(guān)重要的因素。

1.1.1　信息化浪潮

根據(jù)IBM公司前首席執(zhí)行官郭士納的觀點(diǎn)，IT領(lǐng)域每隔15年就會(huì)迎來一次重大變革（見表1-1）。1980年前后，個(gè)人微型計(jì)算機(jī)（Microcomputer）開始普及，尤其是隨著制造技術(shù)的完善帶來的計(jì)算機(jī)銷售價(jià)格的大幅降低，計(jì)算機(jī)逐步進(jìn)入企業(yè)和千家萬戶，大大提高了整個(gè)社會(huì)的生產(chǎn)力，同時(shí)豐富了家庭的生活方式，使人類迎來了第一次信息化浪潮。Intel、AMD、IBM、Apple、Microsoft、聯(lián)想等信息企業(yè)成為第一次信息浪潮的“弄潮兒”。

15年后的1995年，人類開始全面進(jìn)入互聯(lián)網(wǎng)時(shí)代，實(shí)現(xiàn)了世界五大洲數(shù)字資源的共享，并正式進(jìn)入“地球村”時(shí)代，也從此宣布了第二次信息化浪潮的到來。這次信息化的“弄潮兒”是人們所熟知的Yahoo、谷歌、阿里巴巴、百度、騰訊等IT行業(yè)的互聯(lián)網(wǎng)巨頭。

又過了15年，在2010年前后，云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能逐步進(jìn)入人們的視野，從此拉開了第三次信息化浪潮的大幕。目前不少互聯(lián)網(wǎng)企業(yè)如谷歌、亞馬遜等已經(jīng)創(chuàng)建了自己的“互聯(lián)網(wǎng)大腦”，這些“互聯(lián)網(wǎng)大腦”往往都以物聯(lián)網(wǎng)作為觸角，以云計(jì)算作為支撐平臺(tái)，以大數(shù)據(jù)作為決策基礎(chǔ)，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理。

事物的發(fā)展不是一蹴而就的，大數(shù)據(jù)時(shí)代的來臨一樣經(jīng)歷了多方面的技術(shù)積累和更替，而人類信息文明的充分發(fā)展是大數(shù)據(jù)時(shí)代到來的主要推手。可以說，信息技術(shù)的發(fā)展和不斷的快速革新造就了信息量的指數(shù)級(jí)增長，而信息量的不斷堆積直接造就了大數(shù)據(jù)概念的出現(xiàn)。隨著相關(guān)技術(shù)的不斷成熟，人們終于迎來了大數(shù)據(jù)時(shí)代。

1.1.2　信息技術(shù)變革

大數(shù)據(jù)時(shí)代的到來得益于信息科技的跨越式持久發(fā)展，而信息技術(shù)主要解決的是信息采集、信息存儲(chǔ)、信息處理和信息顯示4個(gè)核心問題。這4個(gè)核心問題的不斷成熟的相關(guān)技術(shù)真正支撐著整個(gè)大數(shù)據(jù)時(shí)代的全面到來。

1. 信息采集技術(shù)的不斷完善和實(shí)時(shí)程度的不斷提升

大數(shù)據(jù)時(shí)代的到來離不開信息的大量采集。數(shù)據(jù)采集技術(shù)隨著人類信息文明的發(fā)展已經(jīng)有了質(zhì)的飛躍。數(shù)據(jù)的采集越來越實(shí)時(shí)化，如隨處可見的實(shí)時(shí)音頻直播和實(shí)時(shí)視頻傳播。可以說信息的采集環(huán)節(jié)已經(jīng)基本實(shí)現(xiàn)實(shí)時(shí)化，而信息延遲主要在信息傳輸和信息處理階段。

2. 信息存儲(chǔ)技術(shù)的不斷提升

早期存儲(chǔ)設(shè)備的信息存儲(chǔ)量十分有限，而且體積龐大、價(jià)格高昂。閃存技術(shù)的進(jìn)步使小型快速存儲(chǔ)芯片得到了長足發(fā)展，而閃存芯片的發(fā)展也帶來了移動(dòng)通信設(shè)備尤其是個(gè)人移動(dòng)手機(jī)的快速發(fā)展，為信息存儲(chǔ)和應(yīng)用直接開辟了移動(dòng)端市場，不斷地改變著人們的生活和生產(chǎn)方式。

3. 信息處理速度和處理能力的急速提升

信息處理速度主要依靠計(jì)算機(jī)處理核心（CPU）的運(yùn)算能力。CPU單核心處理能力的演變長期遵循摩爾定律。如今提高CPU單核心主頻帶來的商業(yè)成本的成倍增加，直接促使技術(shù)模式由簡單的提高單核心主頻向多核心多線程發(fā)展。CPU的實(shí)際運(yùn)算核心數(shù)量的增加，同樣實(shí)現(xiàn)了運(yùn)算速度的高速提升。

4. 信息顯示技術(shù)的完備和日臻成熟

信息顯示技術(shù)尤其是可視化技術(shù)近些年有了突破性進(jìn)展，特別是隨著圖形像素技術(shù)的不斷提升，圖形顯示越來越細(xì)膩、逼真和生動(dòng)。圖形顯示技術(shù)的發(fā)展突破了簡單文字顯示和圖表顯示的技術(shù)界限，使得信息顯示由一維、二維顯示拓展到了三維乃至更多維度顯示，給整個(gè)信息技術(shù)帶來了從量到質(zhì)的跨越式發(fā)展，也更加深遠(yuǎn)地影響著整個(gè)大數(shù)據(jù)時(shí)代的發(fā)展。

1.1.3　數(shù)據(jù)生產(chǎn)方式變革

大數(shù)據(jù)時(shí)代的到來依托于信息技術(shù)的不斷革新和發(fā)展，而信息技術(shù)的發(fā)展又為大數(shù)據(jù)時(shí)代的到來提供了技術(shù)支持。信息技術(shù)的發(fā)展促進(jìn)了數(shù)據(jù)生產(chǎn)方式的變革，而反過來數(shù)據(jù)生產(chǎn)方式的革新也倒逼著信息技術(shù)的不斷發(fā)展和完善，兩者相輔相成，互相促進(jìn)。總體而言，人類社會(huì)的數(shù)據(jù)生產(chǎn)方式大致經(jīng)歷了3個(gè)階段：運(yùn)行式系統(tǒng)階段、用戶原創(chuàng)內(nèi)容階段和感知式系統(tǒng)階段。

1. 運(yùn)營式系統(tǒng)階段

人類最早大規(guī)模管理和使用數(shù)據(jù)是從數(shù)據(jù)庫的誕生開始的。大型零售超市銷售系統(tǒng)、銀行交易系統(tǒng)、股票交易系統(tǒng)、醫(yī)院醫(yī)療系統(tǒng)、企業(yè)客戶管理系統(tǒng)等大量運(yùn)營式系統(tǒng)都是建立在數(shù)據(jù)庫基礎(chǔ)之上的，數(shù)據(jù)庫中保存了大量結(jié)構(gòu)化的企業(yè)關(guān)鍵信息，用來滿足企業(yè)的各種業(yè)務(wù)需求。在這個(gè)階段，數(shù)據(jù)的生產(chǎn)方式是被動(dòng)的，即只有當(dāng)實(shí)際的企業(yè)業(yè)務(wù)發(fā)生時(shí)，新的數(shù)據(jù)才會(huì)產(chǎn)生并存入數(shù)據(jù)庫。比如，對(duì)于股票交易市場而言，只有當(dāng)發(fā)生一筆股票交易時(shí)，股票交易系統(tǒng)才會(huì)有相關(guān)數(shù)據(jù)生成。

2. 用戶原創(chuàng)內(nèi)容階段

互聯(lián)網(wǎng)的出現(xiàn)使得數(shù)據(jù)傳播更加快捷，例如數(shù)據(jù)不需要借助磁盤、磁帶等物理存儲(chǔ)介質(zhì)進(jìn)行傳播。網(wǎng)頁的出現(xiàn)進(jìn)一步加速了大量網(wǎng)絡(luò)內(nèi)容的產(chǎn)生，使得人類社會(huì)數(shù)據(jù)量開始呈現(xiàn)“井噴式”增長趨勢。但是，真正的互聯(lián)網(wǎng)數(shù)據(jù)爆發(fā)產(chǎn)生于以“用戶原創(chuàng)內(nèi)容”為特征的Web 2.0時(shí)代。Web 1.0時(shí)代主要以門戶網(wǎng)站為代表，強(qiáng)調(diào)內(nèi)容的組織與提供，但大量用戶本身并不參與內(nèi)容的產(chǎn)生。而Web 2.0時(shí)代以微博、微信、抖音等應(yīng)用所采用的自服務(wù)模式為主，強(qiáng)調(diào)自服務(wù)，大量用戶本身就是內(nèi)容的生成者。尤其是隨著移動(dòng)互聯(lián)網(wǎng)和智能手機(jī)終端的普及，人們更是可以隨時(shí)隨地使用手機(jī)發(fā)微博、傳照片等，使得數(shù)據(jù)量開始急劇增長。這些數(shù)據(jù)不斷地被存儲(chǔ)和加工，使得互聯(lián)網(wǎng)世界里的“公開數(shù)據(jù)”不斷被豐富，大大加速了大數(shù)據(jù)時(shí)代的到來。

3. 感知式系統(tǒng)階段

物聯(lián)網(wǎng)的發(fā)展帶來人類社會(huì)數(shù)據(jù)量的第三次躍升。物聯(lián)網(wǎng)中包含大量傳感器，如溫度傳感器、濕度傳感器、壓力傳感器、位移傳感器、光電傳感器等，每個(gè)傳感器都是一個(gè)信息源，不同類別的傳感器所捕獲的數(shù)據(jù)是不同的，且傳感器獲得的數(shù)據(jù)具有實(shí)時(shí)性，按一定頻率周期性地采集環(huán)境信息，不斷更新數(shù)據(jù)。此外，視頻監(jiān)控?cái)z像頭也屬于物聯(lián)網(wǎng)中產(chǎn)生數(shù)據(jù)的主要設(shè)備。物聯(lián)網(wǎng)中的這些設(shè)備，每時(shí)每刻都會(huì)自動(dòng)產(chǎn)生大量數(shù)據(jù)，與Web 2.0時(shí)代的人工數(shù)據(jù)生產(chǎn)方式相比，物聯(lián)網(wǎng)中的自動(dòng)數(shù)據(jù)生產(chǎn)方式，將在短時(shí)間內(nèi)生成更集中、更大量的數(shù)據(jù)，使人類社會(huì)迅速步入“大數(shù)據(jù)時(shí)代”。

1.1.4　大數(shù)據(jù)的發(fā)展歷程

從發(fā)展歷程來看，大數(shù)據(jù)的發(fā)展歷程總體上可以劃分為3個(gè)重要階段：萌芽階段、成熟階段和興盛階段，如表1-2所示。

大數(shù)據(jù)的主要發(fā)展歷程如下。

1980年，著名未來學(xué)家阿爾文·托夫勒在《第三次浪潮》一書中將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂章”。

1997年10月，邁克爾·考克斯和大衛(wèi)·埃爾斯沃思在第八屆美國電氣和電子工程師學(xué)會(huì)（IEEE）關(guān)于可視化的會(huì)議論文集中發(fā)表了《為外存模型可視化而應(yīng)用控制程序請(qǐng)求頁面調(diào)度》的文章，這是在美國計(jì)算機(jī)學(xué)會(huì)的數(shù)字圖書館中第一篇使用“大數(shù)據(jù)”這一術(shù)語的文章。

1999年10月，美國電氣和電子工程師學(xué)會(huì)關(guān)于數(shù)據(jù)可視化的年會(huì)設(shè)置了名為“自動(dòng)化或者交互：什么更適合大數(shù)據(jù)？”的專題討論小組，探討大數(shù)據(jù)問題。

2001年2月，梅塔集團(tuán)分析師道格·萊尼發(fā)布題為《3D數(shù)據(jù)管理：控制數(shù)據(jù)容量、處理速度及數(shù)據(jù)種類》的研究報(bào)告。10年后，“3V”（Volume、Variety和Velocity）作為定義大數(shù)據(jù)的3個(gè)維度而被廣泛接受。

2005年9月，蒂姆·奧萊利發(fā)表了《什么是Web 2.0》一文，并在文中指出“數(shù)據(jù)將是下一項(xiàng)技術(shù)核心”。

2008年，《自然》雜志推出大數(shù)據(jù)專刊；計(jì)算社區(qū)聯(lián)盟（Computing Community Consortium）發(fā)表了報(bào)告《大數(shù)據(jù)計(jì)算：在商業(yè)、科學(xué)和社會(huì)領(lǐng)域的革命性突破》，闡述了大數(shù)據(jù)技術(shù)及其面臨的一些挑戰(zhàn)。

2010年2月，肯尼斯·庫克爾在《經(jīng)濟(jì)學(xué)人》上發(fā)表了一篇關(guān)于管理信息的特別報(bào)告《數(shù)據(jù)，無所不在的數(shù)據(jù)》。

2011年，維克托·邁爾·舍恩伯格出版著作《大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革》，引起轟動(dòng)。

2011年5月，麥肯錫全球研究院發(fā)布《大數(shù)據(jù)：下一個(gè)具有創(chuàng)新力、競爭力與生產(chǎn)力的前沿領(lǐng)域》，提出“大數(shù)據(jù)”時(shí)代到來。

2012年3月，美國政府發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，正式啟動(dòng)“大數(shù)據(jù)發(fā)展計(jì)劃”，將大數(shù)據(jù)上升為美國國家發(fā)展戰(zhàn)略，被視為美國政府繼信息高速公路計(jì)劃之后在信息科學(xué)領(lǐng)域的又一重大舉措。

2014年5月，美國政府發(fā)布2014年全球“大數(shù)據(jù)”白皮書——《大數(shù)據(jù)：抓住機(jī)遇、守護(hù)價(jià)值》，鼓勵(lì)使用數(shù)據(jù)來推動(dòng)社會(huì)進(jìn)步。

2015年8月，國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，全面推進(jìn)我國大數(shù)據(jù)發(fā)展和應(yīng)用，加快建設(shè)數(shù)據(jù)強(qiáng)國。

2017年1月，為加快實(shí)施國家大數(shù)據(jù)戰(zhàn)略，推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)健康快速發(fā)展，工業(yè)和信息化部印發(fā)了《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016—2020年）》。

2017年4月，《大數(shù)據(jù)安全標(biāo)準(zhǔn)化白皮書（2017）》正式發(fā)布，從法規(guī)、政策、標(biāo)準(zhǔn)和應(yīng)用等角度，勾畫了我國大數(shù)據(jù)安全的整體輪廓。

2017年10月，十九大報(bào)告提出“推動(dòng)大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)深度融合”。

1.1.5　大數(shù)據(jù)時(shí)代的挑戰(zhàn)

大數(shù)據(jù)時(shí)代下的信息技術(shù)日漸成熟，但是在高科技發(fā)展的今天，將大數(shù)據(jù)與現(xiàn)代生活融合仍面臨諸多挑戰(zhàn)。

1. 業(yè)務(wù)部門無清晰的大數(shù)據(jù)需求

很多企業(yè)的業(yè)務(wù)部門不了解大數(shù)據(jù)，也不了解大數(shù)據(jù)的應(yīng)用場景和價(jià)值，因此難以了解大數(shù)據(jù)的需求。由于業(yè)務(wù)部門需求不清晰，導(dǎo)致企業(yè)決策層因擔(dān)心投入產(chǎn)出比在搭建大數(shù)據(jù)部門時(shí)猶豫不決，甚至由于暫時(shí)沒有應(yīng)用場景，刪除了很多有價(jià)值的歷史數(shù)據(jù)。

2. 企業(yè)內(nèi)部數(shù)據(jù)“孤島”嚴(yán)重

企業(yè)開展大數(shù)據(jù)建設(shè)面臨的最大的挑戰(zhàn)之一就是數(shù)據(jù)的碎片化。在大型企業(yè)中，不同類型的數(shù)據(jù)常常散落在不同部門，使得同一企業(yè)內(nèi)部數(shù)據(jù)無法共享，無法發(fā)揮大數(shù)據(jù)的價(jià)值。

3. 數(shù)據(jù)可用性低，質(zhì)量差

很多企業(yè)對(duì)大數(shù)據(jù)的預(yù)處理階段很不重視，導(dǎo)致數(shù)據(jù)處理很不規(guī)范。大數(shù)據(jù)預(yù)處理階段需要抽取數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)化為方便處理的數(shù)據(jù)類型，對(duì)數(shù)據(jù)進(jìn)行清洗和去噪，以提取有效的數(shù)據(jù)等。

4. 數(shù)據(jù)相關(guān)管理技術(shù)和架構(gòu)

傳統(tǒng)數(shù)據(jù)庫部署處理TB級(jí)別的數(shù)據(jù)時(shí)十分復(fù)雜；傳統(tǒng)數(shù)據(jù)庫不能很好地考慮數(shù)據(jù)的多樣性，尤其是在處理結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的兼容問題時(shí)；傳統(tǒng)數(shù)據(jù)庫對(duì)數(shù)據(jù)的處理時(shí)間要求并不高。大數(shù)據(jù)數(shù)據(jù)庫則需要實(shí)時(shí)地處理海量數(shù)據(jù)，還需要保證數(shù)據(jù)穩(wěn)定，使服務(wù)器能夠在支持高并發(fā)的同時(shí)減少服務(wù)器負(fù)載。

5. 數(shù)據(jù)安全

互聯(lián)網(wǎng)的迅猛發(fā)展和數(shù)字經(jīng)濟(jì)的快速推進(jìn)，使得全球數(shù)據(jù)呈現(xiàn)爆發(fā)增長、海量聚集的特點(diǎn)，對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)治理、人民生活都產(chǎn)生了重大影響。數(shù)據(jù)作為前沿技術(shù)開發(fā)、隱私安全保護(hù)的重要內(nèi)容，讓數(shù)據(jù)安全的重要性提到了前所未有的高度。此外，在日常生產(chǎn)和生活中，每個(gè)個(gè)體、每臺(tái)機(jī)器都在源源不斷地產(chǎn)生海量數(shù)據(jù)，這就意味著對(duì)數(shù)據(jù)存儲(chǔ)的物理安全性要求會(huì)越來越高，對(duì)數(shù)據(jù)的多副本與容災(zāi)機(jī)制的要求也越來越高。

6. 大數(shù)據(jù)人才缺乏

大數(shù)據(jù)建設(shè)的每一個(gè)組件的搭建與維護(hù)都需要依靠專業(yè)人員完成，因此必須培養(yǎng)一支掌握大數(shù)據(jù)、懂管理、有大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)的大數(shù)據(jù)建設(shè)專業(yè)隊(duì)伍。

1.1.6　大數(shù)據(jù)時(shí)代面臨的機(jī)遇

基于大數(shù)據(jù)潛在的巨大影響，很多國家都將大數(shù)據(jù)視作戰(zhàn)略資源。大數(shù)據(jù)的發(fā)展也已上升至我國的國家戰(zhàn)略層面，國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展非常迅速，行業(yè)應(yīng)用得到快速推廣，市場規(guī)模增速明顯。總體來看，大數(shù)據(jù)技術(shù)和應(yīng)用呈現(xiàn)縱深發(fā)展趨勢和以下幾個(gè)技術(shù)趨勢。

1. 數(shù)據(jù)分析成為大數(shù)據(jù)技術(shù)的核心

數(shù)據(jù)分析在數(shù)據(jù)處理過程中占據(jù)十分重要的位置。通過對(duì)大規(guī)模數(shù)據(jù)集合的智能處理，我們可以從數(shù)據(jù)中獲取有用的信息，因此必須對(duì)數(shù)據(jù)進(jìn)行分析和挖掘，而數(shù)據(jù)的采集、存儲(chǔ)和管理都是數(shù)據(jù)分析的基礎(chǔ)步驟。數(shù)據(jù)分析得到的結(jié)果將會(huì)被應(yīng)用于大數(shù)據(jù)相關(guān)的各個(gè)領(lǐng)域。

2. 廣泛采用實(shí)時(shí)性的數(shù)據(jù)處理方式

信息具有時(shí)效性，一般來說，越新穎、越及時(shí)的信息，其價(jià)值越高，過時(shí)的消息的價(jià)值則會(huì)迅速降低。大數(shù)據(jù)強(qiáng)調(diào)數(shù)據(jù)的實(shí)時(shí)性，因而對(duì)數(shù)據(jù)處理也要體現(xiàn)實(shí)時(shí)性，如在線實(shí)時(shí)推薦、股票交易信息、各類購票信息、實(shí)時(shí)路況信息等數(shù)據(jù)的處理時(shí)間都要求在分鐘級(jí)甚至秒級(jí)。

3. 基于云的數(shù)據(jù)分析平臺(tái)將更加完善

云計(jì)算技術(shù)的發(fā)展為大數(shù)據(jù)技術(shù)的發(fā)展提供了數(shù)據(jù)處理平臺(tái)和技術(shù)支持。云計(jì)算技術(shù)為大數(shù)據(jù)提供了分布式的計(jì)算方法以及可以彈性擴(kuò)展且相對(duì)便宜的存儲(chǔ)空間和計(jì)算資源。這些都是大數(shù)據(jù)技術(shù)發(fā)展的重要因素。