第一節(jié) 大數(shù)據(jù)的發(fā)展歷程

所謂大數(shù)據(jù)，是區(qū)別于過去的海量數(shù)據(jù)等概念而言的。隨著當前社交網(wǎng)絡、移動計算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應用，互聯(lián)網(wǎng)中越來越多的信息是不規(guī)則的半結(jié)構(gòu)化甚至非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)計算服務的目的，就是對當前互聯(lián)網(wǎng)領域占據(jù)80%以上的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進行智能分析，并且實時地將計算結(jié)果通過網(wǎng)絡反饋給終端用戶。Gang-Hoon Kim等^[1]認為，大數(shù)據(jù)技術(shù)屬于第5代決策分析技術(shù)：1960年代的數(shù)據(jù)處理技術(shù)，1970～1980年代的信息應用，1990年代的決策支持模型，2000年后的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)，直到當前的大數(shù)據(jù)技術(shù)。現(xiàn)在大數(shù)據(jù)時代剛剛開始，大部分相關技術(shù)和分析應用僅僅是從2010年前后才開始出現(xiàn)^[2]。大數(shù)據(jù)分析可以分為三類：一是描述性分析，主要是形成一些標準報告、應急性報告和報警性報告等；二是預測性分析，主要圍繞預測和統(tǒng)計建模展開；三是定題性分析，主要關注優(yōu)化和隨機性測試研究^[3]。

近年來，大數(shù)據(jù)在全球范圍內(nèi)受到追捧。據(jù)國際數(shù)據(jù)資訊（IDC）公司監(jiān)測，全球數(shù)據(jù)量大約每兩年翻一番，預計到2020年，全球?qū)碛?0ZB的數(shù)據(jù)量。據(jù)統(tǒng)計，平均每秒都有200萬用戶在使用Google搜索，F(xiàn)acebook注冊用戶超過10億，每天生成300TB以上的日志數(shù)據(jù)。同時，傳感網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡等技術(shù)迅猛發(fā)展，引發(fā)數(shù)據(jù)規(guī)模爆炸式增長，大數(shù)據(jù)時代已經(jīng)到來。

由于大數(shù)據(jù)的廣泛應用以及大數(shù)據(jù)蘊藏的巨大潛力和價值，許多國家紛紛將大數(shù)據(jù)的建設和發(fā)展上升為國家戰(zhàn)略。自1999年起，國內(nèi)“第三屆亞太地區(qū)知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會議”、“Hadoop與大數(shù)據(jù)技術(shù)大會”和“大數(shù)據(jù)共享聯(lián)盟”等就開始開展有關大數(shù)據(jù)研究和開發(fā)的促進工作^[4]。2008年“計算社區(qū)聯(lián)盟”（Computing Community Consortium）在《大數(shù)據(jù)計算：在商務、科學和社會領域創(chuàng)建革命性突破》報告中詳盡闡述了大數(shù)據(jù)對社會治理的推動作用，以及潛在的商業(yè)價值。2012年3月29日，美國正式發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》（Big Data Research and Development Initiative ）^[5]，該倡議書中提到，大數(shù)據(jù)計劃的實施，旨在幫助美國獲得從海量復雜數(shù)據(jù)集中萃取知識的能力，借此提高國家應對急迫挑戰(zhàn)的能力，這份倡議書標志著大數(shù)據(jù)已經(jīng)上升為美國在計算服務領域的國家戰(zhàn)略。在國內(nèi)，到2013年，維克托·邁爾·舍恩伯格的《大數(shù)據(jù)時代：生活、工作與思維的大變革》一書掀起大數(shù)據(jù)熱潮。

大數(shù)據(jù)同樣引起了我國政府的高度關注。2015年，《國務院關于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》（國發(fā)〔2015〕50號）正式印發(fā)，標志著大數(shù)據(jù)正式上升為國家戰(zhàn)略。黨的十九大報告提出，要建設網(wǎng)絡強國、數(shù)字中國、智慧社會，推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟深度融合，發(fā)展數(shù)字經(jīng)濟、共享經(jīng)濟，培育新增長點、形成新動能。2017年12月8日，習近平總書記在中共中央政治局就實施國家大數(shù)據(jù)戰(zhàn)略進行第二次集體學習時指出，大數(shù)據(jù)是信息化發(fā)展的新階段。他指出，隨著信息技術(shù)和人類生產(chǎn)生活交匯融合，互聯(lián)網(wǎng)快速普及，全球數(shù)據(jù)呈現(xiàn)爆發(fā)增長、海量集聚的特點，對經(jīng)濟發(fā)展、社會治理、國家管理、人民生活都產(chǎn)生了重大影響。在黨和政府的高度重視和大力推動下，社會各界對大數(shù)據(jù)高度重視。據(jù)筆者不完全統(tǒng)計，近年來全國已經(jīng)有25個省份設立了大數(shù)據(jù)管理局或大數(shù)據(jù)管理中心等職能部門，促進大數(shù)據(jù)發(fā)展、有效釋放數(shù)據(jù)紅利已經(jīng)成為社會各界廣泛共識。

縱觀全球大數(shù)據(jù)的發(fā)展史，可以將大數(shù)據(jù)的演進歷史分為理論萌芽探索、技術(shù)研究發(fā)展和實踐應用爆發(fā)三個階段。具體如下。

理論萌芽探索階段（2008年以前）：此階段大數(shù)據(jù)的理論基礎較為缺乏，各界研究的主要問題是大數(shù)據(jù)的概念。20世紀80年代，美國著名的未來學家、社會思想家阿爾文·托夫勒在其所著的《第三次浪潮》中提出“大數(shù)據(jù)”這一理念，并熱情地將其稱頌為“第三次浪潮的華彩樂章”。1997年美國電子電器工程師學會舉辦的第八屆可視化會議上，美國國家航空航天局的兩位研究員邁克爾·考克斯和戴維·埃爾斯沃思首次提出“大數(shù)據(jù)”一詞并界定了其內(nèi)涵。他們表示，計算機日新月異的快速發(fā)展，帶動了數(shù)據(jù)處理技術(shù)的革新，促使人類重新調(diào)整自身認識問題、解決問題的方法。該階段所引用的“大數(shù)據(jù)”概念，多是指“大量的數(shù)據(jù)或數(shù)據(jù)集”這樣的字面含義，還沒有覆蓋到相關的收集、存儲、分析、應用等相關技術(shù)方法與特征內(nèi)涵^[6]。關于“大數(shù)據(jù)”概念的前期描述如表1-1所示。

表1-1 “大數(shù)據(jù)”概念的前期描述

續(xù)表

技術(shù)研究發(fā)展階段（2009～2011年）：此階段隨著對大數(shù)據(jù)核心技術(shù)的深入探索，加入大數(shù)據(jù)研究的學者和機構(gòu)不斷增加，研究重點逐漸從技術(shù)層面向應用層面擴展。如對大量數(shù)據(jù)進行分布式處理并構(gòu)建一種可靠、高效、可伸縮的計算系統(tǒng)的開源分布式架構(gòu)Hadoop，在此期間初具生產(chǎn)規(guī)模。2009年Ginsberg在Nature 上發(fā)表論文，采用大數(shù)據(jù)搜索引擎查詢數(shù)據(jù)并對流行性流感活動進行檢測。而讓“大數(shù)據(jù)”成為互聯(lián)網(wǎng)信息時代科技界熱詞的是麥肯錫公司，2011年5月，麥肯錫在題為《大數(shù)據(jù)：下一個創(chuàng)新、競爭和生產(chǎn)力的前沿》（The next frontier for innovation，competition and productivity ）的研究報告中，從商業(yè)和經(jīng)濟角度揭示大數(shù)據(jù)發(fā)展的現(xiàn)狀和潛力，并為生物醫(yī)療、政府管理部門、銷售行業(yè)、制造行業(yè)和地理信息科學等應用領域提出了應對大數(shù)據(jù)時代的策略。這份報告的發(fā)布大力地推動了“大數(shù)據(jù)”的發(fā)展。

實踐應用爆發(fā)階段（2012年至今）：此階段全球大數(shù)據(jù)研究的重點主要是大數(shù)據(jù)理念、云計算，及大數(shù)據(jù)在社會管理、信息管理中的應用等，大數(shù)據(jù)發(fā)展呈現(xiàn)出研究和應用相互交融的態(tài)勢。人們對大數(shù)據(jù)的認識也從技術(shù)概念豐富為信息資產(chǎn)、思維變革以及戰(zhàn)略發(fā)展等多個維度。比如聯(lián)合國秘書長執(zhí)行辦公室啟動了“全球脈動”計劃，并在隨后幾年發(fā)布的《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機遇》報告中提出，大數(shù)據(jù)將為社會發(fā)展帶來空前廣闊的發(fā)展前景與安全隱私上的挑戰(zhàn)。世界各國也紛紛將大數(shù)據(jù)視作重要的戰(zhàn)略制高點，如美國提出的《大數(shù)據(jù)研究和發(fā)展倡議》、中國公布的《促進大數(shù)據(jù)發(fā)展行動綱要》以及經(jīng)濟合作與發(fā)展組織（OECD）推出的《使用大數(shù)據(jù)作決策》等一系列重要文件^[7]。同時，美國政府投資2億美元拉動大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，將大數(shù)據(jù)產(chǎn)業(yè)發(fā)展上升為國家戰(zhàn)略，并形象地稱其為“未來的新石油”，并頒布《大數(shù)據(jù)的研究和發(fā)展計劃》，成立“大數(shù)據(jù)高級指導小組”，希望通過提高大型復雜數(shù)據(jù)的處理能力，加快美國科技發(fā)展的步伐。短短數(shù)年，物聯(lián)網(wǎng)技術(shù)的演變、社交媒體的興起、人工智能的發(fā)展都滲透在社會方方面面的變革之中。國內(nèi)市場上，從2012年開始，以大型互聯(lián)網(wǎng)企業(yè)及傳統(tǒng)的運營商等為代表的組織紛紛啟動了關于大數(shù)據(jù)的研發(fā)和應用。現(xiàn)在，大數(shù)據(jù)分析與挖掘的研究成果也被廣泛應用于輿情分析、電子商務、網(wǎng)絡通信、健康醫(yī)療、生物技術(shù)和現(xiàn)代金融等各個領域。