1.2　大數(shù)據(jù)的發(fā)展與趨勢

1.2.1　大數(shù)據(jù)的發(fā)展

人類歷史上從未有哪個時代和今天一樣產(chǎn)生如此海量的數(shù)據(jù)，數(shù)據(jù)的產(chǎn)生已經(jīng)完全不受時間、地點的限制。從開始采用數(shù)據(jù)庫作為數(shù)據(jù)管理的主要方式開始，人類社會的數(shù)據(jù)產(chǎn)生方式大致經(jīng)歷了3個階段，正是數(shù)據(jù)產(chǎn)生方式的巨大變化才最終導(dǎo)致大數(shù)據(jù)的產(chǎn)生。

（1）運營式系統(tǒng)階段

數(shù)據(jù)庫的出現(xiàn)使得數(shù)據(jù)管理的復(fù)雜度大大降低，實際中數(shù)據(jù)庫大都為運營系統(tǒng)所采用，作為運營系統(tǒng)的數(shù)據(jù)管理子系統(tǒng)，如超市的銷售記錄系統(tǒng)、銀行的交易記錄系統(tǒng)、醫(yī)院病人的醫(yī)療記錄等。人類社會數(shù)據(jù)量第一次大的飛躍正是建立在運營式系統(tǒng)開始廣泛使用數(shù)據(jù)庫開始。這個階段最主要的特點是數(shù)據(jù)往往伴隨著一定的運營活動而產(chǎn)生并記錄在數(shù)據(jù)庫中，如超市每銷售一件產(chǎn)品就會在數(shù)據(jù)庫中產(chǎn)生相應(yīng)的一條銷售記錄。這種數(shù)據(jù)的產(chǎn)生方式是被動的。

（2）用戶原創(chuàng)內(nèi)容階段

互聯(lián)網(wǎng)的誕生促使人類社會數(shù)據(jù)量出現(xiàn)第二次大的飛躍。但是真正的數(shù)據(jù)爆發(fā)產(chǎn)生于Web2.0時代，而Web2.0的最重要標(biāo)志就是用戶原創(chuàng)內(nèi)容（UGC，user generated content）。這類數(shù)據(jù)近幾年一直呈現(xiàn)爆炸性的增長，主要有兩個方面的原因。

首先是新型社交網(wǎng)絡(luò)的出現(xiàn)和快速發(fā)展，使得用戶產(chǎn)生數(shù)據(jù)的意愿更加強烈。其次就是以智能手機、平板電腦為代表的新型移動設(shè)備的出現(xiàn)，這些易攜帶、全天候接入網(wǎng)絡(luò)的移動設(shè)備使得人們在網(wǎng)上發(fā)表自己意見的途徑更為便捷。這個階段數(shù)據(jù)的產(chǎn)生方式是主動的。

（3）感知式系統(tǒng)階段

人類社會數(shù)據(jù)量第三次大的飛躍最終導(dǎo)致了大數(shù)據(jù)的產(chǎn)生，今天我們正處于這個階段。這次飛躍的根本原因在于感知式系統(tǒng)的廣泛使用。隨著技術(shù)的發(fā)展，人們已經(jīng)有能力制造極其微小的帶有處理功能的傳感器，并開始將這些設(shè)備廣泛布置于社會的各個角落，通過這些設(shè)備對整個社會的運轉(zhuǎn)進行監(jiān)控。這些設(shè)備會源源不斷地產(chǎn)生新數(shù)據(jù)。這種數(shù)據(jù)的產(chǎn)生方式是自動的。

簡單來說，數(shù)據(jù)產(chǎn)生經(jīng)歷了被動、主動和自動3個階段。這些被動、主動和自動的數(shù)據(jù)共同構(gòu)成了大數(shù)據(jù)的數(shù)據(jù)來源，但其中自動式的數(shù)據(jù)才是大數(shù)據(jù)產(chǎn)生的最根本原因。

正如Google的首席經(jīng)濟學(xué)家Hal Varian所說，數(shù)據(jù)是廣泛可用的，所缺乏的是從中提取出知識的能力。數(shù)據(jù)收集的根本目的是根據(jù)需求從數(shù)據(jù)中提取有用的知識，并將其應(yīng)用到具體的領(lǐng)域之中。正是由于大數(shù)據(jù)的廣泛存在，才使得大數(shù)據(jù)問題的解決很具挑戰(zhàn)性。而它的廣泛應(yīng)用，則促使越來越多的人開始關(guān)注和研究大數(shù)據(jù)問題。

大數(shù)據(jù)新型的應(yīng)用需求，將推動整個信息技術(shù)產(chǎn)業(yè)的新一輪發(fā)展。滲透到各個行業(yè)和業(yè)務(wù)領(lǐng)域的大數(shù)據(jù)逐漸成為核心的競爭要素，而社會各領(lǐng)域?qū)Ａ繑?shù)據(jù)的運用引發(fā)新一輪浪潮涌來。美國、日本、英國等國家紛紛提出大數(shù)據(jù)戰(zhàn)略，在國內(nèi)，上海、重慶等主要城市也分別結(jié)合當(dāng)?shù)禺a(chǎn)業(yè)發(fā)展的需求，提出大數(shù)據(jù)發(fā)展戰(zhàn)略。

2009年，美國推出了最重要的數(shù)據(jù)開放平臺“Data.gov”，是美國“開放政府”承諾的關(guān)鍵部分。該平臺依照原始數(shù)據(jù)、地理數(shù)據(jù)和數(shù)據(jù)工具3個門類，涵蓋了農(nóng)業(yè)、氣象、金融、就業(yè)、人口統(tǒng)計、教育、醫(yī)療、交通、能源等大約50個門類。2011年，因為大數(shù)據(jù)技術(shù)蘊含著重要的戰(zhàn)略意義，美國總統(tǒng)科技顧問委員會建議聯(lián)邦政府加大大數(shù)據(jù)的投資研發(fā)力度。2013年3月，白宮發(fā)布了《大數(shù)據(jù)研究和發(fā)展計劃》，同時組建“大數(shù)據(jù)高級指導(dǎo)小組”。該計劃描述了聯(lián)邦政府12個關(guān)鍵部門開展大數(shù)據(jù)研發(fā)應(yīng)用的行動計劃，大數(shù)據(jù)研發(fā)應(yīng)用將從以往的商業(yè)行為上升到美國國家戰(zhàn)略部署的總體藍圖。

日本總務(wù)省信息通信政策審議會下設(shè)的“ICT基本戰(zhàn)略委員會”認(rèn)為：提升日本競爭力，大數(shù)據(jù)應(yīng)用不可或缺。新ICT戰(zhàn)略重點關(guān)注大數(shù)據(jù)應(yīng)用所需的云計算、傳感器、社會化媒體等智能技術(shù)開發(fā)。新醫(yī)療技術(shù)開發(fā)、緩解交通擁堵等公共領(lǐng)域會得到大數(shù)據(jù)帶來的便利與貢獻。根據(jù)日本野村綜合研究所的分析顯示，日本大數(shù)據(jù)應(yīng)用帶來的經(jīng)濟效益將超過20萬億日元。

2013年初，英國商業(yè)、創(chuàng)新與技能部注資6億英鎊發(fā)展八類高新技術(shù)，大數(shù)據(jù)獨攬其中的1.89億英鎊。2013年5月初，英國在牛津大學(xué)建設(shè)了醫(yī)藥衛(wèi)生科研中心，以便綜合運用大數(shù)據(jù)技術(shù)在醫(yī)藥衛(wèi)生領(lǐng)域的應(yīng)用，促進醫(yī)療數(shù)據(jù)分析方面的新進展，幫助科學(xué)家更好地理解人類疾病及其治療方法；通過搜集、存儲和分析大量醫(yī)療信息，確定新藥物的研發(fā)方向，從而減少藥物開發(fā)成本；同時為發(fā)現(xiàn)新的治療手段提供線索。

2012年5月29日，聯(lián)合國“全球脈動”（global pulse）計劃發(fā)布《大數(shù)據(jù)開發(fā)：機遇與挑戰(zhàn)》報告。該報告指出，由于世界正變得越來越難以控制，而事物之間存在著相互聯(lián)系，政策制定者更傾向于利用包括社交網(wǎng)絡(luò)在內(nèi)的大數(shù)據(jù)資源造福人類。

國內(nèi)從2013年起，上海、重慶等地紛紛推出了各自的大數(shù)據(jù)戰(zhàn)略。2013年7月，上海市科學(xué)技術(shù)委員會發(fā)布《上海推進大數(shù)據(jù)研究與發(fā)展三年行動計劃（2013—2015年）》，并發(fā)起成立了上海大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟。其核心內(nèi)容是六大平臺和六大行業(yè)應(yīng)用：建立六大領(lǐng)域的大數(shù)據(jù)公共服務(wù)平臺，包括醫(yī)療衛(wèi)生、食品安全、終身教育、智慧交通、公共安全、科技服務(wù)，重點選取金融證券、互聯(lián)網(wǎng)、數(shù)字生活、公共設(shè)施、制造和電力等具有迫切需求的行業(yè)，開展大數(shù)據(jù)行業(yè)應(yīng)用研發(fā)。2013年7月30日重慶發(fā)布的《重慶市大數(shù)據(jù)行動計劃》，重點開展的應(yīng)用包括電子政務(wù)、民生服務(wù)、城市管理等行業(yè)。

1.2.2　大數(shù)據(jù)的趨勢

大數(shù)據(jù)于2012、2013年達到認(rèn)識高潮，2014年后對其認(rèn)知趨于理性（圖1-1，圖1-2）。

圖1-1和圖1-2是Gartner公司于2012年和2013年發(fā)布的技術(shù)發(fā)展趨勢預(yù)測。Gartner公司創(chuàng)立于1979年，是世界最大的IT研究與顧問咨詢公司。其每年發(fā)布的技術(shù)成熟度曲線（Hype Cycle）是科技產(chǎn)業(yè)界的風(fēng)向標(biāo)。技術(shù)成熟度曲線指的是企業(yè)用來評估新科技的可見度，利用時間軸與市面上的可見度（媒體曝光度）決定要不要采用新科技的一種工具。技術(shù)成熟度曲線是描述大數(shù)據(jù)發(fā)展趨勢很好的工具或資源。

2012年，Gartner公布了2012～2013年技術(shù)發(fā)展趨勢預(yù)測，分析了新技術(shù)和應(yīng)用創(chuàng)新帶來的變化，并預(yù)測技術(shù)發(fā)展的趨勢，公布了48項即將大熱的技術(shù)（圖1-1），與2013年公布的2013～2014年技術(shù)發(fā)展趨勢預(yù)測報告（圖1-2）比較，可以看出大數(shù)據(jù)發(fā)展態(tài)勢：2012年大數(shù)據(jù)處于上升的位置，而在2013年大數(shù)據(jù)達到巔峰狀態(tài)。

Google趨勢亦是描述大數(shù)據(jù)發(fā)展趨勢很好的工具或資源。Google趨勢分析通過主題在資訊文章中出現(xiàn)的頻率，以及經(jīng)常搜索它們的地理區(qū)域分布，反映全世界不同人所喜愛的主題關(guān)注度和研究熱度。當(dāng)我們以“Big Data”為搜索詞匯進行新聞搜索時，結(jié)果如圖1-3所示。2011年熱度曲線開始出現(xiàn)拐點，在2012年迅速上升，并于2014年出現(xiàn)歷史最高峰，以后則逐漸平穩(wěn)。

就國內(nèi)情況來看，“大數(shù)據(jù)”在2013年12月份開始出現(xiàn)拐點并快速上升，到2014年3月達到峰值，如圖1-4所示。而從圖1-5中可以看出，研究最熱的城市（省）分別為北京市、上海市和廣東省，緊接著為湖北省和四川省，搜索的關(guān)鍵詞主要為“大智慧數(shù)據(jù)”和“大數(shù)據(jù)量”。而上升速度最快的為“mysql大數(shù)據(jù)”“oracle大數(shù)據(jù)”“大數(shù)據(jù)分析”和“大數(shù)據(jù)時代”，如圖1-6所示。

在全球范圍內(nèi)，隨著大數(shù)據(jù)相關(guān)技術(shù)、產(chǎn)品、應(yīng)用和標(biāo)準(zhǔn)的不斷發(fā)展，逐漸形成了包括數(shù)據(jù)資源與API、開源平臺與工具、數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等板塊構(gòu)成的大數(shù)據(jù)生態(tài)系統(tǒng)，并持續(xù)發(fā)展和不斷完善。大數(shù)據(jù)的發(fā)展熱點呈現(xiàn)出從技術(shù)向應(yīng)用、再向治理的逐漸遷移。研究發(fā)展大數(shù)據(jù)技術(shù)、運用大數(shù)據(jù)推動經(jīng)濟發(fā)展、完善社會治理、提升政府服務(wù)和監(jiān)管能力正成為發(fā)展趨勢。

我國的互聯(lián)網(wǎng)大數(shù)據(jù)領(lǐng)域發(fā)展態(tài)勢良好。2012年6月，中國計算學(xué)會（china computer federation，CCF）成立大數(shù)據(jù)專家委員會，主要討論大數(shù)據(jù)的核心科學(xué)與技術(shù)問題。2013年12月1日，CCF大數(shù)據(jù)專家委員會發(fā)布了《中國大數(shù)據(jù)技術(shù)產(chǎn)業(yè)發(fā)展白皮書（2013年）》，提出了大數(shù)據(jù)采集與預(yù)處理、大數(shù)據(jù)存儲與管理、大數(shù)據(jù)計算模式與系統(tǒng)、大數(shù)據(jù)分析與挖掘、大數(shù)據(jù)可視化計算及大數(shù)據(jù)隱私與安全6個方面問題與挑戰(zhàn)、進展及發(fā)展趨勢。2015年9月，國務(wù)院發(fā)布《促進大數(shù)據(jù)發(fā)展行動綱要》，其中重要任務(wù)之一就是“加快政府?dāng)?shù)據(jù)開放共享，推動資源整合，提升治理能力”。

國家大數(shù)據(jù)戰(zhàn)略實施以來，地方政府紛紛響應(yīng)聯(lián)動、積極謀劃布局，大數(shù)據(jù)發(fā)展呈現(xiàn)出蓬勃之勢。國家發(fā)改委組織建設(shè)11個國家大數(shù)據(jù)工程實驗室，為大數(shù)據(jù)領(lǐng)域相關(guān)技術(shù)創(chuàng)新提供支撐和服務(wù)。“十三五”期間在國家重點研發(fā)計劃中實施了“云計算和大數(shù)據(jù)”重點專項，我國在大數(shù)據(jù)內(nèi)存計算、協(xié)處理芯片、分析方法等方面取得一些關(guān)鍵技術(shù)的突破，在大數(shù)據(jù)存儲、處理方面研發(fā)了一些重要產(chǎn)品，有效地支撐了大數(shù)據(jù)應(yīng)用；國內(nèi)互聯(lián)網(wǎng)公司推出的大數(shù)據(jù)平臺和服務(wù)，處理能力躋身世界前列，特別是我國在移動支付、網(wǎng)絡(luò)征信、電子商務(wù)等應(yīng)用領(lǐng)域取得國際先進甚至領(lǐng)先的重要進展。

目前，我國不同的行業(yè)領(lǐng)域正在積極推進數(shù)字化轉(zhuǎn)型、網(wǎng)絡(luò)化重構(gòu)、智能化提升，大力推動行業(yè)大數(shù)據(jù)的應(yīng)用。