1.1.1　大數據的發展歷程

大數據的發展歷程一般可以劃分為5個階段，即大數據出現階段、大數據初級階段、大數據熱門階段、大數據時代特征階段、大數據爆發期階段。

1.大數據出現階段（1980—2001年）

著名未來學家阿爾文·托夫勒所著的《第三次浪潮》中將“大數據”稱為“第三次浪潮的華彩樂章”。1997年，美國國家航空航天局的兩位研究員邁克爾·考克斯和戴維·埃爾斯沃斯在第八屆可視化會議上首次使用“大數據”一詞，其用來描述模擬飛機周圍的氣流——是不能被處理和可視化的，因為其數據集通常非常大，超出了主存儲器、本地磁盤，甚至遠程磁盤的承載能力，稱之為“大數據問題”。

2.大數據初級階段（2002—2008年）

在“9·11”事件后，美國政府為阻止恐怖主義，開始涉足大規模數據挖掘。美國國防部整合現有政府的數據集，組建了一個集合通信、犯罪、教育、金融、醫療和旅行等記錄來識別可疑人的大數據庫，但一年后該數據庫停止使用。大數據在云計算出現之后才凸顯其真正價值，谷歌在2006年首次提出云計算的概念。2007—2008年，隨著社交網絡的激增，大數據的概念被注入新的生機。2008年9月，《自然》雜志推出了名為“大數據”的封面專欄。

3.大數據熱門階段（2009—2011年）

2009—2010年，“大數據”成為互聯網行業的熱門詞匯。2009年，印度建立了用于身份識別管理的生物識別數據庫，聯合國全球脈沖項目研究了如何利用手機和社交網站的數據來分析預測疾病暴發之類的問題；歐洲一些領先的研究型圖書館和科技信息研究機構建立了伙伴關系，致力于改善在互聯網上獲取科學數據的難度。2010年，肯尼斯庫克爾發表大數據專題報告《數據，無所不在的數據》。2011年，IBM的沃森計算機系統在智力競賽節目《危險邊緣》中打敗了兩名人類挑戰者，《紐約時報》稱這一刻為“大數據計算的勝利”。2011年6月，麥肯錫發布了關于大數據的報告，正式定義了大數據的概念，并逐漸受到了各行各業的關注。2011年11月28日，工業和信息化部發布了《物聯網“十二五”發展規劃》，將信息處理技術作為4項關鍵技術創新工程之一提出，其中包括海量數據存儲、數據挖掘、圖像視頻智能分析，這些是大數據的重要組成部分。

4.大數據時代特征階段（2012—2016年）

《大數據時代》一書中將大數據的影響分為3個不同的層面，分別是思維變革、商業變革和管理變革。“大數據”這個概念乘著互聯網的浪潮在各行各業扮演了舉足輕重的角色。

2012年，大數據被越來越多地提及，人們用它來描述和定義信息爆炸時代產生的海量數據，并命名與之相關的技術發展與創新。數據正在迅速膨脹，隨著時間的推移，人們越來越意識到數據的重要性。

2012年1月，在瑞士達沃斯世界經濟論壇上發布的《大數據　大影響》宣稱，數據已經成為一種新的經濟資產類別。2012年，美國奧巴馬政府在白宮網站發布了《大數據研究和發展倡議》，標志著大數據已經成為重要的時代特征；2012年3月22日，奧巴馬政府宣布投資2億美元在大數據領域，這是大數據技術從商業行為上升到國家科技戰略的分水嶺。2011年，韓國提出了“大數據中心戰略”；2012年，美國頒布了《大數據的研究和發展計劃》；2013年6月，日本發布了《創建最尖端IT國家宣言》；2013年10月，英國發布了《英國數據能力發展戰略規劃》；世界上其他一些國家也制定了相應的戰略和規劃。2012年7月，聯合國在紐約發布了《大數據促發展：挑戰與機遇》，總結了各國政府如何利用大數據更好地服務和保護人民。2012年7月，為挖掘大數據的價值，阿里巴巴在管理層設立“首席數據官”一職，負責全面推進“數據分享平臺”戰略，并推出大型數據分享平臺——“聚石塔”，為天貓、淘寶平臺上的電商及電商服務商等提供數據云服務。

2013年被稱為中國的“大數據元年”，大數據因互聯網和信息行業的發展而引起人們關注，并開始在我國逐漸展開應用，在社會的各個領域探索與落地實踐。阿里巴巴于2013年1月1日轉型重塑平臺、金融和數據三大業務，阿里巴巴是最早提出通過數據進行企業數據化運營的企業。2013年，在全球70個開放數據國家和地區中，中國僅列第35位。2013年，英國政府宣布注資6億英鎊發展8類高新技術，其中，1.89億英鎊用來發展大數據技術，旨在開放歐盟公共管理部門的所有信息。大數據掀起的變革，對生產力和生產關系產生了重要影響。

2014年，數據開放運動已覆蓋全球44個國家。2014年4月，世界經濟論壇以“大數據的回報與風險”為主題發布了《全球信息技術報告（第13版）》；2014年5月，美國白宮發布了全球“大數據”研究報告《大數據：抓住機遇，守護價值》。2014年，“大數據”首次出現在我國《政府工作報告》中，設立新興產業創業創新平臺，在新一代移動通信、集成電路、大數據、先進制造、新能源、新材料等方面趕超先進，引領未來產業發展。2014年8月7日，國務院通過《企業信息公示暫行條例》（國務院令第654號），原則是實現企業信息的互聯共享，運用大數據等手段提升監管水平。

2015年9月5日，《國務院關于印發促進大數據發展行動綱要的通知》發布；2015年10月26—29日，黨的十八屆五中全會召開，提出要實施“國家大數據戰略”，這標志著大數據戰略正式上升為國家戰略，開啟了我國大數據建設的新篇章。

2016年12月18日，工業與信息化部正式印發《大數據產業發展規劃（2016—2020年）》。據《中國大數據發展調查報告》統計，2016年中國大數據市場規模為168.0億元，同比增速達到45%。

5.大數據爆發期階段（2017—2022年）

2017年，在政策、法規、技術、應用等多重因素的推動下，我國基本形成了跨部門數據共享共用的格局。北京、天津、上海、重慶、河北、遼寧、貴州、山西等省市政府相繼出臺了大數據研究與發展行動計劃，展開區域數據中心資源匯集與集中建設。北京、上海、貴陽開展了大數據標準試點示范，全國至少有13個省份成立了21家大數據管理機構，已有35所高校獲批“數據科學與大數據技術”本科專業、62所專科院校開設“大數據技術與應用”專科專業，申報“數據科學與大數據技術”本科專業的院校達到293所。

2017年，我國大數據產業發展進入爆發期。《2017中國地方政府數據開放平臺報告》《大數據安全標準化白皮書（2017版）》《中國大數據發展調查報告（2017年）》《工業大數據白皮書（2017版）》等陸續發布。2016年12月15日，《“十三五”國家信息化規劃》發布。

在2018拉斯維加斯消費電子展（CES）上，美國消費技術協會總裁兼首席執行官加里·夏皮羅、英特爾首席執行官布萊恩·克爾扎尼奇等表示，大數據將對人類生活產生深遠影響，大數據是未來科技浪潮發展不容忽視的巨大推動力量。2018年，許多國家都對大數據產業發展展現出高度的熱情：美國希望利用大數據技術實現多個領域的突破，包括科研教學、環境保護、工程技術、國土安全、生物醫藥等，涉及美國國家科學基金會、美國國家衛生研究院、美國國防部、美國能源部、美國國防部高級研究局、美國地質勘探局6個聯邦部門和機構；歐盟在大數據方面的活動主要有4個方面，即研究數據價值鏈戰略因素，資助“大數據”和“開放數據”領域的研究和創新活動，實施開放數據政策，促進公共資助科研實驗成果和數據的使用及再利用。

2019年，隨著互聯網發展，全球大數據量呈現爆發式增長，中國數據量增長最迅速，年平均增長速度比全球快3%。大數據產業將不斷豐富商業模式，構建多種多樣的市場格局，具有廣闊的發展空間。2018年，我國產生的數據量約為7.6ZB，美國產生的數據量約為6.9ZB。截至2019年6月，中國網民數量達8.54億人。2019年12月5日，2019中國（上海）大數據產業創新峰會在上海召開，會議按照“融合創新”的宗旨，圍繞大數據產業創新鏈營造積極、良好的生態氛圍。

大數據發展浪潮席卷全球。以美國、英國、韓國和日本為代表的發達國家一向重視大數據在促進經濟發展和社會變革、提升國家整體競爭力等方面的重要作用，把大數據視為重要的戰略資源，大力搶抓大數據技術與產業發展先發優勢，積極捍衛本國數據主權，力爭在數字經濟時代占得先機。美國實施“三步走”戰略，推進大數據產業發展，對大數據應用及其產業發展持續關注，并督促相關部門實施大數據重大項目，構建并開放高質量的數據庫。

大數據產業或開源大數據商業化有七大特點：一是開源大數據商業化進一步深化；二是大數據行業分析應用開拓新市場；三是大數據細分市場規模進一步擴大；四是大數據推動公司并購規模和數量進一步提升；五是大數據分析的革命性方法出現；六是大數據與云計算深度融合；七是大數據一體機將陸續發布。

隨著全球化進入加速發展期，大數據技術走向“大數據+行業”融合發展階段。同時，大數據產業保持良好發展勢頭，滲透、融合到各行業全面發展。其中，互聯網大數據與工業大數據的差別和聯系如表1-1所示。