1.1 大數據技術的發展背景

大數據，即Big Data，一個如今人們已經耳熟能詳的概念，其實早在2008年就已經被提出來了。2008年，在Google成立10周年之際，世界著名雜志《自然》出版了一期專刊，專門討論與未來的大數據處理相關的一系列技術問題和挑戰，其中就提出了“Big Data”的概念。

大數據的概念能廣為人知其實要歸功于以下兩件事情：2011年麥肯錫全球研究院發布的研究報告《大數據：下一個創新、競爭和生產力的前沿》，該報告系統地闡述了大數據概念，并詳細列舉了大數據的核心技術。之后，經Gartner新興技術成熟度曲線（見圖1-1和圖1-2）和2012年維克托·邁爾-舍恩伯 格《大數據時代：生活、工作與思維的大變革》的宣傳推廣，大數據概念開始風靡全球。

1.1.1 大數據技術的發展過程

大數據技術的出現比大數據的概念被正式提出要早得多，到目前為此已經歷了多個不同的發展階段。

1.萌芽階段

20世紀90年代至21世紀初，是大數據技術發展的萌芽期。在此階段，數據庫技術已逐步成熟，數據挖掘理論也不斷完善，因此也被稱為數據挖掘技術階段。在這期間，一批商業智能工具和知識管理技術開始被應用，如數據倉庫、專家系統、知識管理系統等。此時，對于大數據處理的研究主要集中于算法（algorithms）、模型（model）、模式（patterns）、標識（identification）等領域。

2.突破階段

2003至2006年是大數據技術發展的突破期。在此階段，學術界和企業界開始從多角度對數據處理系統、數據庫架構進行重新思考。以2004年Facebook的創立為標志，Web 2.0應用（如社交網絡、電子商務等）的流行，直接導致了非結構化數據的大量涌現，使得傳統數據庫處理方法難以應對，從而導致了大數據技術的異軍突起。該階段也被稱為非結構化數據階段。此時，非結構化數據處理得到了廣泛而深入的探索和研究，但仍然沒有形成共識。

3.成熟階段

2006至2009年，是大數據技術發展的成熟階段。首先，在2003年和2004年，Google公司先后公開發表了兩篇論文——The Google File System（《谷歌文件系統》）、MapReduce: Simplified Data Processing on Large Clusters（《基于集群的簡單數據處理：MapReduce》），公開了Google搜索引擎基于大數據處理的解決方案。其核心技術包括分布式文件系統GFS、分布式計算系統框架MapReduce、分布式鎖機制Chubby以及分布式數據庫BigTable等。以此為基礎，從2006年開始， Apache基金會的開源社團和企業紛紛推出了各種各樣的Google大數據技術的開源實現，從而推動大數據技術逐漸走向了成熟。在此期間，大數據技術研究的焦點是性能（performance）、云計算（cloud computing）、大規模數據集并行運算算法（MapReduce）以及開源分布式系統基礎架構（Hadoop）等。

4.應用階段

2009年至今，大數據技術架構和大數據技術生態系統越來越完善，尤其是Hadoop大數據技術平臺的成熟，標志著大數據技術的發展正式進入了落地應用階段。學術界和企業界紛紛開始從大數據技術的基礎性研究轉向大數據技術的應用研究。到2013年時，大數據技術開始向商業、科技、醫療、政府、教育、經濟、交通、物流、人文以及社會的其他領域進行全面深入滲透，從而引起了整個社會的變革。因此，2013 年被稱為“大數據元年”。如今，大數據正在影響社會的方方面面，并已成長為一種能催生各行各業變革的巨大力量。

1.1.2 大數據技術的影響

近年來，大數據不斷向社會各行各業滲透，使得大數據的技術領域和行業邊界越來越模糊，應用創新已超越技術本身而受到更多青睞。大數據技術已經為每一個領域帶來了變革性影響，并且正在成為各行各業顛覆性創新的原動力和助推器。

1.大數據技術在國外

由于大數據處理需求的迫切性和重要性，近年來大數據技術已經得到全球各行業的高度關注和重視，掀起了一個可與20世紀90年代的信息高速公路相提并論的研究熱潮。美國和歐洲一些發達國家政府都從國家科技戰略層面提出了一系列的大數據技術研究計劃，以推動政府機構、重大行業、學術界和工業界對大數據技術的研究和應用。

早在2010年12月，美國總統辦公室下屬的科學技術顧問委員會和信息技術顧問委員會就向奧巴馬和國會提交了一份《規劃數字化未來》的戰略報告，把大數據收集和使用的工作提升到了體現國家意志的戰略高度。該報告列舉了5個貫穿各個科技領域的共同挑戰，而第一個最重大的挑戰就是“數據”問題。該報告指出：“如何收集、保存、管理、分析、共享正在呈指數增長的數據是我們必須面對的一個重要挑戰”。該報告建議：“聯邦政府的每一個機構和部門，都需要制定一個‘大數據’的戰略”。2012年3月，美國總統奧巴馬簽署并發布了一個“大數據研究發展創新計劃”(Big Data R&D Initiative)，由美國國家自然基金會、衛生健康總署、能源部、國防部等6大部門聯合，投資2億美元啟動大數據技術研發，這是美國政府繼1993年宣布“信息高速公路”計劃后的又一次重大科技發展部署。美國白宮科技政策辦公室還專門支持建立了一個大數據技術論壇，鼓勵企業和組織機構間的大數據技術交流與合作。

2012年7月，聯合國在紐約發布了一本關于大數據政務的白皮書《大數據促發展：挑戰與機遇》，全球大數據的研究和發展進入了前所未有的高潮。該白皮書總結了各國政府如何利用大數據響應社會需求，指導經濟運行，更好地為國民服務，并建議成員國建立“脈搏實驗室”，挖掘大數據的潛在價值。

2013年5月，麥肯錫全球研究院（McKinsey Global Institute）發布了一份名為《顛覆性技術：技術進步改變生活、商業和全球經濟》的研究報告。該報告指出未來的12種新興技術有望在2025年帶來14萬億至33萬億美元的經濟效益。出人意料的是，在這份報告中最為熱門的大數據技術卻未被列入其中。麥肯錫的解釋是，大數據已成為12種技術中許多技術的基石，包括移動互聯、知識工作自動化、物聯網、云計算、機器人、自動汽車、基因組學等。

2014年5月，美國政府發布了2014年全球大數據白皮書的研究報告《大數據：抓住機遇、守護價值》。該報告提出要使用數據來推動社會進步，特別是在市場與現有的機構并未以其他方式來支持這種進步的領域；同時，也需要相應的框架、結構與研究來保護個人隱私、公平以及反歧視的社會信仰。

2014年4月，世界經濟論壇也以“大數據的回報與風險”為主題發布了《全球信息技術報告（第13版）》。該報告認為，在未來幾年中針對各種信息通信技術的政策甚至會顯得更加重要。

2.大數據技術在我國

為了緊跟全球大數據技術發展的浪潮，我國政府、學術界和工業界對大數據也予以了高度關注。中央電視臺分別于2013年4月14日和21日邀請了《大數據時代——生活、工作與思維的大變革》作者維克托·邁爾-舍恩伯格，以及美國大數據存儲技術公司LSI總裁阿比分別做客《對話》節目，做了兩期大數據專題談話節目《誰在引爆大數據》《誰在掘金大數據》。國家央視媒體對大數據的關注和宣傳，充分體現了大數據技術已經成為國家和社會普遍關注的焦點。

國內的學術界和企業界也都迅速地行動了起來，廣泛地開展了對大數據技術的研發。為了推動我國大數據技術的研究發展，2012年中國計算機學會發起并組織了大數據專家委員會，該委員會還特別成立了一個“大數據技術發展戰略報告”撰寫組，撰寫發布了《2013年中國大數據技術與產業發展白皮書》。2013年以后，國家自然科學基金、973計劃、核高基、863等重大研究計劃都已經把大數據研究列為重大研究課題。

2015年9月，國務院印發《促進大數據發展行動綱要》，系統部署了大數據發展工作。該綱要明確提出要推動大數據發展和應用，在未來 5~10 年打造精準治理、多方協作的社會治理新模式，建立運行平穩、安全高效的經濟運行新機制，構建以人為本、惠及全民的民生服務新體系，開啟大眾創業、萬眾創新的創新驅動新格局，培育高端智能、新興繁榮的產業發展新生態。該綱要部署了三方面主要任務。一要加快政府數據開放共享，推動資源整合，提升治理能力。大力推動政府部門數據共享，穩步推動公共數據資源開放，統籌規劃大數據基礎設施建設，支持宏觀調控科學化，推動政府治理精準化，推進商事服務便捷化，促進安全保障高效化，加快民生服務普惠化。二要推動產業創新發展，培育新興業態，助力經濟轉型。發展大數據在工業、新興產業、農業農村等行業領域應用，推動大數據發展與科研創新有機結合，推進基礎研究和核心技術攻關，形成大數據產品體系，完善大數據產業鏈。三要強化安全保障，提高管理水平，促進健康發展。健全大數據安全保障體系，強化安全支撐。

2016年3月17日，國家“十三五”規劃綱要發布。該綱要明確指出：一是加快政府數據開放共享。全面推進重點領域大數據高效采集、有效整合，深化政府數據和社會數據關聯分析、融合利用，提高宏觀調控、市場監管、社會治理和公共服務的精準性和有效性。依托政府數據統一共享交換平臺，加快推進跨部門數據資源共享。加快建設國家政府數據統一開放平臺，推動政府信息系統和公共數據互聯開放共享。制定政府數據共享開放目錄，依法推進數據資源向社會開放。統籌布局建設國家大數據平臺、數據中心等基礎設施。研究制定數據開放、保護等法律法規，制定政府信息資源管理辦法。二是促進大數據產業健康發展。深化大數據在各行業的創新應用，探索與傳統產業協同發展新業態新模式，加快完善大數據產業鏈。加快海量數據采集、存儲、清洗、分析發掘、可視化、安全與隱私保護等領域關鍵技術攻關。促進大數據軟硬件產品發展。完善大數據產業公共服務支撐體系和生態體系，加強標準體系和質量技術基礎建設。

1.1.3 大數據發展的重大事件

2005年Hadoop項目誕生。Hadoop最初只是雅虎公司用來解決網頁搜索問題的一個項目，后來因其技術的高效性，被Apache 基金會引入并成為開源應用。Hadoop本身不是一個軟件產品，而是由多個軟件產品組成的一個生態系統，這些產品共同實現了功能全面和靈活的大數據分析。Hadoop由兩個核心構成：HDFS和MapReduce。HDFS是Hadoop分布式文件系統，用于提供可靠數據存儲服務。MapReduce則用于提供高性能的并行數據處理服務。

2008 年年末，“大數據”得到部分美國知名計算機科學研究人員的認可，業界組織計算社區聯盟 （Computing Community Consortium），發表了一份有影響力的白皮書《大數據計算：在商務、科學和社會領域創建革命性突破》，使人們的思維不再局限于進行數據處理的機器，并提出“大數據真正重要的是新用途和新見解，而非數據本身”。

2009年，印度政府建立了用于身份識別管理的生物識別數據庫，而聯合國全球脈沖項目也已研究了如何利用手機和社交網站的數據源來分析預測從螺旋CT價格到疾病暴發之類的問題。

2009年，美國政府通過啟動data.gov網站的方式進一步開放了數據的大門，這個網站向公眾提供了4萬多個各種各樣的政府數據集，這些數據集可以面向一些智能手機應用程序，提供從航班到產品召回再到特定區域內失業率的跟蹤信息。這一行動推動從肯尼亞到英國范圍內的政府相繼推出了類似舉措。

2009年，歐洲一些領先的研究型圖書館和科技信息研究機構建立了伙伴關系，致力于改善在互聯網上獲取科學數據的簡易性。

2010年2月，肯尼斯·庫克爾在《經濟學人》上發表了長達14頁的大數據專題報告《數據，無所不在的數據》。庫克爾在報告中提到：世界上有著無法想象的海量數字信息，并以極快的速度增長。從經濟界到科學界，從政府部門到藝術領域，很多方面都已經感受到了這種海量信息的影響。科學家和計算機工程師已經為這個現象創造了一個新詞：“大數據”。庫克爾也因此成為最早洞見大數據時代趨勢的數據科學家之一。

2011年2月，IBM最新研發的沃森超級計算機每秒可掃描并分析4TB（約2億頁文字量）的數據量，并在美國著名智力競賽電視節目《危險邊緣》上擊敗兩名人類選手而奪冠。后來紐約時報認為這一刻是一次“大數據計算的勝利”。

2011年5月，全球知名咨詢公司麥肯錫全球研究院（MGI）發布了一份報告——《大數據：創新、競爭和生產力的下一個新領域》，大數據開始備受關注，這也是專業機構第一次全方面地介紹和展望大數據。該報告指出，大數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。報告還提到，“大數據”源于數據生產和收集的能力和速度的大幅提升——由于越來越多的人、設備和傳感器通過數字網絡連接起來，產生、傳送、分享和訪問數據的能力也得到了徹底變革。

2011年11月，工業和信息化部發布了《物聯網“十二五”發展規劃》，在關鍵技術創新工程部分，信息處理技術作為四項之一被提出來，其中的核心內容是海量數據存儲、數據挖掘、圖像視頻智能分析，而這些都是大數據的重要組成部分。

2012年1月，在瑞士達沃斯舉辦的世界經濟論壇上，大數據是主題之一，會上發布的報告《大數據，大影響》（Big Data, Big Impact）宣稱，數據已經成為一種新的經濟資產類別，就像貨幣或黃金一樣。

2012年3月，美國奧巴馬政府在白宮網站上發布了《大數據研究和發展倡議》，這一倡議標志著大數據已經成為重要的時代特征。2012年3月22日，奧巴馬政府宣布將2億美元投資于大數據領域，是大數據技術從商業行為上升到國家科技戰略的分水嶺。在23日的電話會議中，美國政府將數據比喻為“未來的新石油”，并表示大數據技術領域的競爭事關國家安全和未來，即：國家層面的競爭力將部分體現為一國擁有數據的規模、活性以及解釋、運用的能力，國家數字主權體現為對數據的占有和控制。數字主權將是繼邊防、海防、空防之后，另一個大國博弈的空間。

2012年4月，美國軟件公司Splunk于19日在納斯達克成功上市，成為第一家上市的大數據處理公司。鑒于美國經濟持續低靡、股市持續振蕩的大背景，Splunk股份在首日就暴漲了一倍多的突出交易表現尤其令人們印象深刻。Splunk是一家領先的提供大數據監測和分析服務的軟件提供商，成立于2003年。Splunk成功上市促進了資本市場對大數據的關注，同時也促使IT廠商加快了大數據布局。

2012年7月，聯合國在紐約發布了一份關于大數據政務的白皮書，總結了各國政府如何利用大數據更好地服務和保護人民。這份白皮書舉例說明了在一個數據生態系統中，個人、公共部門和私人部門各自的角色、動機和需求。例如，通過對價格關注和更好服務的渴望，個人提供數據和眾包[1]信息，并對隱私和退出權力提出需求；公共部門出于改善服務、提升效益的目的，提供了諸如統計數據、設備信息、健康指標及稅務和消費信息等，并對隱私和退出權力提出需求；私人部門出于提升客戶認知和預測趨勢的目的，提供匯總數據、消費和使用信息，并對敏感數據所有權和商業模式更加關注。白皮書還指出，人們如今可以使用豐富的數據資源，包括舊數據和新數據，來對社會人口進行前所未有的實時分析。聯合國還以愛爾蘭和美國的社交網絡活躍度增長可以作為失業率上升的早期征兆為例表明，政府如果能合理分析所掌握的數據資源，將能“與數俱進”，快速應變。

2012年7月，為挖掘大數據的價值，阿里巴巴集團在管理層設立“首席數據官”一職，負責全面推進“數據分享平臺”戰略，并推出大型的數據分享平臺——“聚石塔”，為天貓、淘寶平臺上的電商及電商服務商等提供數據云服務。隨后，阿里巴巴董事局主席馬云在2012年網商大會上發表演講，稱從2013年1月1日起將轉型重塑平臺、金融和數據三大業務。馬云強調：“假如我們有一個數據預報臺，就像為企業裝上了一個GPS和雷達，你們出海將會更有把握。”因此，阿里巴巴集團希望通過分享和挖掘海量數據，為國家和中小企業提供價值。此舉是國內企業最早把大數據提升到企業管理層高度的一個重大里程碑。阿里巴巴也是最早提出通過數據進行企業數據化運營的企業。

2013年1月24日，英國商業、創新和技能部宣布，英國政府將注資6億英鎊（1英鎊約合1.57美元），發展大數據、合成生物等8類高新技術。其中，1.89億英鎊用來發展大數據技術。同年7月，中國上海市發布了《上海推進大數據研究與發展三年行動計劃》（2013—2015年）。2016年9月，上海市又發布了《上海市大數據發展實施意見》，并于同年10月獲批成立國家大數據示范綜合試驗區。

2014年4月，世界經濟論壇以“大數據的回報與風險”為主題發布了《全球信息技術報告（第13版）》。報告認為，在未來幾年中針對各種信息通信技術的政策甚至會顯得更加重要。報告表示，接下來將針對數據保密和網絡管制等議題展開積極討論。全球大數據產業的日趨活躍，技術演進和應用創新的加速發展，使各國政府逐漸認識到了大數據在推動經濟發展、改善公共服務、增進人民福祉，乃至保障國家安全方面的重大意義。

2014年5月，美國白宮發布了2014年全球大數據白皮書的研究報告《大數據：抓住機遇、守護價值》。報告鼓勵使用數據以推動社會進步，特別是在市場與現有的機構并未以其他方式來支持這種進步的領域；同時，也需要相應的框架、結構與研究，來幫助保護美國人對于保護個人隱私、確保公平或是防止歧視的堅定信仰。

2015年9月，國務院正式印發《促進大數據發展行動綱要》，以推動大數據發展和應用。

2016年3月17日，國家“十三五”規劃綱要發布。該綱要提出要實施國家大數據戰略，把大數據作為基礎性戰略資源，全面實施促進大數據發展行動，加快政府數據開放共享，促進大數據產業健康發展。

2016年7月14日，首屆中國大數據應用大會在成都拉開帷幕，國內外行業專家、龍頭企業、行業用戶及主流媒體云集成都，共商大數據應用之道。該大會以“大數據與智能時代”為主題，圍繞智能制造、大數據核心技術、地理信息與大數據、大數據與健康醫療、大數據與互聯網金融、宏觀經濟大數據等當前熱點領域展開了討論。