1.1 什么是大數據

大數據不是一項單一的技術，而是一個概念，是一套技術，是一個生態圈。大數據技術和專業術語多達幾十個，記錄了大數據從炒作到成熟并進入主流應用的過程。數據科學家、預測分析、開放政府數據，都屬于大數據范疇。大數據技術也逐漸變得越來越復雜。政府和企業希望從自己的數據中獲得更多的信息，軟件廠商希望將“大數據解決方案”融入公司的產品之中。在大數據軟件公司的助推下，政府和企業已經有能力利用廉價的服務器、開源技術和云計算來進行開銷不大的大數據部署。

對于什么是“大數據”，不同的研究機構從不同的角度給出了不同的定義。Gartner認為：“大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產”。麥肯錫認為：“大數據指的是大小超出常規的數據庫工具獲取、存儲、管理和分析能力的數據集。但它同時強調，并不是說一定要超過特定TB值的數據集才能算是大數據”。根據維基百科的定義，“大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合”。IDG認為：“大數據一般會涉及2種或2種以上數據形式，它要收集超過100TB的數據，并且是高速實時數據流；或者是從小數據開始，但數據每年會增長60%以上”。

從客戶的角度來看，大數據技術的戰略意義不在于擁有多么龐大的數據信息，而在于對這些含有意義的大數據進行專業化處理，從中獲得商業價值。比如，以色列已經把所有政府部門的視頻整合到一個大數據管理平臺上，并在這個平臺上開發了一套智慧安防系統。在這個系統上，只要把某一個人的人臉或人的主要特征數據輸入系統，就能從海量的監控記錄中查出同那個人相關的視頻片段，并自動變成一個有時間順序的片子。

隨著以云計算、大數據、物聯網等為代表的新一代信息技術的發展和應用，世界經濟進入了大轉型時代，主要發達國家以及國內發達省市都緊盯緊跟這一輪產業變革，試圖搶占未來經濟發展先機。大數據是一種產業，這種產業實現盈利的關鍵在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”，完成“數據變現”。這種加工能力體現在技術上就是大數據分析。簡言之，從各種各樣類型的數據中，快速獲得有價值信息的能力，就是大數據技術。大數據最核心的技術就是在于對于海量數據進行采集、存儲、管理和分析。