1.1 大數據的發展

近年來，隨著計算機和信息技術的迅猛發展和普及應用，行業應用系統的規模迅速擴大，行業應用所產生的數據呈爆炸性增長。互聯網（社交、搜索、電商）、移動互聯網（微博、微信）、物聯網（傳感器、智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂地產生數據。Google上每天需要處理24PB的數據；每個月網民在Facebook上要花費7 000億分鐘時間，被移動互聯網使用者發送和接受的數據量高達1.3EB；百度目前的總數據量已超過1000PB，每天需要處理的網頁數據達到10～100PB；每天亞馬遜上要產生630萬筆訂單；淘寶累計的交易數據量高達100PB;Twitter每天發布超過2億條消息，新浪微博每天發帖量達到8000萬條；每天會有2.88萬小時的視頻上傳到YouTube；中國移動一個省級公司的電話通聯記錄數據每月可達0.5～1PB；一個省會城市公安局道路車輛監控數據3年可達200億條、總量120TB。根據國際數據公司（IDC）的檢測，人類產生的數據量正呈指數級增長，大約每兩年翻一番，這個速度在2020年之前會繼續保持，意味著人類在最近兩年產生的數據量相當于之前產生的全部數據量。根據IDC的測算，到2020年數字世界將產生35 000EB 的數據。行業/企業大數據已遠遠超出了現有傳統的計算技術和信息系統的處理能力，因此，尋求有效的大數據處理技術、方法和手段已經成為現實世界的迫切需求。

前些年人們把大規模數據稱為“海量數據”，但大數據（Big Data）的概念早在2008年就已被提出。2008年，《自然》雜志出版了一期專刊，專門討論未來的大數據處理相關的一系列技術問題和挑戰，其中就提出了“Big Data”的概念。