1.2 大數據

大數據迅速發展成為當今科技界和企業界甚至世界各國政府關注的熱點。《自然》（Nature）和《科學》（Science）等國際頂尖學術期刊相繼出版專刊探討大數據帶來的機遇和挑戰。美國把大數據視為“未來的新石油”，一個國家擁有數據的規模和運用數據的能力將成為綜合國力的重要組成部分，對數據的占有和控制將成為國家間和企業間新的爭奪焦點。“大數據時代”已然來臨。

迄今為止并沒有公認的關于“大數據”的定義。一般認為大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。從宏觀世界角度看，大數據是融合物理世界、信息空間和人類社會三元世界的紐帶。從信息產業角度看，作為新一代信息技術重要組成部分的大數據已成為經濟增長的新引擎。從社會經濟角度看，大數據已成為第二經濟的核心和支撐。第二經濟是指處理器、傳感器和執行器等，以及運行在其上的經濟活動。

相較于傳統數據，人們將大數據的特征總結成“4V”，即數據量大（Volume）、多樣性（Variety）、價值密度低（Value）和高速度（Velocity）。大數據的主要難點并不在于數據量大，因為通過對計算機系統的擴展可以在一定程度上緩解數據量大帶來的挑戰。大數據真正難點來自數據多樣性和高速度。數據類型多樣使得系統不僅要處理結構化數據，還要處理文本和視頻等非結構化數據。在金融分析、航空航天等行業，數據處理速度要求非常高，時間就是效益。傳統的數據處理算法無法滿足快速響應的需求，因此迫切需要新型算法的支持。為了應對大數據面臨的挑戰，以Google為代表的互聯網企業近幾年推出了各種不同類型的大數據處理系統，推進了深度學習、知識計算和可視化等技術在大數據背景下的發展。