1.2.3 大數據的特征、維度及技術

微視頻

大數據的特征、維度及技術

大數據通常用來形容某個組織或企業創造的大量非結構化和半結構化數據。面對復雜的大數據困擾，可以通過大數據的特征來理解。

1.大數據的特征

盡管大數據難于梳理，但可以提煉它的主要特點。大數據有4個層面特點，也可將其歸納為4個“V”——Volume、Variety、Value、Velocity。IBM則提出大數據的5V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。表1-4匯總了大數據特征。

1）數據體量巨大（大量）（Volume）。從TB級別，躍升到EB級別（1TB=1024GB；1PB=1024TB；1EB=1024PB）。

2）數據類型繁多（多樣）（Variety）。例如，網絡日志、視頻、圖片、地理位置信息等。

3）價值密度低（Value）。價值密度低，商業價值高。以視頻為例，在連續不間斷監控過程中，可能有用的數據僅僅有1～2s。

4）處理速度快（Velocity）。由通常的離線處理變為在線處理，由在線事務處理（OLTP）變為在線分析處理（OLAP）。數據是永遠在線的，是隨時能調用和計算的，這是大數據區別于傳統數據最大的特征。現在所談的大數據不僅僅是大，更重要的是數據變得在線了，這是互聯網高速發展背景下的特點。

表1-4 大數據特征

2.大數據的3個維度

下面系統地認識大數據的維度，可以從理論、技術和實踐3個維度來展開。圖1-10所示為大數據的3個維度。

（1）理論維度

理論是認知的必經途徑，也是被廣泛認同和傳播的基礎內容。從大數據的特征定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；從對大數據的現在和未來去洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

圖1-10 大數據的3個維度

（2）技術維度

技術是大數據價值體現的手段和前進的基石，分別從云計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從采集、處理、存儲到形成結果的整個過程。

（3）實踐維度

實踐是大數據的最終價值體現。從互聯網大數據、政府大數據、企業大數據和個人大數據4個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

3.大數據技術

大數據需要特殊的技術，以便有效地處理跨多個服務器和離散存儲的數據。適用于大數據的技術包括大規模并行處理數據庫、數據挖掘、信息可視化、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。