第3章 大數據的基礎設施

所謂基礎設施，是指在IT環境中，為具體應用提供計算、存儲、互聯和管理等基礎功能的軟硬件系統。在信息技術發展的早期，IT基礎設施往往由一系列昂貴的、經過特殊設計的軟硬件設備組成，存儲容量非常有限，系統之間也沒有高效的數據交換通道，應用軟件直接運行在硬件平臺上。在這種環境中，用戶不容易、也沒有必要去區分哪些部分屬于基礎設施，哪些部分屬于應用軟件。然而，隨著對新應用的需求不斷涌現，IT基礎設施發生了翻天覆地的變化。 

首先，應用軟件的業務邏輯變得日益復雜，人類對計算能力的需求似乎永遠無法被滿足。摩爾定律在過去的40年書寫了奇跡，并且奇跡似乎還在延續。在這奇跡的背后，是越來越廉價、越來越高效的計算能力。有了強大的計算能力，人類就有可能處理數量更為龐大的數據，而這又帶來對存儲的需求。再之后，對單一結點的改進已經顯得太慢了，需要把并行理論搬上臺面，更大限度地挖掘IT基礎設施的潛力。于是，網絡也蓬勃發展起來。由于硬件已經變得前所未有的復雜，專門管理硬件資源、為上層應用提供運行環境的系統軟件也順應歷史潮流，迅速發展壯大。