如今是一個數據爆炸的時代，個人的圖片、視頻、文檔等數據很容易就可達到數百GB的規模，而企業的數據規模增長得更快，以互聯網搜索引擎公司為例，往往需要存儲爬蟲獲取的所有站點的原始網頁數據，同時還需要記錄數以億計網民的搜索點擊行為及日志等重要數據，這些數據的規模可以達到PB，甚至是EB級別。為了解決這些數據的存儲和相關計算問題就必須構建一個強大且穩定的分布式集群系統來作為搜索引擎的基礎架構支撐平臺，但是對大多數的互聯網公司而言，研發一個這樣的高效能系統往往要支付高昂的費用。然而值得慶幸的是Google在2004年公布了關于其基礎架構的兩篇核心論文GFS（TheGoogleFileSystem）和MapReduce（MapReduce：SimplifiedDataProcessingonLargeClusters），正是這兩篇論文奠定了Hadoop的理論和實踐基礎，而后頂級工程師DougCutting將Google的GFS分布式文件系統和MapReduce并行計算模型實現且命名為Hadoop，并將Hadoop開放源代碼貢獻給開源世界。經過多年的發展，如今已經形成了以Hadoop為核心的大數據生態系統，開創了通用海量數據處理基礎架構平臺的先河。