- Hadoop 3實戰指南
- 孫志偉
- 483字
- 2021-06-15 16:02:45
1.1.1 Hadoop 1.0
在Hadoop 1.0時代(包括Hadoop 0.x 和Hadoop 1.x),Hadoop由兩部分組成,一部分是作為分布式文件系統的HDFS,另一部分是作為分布式計算引擎的MapReduce。
HDFS在Hadoop 1.0時代的架構和在后兩個時代的基礎架構沒什么區別,都是采用主/從架構,其中NameNode為主節點,DataNode為從節點。Hadoop的研發團隊在研發初期就意識到了NameNode的重要性,故將其部分功能拆離出來作為Secondary NameNode。Secondary NameNode作為NameNode的一個冷備節點,定期將NameNode的操作日志合并成集群的狀態快照,這樣在NameNode重啟時可以加快啟動速度。HDFS的整體架構如圖1-1所示。

圖1-1 HDFS的整體架構
MapReduce在Hadoop 1.0時代的架構與在后兩個時代的架構相比,變化有點大。后兩個時代的架構主要對之前架構的功能進行解耦,并且對一些功能進行提煉,使其更加通用。在Hadoop 1.0時代,MapReduce也是采用主/從架構:其中主節點是JobTracker,負責集群資源的管理、任務調度以及跟蹤任務的狀態;從節點是TaskTracker,負責任務的執行與周期性地匯報本節點的資源使用情況和任務進度。其整體架構如圖1-2所示。

圖1-2 MapReduce的整體架構
由上述描述可知,MapReduce在Hadoop 1.0中除了是一個計算引擎,還是一個資源管理平臺。它可管理的資源包括內存和CPU,這些資源被抽象為一個slot。而slot又被細分為map slot和reduce slot,它們分別為Map任務和Reduce任務提供計算資源。
推薦閱讀
- 數據浪潮
- Oracle RAC 11g實戰指南
- 數據結構與算法(C語言版)
- Creating Dynamic UIs with Android Fragments(Second Edition)
- 智能數據分析:入門、實戰與平臺構建
- Instant Autodesk AutoCAD 2014 Customization with .NET
- R Object-oriented Programming
- Visual FoxPro數據庫技術基礎
- 企業級大數據項目實戰:用戶搜索行為分析系統從0到1
- 數字化轉型實踐:構建云原生大數據平臺
- 數據中心UPS系統運維
- 從零進階!數據分析的統計基礎(第2版)
- SQL Server 數據庫教程(2008版)
- MySQL 8.0從入門到實戰
- 實用數據結構基礎(第四版)