官术网_书友最值得收藏!

1.1.1 Hadoop 1.0

在Hadoop 1.0時代(包括Hadoop 0.x 和Hadoop 1.x),Hadoop由兩部分組成,一部分是作為分布式文件系統的HDFS,另一部分是作為分布式計算引擎的MapReduce。

HDFS在Hadoop 1.0時代的架構和在后兩個時代的基礎架構沒什么區別,都是采用主/從架構,其中NameNode為主節點,DataNode為從節點。Hadoop的研發團隊在研發初期就意識到了NameNode的重要性,故將其部分功能拆離出來作為Secondary NameNode。Secondary NameNode作為NameNode的一個冷備節點,定期將NameNode的操作日志合并成集群的狀態快照,這樣在NameNode重啟時可以加快啟動速度。HDFS的整體架構如圖1-1所示。

圖1-1 HDFS的整體架構

MapReduce在Hadoop 1.0時代的架構與在后兩個時代的架構相比,變化有點大。后兩個時代的架構主要對之前架構的功能進行解耦,并且對一些功能進行提煉,使其更加通用。在Hadoop 1.0時代,MapReduce也是采用主/從架構:其中主節點是JobTracker,負責集群資源的管理、任務調度以及跟蹤任務的狀態;從節點是TaskTracker,負責任務的執行與周期性地匯報本節點的資源使用情況和任務進度。其整體架構如圖1-2所示。

圖1-2 MapReduce的整體架構

由上述描述可知,MapReduce在Hadoop 1.0中除了是一個計算引擎,還是一個資源管理平臺。它可管理的資源包括內存和CPU,這些資源被抽象為一個slot。而slot又被細分為map slot和reduce slot,它們分別為Map任務和Reduce任務提供計算資源。

主站蜘蛛池模板: 诸城市| 平邑县| 绵阳市| 天峨县| 长岭县| 资阳市| 比如县| 龙里县| 雷山县| 贵定县| 监利县| 曲靖市| 新泰市| 台州市| 额济纳旗| 汪清县| 平乐县| 华宁县| 莱芜市| 英吉沙县| 万荣县| 恭城| 安康市| 梅州市| 明星| 鄂州市| 文水县| 南雄市| 和顺县| 普定县| 信丰县| 无为县| 三河市| 婺源县| 石嘴山市| 九江县| 广宁县| 綦江县| 澳门| 蒲江县| 读书|