1.3　Hadoop 3新特性

由于Hadoop 2.0是基于JDK 1.7開發的，而JDK 1.7在2015年4月已停止更新，這直接迫使Hadoop社區基于JDK 1.8重新發布一個新的Hadoop版本，即Hadoop 3.0。Hadoop 3.0中引入了一些重要的功能和優化，包括HDFS可擦除編碼、多NameNode支持、MR Native Task優化、YARN container resizing等。Hadoop 3.x以后將會調整方案架構，將MapReduce基于內存+IO+磁盤共同處理數據。改變最大的是HDFS，HDFS通過最近block塊計算，根據最近計算原則，本地block塊加入到內存先計算，再通過IO共享內存計算區域，最后快速形成計算結果。

根據官方change log（修改日志）的介紹，Hadoop 3新增的特性說明如下：

（1）最低支持JDK 1.8及以上版本。不再支持JDK 1.7。Hadoop版本與JDK版本之間的匹配關系為：

·　Apache Hadoop 3.3及更高版本支持Java 8和Java 11（僅運行時）。

·　請用Java 8編譯Hadoop。不支持用Java 11編譯Hadoop。

·　Apache Hadoop從3.0.x到3.2.x目前只支持Java 8。

·　Apache Hadoop從2.7.x到2.10.x支持Java 7和Java 8。

（2）YARN Timeline版本升為2.0。

（3）高可靠支持超過2個NameNode節點。如配置3個NameNode和5個JournalNode。

（4）默認端口變化，具體變化如圖1-5所示。

（5）從Hadoop 2.9開始添加了新的模塊：Oozie，自此Hadoop擁有5個核心模塊，以下是官方模塊列表：

·　Hadoop Common：支持其他Hadoop模塊的常用工具。

·　Hadoop分布式文件系統（HDFS）：Hadoop用于數據存儲的分布式文件系統，提供應用數據的高吞吐量訪問。

·　Hadoop YARN：用于作業調度和集群資源管理的框架。

·　Hadoop MapReduce：基于YARN框架，用于大數據集的處理的分布式并行計算框架。

·　Hadoop Ozone：是一個分布式對象存儲系統，提供的是一個Key-Value形式的對象存儲服務。

（6）Hadoop 3之后，已經不再建議使用root用戶啟動和管理Hadoop的進程。建議創建一個非root用戶來啟動和管理Hadoop的進程。建議創建一個名稱為hadoop的用戶，并設置hadoop用戶屬于wheel組。