舉報

會員
Hadoop 3實戰指南
最新章節:
看完了
本書主要分析Hadoop3.2.0的新特性和新功能,共5章。首先簡單介紹Hadoop,讓剛接觸Hadoop的讀者對它有個基本了解;接著介紹目前使用比較多的分布式文件系統HDFS,內容涉及NameNode的原理、HA、HDFSFederation和HDFS3.0中新增的特性;然后從應用管理和資源調度這兩個方面介紹一個通用的資源管理平臺YARN;再后討論如何在YARN平臺中運行應用,比如如何將應用遷移到YARN平臺,以及非Hadoop的應用是如何兼容YARN模式的。最后,書中給出了一些工作實戰指南,包括如何搭建一個生產可用的Hadoop3.0集群;如何將現有Hadoop2.0集群升級到Hadoop3.0,及其在升級過程中遇到的問題;如何針對Hadoop進行二次開發,并參與社區,向社區貢獻代碼;一個大數據平臺應具備哪些必備組件等。
目錄(88章)
倒序
- 封面
- 版權信息
- 前言
- 第 1 章 Hadoop
- 1.1 簡介
- 1.1.1 Hadoop 1.0
- 1.1.2 Hadoop 2.0
- 1.2 Hadoop 3.0
- 1.3 閱讀Hadoop源碼
- 1.3.1 單元測試
- 1.3.2 斷點調試代碼
- 1.4 小結
- 第 2 章 HDFS
- 2.1 HDFS簡介
- 2.2 解析NameNode中的元數據及其內存結構
- 2.2.1 解析NameNode中的元數據
- 2.2.2 解析NameNode的內存結構
- 2.3 解析NameNode的HA功能
- 2.3.1 基于QJM的HA
- 2.3.2 故障轉移
- 2.3.3 多NameNode模式
- 2.4 HDFS的Federation
- 2.4.1 基于viewfs的Federation
- 2.4.2 基于Router的Federation
- 2.5 糾刪碼
- 2.5.1 糾刪碼的原理
- 2.5.2 HDFS EC
- 2.5.3 HDFS EC的實現
- 2.5.4 對比HDFS EC策略與三副本策略
- 2.6 下一代對象存儲系統Ozone
- 2.6.1 Ozone初體驗
- 2.6.2 Ozone架構
- 2.7 小結
- 第 3 章 YARN
- 3.1 YARN簡介
- 3.2 解析ResourceManager的HA功能
- 3.2.1 故障轉移
- 3.2.2 數據恢復
- 3.3 YARN Federation
- 3.3.1 架構
- 3.3.2 Router
- 3.3.3 State Store和Policy Store
- 3.3.4 AMRMProxy
- 3.3.5 跨子集群運行
- 3.4 中央調度器
- 3.4.1 Capacity調度器
- 3.4.2 Fair調度器
- 3.4.3 調度擴展
- 3.5 分布式調度器
- 3.5.1 分布式調度器的架構
- 3.5.2 opportunistic container
- 3.6 YARN Shared Cache
- 3.6.1 資源本地化
- 3.6.2 Shared Cache的架構
- 3.6.3 Shared Cache實例
- 3.7 小結
- 第 4 章 Application on YARN
- 4.1 MapReduce的簡介
- 4.2 MapReduce的源碼分析
- 4.2.1 InputSplit
- 4.2.2 環形緩沖區
- 4.2.3 溢寫和歸并
- 4.2.4 Shuffle
- 4.3 MapReduce on YARN
- 4.3.1 YARN的事件機制和狀態機機制
- 4.3.2 MR ApplicationMaster
- 4.4 Application on YARN
- 4.5 小結
- 第 5 章 實戰指南
- 5.1 Hadoop 3.x 的部署
- 5.1.1 Hadoop 3.x HA的部署
- 5.1.2 Hadoop 3.x Federation的部署
- 5.2 Hadoop升級
- 5.2.1 Hadoop 2.0升級為Hadoop 3.0
- 5.2.2 Hadoop 3.0降級為Hadoop 2.0
- 5.2.3 升級/降級中遇到的問題
- 5.3 二次開發
- 5.3.1 與其他自研系統融合
- 5.3.2 自身功能擴展之自動識別修復后的數據盤
- 5.3.3 合并社區Patch
- 5.3.4 提交Pull Request
- 5.4 周邊系統平臺
- 5.4.1 任務調度平臺
- 5.4.2 監控平臺
- 5.4.3 集群診斷分析平臺
- 5.5 小結
- 作者簡介
- 看完了 更新時間:2021-06-15 16:03:04
推薦閱讀
- 數據庫應用實戰
- DB29forLinux,UNIX,Windows數據庫管理認證指南
- 劍破冰山:Oracle開發藝術
- MySQL從入門到精通(第3版)
- Learning JavaScriptMVC
- 網站數據庫技術
- 從0到1:JavaScript 快速上手
- gnuplot Cookbook
- Splunk智能運維實戰
- 數據修復技術與典型實例實戰詳解(第2版)
- 改變未來的九大算法
- 活用數據:驅動業務的數據分析實戰
- Spring MVC Beginner’s Guide
- Python 3爬蟲、數據清洗與可視化實戰
- 改進的群智能算法及其應用
- 利用Python進行數據分析(原書第2版)
- 智能與數據重構世界
- Microsoft Dynamics NAV 2015 Professional Reporting
- 數據庫技術與應用:SQL Server 2008
- 大數據理論與工程實踐
- 從運維菜鳥到大咖,你還有多遠II:企業數據中心建設及管理
- 達夢數據庫開發實戰
- HBase應用實戰與性能調優
- 計算機視覺之深度學習:使用TensorFlow和Keras訓練高級神經網絡
- 算法通關之路
- DevOps實踐指南
- 數據結構:使用C語言(第4版)
- 以太坊技術詳解與實戰
- 數據庫云平臺理論與實踐
- 可視化分析與SAS實現