- Spark大數據商業實戰三部曲:內核解密|商業案例|性能調優
- 王家林
- 180字
- 2019-12-12 17:30:00
第7章
Shuffle原理和源碼詳解
本章對Shuffle原理和源碼進行剖析。7.1節講解MapReduce的Shuffle架構;7.2節講解Shuffle的框架、框架內核、Shuffle數據讀寫的源碼解析;7.3節講解Hash Based Shuffle內核及Hash Based Shuffle數據讀寫的源碼解析;7.4節講解Sorted Based Shuffle內核及數據讀寫的源碼解析;7.5節講解Tungsten Sorted Based內核及Tungsten Sorted Based數據讀寫的源碼解析;7.6節講解Shuffle與Storage模塊間的交互以及Shuffle注冊的交互,Shuffle讀寫數據的交互,并講解BlockManager架構原理及源碼,解密BlockManager進階的相關內容。