內容簡介

近年來，以Apache Spark為代表的大數據處理框架在學術界和工業界得到了廣泛的使用。本書以Apache Spark框架為核心，總結了大數據處理框架的基礎知識、核心理論、典型的Spark應用，以及相關的性能和可靠性問題。本書分9章，主要包含四部分內容。

第一部分 大數據處理框架的基礎知識（第1～2章）：介紹大數據處理框架的基本概念、系統架構、編程模型、相關的研究工作，并以一個典型的Spark應用為例概述Spark應用的執行流程。

第二部分 Spark大數據處理框架的核心理論（第3～4章）：介紹Spark框架將應用程序轉化為邏輯處理的流程，進而轉化為可并行執行的物理執行計劃的一般過程及方法。

第三部分 典型的Spark應用（第5章）：介紹迭代型的Spark機器學習應用和圖計算應用。

第四部分 大數據處理框架性能和可靠性保障機制（第6～9章）：介紹Spark框架的Shuffle機制、數據緩存機制、錯誤容忍機制、內存管理機制等。

本書將幫助大數據系統的用戶、開發者、研究人員等從理論層和實現層深入理解大數據處理框架，也幫助其對大數據處理框架進一步優化改進。

未經許可，不得以任何方式復制或抄襲本書之部分或全部內容。

版權所有，侵權必究。