- Spark大數據商業實戰三部曲:內核解密|商業案例|性能調優
- 王家林
- 191字
- 2019-12-12 17:29:56
4.6 本章總結
本章內容緊緊圍繞Spark調度器(Scheduler)的運行機制,介紹了其中涉及的重要概念,如Spark Driver Program、Spark Job、高層調度器(DAGScheduler)、底層調度器(TaskScheduler)和調度器的通信終端(SchedulerBackend)。同時,從外圍的運行框架,到內部的調度器和通信終端,分別深度剖析了各自的運行原理。并且,每個原理都結合了Spark源碼的解析,加深對整個Spark調度器運行機制的理解。
SparkContext、DAGScheduler、TaskScheduler、SchedulerBackend在應用程序啟動時只實例化一次,應用程序存在期間始終存在這些對象。