官术网_书友最值得收藏!

4.6 本章總結

本章內容緊緊圍繞Spark調度器(Scheduler)的運行機制,介紹了其中涉及的重要概念,如Spark Driver Program、Spark Job、高層調度器(DAGScheduler)、底層調度器(TaskScheduler)和調度器的通信終端(SchedulerBackend)。同時,從外圍的運行框架,到內部的調度器和通信終端,分別深度剖析了各自的運行原理。并且,每個原理都結合了Spark源碼的解析,加深對整個Spark調度器運行機制的理解。

SparkContext、DAGScheduler、TaskScheduler、SchedulerBackend在應用程序啟動時只實例化一次,應用程序存在期間始終存在這些對象。

主站蜘蛛池模板: 台前县| 景谷| 贞丰县| 宁南县| 兰西县| 高安市| 龙州县| 措美县| 巧家县| 昌黎县| 天门市| 祁阳县| 永善县| 拉萨市| 赤城县| 宝坻区| 乌鲁木齐市| 二连浩特市| 宽甸| 新竹市| 恩平市| 广东省| 呼伦贝尔市| 伊金霍洛旗| 天全县| 商城县| 镇巴县| 安达市| 班玛县| 恩施市| 大姚县| 锡林浩特市| 个旧市| 阿巴嘎旗| 泾源县| 清徐县| 沂源县| 万山特区| 双城市| 定陶县| 永善县|