【知識鏈接】

Spark部署模式

Spark的部署模式主要分為單機模式、獨立集群模式、Spark on Mesos模式和Spark on YARN模式。

● 單機模式：在本地部署單個Spark服務，僅使用單服務器節點的服務。這種情況在企業應用中使用得相對較少。這是因為在處理海量數據時，需要借助服務器集群。單機模式一般用于測試。

● 獨立集群模式：Spark框架自帶完整的資源調度管理服務，可以獨立部署到一個集群中，而不需要依賴其他系統為其提供資源管理調度服務。在架構的設計上，Spark是由一個Master和若干Slave構成的，并且以槽（Slot）作為資源分配單位。Spark設計了統一的槽以供各種任務使用。

● Spark on Mesos模式：Mesos是一種資源調度管理框架，可以為運行在它上面的Spark提供服務。在Spark on Mesos模式中，Spark程序所需要的各種資源都由Mesos負責調度。

● Spark on YARN模式：Spark可運行于YARN上，與Hadoop進行統一部署。資源管理和調度依賴YARN，而分布式存儲則依賴HDFS。

接下來將主要介紹Spark的獨立集群模式的安裝過程。