【任務實施】

1．Scala的安裝

因為Spark主要基于Scala語言開發，所以在安裝Spark之前，首先要安裝Scala。主要的安裝過程如下。

（1）將Scala安裝包上傳到指定目錄/opt/module/soft，上傳完成后，切換到安裝目錄。

[hadoop@hadoop1 ～]$ cd /opt/module/soft

（2）將安裝包解壓縮到安裝目錄/opt/module。

[hadoop@hadoop1 soft]$ tar -zxvf scala-2.12.11.tgz -C /opt/module

（3）默認安裝的目錄名scala-2.12.11較長，可以將目錄名改為scala。

[hadoop@hadoop1 soft]$ mv /opt/module/scala-2.12.11/ /opt/module/scala

（4）編輯/etc/profile文件，修改環境變量，在PATH變量中添加Scala安裝路徑下面的bin目錄，這樣就可以在任意的目錄下執行該文件夾下面的命令。

[hadoop@hadoop1 soft]$ sudo vi /etc/profile

#scala
export SCALA_HOME=/opt/module/scala
export PATH=$PATH:$SCALA_HOME/bin

（5）環境變量編輯完成后，為使得環境變量立即生效，需要使用source命令刷新文件。

[hadoop@hadoop1 soft]$ source /etc/profile

（6）安裝完成后，驗證Scala環境能否正常使用。輸入scala命令，進入Scala的命令行模式，輸入scala命令進行驗證。如果能夠正常運行，說明Scala已經正常安裝。

[hadoop@hadoop1 soft]$ scala

2．Spark的安裝

在Scala軟件安裝完成以后，就可以安裝Spark了。

（1）從官方網站下載正確的安裝版本。訪問Apache網站并下載Spark。本書開發的案例基于Spark 3.0。由于Spark安裝版本和Hadoop相關，因此在選擇Spark的版本時要考慮集群環境中Hadoop的安裝版本。

Spark的下載目錄如圖1-5所示。選擇spark-3.0.0進行下載。單擊相應的文件夾鏈接，查看并選擇相應的版本進行下載，如圖1-6所示。

圖1-5　Spark下載目錄

圖1-6　Spark 3.0.0下載頁面

（2）將壓縮包上傳到服務器指定文件夾/opt/soft。如果文件夾不存在，可以先創建這個文件夾。將Spark安裝文件解壓縮到指定文件夾后安裝。

[hadoop@hadoop1 ~]$ tar -zxvf /opt/soft/spark-3.0.0-bin-hadoop2.7.tgz -C /opt/module

（3）解壓縮后的文件夾名稱為spark-3.0.0-bin-hadoop2.7，因為這個名稱比較長，可以對文件夾進行改名，使用mv命令修改文件夾名稱為spark。

[hadoop@hadoop1 ~]$ mv /opt/module/spark-3.0.0-bin-hadoop2.7/ /opt/module/spark

（4）編輯文件/etc/profile，修改環境變量。在PATH變量中添加Spark安裝路徑下面的bin目錄和sbin目錄，這樣就可以在任意的目錄下執行這兩個文件夾下面的命令。

[hadoop@hadoop1 ~]$ vi /etc/profile
# spark
export SPARK_HOME=/opt/module/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

（5）環境變量編輯完成后，為使得環境變量立即生效，需要使用source命令刷新文件。

[hadoop@hadoop1 ~]$ source /etc/profile