- Spark快速大數據分析(第2版)
- (美)朱爾斯·S. 達米吉 布魯克·韋尼希 丹尼·李 (印)泰瑟加塔·達斯
- 272字
- 2021-12-06 11:51:06
第 2 章 下載并開始使用 Apache Spark
本章將帶領你安裝 Spark,并通過 3 個簡單的步驟帶你入門,編寫出自己的第一個獨立的 Spark 應用。
在本地模式中,所有的處理都在單臺機器上完成。我們將使用本地模式,因為這對于學習框架而言更簡單,而且可以對迭代執行的 Spark 操作提供快速的反饋閉環。在使用 Spark shell 編寫復雜的 Spark 應用前,你可以在小數據集上用 Spark 操作嘗試出原型。但對于需要強大的分布式執行的大規模數據集來說,本地模式就不太合適了,YARN 或者 Kubernetes 這些部署模式會更合適。
雖然 Spark shell 只支持 Scala、Python 和 R 語言,但在編寫 Spark 應用和用 Spark SQL 發起查詢時,你可以使用支持的任意一種語言(包括 Java)。希望你至少熟悉其中一種語言。