官术网_书友最值得收藏!

第 2 章 下載并開始使用 Apache Spark

本章將帶領你安裝 Spark,并通過 3 個簡單的步驟帶你入門,編寫出自己的第一個獨立的 Spark 應用。

在本地模式中,所有的處理都在單臺機器上完成。我們將使用本地模式,因為這對于學習框架而言更簡單,而且可以對迭代執行的 Spark 操作提供快速的反饋閉環。在使用 Spark shell 編寫復雜的 Spark 應用前,你可以在小數據集上用 Spark 操作嘗試出原型。但對于需要強大的分布式執行的大規模數據集來說,本地模式就不太合適了,YARN 或者 Kubernetes 這些部署模式會更合適。

雖然 Spark shell 只支持 Scala、Python 和 R 語言,但在編寫 Spark 應用和用 Spark SQL 發起查詢時,你可以使用支持的任意一種語言(包括 Java)。希望你至少熟悉其中一種語言。

主站蜘蛛池模板: 安龙县| 册亨县| 富裕县| 无锡市| 白河县| 景谷| 桓台县| 屏东县| 太和县| 江川县| 苍南县| 浦北县| 额尔古纳市| 凤台县| 龙口市| 辛集市| 宕昌县| 姜堰市| 松阳县| 长宁区| 商丘市| 新田县| 和田市| 泾源县| 青神县| 梁平县| 镇巴县| 松潘县| 林州市| 盐亭县| 新津县| 顺义区| 曲松县| 合山市| 靖州| 屏南县| 万年县| 偃师市| 宁蒗| 平顶山市| 伽师县|