前言

當今互聯網已進入大數據時代，大數據技術已廣泛應用于金融、醫療、教育、電信、政府等領域。各行各業每天都在產生大量的數據，數據計量單位已從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB，甚至是BB、NB、DB。預計未來幾年，全球數據將呈爆炸式增長。谷歌、阿里巴巴、百度、京東等互聯網公司都急需掌握大數據技術的人才，大數據相關人才出現了供不應求的狀況。

Spark作為下一代大數據處理引擎，現已成為當今大數據領域非常活躍、高效的大數據計算平臺，很多互聯網公司都使用Spark來實現公司的核心業務，例如阿里的云計算平臺、京東的推薦系統等，只要和海量數據相關的領域，都有Spark的身影。Spark提供了Java、Scala、Python和R的高級API，支持一組豐富的高級工具，包括使用SQL進行結構化數據處理的Spark SQL，用于機器學習的MLlib，用于圖處理的GraphX，以及用于實時流處理的Spark Streaming。這些高級工具可以在同一個應用程序中無縫地組合，大大提高了開發效率，降低了開發難度。