前言

寫作背景

黨中央、國(guó)務(wù)院高度重視大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，推動(dòng)實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略。習(xí)近平總書記就推動(dòng)大數(shù)據(jù)和數(shù)字經(jīng)濟(jì)相關(guān)戰(zhàn)略部署、發(fā)展大數(shù)據(jù)產(chǎn)業(yè)多次做出重要指示。工業(yè)和信息化部會(huì)同相關(guān)部委建立大數(shù)據(jù)促進(jìn)發(fā)展部際聯(lián)席會(huì)議制度，不斷完善政策體系，聚力打造大數(shù)據(jù)產(chǎn)品和服務(wù)體系，積極推進(jìn)各領(lǐng)域大數(shù)據(jù)融合應(yīng)用，培育發(fā)展大數(shù)據(jù)產(chǎn)業(yè)集聚高地。

黨的二十大報(bào)告指出“深入實(shí)施科教興國(guó)戰(zhàn)略、人才強(qiáng)國(guó)戰(zhàn)略、創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略，開辟發(fā)展新領(lǐng)域新賽道，不斷塑造發(fā)展新動(dòng)能新優(yōu)勢(shì)”。移動(dòng)互聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)的飛速發(fā)展，極大地改變了人們的生活方式，人們可以隨時(shí)隨地享受便捷的網(wǎng)絡(luò)服務(wù)，電子商務(wù)（簡(jiǎn)稱“電商”）系統(tǒng)已經(jīng)成為人們生活中不可缺少的消費(fèi)方式。在多年的快速發(fā)展中，國(guó)內(nèi)的大型電商平臺(tái)積累了海量的用戶行為日志、商品訂單等數(shù)據(jù)。大數(shù)據(jù)技術(shù)需要從海量的數(shù)據(jù)中對(duì)電商數(shù)據(jù)進(jìn)行處理和分析，探索數(shù)據(jù)之間的內(nèi)在規(guī)律，挖掘有價(jià)值的信息，以滿足用戶個(gè)性化和精準(zhǔn)化的服務(wù)需求。

在眾多的大數(shù)據(jù)技術(shù)中，Apache Spark成為大數(shù)據(jù)分析的重要工具之一。Spark是加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室開源的基于內(nèi)存的并行計(jì)算框架。相對(duì)于基于Hadoop的MapReduce計(jì)算而言，Spark可以將中間計(jì)算結(jié)果保存在內(nèi)存中，不再需要重復(fù)讀寫硬盤數(shù)據(jù)，大大提升了并行計(jì)算的效率，在大數(shù)據(jù)企業(yè)級(jí)項(xiàng)目中得到廣泛應(yīng)用。

本書采用理論與實(shí)踐相結(jié)合的方式，以項(xiàng)目為主線來設(shè)計(jì)教學(xué)實(shí)踐環(huán)節(jié)，由淺入深地講解了Spark在企業(yè)級(jí)項(xiàng)目中的應(yīng)用，尤其是大型電商平臺(tái)的數(shù)據(jù)分析項(xiàng)目中的應(yīng)用。讀者在項(xiàng)目學(xué)習(xí)過程中可以邊學(xué)邊練，循序漸進(jìn)。按照本書講解的步驟進(jìn)行操作，讀者可以完成相應(yīng)的學(xué)習(xí)任務(wù)。通過本書的學(xué)習(xí)，讀者可以逐步增強(qiáng)Spark大數(shù)據(jù)分析項(xiàng)目的實(shí)踐能力。