序言

知名高管語錄

人類正從IT時代走向DT時代。未來的制造業要的最大的能源不是石油，而是數據。

——阿里巴巴集團董事局前主席馬云

“互聯網+”的發展與大數據、云計算密不可分。

——騰訊公司董事會主席兼CEO馬化騰

探索數據的價值、挖掘大數據時代的商業模式，是全行業的當務之急。

——小米公司董事長兼CEO雷軍

叢書設計背景

當你在知名人士口中聽到“大數據”時，其實它早已滲透到了每個行業和業務職能領域，并成為了重要的生產因素。企業利用大數據貼近用戶、加強業務中的薄弱環節、規范生產架構和策略，創造了更多的商業價值，進而形成了包括大數據采集、存儲、處理、分析、可視化呈現等的大數據產業，并在其形成過程中提出了以Hadoop為代表的一整套大數據技術解決方案。

大數據產業當前仍處于技術高速發展時期，需要使用到很多不同的框架和工具，初學者在學習時會有無從下手的感覺，因此“大數據核心技術系列”叢書應時而生。該叢書根據企業的實際人才需求，參考歷史學習難度曲線，選取了“Hadoop+Spark+Python”技術集作為核心學習路徑。編委會系統打造大數據核心技術系列叢書，旨在為讀者提供一站式實戰型大數據開發學習指導，幫助讀者踏上由入門到實戰的大數據開發之旅！

叢書核心技術

“大數據核心技術系列”叢書以Hadoop、Spark、Python三個技術為核心，根據各個技術的不同特點，解決在大數據離線批處理和實時計算兩個過程中所遇到的問題。主要內容如下：

? 以Hadoop為核心完成大數據分布式存儲與離線計算；

? 使用Hadoop生態圈中的日志收集、任務調度、消息隊列、數據倉庫、可視化UI等子系統完成大數據應用系統架構設計；

? 使用Spark Streaming和Flink實現大數據的實時計算；

? 使用基于Python的Scrapy爬蟲框架實現數據采集；

? 使用NumPy、Pandas和Matplotlib完成數據的分析與可視化；

? 使用Scala實現交互式查詢分析與Spark應用開發；

? 結合大量項目案例完成大數據處理業務場景的實戰。

叢書特點

1. 逆向課程設計

滿足企業對人才的技能需求是設計本系列叢書的核心原則，為此，課工場大數據開發教研團隊采用逆向課程設計法（對應的設計流程如下圖所示），不斷迭代優化課程，形成了落地生根的應用型人才培養體系。

2. 任務驅動講解

本叢書中的技能點和知識點均由任務驅動，讀者在學習知識時不僅可以知其然，還可以知其所以然，有助于讀者融會貫通、舉一反三。

3. 實戰技術提升

本叢書均設置項目實戰環節，綜合運用書中的知識點，幫助讀者提升項目實踐能力。每個實戰項目都設有相應的項目思路指導、重難點講解、實現步驟總結和知識點梳理。

4. 融媒體移動學習

本叢書可配合使用課工場App進行移動學習，觀看理論講解和案例操作的配套視頻，同時課工場在線開辟教材配套版塊提供案例素材及代碼下載服務。此外，課工場還為讀者提供了體系化的學習路徑、豐富的在線學習資源和活躍的學習社區，方便讀者隨時學習。

讀者服務

讀者可以掃描下方二維碼訪問課工場在線的系列課程和免費資源，如果學習過程中有任何疑問，也歡迎發送郵件到ke@kgc.cn，我們的課代表將竭誠為您服務。

感謝您閱讀本叢書，希望本叢書能成為您大數據開發之旅的好伙伴！

“大數據核心技術系列”叢書編委會