- Spark內(nèi)核設(shè)計(jì)的藝術(shù):架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)
- 耿嘉安
- 1001字
- 2019-01-04 04:03:47
本書(shū)贊譽(yù)
當(dāng)年我在英國(guó)從事大數(shù)據(jù)工作,會(huì)經(jīng)常去硅谷拜訪(fǎng)大數(shù)據(jù)公司。其中最重要一個(gè)公司就是Spark創(chuàng)始人創(chuàng)建的Databricks了,最早一次是2013年10月,彼時(shí)Databricks剛起步,新辦公室也尚在籌備。
4年過(guò)去了,我們?cè)诖髷?shù)據(jù)、流計(jì)算、圖計(jì)算、分布式機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域有了越來(lái)越多的高質(zhì)量開(kāi)源選擇,但是Spark仍然是數(shù)據(jù)科學(xué)家們用得最多的工具之一,了解一點(diǎn)Spark底層技術(shù)的人都不得不對(duì)Spark的設(shè)計(jì)及其分布式計(jì)算的理論基礎(chǔ)表示由衷敬佩。
本書(shū)對(duì)Spark內(nèi)部高度抽象的數(shù)據(jù)結(jié)構(gòu)RDD、分布式DAG調(diào)度器/驅(qū)動(dòng)器,以及高效的基于Non-blocking IO分布式計(jì)算框架Akka/Netty等內(nèi)核設(shè)計(jì)進(jìn)行了深度剖析,不可多得,是適合大型分布式計(jì)算架構(gòu)師和資深開(kāi)源貢獻(xiàn)者閱讀的參考書(shū)。
——蔡棟,萬(wàn)達(dá)網(wǎng)絡(luò)科技集團(tuán)總裁助理兼首席數(shù)據(jù)官、首席架構(gòu)師
大數(shù)據(jù)技術(shù)生態(tài)其實(shí)是一個(gè)千姿百態(tài)的江湖。從學(xué)習(xí)技術(shù)的角度,最重要的是能將厚變薄,將紛繁復(fù)雜的信息進(jìn)行歸類(lèi)和抽象。對(duì)應(yīng)到大數(shù)據(jù)技術(shù)體系,雖然各種技術(shù)百花齊放,層出不窮,但大數(shù)據(jù)技術(shù)本質(zhì)上無(wú)非解決4個(gè)核心問(wèn)題:存儲(chǔ),計(jì)算,查詢(xún),挖掘。而Spark發(fā)展的短短幾年,以迅雷不及掩耳之勢(shì)推出RDD、Spark Streaming、Spark SQL、GraphX、MLlib等一系列模塊,震撼了大數(shù)據(jù)圈。這本書(shū)結(jié)合了最新Spark 2.x版本,在設(shè)計(jì)思路和代碼解析上做了很好的平衡,讓開(kāi)源代碼愛(ài)好者,喜歡研究源碼的同學(xué)汲取到一些閱讀源碼的方法。
——董飛,datatist首席運(yùn)營(yíng)官、前l(fā)inkedin資深工程師
初讀本書(shū)有種似曾相識(shí)的感覺(jué),Spark還是那個(gè)Spark,但是本書(shū)多了一些歲月的痕跡,在技術(shù)之上多了一些藝術(shù),也更加注重讀者的口味。大數(shù)據(jù)的書(shū)很多,能夠?qū)懗鏊囆g(shù)味道的不多,本書(shū)應(yīng)該可以讓你在大數(shù)據(jù)漫漫征途之中對(duì)價(jià)值多了一重思考,也可以讓你在大數(shù)據(jù)之巔的驚天駭浪中多了一座燈塔。
——于俊,科大訊飛大數(shù)據(jù)專(zhuān)家
制度信息化,信息工具化,Spark為大數(shù)據(jù)產(chǎn)業(yè)落地提供有力的技術(shù)支撐工具!它以?xún)?nèi)存計(jì)算為核心,以其通用、快速和完整的數(shù)據(jù)工具形成了一個(gè)強(qiáng)有競(jìng)爭(zhēng)力的數(shù)據(jù)生態(tài)圈,成為大數(shù)據(jù)技術(shù)解決方案非常優(yōu)秀的一個(gè)部分,越來(lái)越多企業(yè)應(yīng)用部署Spark。本書(shū)為那些想要成為一名合格的Spark工程師,或者致力于成為大數(shù)據(jù)行業(yè)的技術(shù)管理人才提供了很好的學(xué)習(xí)途徑。相信讀者只要掌握一門(mén)Spark技術(shù),就能在大數(shù)據(jù)的海洋中遨游。感謝筆者為大數(shù)據(jù)產(chǎn)業(yè)做出的貢獻(xiàn)!
——張涵誠(chéng),中關(guān)村大數(shù)據(jù)交易產(chǎn)業(yè)聯(lián)盟副秘書(shū)長(zhǎng)
本書(shū)對(duì)Spark原理的講解與剖析都極具學(xué)習(xí)意義,作者細(xì)致分析了Spark源碼的每一個(gè)關(guān)鍵細(xì)節(jié),對(duì)初級(jí)用戶(hù)及中高級(jí)用戶(hù)都有指導(dǎo)意義。
——王歡,上海添錫信息技術(shù)有限公司技術(shù)總監(jiān)
- JavaScript從入門(mén)到精通(微視頻精編版)
- Reporting with Visual Studio and Crystal Reports
- HTML5移動(dòng)Web開(kāi)發(fā)技術(shù)
- C#程序設(shè)計(jì)實(shí)訓(xùn)指導(dǎo)書(shū)
- Rake Task Management Essentials
- Vue.js快跑:構(gòu)建觸手可及的高性能Web應(yīng)用
- Oracle 12c中文版數(shù)據(jù)庫(kù)管理、應(yīng)用與開(kāi)發(fā)實(shí)踐教程 (清華電腦學(xué)堂)
- RTC程序設(shè)計(jì):實(shí)時(shí)音視頻權(quán)威指南
- 數(shù)據(jù)結(jié)構(gòu)與算法JavaScript描述
- PHP 編程從入門(mén)到實(shí)踐
- TypeScript項(xiàng)目開(kāi)發(fā)實(shí)戰(zhàn)
- Learning Zurb Foundation
- ArcGIS for Desktop Cookbook
- Kotlin極簡(jiǎn)教程
- Sails.js Essentials