- Flink內核原理與實現
- 馮飛 崔鵬云 陳冠華編著
- 1339字
- 2021-04-14 11:30:28
序
數據,已經滲透到當今各行各業的價值創造過程中,成為核心生產要素之一。海量數據的挖掘和運用,已初見成效,預示著新一波生產率增長和消費者盈余浪潮的到來。“大數據”在物理學、生物學、環境生態學等領域以及軍事、金融、通信等行業存在已有時日,卻因為近年來互聯網和信息行業的發展而引起人們關注。依托大數據、云計算、人工智能等技術的發展,人類社會從信息時代跨入智能時代,5G成為第四次工業革命的技術基石。
隨著網絡建設的快速推進,萬物互聯時代已經開啟,5G作為移動通信技術制高點,將推動蓬勃發展的消費互聯網進入嶄新的工業互聯網、產業互聯網時代。作為數字經濟增長新引擎,5G與人工智能(AI)、物聯網(IoT)、云計算(Cloud Computing)、大數據(BigData)、邊緣計算(Edge Computing)等技術的深度融合,將為社會和經濟發展注入新動能、開創新模式。信息技術在各行業轉型升級過程中的滲透力不斷加強,成為社會信息流動的主動脈,承載著海量實時數據流。毋庸置疑,數據越實時價值越大,秒級甚至毫秒級的實時流式大數據計算場景層出不窮,這與5G高帶寬、低延遲的業務特點也是緊密契合的。海量實時流計算技術是最為重要的底層支撐技術之一。
市場上,各大廠都在不遺余力地試用新的流計算框架,實時流計算引擎和API,諸如Spark Streaming、Kafka Streaming、Beam和Flink將持續火爆。隨著5G萬物互聯互通帶來的新一輪數據量的爆發,越來越多的政府、企業等機構開始意識到實時數據正在成為最重要的資產,實時數據分析能力正在成為新的核心競爭力。對于這一與時俱進的大數據實時處理引擎——Flink,我們也許可以看到更多可能的未來。
Flink作為行業頂級架構師、程序員的智慧結晶,毫無疑問是復雜的,在理解其設計和實現時,亦有“只在此山中,云深不知處”的感覺。而如何從根本上了解Flink的設計思路、原理、最新的動態及未來發展趨勢,閱讀本書或許是一個捷徑。
本書的亮點可以概括為以下三個方面。
1.高屋建瓴、融會貫通
大數據處理技術領域,分布式計算引擎百花齊放。面對如此復雜的技術領域,其首要之務是構建認知體系,而宏觀認知則是認知體系中的最重要環節。作者從Flink面向的人員角色、計算引擎的設計與抽象層次、運行環境和外部交互等角度闡述,第1、2章幫助各位讀者從宏觀視角認識Flink。不同的計算引擎雖各有特色、概念不同,然其設計思路、技術原理皆有相通之處,一通則百通。
2.知其然,知其所以然
Flink毫無疑問是復雜的,本書將帶領各位讀者深入其中,系統性地闡述Flink的核心原理、重要組件、關鍵工作流程,本書利用5個章節主要介紹Flink的基礎原理,從第8章開始,以執行過程的視角介紹Flink的工作流程,使各位讀者“知其然”,其間穿插關鍵代碼片段分析,梳理組件之間的協同關系,使各位讀者“知其所以然”。
3.順風而呼、開卷有益
讀完本書,無論是開發者、架構師、運維人員、測試人員,還是對Flink感興趣的技術愛好者,相信各位讀者會有一種豁然開朗的感覺,從自己的視角獲得不同的理解。技術的應用變化無窮,有了深入全面的理解之后,無論是對Flink進行改進優化、性能調優、運維管理等,都能夠準確地抓住要點,直指根源。
為了讓公眾更好地了解Flink,讓產業更全面地把握Flink,這本書由資深專家執筆,從源碼級別剖析了Flink的內核原理與實現,深入淺出,值得我們學習、參考和借鑒。在此,我將它推薦給各位讀者。
中國移動信息技術中心
大數據平臺部副總經理