前言

關于本書

隨著Flink的應用越來越廣泛，關于Flink的書籍、文章也越來越多，但是系統性地闡述Flink設計原理和實現方法的書籍卻很少。本書的核心目標是對Flink的設計與原理做一個比較系統的介紹，盡量將Flink的核心原理與其實現細節呈現給讀者，但是由于篇幅有限，加之Flink體系龐大且復雜，本書難以將其細節一一呈現，只能選擇重點部分加以闡述，如有疏漏、謬誤之處還請包涵。各個大數據計算引擎在原理上類似，但在設計取向和實現方法上會有不同。希望通過閱讀本書，讀者能夠對分布式計算引擎有更加深入的理解，開拓視野。

關于如何使用Flink，業內已經有相關書籍、官方文檔、網絡技術文章可以參考，因此本書不是介紹如何開發Flink應用，而是以Word Count經典案例貫穿本書，作為講解和演示。本書涉及的Hadoop、Yarn、K8s、Mesos、Kafka等Flink之外的大數據領域的組件，不是本書主要介紹的內容，讀者可以閱讀相應的書籍，也可以參考網上的技術文章。

適合人群

本書特別適合“窮理以致其知，反躬以踐其實”的人閱讀，具體有以下人群。

● 愿意深入了解Flink設計與實現原理的Flink開發者。

● 對流計算感興趣的大數據開發人員、技術愛好者。

● 對性能優化和部署感興趣的運維工程師與架構師。

● 對Flink感興趣的Spark開發人員、架構師。

閱讀建議

建議首先通讀本書，對Flink建立一個基本的認識，了解其核心流程，不同的組件及其作用、相互之間的關聯關系，避免沉浸在細節中，窺一斑不見全貌。有了總體的認識之后，再有針對性地了解細節。

本書內容大概分為三大部分：基礎知識、核心執行、運維管理。

基礎知識包含第1~7章。第1章是總體性的介紹；第2章介紹Flink應用中的基本概念及其API層；第3~7章介紹Flink底層運行的核心抽象及其實現，如內存管理、時間與窗口、類型與序列化、狀態原理等。

核心執行包含第8~14章。其中第8~13章是Flink作業提交、執行、應用容錯等方面實現原理的介紹；第14章是Flink SQL實現原理的介紹，未來SQL是比較重要的應用開發方式。

運維管理包含第15、16章。第15章是Flink運維監控原理的介紹；第16章是Flink集群內部的通信框架介紹。

強烈建議各位讀者，不要從學習的角度去閱讀本書，而是從設計一個批流一體的大數據計算引擎的角度來進行閱讀，思考作為設計者必須要解決哪些問題，如何解決這些問題。

本書以Flink 1.10版本為基礎編寫，隨著Flink的演進，后續將會持續更新，敬請期待。

讀者溝通

在閱讀本書的過程中，讀者若遇到任何問題、有任何建議，都可以向deep_in_flink@126. com發送郵件，或者在https：//github. com/ffly1985/deep-in-flink上提交issue，對于讀者比較關注的內容，編者將在后續版本中豐富完善。

致謝

感謝我們所生活的時代，這是一個信息爆炸的時代，數據量呈指數級增長，大數據的技術快速發展，數據處理的手段也在不斷進化，實時智能時代的到來使得本書有了面世的機會。

感謝為Flink的發展壯大付出辛苦努力的社區，為了Flink的完善、推廣付出巨大努力的阿里Flink團隊，還有其他分享Flink經驗的各行業領軍企業，正是有了它們共同的努力，才使得Flink成為流計算事實上的標準。

感謝中國移動信息技術中心的領導尚晶、郭志偉、武智暉、劉輝等，在本書編寫過程中，他們給了很多思路和意見。同時與中國移動各省分公司的集中交流、研討，也使得Flink在運營商領域的位置計算、業務信息補全、復雜事件處理等實時計算場景下的適用性得到了印證。

感謝編者所在公司給予的良好技術氛圍和工作環境，使得作者能夠全心全意投入到技術的研究中，同時要感謝同事張文霞、孫得強、李運波、王茂均、趙紅巖花費了大量時間分享Flink的實戰經驗、提出建議、書稿勘誤，使得本書的內容得以持續完善。

編者