2.1 Flink概述

從互聯(lián)網(wǎng)時代的數(shù)據(jù)爆炸，到即將大規(guī)模鋪開的 5G 通信支撐的物聯(lián)網(wǎng)時代的大數(shù)據(jù)浩海，賦能工具的大規(guī)模數(shù)據(jù)處理技術(shù)架構(gòu)起到了決定性的作用，反過來也推動了技術(shù)架構(gòu)的與時俱進(jìn)。

作為低延遲、高吞吐、統(tǒng)一流處理和批處理的大數(shù)據(jù)計算引擎，F(xiàn)link正成為實時流式數(shù)據(jù)處理應(yīng)用的首選數(shù)據(jù)處理框架，其主要特征如下：

● 支持高吞吐、低延遲、高性能的流式數(shù)據(jù)處理，而不是用批處理模擬流處理。

● 支持多種時間窗口，如事件時間窗口、處理時間窗口。

● 支持exactly-once語義。

● 具有輕量級容錯機(jī)制。

● 同時支持批處理和流處理。

● 在JVM（Java虛擬機(jī)，Java Virtual Machine）層實現(xiàn)內(nèi)存優(yōu)化與管理。

● 支持迭代計算。

● 支持程序自動優(yōu)化。

此外，不僅提供流處理 API、批處理 API，還提供基于這兩層 API 的高層數(shù)據(jù)處理庫，包括：

● 機(jī)器學(xué)習(xí)庫（FlinkML）。

● 流式關(guān)系型API（Table/SQL）。

● CEP.

● 圖分析（Gelly）。

而且，數(shù)據(jù)處理應(yīng)用程序可以選擇用Java語言或Scala語言編寫，降低了應(yīng)用程序的編程門檻。