官术网_书友最值得收藏!

1.1.2 Flink特性

Flink支持流和批處理、復雜的狀態管理、事件時間處理語義,以及對狀態的一次一致性保證。此外,Flink可以部署在各種資源提供者(如YARN、Apache Mesos和Kubernetes)上,也可以作為獨立集群部署在裸機硬件上。可以將Flink集群配置為高可用的以避免單點故障。

Flink設計用于在任何規模上運行有狀態流應用程序。應用程序可能被并行化為數千個任務,這些任務分布在集群中并且并行執行,因此,一個應用程序可以利用幾乎無限數量的CPU、主內存、磁盤和網絡IO。此外,Flink很容易維護非常大的應用程序狀態。它的異步和增量檢查點算法在保證精確一次性的狀態一致性的同時,確保對處理時延的影響最小。

Apache Flink為用戶提供了更強大的計算能力和更易用的編程接口:

(1)批流統一。Flink在Runtime和SQL層批流統一,提供高吞吐低延時計算能力和更強大的SQL支持。

(2)生態兼容。Flink能與Hadoop YARN/Apache Mesos/Kubernetes集成,并且支持單機模式運行。

(3)性能卓越。Flink提供了性能卓越的批處理與流處理支持。

(4)規模計算。Flink的作業可被分解成上千個任務,分布在集群中并行執行。

Flink已經被證明可以擴展到數千個內核和TB級的應用程序狀態,提供高吞吐量和低時延,并支持世界上一些要求最高的流處理應用程序。例如,Apache Flink在2019年阿里巴巴“雙11”場景中突破實時計算消息處理峰值達到25億條/秒,2020年“雙11”當時的實時計算峰值達到了破紀錄的每秒40億條記錄,數據量也達到了驚人的每秒7TB,相當于一秒需要讀完500萬本《新華字典》!隨著2020年“雙11”阿里巴巴基于Flink實時計算場景的成功,毋庸置疑,Flink將會加速成為大廠主流的數據處理框架,最終化身為下一代大數據處理標準。

主站蜘蛛池模板: 汽车| 宣武区| 扶沟县| 广丰县| 峨眉山市| 新巴尔虎左旗| 布尔津县| 广东省| 同江市| 莲花县| 饶河县| 商水县| 康定县| 建始县| 福泉市| 鄯善县| 伊宁县| 百色市| 特克斯县| 河源市| 临清市| 呼和浩特市| 虹口区| 奉贤区| 和平区| 姚安县| 都昌县| 自贡市| 彩票| 化德县| 梅州市| 阳高县| 新丰县| 高邑县| 东明县| 中宁县| 西丰县| 平昌县| 义马市| 宁陕县| 克山县|