- Flink原理深入與編程實戰:Scala+Java(微課視頻版)
- 辛立偉編著
- 643字
- 2023-07-17 18:54:25
1.1.2 Flink特性
Flink支持流和批處理、復雜的狀態管理、事件時間處理語義,以及對狀態的一次一致性保證。此外,Flink可以部署在各種資源提供者(如YARN、Apache Mesos和Kubernetes)上,也可以作為獨立集群部署在裸機硬件上。可以將Flink集群配置為高可用的以避免單點故障。
Flink設計用于在任何規模上運行有狀態流應用程序。應用程序可能被并行化為數千個任務,這些任務分布在集群中并且并行執行,因此,一個應用程序可以利用幾乎無限數量的CPU、主內存、磁盤和網絡IO。此外,Flink很容易維護非常大的應用程序狀態。它的異步和增量檢查點算法在保證精確一次性的狀態一致性的同時,確保對處理時延的影響最小。
Apache Flink為用戶提供了更強大的計算能力和更易用的編程接口:
(1)批流統一。Flink在Runtime和SQL層批流統一,提供高吞吐低延時計算能力和更強大的SQL支持。
(2)生態兼容。Flink能與Hadoop YARN/Apache Mesos/Kubernetes集成,并且支持單機模式運行。
(3)性能卓越。Flink提供了性能卓越的批處理與流處理支持。
(4)規模計算。Flink的作業可被分解成上千個任務,分布在集群中并行執行。
Flink已經被證明可以擴展到數千個內核和TB級的應用程序狀態,提供高吞吐量和低時延,并支持世界上一些要求最高的流處理應用程序。例如,Apache Flink在2019年阿里巴巴“雙11”場景中突破實時計算消息處理峰值達到25億條/秒,2020年“雙11”當時的實時計算峰值達到了破紀錄的每秒40億條記錄,數據量也達到了驚人的每秒7TB,相當于一秒需要讀完500萬本《新華字典》!隨著2020年“雙11”阿里巴巴基于Flink實時計算場景的成功,毋庸置疑,Flink將會加速成為大廠主流的數據處理框架,最終化身為下一代大數據處理標準。
- Python科學計算(第2版)
- 數據結構(Java語言描述)
- Apache Karaf Cookbook
- 征服RIA
- JS全書:JavaScript Web前端開發指南
- 零基礎學Python數據分析(升級版)
- PySpark Cookbook
- Julia高性能科學計算(第2版)
- Mastering openFrameworks:Creative Coding Demystified
- Python+Tableau數據可視化之美
- 區塊鏈技術進階與實戰(第2版)
- OpenCV with Python Blueprints
- RocketMQ實戰與原理解析
- 會當凌絕頂:Java開發修行實錄
- PostgreSQL Developer's Guide