第1章　Flink架構(gòu)與集群安裝

現(xiàn)實(shí)世界中，許多系統(tǒng)數(shù)據(jù)是作為連續(xù)的事件流進(jìn)行的，例如汽車GPS定位信號(hào)、金融交易記錄、手機(jī)信號(hào)塔與智能手機(jī)用戶之間的信號(hào)交換、網(wǎng)絡(luò)流量、服務(wù)器日志、工業(yè)傳感器和可穿戴設(shè)備的測(cè)量等。如果用戶能夠及時(shí)有效地大規(guī)模分析這些流數(shù)據(jù)，就能夠更好地理解這些系統(tǒng)，并及時(shí)地進(jìn)行分析。

實(shí)時(shí)數(shù)據(jù)分析一直是個(gè)熱門話題，需要實(shí)時(shí)數(shù)據(jù)分析的場(chǎng)景也越來(lái)越多，如金融支付中的風(fēng)控、基礎(chǔ)運(yùn)維中的監(jiān)控告警、實(shí)時(shí)大盤(pán)等，此外，AI模型也需要依據(jù)更為實(shí)時(shí)的聚合結(jié)果來(lái)達(dá)到很好的預(yù)測(cè)效果。

Apache Flink是下一代開(kāi)源大數(shù)據(jù)處理引擎。它是一個(gè)分布式大數(shù)據(jù)處理引擎，可對(duì)有限數(shù)據(jù)流和無(wú)限數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算；可部署在各種集群環(huán)境，對(duì)各種大小的數(shù)據(jù)規(guī)模進(jìn)行快速計(jì)算，如圖1-1所示。

圖1-1　Apache Flink大數(shù)據(jù)處理引擎