1.4 與Flink搭配使用的引擎

通過前文的學(xué)習(xí)，我們知道在生產(chǎn)環(huán)境中，僅依靠Flink是無法構(gòu)建整條數(shù)據(jù)處理和數(shù)據(jù)服務(wù)鏈路的，本節(jié)我們來擴(kuò)展學(xué)習(xí)一下在流處理的生產(chǎn)環(huán)境中與Flink搭配使用的引擎以及這些引擎所承擔(dān)的角色。

圖1-12是一條使用Flink進(jìn)行實(shí)時數(shù)據(jù)處理的常見鏈路，其中和Flink搭配使用的引擎可以根據(jù)職責(zé)劃分為兩類。

?實(shí)時數(shù)據(jù)存儲引擎。

?實(shí)時數(shù)據(jù)服務(wù)引擎。

圖1-12 常見流處理鏈路

1.實(shí)時數(shù)據(jù)存儲引擎

實(shí)時數(shù)據(jù)存儲引擎通常在鏈路中負(fù)責(zé)中間結(jié)果的存儲，可以根據(jù)具體職責(zé)細(xì)化為兩類。第一類是在鏈路中承擔(dān)實(shí)時鏈路搭建職責(zé)的消息隊列引擎，常見的有Kafka、Pulsar等，F(xiàn)link可以從消息隊列引擎中實(shí)時讀取數(shù)據(jù)，并將數(shù)據(jù)寫到消息隊列中。第二類是在實(shí)時鏈路中承擔(dān)實(shí)時維度表職責(zé)的高速K-V存儲引擎，常見的有Redis、HBase、MySQL等，F(xiàn)link可以從高速K-V存儲引擎中實(shí)時讀取數(shù)據(jù)，從而豐富原有數(shù)據(jù)。

2.實(shí)時數(shù)據(jù)服務(wù)引擎

實(shí)時數(shù)據(jù)服務(wù)引擎通常在處理鏈路中負(fù)責(zé)查詢結(jié)果數(shù)據(jù)，可以根據(jù)具體職責(zé)細(xì)化為OLAP、K-V兩類。OLAP引擎常見的有ClickHouse、Doris等，通常提供靈活的多維即席查詢功能，一般用于低QPS查詢的數(shù)據(jù)分析類應(yīng)用。K-V引擎常見的有Redis、HBase等，通常用于高QPS查詢服務(wù)。此外，如果數(shù)據(jù)量、訪問QPS屬于中等量級，MySQL也常作為數(shù)據(jù)服務(wù)引擎被廣泛使用。