第1章 流式數(shù)據(jù)架構(gòu)理論

在移動互聯(lián)網(wǎng)領(lǐng)域，個性化服務(wù)、極致的用戶體驗要求業(yè)務(wù)系統(tǒng)具備實時數(shù)據(jù)處理能力，傳統(tǒng)的批處理數(shù)據(jù)架構(gòu)已經(jīng)不堪重負(fù)。經(jīng)過一系列理論創(chuàng)新與實踐探索，流式數(shù)據(jù)架構(gòu) Flink 在實時數(shù)據(jù)處理領(lǐng)域取得了巨大成功，正成為大數(shù)據(jù)處理的標(biāo)配框架。

為了讓讀者厘清大數(shù)據(jù)處理架構(gòu)變革的源與流，1.1節(jié)先概述大數(shù)據(jù)處理架構(gòu)的演進歷程，如Storm、Spark、Lambda、Flink；為了讓讀者更容易理解流式數(shù)據(jù)架構(gòu)思想，1.2節(jié)將以韓國SK電信的Driving score技術(shù)架構(gòu)演變和流式數(shù)據(jù)架構(gòu)在機器學(xué)習(xí)領(lǐng)域的應(yīng)用為例，介紹流式數(shù)據(jù)架構(gòu)的產(chǎn)生背景及應(yīng)用場景；1.3節(jié)將介紹流、時間、窗口、水印、觸發(fā)器等，并在這些概念的基礎(chǔ)上剖析數(shù)據(jù)處理的各種模式；1.4節(jié)將梳理流式數(shù)據(jù)架構(gòu)中主要概念間的關(guān)聯(lián)和關(guān)系，并以實例分析根據(jù)事件時間開滾動窗口的內(nèi)在機制；1.5節(jié)將論述流式數(shù)據(jù)架構(gòu)中一致性理論的基礎(chǔ)及實現(xiàn)方式，如有狀態(tài)計算、檢查點、保存點等概念。