第一部分?基礎(chǔ)知識

第1章 時序數(shù)據(jù)

1.1 什么是時序數(shù)據(jù)

時序數(shù)據(jù)，即時間序列數(shù)據(jù)（time-series data），是一組按照時間順序排列的數(shù)據(jù)。在日常生活中，設(shè)備、傳感器收集的數(shù)據(jù)以及證券交易記錄都屬于時序數(shù)據(jù)。因此，許多人對時序數(shù)據(jù)的處理并不陌生，尤其是在工業(yè)自動化和證券金融領(lǐng)域，專業(yè)的時序數(shù)據(jù)處理軟件已經(jīng)存在，例如工業(yè)領(lǐng)域的AVEVA PI System和金融行業(yè)的KDB+。

這些時序數(shù)據(jù)可能是周期性、準(zhǔn)周期性產(chǎn)生，或者由事件觸發(fā)產(chǎn)生。它們的采集頻率可能高也可能低，隨后會被發(fā)送到服務(wù)器進(jìn)行匯總、實(shí)時分析和處理。這些數(shù)據(jù)可以用于實(shí)時監(jiān)測或預(yù)警工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)系統(tǒng)的運(yùn)行狀態(tài)，或者預(yù)測股市行情等。此外，這些數(shù)據(jù)還可以長期保存，以便進(jìn)行離線數(shù)據(jù)分析。例如，統(tǒng)計(jì)設(shè)備在一定時間內(nèi)的運(yùn)行節(jié)奏和產(chǎn)出，分析如何優(yōu)化配置以提高生產(chǎn)效率；統(tǒng)計(jì)生產(chǎn)過程中的成本分布，分析如何降低生產(chǎn)成本；統(tǒng)計(jì)設(shè)備在一定時間內(nèi)的異常值，結(jié)合業(yè)務(wù)分析潛在的安全隱患，以減少故障時間等。

在過去的20年里，隨著數(shù)據(jù)通信成本的急劇下降，以及各種傳感技術(shù)和智能設(shè)備的出現(xiàn)，工業(yè)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)企業(yè)為了監(jiān)測設(shè)備、環(huán)境、生產(chǎn)線及整個系統(tǒng)的運(yùn)行狀態(tài)，在各個關(guān)鍵場景都配備了大量傳感器來采集實(shí)時數(shù)據(jù)。從智能手環(huán)、共享出行、智能電表、環(huán)境監(jiān)測設(shè)備到電梯、數(shù)控機(jī)床、挖掘機(jī)、工業(yè)生產(chǎn)線等，都在不斷產(chǎn)生海量的實(shí)時數(shù)據(jù)，使得時序數(shù)據(jù)的體量呈指數(shù)級增長。例如，智能電表每隔15min采集一條時序數(shù)據(jù)，每天自動生成96條時序數(shù)據(jù)。目前，全國已有超過10億塊智能電表，每天產(chǎn)生高達(dá)960億條時序數(shù)據(jù)。一輛聯(lián)網(wǎng)汽車通常每隔15s采集一條時序數(shù)據(jù)，每天會產(chǎn)生5760條時序數(shù)據(jù)。假設(shè)有兩億輛聯(lián)網(wǎng)汽車，它們每天產(chǎn)生的時序數(shù)據(jù)將超過10 000億條。

由于數(shù)據(jù)量的指數(shù)級增長以及對分析和實(shí)時計(jì)算需求的不斷增加，特別是在人工智能時代，傳統(tǒng)的時序數(shù)據(jù)處理工具已難以滿足需求。如何對每天高達(dá)10TB級別的海量時序大數(shù)據(jù)進(jìn)行實(shí)時存儲、分析和計(jì)算，已成為一個巨大的技術(shù)挑戰(zhàn)。因此，在過去的10年里，高效處理海量時序大數(shù)據(jù)的問題受到全球工業(yè)界的高度關(guān)注。