第一部分?基礎知識

第1章 時序數據

1.1 什么是時序數據

時序數據，即時間序列數據（time-series data），是一組按照時間順序排列的數據。在日常生活中，設備、傳感器收集的數據以及證券交易記錄都屬于時序數據。因此，許多人對時序數據的處理并不陌生，尤其是在工業自動化和證券金融領域，專業的時序數據處理軟件已經存在，例如工業領域的AVEVA PI System和金融行業的KDB+。

這些時序數據可能是周期性、準周期性產生，或者由事件觸發產生。它們的采集頻率可能高也可能低，隨后會被發送到服務器進行匯總、實時分析和處理。這些數據可以用于實時監測或預警工業互聯網、物聯網系統的運行狀態，或者預測股市行情等。此外，這些數據還可以長期保存，以便進行離線數據分析。例如，統計設備在一定時間內的運行節奏和產出，分析如何優化配置以提高生產效率；統計生產過程中的成本分布，分析如何降低生產成本；統計設備在一定時間內的異常值，結合業務分析潛在的安全隱患，以減少故障時間等。

在過去的20年里，隨著數據通信成本的急劇下降，以及各種傳感技術和智能設備的出現，工業互聯網和物聯網企業為了監測設備、環境、生產線及整個系統的運行狀態，在各個關鍵場景都配備了大量傳感器來采集實時數據。從智能手環、共享出行、智能電表、環境監測設備到電梯、數控機床、挖掘機、工業生產線等，都在不斷產生海量的實時數據，使得時序數據的體量呈指數級增長。例如，智能電表每隔15min采集一條時序數據，每天自動生成96條時序數據。目前，全國已有超過10億塊智能電表，每天產生高達960億條時序數據。一輛聯網汽車通常每隔15s采集一條時序數據，每天會產生5760條時序數據。假設有兩億輛聯網汽車，它們每天產生的時序數據將超過10 000億條。

由于數據量的指數級增長以及對分析和實時計算需求的不斷增加，特別是在人工智能時代，傳統的時序數據處理工具已難以滿足需求。如何對每天高達10TB級別的海量時序大數據進行實時存儲、分析和計算，已成為一個巨大的技術挑戰。因此，在過去的10年里，高效處理海量時序大數據的問題受到全球工業界的高度關注。