1.1 大數據時代的興起

在互聯網完全進入人們的生活之前，信息處理的主流工具是傳統的計算機軟件和硬件，信息處理的數據往往存儲在個人計算機、自建的數據庫等一個個孤立的區域中，整體存儲的數據量級也十分有限。隨著網絡基礎設施的完善，互聯網將一個個孤島連接起來，形成了一整片信息的海洋。隨著智能手機的出現以及4G、5G的進一步發展，互聯網從PC端擴展到了移動端，覆蓋了生活的方方面面。

新用戶的不斷接入會產生新的數據，也會與已有的數據產生聯系，這使得互聯網中的信息量急劇增加。根據國際權威機構Statista統計，近十年間，互聯網全年生成的數據量增加了40多倍。2010年，互聯網全年產生的數據量僅1.2 ZB（1 ZB=十萬億億字節），而到了2020年，這一數據量達到50.5 ZB，相當于人類迄今為止生產的所有印刷材料的數據量的25萬倍，并仍然以23%的增速高速增長。據國際數據公司（International Data Corporation，IDC）預測，隨著互聯網滲透率的進一步提高以及物聯網的持續發展，到2025年，全球數據量將達到163 ZB。

在大數據時代中，用戶使用即時通信、電商支付、視頻娛樂等服務，其信息處理的載體也從單機軟件變為了用戶量上億的互聯網應用。這些應用涵蓋了大部分網絡流量入口、信息溝通渠道以及用戶個人行為，構成了當前互聯網生態的中心。這些應用在為用戶帶來便利的同時，也為某些非法產業的生存和發展提供了有利條件。