1.3 大數據安全治理架構

令人鼓舞的是，隨著大數據時代的到來，大數據和人工智能技術也得到了跨越式的發展，為安全領域提供了新的利器。通過將大數據、人工智能與安全結合，形成安全領域的大數據技術，能有效應對大數據時代的安全風控新挑戰。

大數據安全治理與防范體系是在安全領域中應用新興大數據技術體系，從而應對大數據時代下的風控新挑戰。其中，新興大數據技術體系并不是單指某一種技術，而是為了滿足大數據應用需求而形成的技術體系，主要包括以下4個部分。

● 大數據平臺：為了高效地存儲和處理海量數據，誕生了許多大數據基礎框架，其中最為著名的大數據基礎框架當屬2003～2006年間由谷歌發布的分布式文件系統GFS、分布式并行計算框架MapReduce、分布式數據庫Bigtable等。

● 數據治理：解決了海量數據的存儲和處理問題后，還需要應用數據清洗、元數據管理、數據質量管理、特征集市管理等數據治理技術來有效地管理大數據資產，使大數據資產的價值最大化。

● 云服務：除了海量數據離線存儲的應用需求，還需要利用鏡像、容器等云服務技術來滿足海量數據實時訪問的應用需求。

● 人工智能：對于大數據中惡意信息檢測、復雜惡意模式挖掘的問題，由于數據的規模龐大，完全無法通過專家規則來處理。而人工智能的發展，使得對文本、圖像、語音等復雜內容的理解和識別成為可能，也支持通過關系、社群、時序等數據來挖掘黑產信息。

除了上述新興大數據技術，在完整的大數據安全治理與防范體系中，也包括運營監控體系、情報與態勢感知體系等。如圖1.2所示，大數據安全治理架構自下向上可分為大數據平臺、數據治理層、風控模型層以及在線服務層，而反欺詐運營體系和情報系統服務于整個治理架構。

圖1.2　大數據安全治理架構

大數據安全治理架構各部分功能如下所示。

● 大數據平臺：提供海量數據存儲和計算的底層平臺及框架，包括大數據基礎平臺（Hadoop、Spark等）、分布式數據倉庫（Hive、Presto等）、分布式文件存儲系統（HDFS、KFS等）和流數據處理框架（Flink、Storm等）。

● 數據治理層：負責對未加工的原始數據進行加工、組織和管理，以便后續應用。大數據應用中最原始的數據通常以日志形式來組織，其中往往包含諸多異常的、不規范的數據。數據治理層通過數據清洗將原始數據整理為規范化的基礎層數據，再通過基礎數據的特征工程將數據加工為安全業務可使用的特征，同時為數據清洗、特征工程提供分層治理、數據倉庫、特征集市、可視化等治理能力。

● 風控模型層：通過使用基礎層原始數據、特征層特征數據，為用戶在應用平臺的全生命周期提供安全風控能力。如圖1.3所示，大數據安全治理包含事前、事中、事后三個風控階段。在事前風控階段，通過身份模型對用戶、環境、設備判別，預防潛在風險；在事中風控階段，判斷違規行為、惡意內容的安全風險，并進行阻斷和攔截；在事后風控階段，對社群、產業、團伙進行全面復盤，挖掘潛在惡意同伙、產業鏈及組織分工，全面打擊黑灰產[1]產業鏈。

● 在線服務層：負責大數據安全能力的最終輸出。為滿足大數據時代對海量數據的風險判斷需求，大數據安全能力往往以公有云SaaS服務形式提供，通過自動化運維體系，根據業務需求進行彈性擴容，以支持百億級別的并發訪問，并保持服務穩定可靠。

● 反欺詐運營體系：對整個大數據安全治理架構中的服務、數據、底層架構進行系統化監控，提供大數據安全系統運營工具，同時針對風控后的申訴建立反饋工作流程，以幫助安全風控人員更好地掌控系統的運行狀態并實時處理系統問題。

● 情報系統：負責從大數據感知黑灰產對抗變化，提供新的黑產組織、手法、運營信息，以幫助安全風控人員確定當前黑灰產行為模式、影響態勢、發展方向等關鍵信息，為安全風控提供情報。

圖1.3　大數據安全治理生命周期

---

[1]注：在本書中，會同時出現“黑灰產”與“黑產”的表述，從字面可知，兩者的意義、涵蓋的范圍并不相同，考慮到本書的主旨并非為了對兩者進行嚴格區分，而是用來泛指各種違法的行為，因此在后文的表達中，會酬情混用這兩個詞匯。