1.4 大數據分析技術在安全中的應用

1.4.1 安全需要大數據

在信息安全領域，對大數據的迫切需求主要來自嚴峻的國內外網絡安全形勢、國家層面的高度重視和支持以及傳統網絡安全的局限性三個方面。

1.國內外網絡安全形勢

由于網絡安全事件頻發，當前各行業的安全態勢越發嚴峻。網絡安全及數據泄露事件不斷登上新聞頭條，從醫療信息、賬戶憑證、個人信息、企業電子郵件到企業內部敏感數據等。下面回顧一下過去幾年里比較重大的安全事件。

（1）希拉里郵件門事件

2016年11月，希拉里因“郵件門”最終落敗美國總統的競選。希拉里在擔任國務卿期間，從未使用域名為“@sate.gov”的政務電子郵件，而是使用域名為“@clintonemail.com”的私人電子郵件和位于家中的私人服務器收發公務郵件，涉嫌違反美國《聯邦檔案法》關于保存官方通信記錄的規定。希拉里被美國聯邦調查局（FBI）調查，民眾支持率節節下降。

（2）烏克蘭電力門事件

2015年12月，烏克蘭電力系統遭受黑客攻擊，黑客將可遠程訪問并控制工控系統的BlackEnergy（黑暗力量）惡意軟件植入烏克蘭電力部門，造成電網數據采集和監控系統崩潰。英國《金融時報》在2016年1月6日報道，這是有史以來首次導致停電的網絡攻擊，數百戶家庭供電被迫中斷，此次針對工控系統的攻擊無疑具有里程碑意義，引起了國內外媒體的高度關注。

（3）“永恒之藍”病毒爆發

2017年4月14日晚黑客團體Shadow Brokers（影子經紀人）公布了一大批網絡攻擊工具，其中包含“永恒之藍”。“永恒之藍”利用Windows系統的SMB漏洞可以獲取系統最高權限。5月12日，不法分子通過改造“永恒之藍”制作了wannacry勒索病毒，圖1-9所示為國內某信息安全廠商分析這次攻擊對全球影響時做的可視化呈現。

2.國家層面的高度重視和支持

面對嚴峻的國內外網絡安全形勢，國家對網絡安全，特別是大數據安全表現出了高度的重視和支持。

2016年4月19日，習近平總書記在網絡安全和信息化工作座談會上發表重要講話，審時度勢、高瞻遠矚，勾勒出中國網信戰略的宏觀框架，明確了中國網信事業肩負的歷史使命，為深入推進網絡強國戰略指明了前進方向。對于如何正確處理安全和發展的關系，習近平總書記指出，“要樹立正確的網絡安全觀，加快構建關鍵信息基礎設施安全保障體系，全天候全方位感知網絡安全態勢，增強網絡安全防御能力和威懾能力”。

2017年2月17日，習近平總書記主持召開國家安全工作座談會時強調，“要筑牢網絡安全防線，提高網絡安全保障水平，強化關鍵信息基礎設施防護，加大核心技術研發力度和市場化引導，加強網絡安全預警監測，確保大數據安全，實現全天候全方位感知和有效防護”。

3.傳統網絡安全的局限性

在面對新的安全威脅時，傳統的安全防護漸漸出現了局限性，不再能滿足對網絡安全實時監測、有效防護、全天候全方位感知等各方面的需求。傳統安全防護主要的局限性來自以下四個方面。

（1）規則匹配較為簡單

傳統的安全防護基于關鍵字匹配，容易被攻擊者繞過，而且往往很多時候是業務的正常行為。

（2）線索誤報較多

隨著接入數據的不斷增多，基線也隨之動態變化，傳統SIEM并不具備足夠的分析嚴謹性，會產生大量誤報和噪聲。安全人員往往從追逐大量誤報開始。成熟的公司會嘗試調整工具，讓其理解什么是正常事件，以此來降低誤報數量。但也有一些安全團隊會跳過該步驟，直接無視很多誤報，有可能錯過真正的威脅。

（3）不能發現新型威脅

傳統的安全防護基于特征碼，也就是內容特征進行匹配，往往依賴安全人員給出精準匹配的特征碼，因此只能檢測已知的安全威脅。

（4）不能關聯多源日志

如圖1-10所示，傳統的安全防護往往只是單路徑檢測，不能還原整個攻擊路徑，分析維度較低，不能對多個數據源進行關聯綜合分析。

1.4.2 安全大數據分析技術基礎及分析思路

大數據安全分析可以用到大數據分析的所有普適性的方法和技術，但當應用到網絡安全領域的時候，還必須考慮安全數據自身的特點和安全分析的目標，這樣大數據安全分析的應用才更有價值。

1.大數據安全分析的定位

大數據安全分析需要全方面了解安全動態，做到知己知彼。

· 知己：基于機器學習發現潛在的入侵和高隱蔽性攻擊，回溯攻擊歷史，預測即將發生的安全事件。

· 知彼：結合威脅情報形成海陸空天一體的安全防御能力。

圖1-11所示為國內某信息安全廠商設計的大數據安全分析平臺架構圖。平臺采集了關鍵安全設備的日志、告警等數據（滿足網絡安全法存儲6個月的要求），通過大數據分析，要同時具備對內部惡意資產的發現與驗證能力以及對外部攻擊的實時監測能力。

2.大數據安全分析范圍

大數據安全分析主要針對公司內部威脅、外部威脅和業務安全。內部威脅，如內部應用誤用和憑證竊取等事件，通常都發生在公司內部。然而，公司內部恰恰是難以獲得足夠可見性的地方；外部威脅通常表現為低頻長周期的網絡攻擊，如撞庫攻擊、低頻掃描、APT攻擊等安全風險；業務安全指涉及公司業務的安全問題，如應用系統違規訪問、金融詐騙及“薅羊毛”等業務風險。

3.大數據安全分析路徑

如圖1-12所示，大數據安全分析路徑包括數據采集、安全環境狀態識別、已知安全事件監測、未知安全風險監測和安全狀態綜合分析。

（1）數據采集

如圖1-13所示，大數據安全分析中首先需要弄清楚都有哪些可分析的數據，以及數據中包含的信息。源數據所包含的信息量越大，能分析出的結果就越豐富、越精準，能完成的需求與覆蓋的場景就越多。

網絡安全領域通常可以把數據分為主機日志、應用日志、網絡流量日志、業務日志以及告警日志，需要檢測什么樣的場景，就需要采集什么樣的數據。

數據采集完之后，需要對數據的格式進行標準化處理，通常根據數據字典把非結構化的數據通過解析規則映射成可分析的結構化數據。

如圖1-14所示，數據字典是用于元數據管理的一套字段及命名的規范。不同廠商有不同的日志標準化方式，目前沒有統一的標準。數據字典是工程團隊和分析團隊銜接的橋梁，一個穩定健全的數據字典可以提高分析效率。

（2）安全環境狀態識別

識別當前環境中的安全狀態有利于對資產進行針對性的重點監測和分析，通常包括弱點感知和資產識別。

弱點感知，即識別當前系統的環境信息，以及漏洞或者不合規的配置項，便于分析安全事件和當前系統環境弱點之間的關聯。例如，在安全告警分析的過程中，資產觸發了struts2漏洞告警，但是根據弱點感知數據，該Web資產并沒有使用框架，這樣就可以剔除相關的風險，有針對性地進行告警。

資產識別如圖1-15所示，主要用于識別當前網絡中資產的連接拓撲以及資產安全域，便于在安全分析過程中進行攻擊路徑溯源分析。

（3）已知安全事件監控

大數據安全分析的下一個路徑是提供準確而快速的安全分析、告警和響應能力。利用大數據分析將所有采集到的數據進行關聯融合分析后輸出核心安全事件告警，構建針對網絡信息安全態勢感知、通報預警、應急處置、追蹤溯源以及聯動原有安全防護設備的綜合網絡安全解決體系。

如圖1-16所示，已知安全事件監控主要包括漏洞驗證、情報碰撞、智能關聯以及攻擊鏈分析。其中，攻擊鏈分析是指攻擊事件的事后上下文分析，例如，發生了一起數據泄露事件，通過攻擊路徑來分析該事件的因果關系，即攻擊突破點及攻擊過程，以便后續做進一步的防范加固。

（4）未知安全事件監控

針對很多安全場景模型，傳統的檢測手段都可以檢測，但有些傳統手段無法實現對未知威脅的檢測。表1-1左側列舉的是用傳統檢測手段可以實現的安全場景模型，右側是智能機器學習模型，利用機器學習手段實現對已知、未知安全事件的監控。

目前大數據安全分析對于未知安全事件的檢測主要有兩種方式：異常行為檢測和用戶與實體行為分析（UEBA）（包括時序及空間兩個維度）。后續章節將會詳細講述這兩種分析手段的內容以及應用實戰。

（5）安全狀態綜合分析

大數據安全分析路徑的最后一步是安全狀態綜合分析。大數據安全分析不僅要發現異常用戶和實體，還需要對環境整體安全態勢及用戶和實體異常行為進行可視化，便于用戶全方位洞察系統安全情況，精準定位風險，如圖1-17所示。