大數據平臺異常檢測分析系統的若干關鍵技術研究
大數據技術生態體系中的各類技術構件本身沒有可自省的安全機制，構件間使用的RPC協議也沒有安全機制，大數據平臺的安全性面臨著巨大挑戰，如何高效、快速地檢測大數據平臺中的應用異常對提高大數據平臺的安全性具有重要意義。本書在介紹相關研究工作及相關基礎內容之后，主要針對大數據平臺的應用層日志數據，研究了平臺異常的檢測與分析問題，構建了大數據平臺異常的離線檢測分析的方法體系及實時檢測的機制。研究了基于數據流二重概念漂移檢測的增量學習、分布式日志的最大頻繁序列模式挖掘算法、基于最大頻繁模式的動態規則庫構建算法、基于Web會話流的分布式實時異常定位算法、基于最大信息系數的在線異常檢測算法、基于聚類分析的離線異常檢測算法、基于相鄰請求的動態時間閾值會話識別算法、基于會話特征相似性模糊聚類的SFAD異常檢測算法、基于貝葉斯粒子群的異常檢測算法、平臺異常時的推測式任務調度策略、基于實時負載的推測式任務調度算法。分析了大數據平臺異常檢測分析（RADA）系統在實現時所采用的大數據技術與組件技術選型，針對RADA系統進行了深入的結構化分析，介紹了基于融合架構的RADA系統概要設計，研究了RADA系統的詳細設計與實現方法，完整地總結了大數據平臺異常的實時檢測技術與分析RADA系統的關鍵技術。
·12.6萬字
