1.5 日志監控

區別于指標監控，日志監控采集日志數據（文本類型），并將這些數據匯總到日志存儲和搜索引擎中，提供日志檢索的 Web 接入。指標監控的對象通常都是數字，而日志監控的對象是文本數據，這就要求存儲系統具備文本檢索功能。

日志監控不僅可以用于性能問題定位，還可以用于數據統計和故障告警。例如，在某個時間段內的程序輸出日志中，若異常數（如果是Java編程，則匹配Exception關鍵字）超過閾值，則發出告警。

如圖1-6所示展現了目前業內比較流行的日志監控黃金組合，當然，每個組件都有一些替代方案。

圖1-6

下面對如圖1-6所示的組件進行簡單介紹。

◎ Fluentd主要負責日志采集，其他開源組件還有Filebeat、Flume、Fluent Bit等，也有一些應用集成 Log4g等日志組件直接輸出日志。

◎ Kafka主要負責數據整流合并，避免突發日志流量直接沖擊Logstash，業內也有用Redis替換Kafka的方案。

◎ Logstash負責日志整理，可以完成日志過濾、日志修改等功能。

◎ Elasticsearch負責日志存儲和日志檢索，自帶分布式存儲，可以將采集的日志進行分片存儲。為保證數據高可用，Elasticsearch引入多副本概念，并通過Lucene實現日志的索引和查詢。

◎ Kibana是一個日志查詢組件，負責日志展現，主要通過Elasticsearch的HTTP接口展現日志。

除了自建日志系統，公有云還提供了日志存儲和分析功能，以及一些SaaS日志服務，例如日志易等。本書主要介紹性能監控相關的內容，對于日志監控不會詳細闡述，只分享日志監控方案。