日志管理系统功能说明书

日志管理系统功能说明书

日志管理系统是用来实时采集、搜索、分析、可视化和审计系统及事件日志的管理软件，能够对全网范围内的主机、服务器、网络设备、数据库以及各种应用服务系统等产生的日志全面收集，并通过大数据手段进行分析，通过统一的控制台进行实时可视化的呈现。通过定义日志筛选规则和策略，帮助IT管理员从海量日志数据中精确查找关键有用的事件数据，准确定位网络故障并提前识别安全威胁，从而降低系统宕机时间、快速响应，从而提升网络性能、业务系统稳定性、全网的安全性。

一．硬件需求

1．可以采用普通的x86服务器，以集群布署的方式实现高速、低价、稳定、实时的日志管理。

2．配置：2颗CPU，32G内存，Xeon-E5，1T硬盘，7-10台

二．系统技术栈

1.Flume+Kafk：a收集各种类型的日志信息

2.Sparkstreaming：实时处理、分析收集的数据

3.Elasticsearch：实现多维度的搜索、查询

4.HBase、HDFS：实现日志的存储

三．功能详述

1.实时事件关联：预置多种事件关联规则，快速定位网络安全威胁、黑客攻击、内

部违规；

2.多样化的报表和统计图表：允许创建自定义报表，生成多样化的统计图表。

3.集中的日志采集：持各种协议采集，对不同日志源所产生的日志进行收集，实现

日志的集中管理和存储，支持解析任意格式、任意来源的日志。

4.特定用户监控：收集并分析特定用户活动产生的各种日志。

5.日志搜索：强大的日志搜索引擎，可进行多维度的搜索查询，从海量的日志数据

中检索出所需的信息，进而产成更详细的日志分析报表。

6.实时警告：支持用户自定义告警规则，告警发送模式支持短信及邮件等基本方式。

还可以通过手机APP，和微信公众号的方式实现手机APP和微信的消息推送的方式进行高危告警。

7.日志分析：通过大数据挖掘分析手段，对日志进行深入的挖掘和分析，从而发现日

志中存在的关联性问题或异常。

8.灵活的日志归档：通过自定义方式，提对收集的日志数据进行自动归档处理，以

实现日志数据的长久保存。

9.允许二次开发：提供丰富的开发接口，允许用户进行二次开发，（比如：自定义图表

的展示、日志的截取、分析结果的导出等）

10.安全简单的布署：对现有网络不产生任何影响，安全可靠，采用Docker技术，实

现快速、简使的布署。