基于大数据的网络安全分析

基于大数据的网络安全分析

作者：蓝盾研发中心-刘峰今年接手SOC产品研发，产品经理一直强调核心是事件关联分析，数据大集中后挖掘各种安全隐患，实时性关联分析以及识别或预防各种未知的攻击是技术难点。了解了一下，SOC已进入3.0时代，随着大数据技术的成熟，各个竞争对手都引入大数据平台解决先前无法解决的各种技术问题，比如大数据量存储、实时在线分析，以及各种机器挖掘技术，虽然有技术难度，但比较好的是大数据技术最近才成熟流行起来，大型的互联网公司和运营商虽然已掌握，但大部分公司和产品还未采用或者正在研发，大家基本上都在同一个起跑线上，由于大数据必须与业务紧密结合才能发挥价值，对我们来说是一个机会，正好赶上。

当前的挑战

当前网络与信息安全领域，正面临着全新的挑战。一方面，伴随大数据和云计算时代的到来，安全问题正在变成一个大数据问题，企业和组织的网络及信息系统每天都在产生大量的安全数据，并且产生的速度越来越快。另一方面，国家、企业和组织所面对的网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。

面对这些新挑战，现有安全管理平台的局限性显露无遗，主要体现在以下三个方面

1.数据处理能力有限，缺乏有效的架构支撑：当前分析工具在小数据量时有效，在大数据

量时难以为继，海量异构高维数据的融合、存储和管理遇到困难；安全设备和网络应用产生的安全事件数量巨大，IDS误报严重，一台IDS系统，一天产生的安全事件数量成千上万，通常99%的安全事件属于误报，而少量真正存在威胁的安全事件淹没在误报信息中，难以识别；

2.威胁识别能力有限，缺乏安全智能：安全分析以基于规则的关联分析为主，只能识别已

知并且已描述的攻击，难以识别复杂的攻击，无法识别未知的攻击；安全事件之间存在横向和纵向方面（如不同空间来源、时间序列等）的关系未能得到综合分析，因此漏报严重，不能实时预测。一个攻击活动之后常常接着另外一个攻击活动，前一个攻击活动为后者提供基本条件；一个攻击活动在多个安全设备上产生了安全事件；多个不同来源的安全事件其实是一种协作攻击，这些都缺乏有效的综合分析

3.安全预判能力有限，缺乏对抗能力：安全运营以被动应急响应为主，难以对风险进行提

前的评估与研判，总是疲于救火。

SOC3.0时代来临

SOC3.0以大数据分析架构为支撑，以业务安全为导向，构建起以数据为核心的安全管理体系，强调更加主动、智能地对企业和组织的网络安全进行管理和运营。

在DT时代， SOC3.0的核心要素是：业务、主动、智能、大数据。

业务?用户的业务系统是安全的终极保障对象，以业务为核心的安全就是要从业务四要素（支撑环境、流程、数据和人）出发去保障业务安全，并通过建立指标体系来度量安全效果。

主动?强调构建主动的安全机制，进行前摄性的安全防御，包括集成漏洞管理、配置核查，并引入外部威胁情报，进行积极的安全预警和主动运维。

智能?强调建立起智能化的安全分析能力，既要保留现有基于规则的关联分析，也要利用更加丰富的情境数据（漏洞、情报、身份、资产等信息）进行情境关联，更要借助诸如行为分析、机器学习、数据挖据等技术来做到知所未知。

大数据?大数据时代的安全管理必然是数据驱动的，必须以大数据架构为支撑，基于大数据技术重新构建信息采集、数据融合、事件存储、高级安全分析、态势感知和可视化等安全管理能力。

事件关联分析场景介绍

对于每套系统管理都有它的安全防护措施，只不过是安全孤岛，但是万物之间必然有它的联系，将这些日志联系到一起分析，就是关联分析，这里关联的好坏就决定于他的关联库、关联规则和知识库。

⏹场景一

针对一个典型的网络构成如下图，介绍基本的关联分析过程：

1.路由器记录所有数据包通过的信息

2.防火墙根据指定的策略记录下所有允许和丢弃的数据包访问信息

3.IDS对所有数据检测后，记录可疑数据包的告警信息

4.应用服务器记录对各种服务的访问信息以及进行的文件操作

5.

⏹场景二

对于WEB漏洞发起的攻击包检测，通常经历下面几步：

1.IDS检查到对目标WEB服务器的漏洞攻击包

2.检查路由器日志，触发告警的包是否通过路由器

3.分析防火墙日志，过滤器是否拦截攻击包

4.检查服务器文件完整性，运行Tripwire检查文件完整性，查看文件权限是否修改

5.分析syslog输出或服务器事件日志，检查攻击是否真正发生

通过上述分析，基本确定一个攻击事件是否发生，需要通过分析许多相关设备日志信息，同时能够追溯到攻击源，从全局来观察攻击事件的开始、发展、结束过程以及是否造成危害

⏹场景三

1.比如在VPN服务器日志显示张三3:00钟，从外面登陆到内部网

2.在3:05分登陆FTP服务器，并在FTP服务器上下载了某个文件

3.在门禁系统的日志显示张三在不久前刚刚进入办公区域

这三个日志可以关了出一个安全事件

⏹场景四

1.某公司核心数据库前端部署了防火墙系统，某日安全系统监测发现张三登陆了MyS QL

数据库服务器

2.但是在防火墙日志中并没有发现张三的访问日志

这说明张三很有可能绕过防火墙直接登陆数据库服务器

⏹场景五

1.网络中OpenVAS扫到某台Linux主机存在的Apache

2.2.x Scoreboard（本地安全限制绕过）

漏洞

2.与此同时，NIDS检测到了一个正在对该主机漏洞扫描的尝试攻击事件，如果此时该Linux

服务器打上了相应补丁，则关联分析结果不会报警，如果没有，此时应该会产生报警

关联分析类型

数据关联：将多个数据源的数据进行联合（Association）、相关(Correlation)或组合（Combination）分析，以获得高质量的信息。它将不同空间设备的日志，不同时间序列存在的问题进过特定关联方法结合在一起，最终确定工具的分析方法。

交叉关联：它是最常见的数据关联方式，可以将安全事件与网络拓扑、系统开放的服务、设备存在的漏洞进行关联匹配，以分析攻击成功的可能性。利用这种关联方法可以检测到某些威胁，并实现自动响应（比如发出告警等）。

情境关联: 将安全事件、故障告警事件与当前网络、业务、设备的实际运行环境、状态、