第七章日志,告警关联分析技术

基本方法
针对系统日志取证进行分析的方法有： 基于日志规则库的分析方法，即通过收集人侵攻击和系统缺陷的相关日志知识来 构成日志知识库，并利用日志知识寻找企图利用这些系统缺陷的攻击行为； 基于统计的日志审计分析方法，即根据系统日志定义正常用户的行为模式，然后 根据当前用户行为模式与历史用户行为的偏差判断；
重点：关联分析
关联是指将所有系统中的事件以统一格式综合到一起进行观察。在 网络安全领域中，关联分析是指对网络全局的安全事件数据进行自动、 连续分析，根据用户定义的、可配置的规则来识别网络威胁和复杂的攻 击模式，从而可以确定事件真实性、进行事件分级并对事件进行有效响 应。关联分析可以用来提高安全操作的可靠性、效率以及可视化程度， 并为安全管理和应急响应提供技术手段。 这里关联分析要解决的问题有： (1) 联系可能的安全场景分析单个报警事件，以避免虚警； (2) 对相同、相近的报警事件作处理，以避免重复报警； (3) 挖掘深层次、复杂的攻击行为，达到识别有计划的攻击，从而 增加攻击检测率； (4) 提高分析的实时性，以利于及时响应。
4.其他
意义
(1) 海量的信息使得安全管理员无法处理。由于安全设备太多，所 提供的报警信息量太大，信息中真实报警与虚假报警混杂其 中，管理员难以在有限的时间内完全处理所有数据，更难以识 别报警的真实性。 (2) 安全描述片面性。网络攻击发生后，会在防火墙、IDS 等安全 防护系统和操作系统的日志中留下攻击的痕迹。孤立地看待这 些系统产生的信息，从中得到的网络安全状态描述可能会片面 而不准确。 (3) 漏报、误报现象。由于检测系统算法的局限性，大量的报警信 息中存在着许多误报警。在管理员面对太多的报警数据无 法处理的情况下，真正的报警信息也往往会被忽略，从而造成 漏报警现象。
安全事件定义
计算机和网络上时刻发生着各种可以被观察到的现 象，如通过网络连接到另一个系统、发送数据包、 浏览网页等，这些现象可能是由一些恶意的人为行 为引起的。
我们将安全事件定义为那些影响计算机系统和网络 安全的不正当行为。这些不正当行为包括对系统的 破坏、未经授权的情况下使用另一个账户或系统的 特殊权以及执行恶意代码并毁坏数据等。
关联分析的基本模型
关联分析需要采集安全设备所产生的报警信息和日志信息，将采集 来的信息进行预处理，包括安全事件的格式统一化、对无用的安全事件 的过滤、对安全事件的时间排序，对重复的安全事件的归并等，然后根 据有关知识进行分析后得到相应的结果。一个典型的关联分析系统应该 包括以下几个部件： (1) 代理端。从各个安全组件采集原始数据，对原始数据进行预处 理，并通过安全信道将数据传送给关联分析引擎。 (2) 关联分析知识库。事件关联关系的定义、事件之间推理规则的 描述等。 (3) 关联分析引擎。运用各种关联方法从相互独立的数据源中提取第一章 绪论 相关信息，用于安全事件的分析与处理。 (4) 关联分析结果处理。对关联后的结果进行显示并做进一步的响 应处理。
基于机器学习的分析方法，即利用日志的信息来学习用户的正常行为模式，通过 日志的历史事件用一些学习算法来预测未来的用户行为；
基于数据挖掘的分析方法，即从海量日志数据中提取出所感兴趣的数据信息，抽 象出有利于进行判断和比较的特征模型，根据这些特征向量模型和行为描述模型， 采用相应的数据挖掘算法判断出当前网络行为的性质； 基于状态转移的分析方法，即采用系统状态、状态转移与日志特征的表达式来描 述已知的网络攻击模式，采用优化的模式匹配技术判断当前事件是否与攻击模式 匹配。
LAMBDA---a language to model a database for detection of attack
Modeling Multistep Cyber Attacks for Scenario 有限状态机技术 Fusing a Heteorgeneous Alert Stream into Scenarios 事件因果关联 Techniques and Tools for Analyzing Intrusion Alerts Analyzing Intensive Intrusion Alerts via Correlation
关联分析的基本模型
关联分析模型如图 1.1 所示，其中核心的部件 是 2 和 3。部件 2 是部件 3 的基础，部件 3 根据部件 2 提供的知识体系对接收的安全事件 进行关联分析处理，最后将结果提交给关联分 析结果处理部件进行显示并做 进一步的响应处理。
介绍关联分析技术
核心领域论文
1.综述 A Comprehensive Approach to Intrusion Detection Alert Correlation 2.实例 A mission-impact-based approach to INFOSEC alarm correlation 3.特定关联技术 告警相似关联 Probabilistic Alert Correlation 模式识别技术
根据上述对安全事件的定义，我们可将安全事件分 为两类：一种是其发生环境局限于本地主机，称之 为主机安全事件；另外一种是发生于网络环境中的 事件，称之为网络安全事件。
对于安全事件，我们一般只能通过专门的
工具或设备如防火墙、IDS（入侵检测系统） 等检测出。所以安全事件的最终表现形式为 这些工具或设备产生的报警信息和日志信息。 另外必须指出报警的发生和真正事件的发生 并不等价，有可能是误告警
安全事件关联分析技术
关联分析意义ቤተ መጻሕፍቲ ባይዱ
日志记录计算机犯罪的大量“痕迹”，是计 算机和网络系统用于记录发生在计算机本地 系统或者网络中的事件的重要审计凭据，为 打击计算机犯罪非常重要的线索和证据来源。 如何充分利用日志资源在重点范围内实时发 掘有效的计算机证据，重建入侵事件，追踪 入侵肇事者，是计算机取证研究领域中亟待 解决的一个非常重要的问题。