基于改进聚类分析算法的入侵检测系统研究

目标 系统
事件产生器
日志数 据存储
分析引擎
响应单元
数据搜 集配置 数据搜集
状态 信息
检测 策略 检测
响应 策略 响应
图 1 入侵检测系统结构图
基金项目： 山西省高校科技开发项目 （No.200512G2） ； 山西大学科研项目 （No.2005103） 。 作者简介： 杜强 （1985—） ， 男， 硕士研究生， 主要研究方向： 网络安全； 孙敏 （1968—） ， 女， 副教授， 硕士研究生导师。E-mail： duqiang.student@ 收稿日期： 2010-05-12； 修回日期： 2010-08-09
网络系统面临着越来越多的攻击和安全问题。为了有效地保 护网络环境， 及时有效地发现攻击行为， 继防火墙、 数据加密 等传统安全保护措施后入侵检测作为一种新的安全防护技术 应运而生。如今， 网络速度不断加快， 入侵方式和种类的不断 更新， 这些都对入侵检测技术提出了新的要求。入侵检测分 为误用检测和异常检测两种类型， 其中异常检测技术根据使 用者的行为或资源使用状况来判断是否存在入侵， 不依赖具 体入侵是否出现来检测， 而且对系统的依赖性相对较小， 从而 成为了近几年来网络安全研究的热点之一。 数据挖掘技术于 1999 年由 Wenk Lee[1]等人引入到入侵检 测系统中。聚类分析作为一种常用的数据挖掘技术， 其算法 简单、 计算复杂度低， 尤其适用于高速网络环境。然而聚类分 析算法本身采用随机法选择初始聚类中心和易陷入局部最优 解等问题极大地限制了其在网络入侵检测方面的应用。基于 上述现实背景， 提出了一种基于改进聚类分析算法的入侵检 测系统， 并通过仿真实验验证了该系统的优越性。
106
2011， 47 （11）
Computer Engineering and Applications 计算机工程与应用
基于改进聚类分析算法的入侵检测系统研究
杜 强， 孙 敏 DU Qiang， SUN Min
山西大学 计算机与信息技术学院， 太原 030006 School of Computer and Information Technology， Shanxi University， Taiyuan 030006， China DU Qiang， SUN Min.Intrusion detection system based on improved clustering puter Engineering and Applications， 2011， 47 （11） ： 106-108. Abstract：There are two major problems exist in commonly used clustering algorithm for intrusion detection systems： One is clustering algorithm that uses the random method to determine initial cluster centers， the other is that it is easy to fall into local optimal solution caused by climbing-type technology.Based on this， an improved clustering algorithm is proposed.By determining the initial cluster centers of the two farthest， hierarchical clustering based on the maximum-minimum distance and DBI index it determines the remaining initial cluster center， the method solves the mentioned issue.The simulation verifies the feasibility and superiority of the proposed algorithm. Key words：intrusion detection； cluster analysis； K-means algorithm 摘 要： 针对常用聚类分析算法应用于入侵检测系统所存在的两大方面的问题： 一是其采用随机法确定初始聚类中心， 不同的初
1
引言
随着网络广泛应用和网络技术特别是黑客技术的发展，
2 入侵检测系统简介及常用的聚类分析算法 2.1 入侵检测系统简介
入侵检测系统 （Intrusion Detection System， IDS） 从系统 内部和各种网络资源信息中， 分析可能的入侵攻击行为， 扩展 系统管理员的安全管理能力 （包括安全审计、 监视、 进攻识别 和响应） ， 提高信息安全基础结构的完整性。入侵检测系统根 据用户的历史行为， 基于用户的当前行为， 完成对入侵的检 测， 并留下证据， 为数据恢复和事故处理提供依据。就检测技 术而言， IDS 有误用检测和异常检测之分。一个入侵检测系 统一般包含数据搜集、 入侵检测和入侵响应三个部分， 其一般 结构如图 1 所示[2]。
始值可能产生不同的聚类结果； 二是采用爬山式技术导致容易陷入局部最优解。基于此提出一种改进的聚类分析算法， 通过确 定两个最远初始聚类中心和基于最大最小距离的层次聚类、 DBI 指标来确定剩余初始聚类中心， 该方法使上述问题得到解决， 并 通过仿真实验验证了该算法的可行性和优越性。 关键词： 入侵检测； 聚类分析； K-means 算法 DOI： 10.3778/j.issn.1002-8331.2011.11.030 文章编号： 1002-8331 （2011） 11-0106-03 文献标识码： A 中图分类号： TP393.08
di j 表示。
（3） 如果 j = t ， 那么 xt 与 x j 互为最大距离点， 则转到 （6） ； 如果 j ¹ t ， 则转到 （4） 。
xt 与 x j 互为最大距 （4） 如果 dt i ³ di j ， 则与 （3） 结果一致，
离点。 （5） 如果 dt i < di j ， 则 xi 与 x j 距离最远， 二者互为最大距 离点。 （6）c1 和 c 2 分别用于存储找到的互为最大距离的两个点， 用作初始两个聚类中心。
杜 强， 孙
敏： 基于改进聚类分析算法的入侵检测系统研究
2011， 47 （11）
107
2.2 入侵检测中常用的聚类分析算法介绍
聚类分析是将数据集合中的对象划分成若干个类的过 程， 使得同一个类的对象具有较高的相似度， 而不同类的对象 之间相似度较低， 或者说不同类之间的对象差异较大。因此， 基于聚类分析的入侵检测技术就是用无参数的方法将事件流 用向量表示， 然后再利用聚类分析算法将它们分为行为类。 每一类都代表相似的活动或用户的行为， 这样就能够辨别出 正常和异常的行为。无监督聚类分析算法应用于入侵检测不 需要对训练集进行标类和严格的过滤， 而且对于检测网络数 据中的未知攻击行为有比较好的效果， 因此聚类分析算法在 入侵检测领域[3]值得进一步深入研究。 在众多聚类分析算法[4]中， 将 K-means 算法应用于异常检 测的优点是其方法简单、 计算复杂性小， 因此容易达到入侵检 测实时性的要求， 而且也比较容易实现。其基本思想是： 随机 地选择 k 个对象， 每个对象初始化地代表了一个类的平均值或 中心。对剩余的每个对象， 根据其与各个类中心的相似度， 将 它赋给最近的类， 然后重新计算每个类的平均值， 这个过程不 断重复， 直到准则函数收敛。其主要步骤 描述如下： 输入： 指定类的个数 K 和包含 N 个对象的数据集。 输出： k 个类。 方法： （1） 从 N 个数据对象中任意选择 k 个对象作为初始的类中心。 （2） 计算剩余数据对象到各个聚类中心的距离， 并把对象 分配到离各自最近的聚类中。 （3） 分配完成后， 重新计算 k 个聚类的中心， 即计算聚类中 对象的平均值。 （4） 与前一次计算得到的 k 个聚类中心比较， 是否准则函 数开始收敛， 是则转 （5） ， 否则转 （2） 。 （5） 输出 k 个聚类结果。 该算法在计算两个数据对象之间相似度时， 考虑到网络 入侵检测效率的因素一般采用计算复杂度较小的欧几里德距离 作为两个数据对象之间属性值的相似性度量， 式子表示为：
O n =பைடு நூலகம் x1 x 2 x n} ， 假设数据库中有 n 个数据对象， 随机 di j 表示数据对象 i 和 j 之间的距离。 选择一个数据对象 xt ，
（1） 寻找与数据对象 xt 距离最远的对象 xi ， 两者间距离用
dt i 表示。
（2） 寻找与数据对象 xi 距离最远的对象 x j ， 两者间距离用
（2）
其中 E 为数据库中所有数据对象的均方差之和，p 代表其所 在聚类空间的一个数据对象点， mi 为聚类 ci 平均值，p 和 mi 均为多维的数据对象。 可见， K-means 算法是解决聚类问题的一种经典算法。它 的主要优点是算法简单、 快速而且能有效地处理大数据库。 然而这种算法采用随机法选取初始聚类中心， 因此对不同的 初始值可能会导致不同的聚类结果， 使聚类结果产生不稳定 性， 应用于在线入侵检测系统导致该算法的执行结果与输入 顺序［6］有关。其次， 这种算法采用了所谓的爬山式技术来寻找 最优解， 其每次调整都为了寻求更好的聚类结果， 因此很容易 陷入局部最优解 [7]。由于这两大缺陷极大地限制了该算法的 应用范围， 因此本文选择改进的 K-means 算法应用于网络入 侵检测 系统。
d c (i j) = |xi1 - x j1|2 + |xi2 - x j2|2 + ... + |xip - x jp|2
[5]
3 改进的 K-means 算法 3.1 确定两个最佳的初始聚类中心
选取两个最佳最远聚类中心的思想是为了避免算法初始 值选取时很可能出现的初始聚类种子过于邻近的问题， 算法 初始时选出距离最远的两个数据对象， 从而形成两个初始的 聚类中心， 以便很好地保证后续的处理使同一类内的对象有 极高的相似性[9]， 而不同类之间有极低的相似性。为保证系统 在处理大数据量时的高效率， 本文设计一种时间复杂度为 O(n) 的计算方法， 其相关说明如下：