计算机网络安全探讨

离散
Ｓｅｒｖｉｃｅ
在目标机的网络服务， 如 ｈｔｔｐ， ｔｅｌｎｅｔ 等
离散
ｓｒｃ＿ｂｙｔｅｓ
源地址到目标地址的数据流量
连续
ｄｓｔ＿ｂｙｔｅｓ
目标地址到源地址的数据流量
连续
ｆｌａｇ
连接状态（ 正常或错误）
离散
ｌａｎｄ
１－ 数据连 接源 地址和 目标 地址 为同一 主机 或端 口； ０－ 其他 离散
标识类型
出现 ＳＹＮ 错误的连接次数
连续
ｓｒｖ＿ｒｅｒｒｏｒ＿ｒａｔｅ
出现 ＲＥＪ 错误的连接次数
连续
ｓｒｖ＿ｄｉｆｆ＿ｈｏｓｔ＿ｒａｔｅ
连接不相同主机的次数
连续
离散型
１ ｐｒｏｔｏｃｏｌ＿ｔｙｐｅ
２
ｓｅｒｖｉｃｅ
３
ｆｌａｇ
４
ｌａｎｄ
５ ｌｏｇｇｅｄ＿ｉｎ
６ ｒｏｏｔ＿ｓｈｅｌｌ
７ ｓｕ＿ａｔｔｅｍｐｔｅｄ
在 实 验 研 究 中 ， 一 般 使 用 ＫＤＤＣｕｐ９９ 中 的 网 络 入 侵 检 测 数 据 包 ｋｄｄｃｕｐ＿ｄａｔａ＿１０ｐｅｒｃｅｎｔ。 ｋｄｄｃｕｐ＿ｄａｔａ＿１０ｐｅｒｃｅｎｔ 数 据 包 是 对 ｋｄｄｃｕｐ＿ｄａｔａ 数据包（ 约 ４９０ 万条数据记录） １０％的抽样。
２．数据预处理
聚类算法中要使用计算距离的方法对数据进行 聚 类［２］ ， 而 连 接 记 录的固定特征属性中有两种类型的数值： 离散型和连续型。对于连续 型特征属性， 各属性的度量方法不一样。一般而言， 所用的度量单位越 小， 变量可能的值域就越大， 这样对聚类结果的影响也越大， 即在计算 数据间距离时对聚类的影响越大， 甚至会出现“大数”吃“小数”的现象 ［３］ 。因此为了避免对度量单位选择的依赖， 消除由于属性 度 量 的 差 异 对聚类产生的影响， 需要对属性值进行标准化。
为
Ｘ＇ ｉｊ
归一化
后的值。
Ｘ＇＇ｉｊ＝
Ｘ＇ ｉｊ－ Ｘｍｉｎ Ｘｍａｘ － Ｘｍｉｎ
（ ２－ ４）
Ｘｍｉｎ ＝ｍｉｎ｛Ｘ＇ ｉｊ｝（ ２－ ５）
Ｘｍａｘ ＝ｍａｘ｛Ｘ＇ ｉｊ｝（ ２－ ６）
其中下标变量 １≤ｉ≤ｎ， １１≤ｊ≤３２。
３．小结
在基于数据挖掘的网络入侵检测技术研究中， 数据源的获取是研
图 １－ １ 连接记录实例
以下三个表为连接记录特征的完整列表， 其中表 １－ ２ 显示的是单 个 ＴＣＰ 连接的基本特征， 表 １－ ３ 显示的是在一次连接 中 包 含 的 内 容 特征， 表 １－ ４ 显示的是以 ２ 秒时间窗口计算的流量特征。
通过对 ４１ 个固定特征属性的分析， 比较能体现出状态变化的是 前 ３１ 个特征属性， 其中 ９ 个离散型， ２２ 个连续型。因此对连接记录的
０，ｕｄｐ，ｐｒｉｖａｔｅ，ＳＦ， １０５，１４６，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，１，１，０．００，０．００，０．００，０．００，１．００，０．００，０．０ ０，２５５，２５４，１．００，０．０１，０．００，０．００，０．００，０．００，０．００，０．００，ｎｏｒｍａｌ．
特征名
描
述
ｈｏｔ
热点指标的数目
ｎｕｍ＿ｆａｉｌｅｄ＿ｌｏｇｉｎｓ
企图登录失败次数
ｌｏｇｇｅｄ＿ｉｎ
１－ 登录成功； ０－ 其他
类型 连续 连续 离散
ＫＤＤＣｕｐ９９ 训练数据集中每个连接记录包含了 ４１ 个固定 的 特 征 属性和 １ 个类标识， 如图 １－ １ 所示， 标识用来表示该条连接记录是正 常的， 或是某个具体的攻击类型。在 ４１ 个固定的特征属性 中 ， ９ 个 特 征属性为离散（ ｓｙｍｂｏｌｉｃ） 型， 其他均为连续（ ｃｏｎｔｉｎｕｏｕｓ） 型。
科技信息
○ＩＴ 技术论坛○
ＳＣＩＥＮＣＥ ＆ ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
２００８ 年 第 １５ 期
ＫＤＤＣｕｐ９９ 网络入侵检测数据的分析和预处理
王洁松 １ 张小飞 ２ （１．南通航运职业技术学院信息与技术系 江苏 南通 ２２６０１０； ２．国家电网公司信息网络安全实验室 江苏 南京 ２１０００３）
１－ ｓｕ 命令执行尝试； ０－ 其他 Ｒｏｏｔ 权限访问的次数 文件创建操作的次数 ｓｈｅｌｌ 提示符合的个数 访问控制文件的次数
一次 ｆｔｐ 会话中传递命令的次数 １－ 属于热点清单的登录； ０－ 其他 １－ ｇｕｓｅｔ 用户登录； ０－ 其他用户名登录
连续 离散 离散 连续 连续 连续 连续 连续 离散 离散
对于离散型特征属性本文中并不作标准化处理， 而是放在聚类算 法中计算距离时处理。所以数据标准化是针对连续型特征属性的。
设训练数据集有 ｎ 条网络连接记录， 每个记录中有 ２２ 个连续型
Baidu Nhomakorabea
４０７
科技信息
○ＩＴ 技术论坛○
ＳＣＩＥＮＣＥ ＆ ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
２００８ 年 第 １５ 期
究的基础， 数据源的预初步处理更是直接影响入侵检测技术的效果。
本文对 ＫＤＤＣｕｐ９９ 网路入侵检测数据集进行了较为详细的介绍， 并给
ｄｕｒａｔｉｏｎ，ｐｒｏｔｏｃｏｌ＿ｔｙｐｅ，ｓｅｒｖｉｃｅ，ｆｌａｇ，ｓｒｃ＿ｂｙｔｅｓ，ｄｓｔ＿ｂｙｔｅｓ，ｌａｎｄ， ｗｒｏｎｇ＿ｆｒａｇｍｅｎｔ，ｕｒｇｅｎｔ，ｈｏ，ｎｕｍ＿ｆａｉｌｅｄ＿ｌｏｇｉｎｓ，ｌｏｇｇｅｄ＿ｉｎ，ｎｕｍ＿ｃｏｍｐｒｏｍｉｓｅｄ， ｒｏｏｔ＿ｓｈｅｌｌ，ｓｕ＿ａｔｔｅｍｐｔｅｄ，ｎｕｍ＿ｒｏｏｔ，ｎｕｍ＿ｆｉｌｅ＿ｃｒｅａｔｉｏｎｓ，ｎｕｍ＿ｓｈｅｌｌｓ， ｎｕｍ＿ａｃｃｅｓｓ＿ｆｉｌｅｓ，ｎｕｍ＿ｏｕｔｂｏｕｎｄ＿ｃｍｄｓ，ｉｓ＿ｈｏｓｔ＿ｌｏｇｉｎ，ｉｓ＿ｇｕｅｓｔ＿ｌｏｇｉｎ，ｃｏｕｎｔ， ｓｒｖ＿ｃｏｕｎｔ，ｓｅｒｒｏｒ＿ｒａｔｅ，ｓｒｖ＿ｓｅｒｒｏｒ＿ｒａｔｅ，ｒｅｒｒｏｒ＿ｒａｔｅ，ｓｒｖ＿ｒｅｒｒｏｒ＿ｒａｔｅ， ｓａｍｅ＿ｓｒｖ＿ｒａｔｅ，ｄｉｆｆ＿ｓｒｖ＿ｒａｔｅ，ｓｒｖ＿ｄｉｆｆ＿ｈｏｓｔ＿ｒａｔｅ，ｄｓｔ＿ｈｏｓｔ＿ｃｏｕｎｔ， ｄｓｔ＿ｈｏｓｔ＿ｓｒｖ＿ｃｏｕｎｔ，ｄｓｔ＿ｈｏｓｔ＿ｓａｍｅ＿ｓｒｖ＿ｒａｔｅ，ｄｓｔ＿ｈｏｓｔ＿ｄｉｆｆ＿ｓｒｖ＿ｒａｔｅ， ｄｓｔ＿ｈｏｓｔ＿ｓａｍｅ＿ｓｒｃ＿ｐｏｒｔ＿ｒａｔｅ，ｄｓｔ＿ｈｏｓｔ＿ｓｒｖ＿ｄｉｆｆ＿ｈｏｓｔ＿ｒａｔｅ， ｄｓｔ＿ｈｏｓｔ＿ｓｅｒｒｏｒ＿ｒａｔｅ，ｄｓｔ＿ｈｏｓｔ＿ｓｒｖ＿ｓｅｒｒｏｒ＿ｒａｔｅ，ｄｓｔ＿ｈｏｓｔ＿ｒｅｒｒｏｒ＿ｒａｔｅ， ｄｓｔ＿ｈｏｓｔ＿ｓｒｖ＿ｒｅｒｒｏｒ＿ｒａｔｅ，ｃｌａｓｓ
１．ＫＤＤＣｕｐ９９ 网络入侵检测数据介绍
对于入侵检测的研究， 需要大量有效的实验数据。数据的采集可 以 通 过 一 些 抓 包 工 具 来 获 得 ， 如 Ｕｎｉｘ 下 的 Ｔｃｐｄｕｍｐ， Ｗｉｎｄｏｗｓ 下 的 Ｌｉｂｄｕｍｐ， 或 者 专 用 的 软 件 ｓｎｏｒｔ 捕 捉 数 据 包 ， 生 成 连 接 记 录 作 为 数 据 源。在此， 本文介绍基于数据挖掘的入侵检测技术研究中使用的 ＫＤＤＣｕｐ９９［１］ 的网络入侵检测数据集。
属性向量记作 Ｘｉｊ（１≤ｉ≤ｎ，１１≤ｊ≤３２）。对 Ｘｉｊ 数据预处理分为两步： 数 值标准化和数值归一化。
表 １－ ４ 以 ２ 秒时间窗口计算的流量特征
特征名
描述
类型
ｃｏｕｎｔ
过去的 ２ 秒内与当前连接有着相同的目的地址的连接 连续
注释： 以下特征指对同一主机的连接
ｓｅｒｒｏｒ＿ｒａｔｅ
出现 ＳＹＮ 错误的连接次数
在 训 练 数 据 集 中 包 含 了 １ 种 正 常 的 标 识 类 型 ｎｏｒｍａｌ 和 ２２ 种 训 练攻击类型， 如表 １－ １ 所示。另外有 １４ 种攻击仅出现在测试数据集 中。
表 １－ １ ＫＤＤＣｕｐ９９ 入侵检测实验数据的标识类型
ｐｒｏｔｏｃｏｌ＿ｔｙｐｅ
协议类型， 如 ｔｃｐ， ｕｄｐ 等
ｎｕｍ＿ｃｏｍｐｒｏｍｉｓｅｄ ｒｏｏｔ＿ｓｈｅｌｌ
ｓｕ＿ａｔｔｅｍｐｔｅｄ ｎｕｍ＿ｒｏｏｔ
ｎｕｍ＿ｆｉｌｅ＿ｃｒｅａｔｉｏｎｓ ｎｕｍ＿ｓｈｅｌｌｓ
ｎｕｍ＿ａｃｃｅｓｓ＿ｆｉｌｅｓ ｎｕｍ＿ｏｕｔｂｏｕｎｄ＿ｃｍｄｓ
ｉｓ＿ｈｏｔ＿ｌｏｇｉｎ ｉｓ＿ｇｕｅｓｔ＿ｌｏｇｉｎ
受到威胁状态的次数 １－ 获得超级用户的 ｓｈｅｌｌ 外壳； ０－ 其他
９
ｎｕｍ＿ｒｏｏｔ
２０
１０ ｎｕｍ＿ｆｉｌｅ＿ｃｒｅａｔｉｏｎｓ ２１
１１
ｎｕｍ＿ｓｈｅｌｌｓ
２２
ｎｕｍ＿ａｃｃｅｓｓ＿ｆｉｌｅｓ ｎｕｍ＿ｏｕｔｂｏｕｎｄ＿ｃｍｄｓ
ｃｏｕｎｔ ｓｒｖ＿ｃｏｕｎｔ ｓｅｒｒｏｒ＿ｒａｔｅ ｓｒｖ＿ｓｅｒｒｏｒ＿ｒａｔｅ ｒｅｒｒｏｒ＿ｒａｔｅ ｓｒｖ＿ｒｅｒｒｏｒ＿ｒａｔｅ ｓａｍｅ＿ｓｒｖ＿ｒａｔｅ ｄｉｆｆ＿ｓｒｖ＿ｒａｔｅ ｓｒｖ＿ｄｉｆｆ＿ｈｏｓｔ＿ｒａｔｅ
含义
具体分类标识
ｗｒｏｎｇ＿ｆｒａｇｍｅｎｔ
错误碎片的数目
连续
Ｎｏｒｍａｌ
正常记录
ｎｏｒｍａｌ
ｕｒｇｅｎｔ
紧迫数据包的个数
连续
ＤＯＳ
拒绝服务攻击
ｂａｃｋ、ｌａｎｄ、ｎｅｐｔｕｎｅ、ｐｏｄ、ｓｍｕｒｆ、ｔｅａｒｄｒｏｐ
Ｐｒｏｂｉｎｇ 监视和其他探测活动
ｉｐｓｗｅｅｐ、ｎｍａｐ、ｐｏｒｔｓｗｅｅｐ、ｓａｔａｎ
【摘 要】基于数据挖掘的入侵检测技术研究中， 常用的实验数据是 ＫＤＤＣｕｐ９９ 的网路入侵检测数据集。本文介绍了该数据集的构成和入 侵攻击的类型， 以及在实际入侵检测中使用的有效的连接记录特征。针对入侵检测技术中的聚类算法， 本文给出一种数据预处理方法， 经实验 表明能改善聚类的效果。
【关键词】入侵检测； 聚类； 预处理； ＫＤＤＣｕｐ９９
’ %（ Ａ－ Ａ&） ２ 对于孤立点具有更好的鲁棒性。 ｎ－ １ 在上述计算时需做如下判断：
⑴ 如果 ＡＶＧｊ 等于 ０ 则 Ｘ＇ ｉｊ＝０
⑵ 如果 ＳＴＡＤｊ 等于 ０ 则 Ｘ＇ ｉｊ＝０ ２） 数值归一化
将 标 准 化 后 的 每 个 数 值 归 一 化 到 ［０，
１］区 间 。 设
Ｘ＇＇ ｉｊ
８ ｉｓ＿ｈｏｓｔ＿ｌｏｇｉｎ
９ ｉｓ＿ｇｕｅｓｔ＿ｌｏｇｉｎ
表 １－ ５ ３１ 个特征属性
连续型
１
ｄｕｒａｔｉｏｎ
１２
２
ｓｒｃ＿ｂｙｔｅｓ
１３
３
ｄｓｔ＿ｂｙｔｅｓ
１４
４
ｗｒｏｎｇ＿ｆｒａｇｍｅｎｔ １５
５
ｕｒｇｅｎｔ
１６
６
ｈｏｔ
１７
７ ｎｕｍ＿ｆａｉｌｅｄ＿ｌｏｇｉｎｓ １８
８ ｎｕｍ＿ｃｏｍｐｒｏｍｉｓｅｄ １９
０，ｕｄｐ，ｐｒｉｖａｔｅ，ＳＦ， １０５，１４６，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，２，２，０．００，０．００，０．００，０．００，１．００，０．００，０．０ ０，２５５，２５４，１．００，０．０１，０．００，０．００，０．００，０．００，０．００，０．００，ｓｎｍｐｇｅｔａｔｔａｃｋ．
Ｒ２Ｌ
来自远程机器的非法访问
ｆｔｐ＿ｗｒｉｔｅ、ｇｕｅｓｓ＿ｐａｓｓｗｄ、ｉｍａｐ、ｍｕｌｔｉｈｏｐ、 ｐｈｆ、ｓｐｙ、ｗａｒｅｚｃｌｉｅｎｔ、ｗａｒｅｚｍａｓｔｅｒ
Ｕ２Ｒ
普通用户对本地超级用户 特权的非法访问
ｂｕｆｆｅｒ＿ｏｖｅｒｆｌｏｗ、ｌｏａｄｍｏｄｕｌｅ、ｐｅｒｌ、 ｒｏｏｔｋｉｔ
表 １－ ３ 一次连接中包含的内容特征
分析处理是针对该 ３１ 个特征属性。将 ３１ 个特征属性按离散型和连续 型顺序排列如表 １－ ５ 所示。
表 １－ ２ 单个 ＴＣＰ 连接的基本特征
特征名 Ｄｕｒａｔｉｏｎ
描述 连接时间长度（ 单位： 秒）
类型 连续
该数据集是从一个模拟的美国空军局域网上采集来的 ９ 个星期 的网络连接数据， 分成具有标识的训练数据和未加标识的测试数据。 测试数据和训练数据有着不同的概率分布， 测试数据包含了一些未出 现在训练数据中的攻击类型， 这使得入侵检测更具有现实性。
连续
ｒｅｒｒｏｒ＿ｒａｔｅ
出现 ＲＥＪ 错误的连接次数
连续
ｓａｍｅ＿ｓｒｖ＿ｒａｔｅ
建立相同服务的连接次数
连续
ｄｉｆｆ＿ｓｒｖ＿ｒａｔｅ
建立不同服务的连接次数
连续
ｓｒｖ＿ｃｏｕｎｔ 过去 ２ 秒 时间 内出现 和当 前连 接服务 相同 的连 接次数 连续
注释： 以下特征指对同一服务的连接
ｓｒｖ＿ｓｅｒｒｏｒ＿ｒａｔｅ
１） 数值标准化 设 Ｘ＇ ｉｊ 为 Ｘｉｊ 数值标准化后的值。
Ｘ＇ ｉｊ＝
Ｘｉｊ－ ＡＶＧｊ ＳＴＡＤｊ
（ ２－
１）
ＡＶＧｊ
＝
１ ｎ
（Ｘ１ｊ ＋Ｘ２ｊ ＋Λ＋Ｘｎｊ ）（ ２－ ２）
ＳＴＡＤｊ
＝
１ ｎ
#Ｘ１ｊ － ＡＶＧｊ
＋ Ｘ２ｊ － ＡＶＧｊ
＋Λ＋ Ｘｎｊ － ＡＶＧｊ
$ （ ２－ ３）
其 中 ＡＶＧｊ 为 平 均 值 ， ＳＴＡＤｊ 为 平 均 绝 对 偏 差 ， 比 标 准 差 σＡ＝