基于人工示例训练的神经网络集成入侵检测

基于人工示例训练的神经网络集成入侵检测
徐 敏
(南通大学计算机科学与技术学院，江苏 南通 226019) 摘 要：提出一种基于人工示例训练的神经网络集成入侵检测方法。使用不同的训练数据集训练不同的成员网络，以此提高成员网络之间 的差异度。在保证成员网络个数的基础上，选择差异度较大的成员网络构成集成，以提高系统的整体性能。实验结果表明，与当前流行的 集成算法相比，该方法在保证较高入侵检测率的前提下，可保持较低的误检率，并对未知入侵也具有较高的检测率。 关键词 关键词：网络安全；入侵检测；异常检测；人工示例训练；神经网络集成；差异度
1
概述
ห้องสมุดไป่ตู้
当前，网络规模持续扩大，网络入侵的数量及破坏力也 不断增加，网络安全成为备受关注的国际化问题。网络安全 措施主要有：数据加密技术，身份认证，防火墙，入侵检测 等。其中，入侵检测是一种常见的网络安全技术。 常见的入侵检测方法有误用检测和异常检测 2 种。误用 检测根据已知攻击和漏洞的特征进行设计，其最大的缺点是 无法识别未知的入侵，且攻击特征的提取存在一定的困难。 异常检测根据使用者的行为或当前资源使用状况的正常程度 来判断是否存在入侵，而不是依赖于具体的行为来检测，其 最大的优点就是能够检测到新的入侵行为。 目前，异常检测技术已成为计算机网络安全领域重要的 研究课题。比较热门的异常检测方法有神经网络、数据挖掘、 统计方法等。其中，基于神经网络的入侵检测系统是能够识 别未知入侵的最好方法。基于神经网络的入侵检测目前已有 不少研究，但神经网络自身存在一定缺陷，文献 [1]提出可以 结合其他的智能技术用于入侵检测。 通过训练多个神经网络并将其结果合成，能显著提高神 经网络系统的泛化能力 [2]。理论和实践表明，神经网络集成 在处理复杂问题时，是一种非常有效的工程化计算方法，可 以克服神经网络自身的缺陷，用于入侵检测系统。文献 [3]基 于神经网络集成的入侵检测技术已有研究，并取得了一定成 果。本文提出一种用于入侵检测的神经网络集成技术。
第 38 卷 第 6 期
徐
敏：基于人工示例训练的神经网络集成入侵检测 (3)用 Step1 中的式 (1)计算 E ’。
199
描述为：首先从原始训练集成中产生一个神经网络，并定义 该神经网络为集成中的第 1 个神经网络。然后，使用不同的 训练集顺序生成其他神经网络。除第 1 个神经网络外，其他 神经网络的训练集是原始训练数据和随机产生的人工示例训 练数据集的组合。其中，神经网络被选入集成的条件是：该 网络添加到集成后，集成的整体性能有所提高。产生一个人 工示例的方法如下：随机产生一个输入数据集，然后定义该 模式的分类标签。通过现存的集成检验参数集的分类概率， 再反向定义分类概率产生一个示例，加入到训练下一个神经 网络的训练集中。 相对于 Bagging 和 AdaBoost 算法， ATENNE 算法被认为 是一种有效的集成方法，且表现出了很好的分类性能 [8]。但 是，该算法在解决小样本分类问题时，分类性能很好，在解 决具有大样本的分类问题时，效果不是很好。这是因为，在 选择集成中第 2 个神经网络时，该神经网络所用的人工训练 数据集中的数据，是与第 1 个神经网络的判定相反的分类示 例，其训练出来的第 2 个神经网络与第 1 个神经网络之间差 异度很大。但增加该神经网络到集成中，可能会降低而不是 提高集成的整体性能，导致 ATENNE 算法在处理一些问题 时，最终集成中仅返回一个或很少的神经网络，进而影响了 该算法的性能。 基于以上分析，本文在 ATENNE 算法的基础上，提出一 种改进的基于人工示例训练的神经网络集成方法，并将该算 法用于入侵检测。 基于人工示例训练的神经网络集成算法 成员网络之间的差异度是神经网络集成算法的一个重要 参数。由于差异度的存在，集成中一个网络的失败可以由其 他网络弥补。如果集成中不同的神经网络采用不同的人工示 例训练，就可以生成具有不同功能的成员神经网络，从而提 高成员神经网络之间的差异度。但是，随机人工示例训练生 成的神经网络，虽然能提高成员网络之间的差异度，但不一 定能提高神经网络集成的整体性能，需要一个合适的选择机 制选择成员网络构建集成。由此，本文提出一种对 ATENNE 改进后的基于人工示例训练的神经网络集成算法。 具体描述如下： Step1 定义 Mmax 为集成中成员网络的最大个数， Max 为最大连续丢弃次数。 2.2 定义 2 个计数器： M 为集成中成员网络的个数计数； j 为丢弃次数计数。 定义 Rsize 用于确定训练每个成员神经网络使用的人工 示例的个数。 设初始训练集 T ={(x(1),t (1)),… ,(x( N),t ( N))}。 对于每个分类 t(n)∈ K={1,2,… ,k} ；初始化 j=0，初始化 Rsize=x(0<x <1)， x 一般取 0.5、 0.75 或 1。 初始化 M=1(for NN in NNE )； 用初始训练集 T 训练神经网络 NN1 ，待 NN1 训练结束 后，初始化集成 NNE ={ NN1 } 。 计算集成误差：
(4)If E ≤ E’ and j < Max then Rsize =Rsize–0.1 ， j = j+1 ， NNE = NNE –{ NNi} ； Else M= M +1, E =E ’, j =0, Rsize =x, I =i +1} Step3 通过简单平均获取集成分类结果。 伪代码中第 1 个神经网络用初始训练集 (T )进行训练，并 直接加至神经网络集成中，作为集成中缺省的成员网络。对 于其他神经网络，算法为每个神经网络生成独一无二的训练 集，所有训练集均是原始训练集和产生的人工示例训练集的 组合。人工示例训练集 (AE ) 的大小是衡量差异度的一个主要 参数，每个神经网络使用的 AE 各不相同，记为 AEi，其大小 由 Rsize 来定义。 通过计算集成误差来判定集成的性能，即集成在测试示 例中判断错误的示例个数。如果增加一个神经网络后，集成 误差降低，则将该神经网络添加至最终的集成中。算法定义 最大连续丢弃次数 Max。如果连续丢弃的次数超过 Max，虽 然加入该神经网络之后，集成误差并未降低，但是仍将该神 经网络加入到集成中。 算法定义神经网络集成中的最大成员网络个数 Mmax。 算法中集成停止构建的条件是：如果集成在验证集上的误差 E 小于预先定义的一个误差值 ε，则不再训练成员神经网络， 或者集成中成员网络的个数已经达到 Mmax 时，则停止构建 集成。因此，要生成集成中所有的成员网络，需要训练和测 试大量的神经网络。 在引入最大丢弃次数 Max 及改进了集成停止构建的条件 后，集成最终不会出现只有一个神经网络的情况。算法在连 续丢弃次数增加的过程中，通过适当降低 Rsize 的值，即降 低人工训练示例的个数到一个能够接受的范围，可在保证成 员网络差异度的基础上，使得新训练的神经网络加入集成之 后不会降低集成的总体性能。由于该算法基于 ATENNE ，因 此文中称该算法为 New ATENNE(NATENNE)。 NATENNE 算 法 为 不 同 的 神经网 络 生 成 不 同的 训 练示 例，神经网络之间的差异度依靠不同的人工示例训练集来实 现。人工示例产生的方法同 ATENNE 。即：随机产生一个输 入数据集，并定义该模式的分类标签，通过已生成的集成来 判断参数集的分类概率。然后，反向定义分类概率产生一个 新示例，该示例即为人工训练示例。此外， NATENNE 对连 续丢弃神经网络的次数做了一定的限制，加之对 Rsize 的值 做了动态调整，因此，可以有效保证集成最终所包含的神经 网络的个数。算法改进后的性能需要通过实验加以验证。
相同的输入，集成中所有网络均给出相近的输出，此时集成 的差异度近似为零，其泛化误差接近于各网络泛化误差的简 单平均。反之，若集成中各网络相互独立，则集成差异度较 大，其泛化误差将远小于各网络泛化误差的简单平均。所以， 要增强神经网络集成的泛化能力，应尽可能地使集成中各成 员网络互不相关。因此，在构建神经网络集成时，成员网络 之间的差异度是需要考虑的重要参数。 很多研究还表明，可以通过构建神经网络集成来解决分 类问题。其中，使用不同的数据集训练不同的分类器，再将 分类器进行集成，被证明是一种有效方法。这是因为不同的 训练集训练出来的成员网络之间具有一定的差异度。通过不 同数据集训练不同的成员网络提高差异度的算法中，最为流 行的算法是 Bagging[5]、AdaBoost[6]、NCL [7]。其中，Bagging 和 AdaBoost 算法通过从原始训练数据集中产生不同的训练 子集训练不同的神经网络构建集成。而 NCL 不为每个成员 网络生成独立的训练集，只是在误差函数中增加了误差惩罚 项，确保成员网络在训练过程中相互作用。NCL 的训练方法 是同步的，即：集成中所有的成员神经网络使用相同的初始 训练集同时进行训练。 由于 NCL 提供了神经网络在训练时的 相互作用，因此它能为集成产生差异度较高的神经网络。 除了上述算法外，文献 [8]提出了 ATENNE 算法。算法首 先顺序产生相对大量的相异神经网络，并在神经网络的生成 过程中，从中选取一定数量的神经网络构建集成。算法可以
基金项目： 基金项目：南通市应用研究科技基金资助项目(K2010053) 作者简介： 作者简介：徐 敏(1978－)，女，讲师、硕士，主研方向：网络安全， 人工智能 收稿日期： 收稿日期：2011-08-22 E-mail：cjmin99@
2
2.1
神经网络集成
算法描述 算法描述 文献 [4]给出了神经网络集成泛化误差的计算公式，由此 度量了神经网络集成中各成员网络的相关程度：若集成对于
Neural Network Ensembles Intrusion Detection Based on Artificial Examples Training
XU Min
(College of Computer Science and Technology, Nantong University, Nantong 226019, China) 【Abstract】This paper proposes a new neural network ensembles method for intrusion detection system. In order to improve the diversity among component networks, different training sets are used for training different networks. On the basis of ensuring the numbers of the component networks, the algorithm selects the networks with proper diversity factor. Experimental results show that the performance of this ensemble method is better than the existing popular. While keeping high detection rate, it has a low false positive rate and is also better for unknown intrusion detection. 【Key words】network security; intrusion detection; anomaly detection; artificial examples training; neural network ensembles; diversity factor DOI: 10.3969/j.issn.1000-3428.2012.06.065