一种不平衡数据流集成分类模型

（ ， ， ， ， ； １ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｓ ｃ ｈ ｏ ｏ ｌ Ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｄ ｅ ｆ ｅ ｎ ｓ ｅ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ Ｃ ｈ ａ ｎ ｇ ｓ ｈ ａ Ｈ ｕ ｎ ａ ｎ４ １ ０ ０ ７ ３ Ｃ ｈ ｉ ｎ ａ ， ， ， ， ） ２ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｈ ｏ ｏ ｌ Ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｄ ｅ ｆ ｅ ｎ ｓ ｅ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ Ｃ ｈ ａ ｎ ｇ ｓ ｈ ａ Ｈ ｕ ｎ ａ ｎ４ １ ０ ０ ７ ３ Ｃ ｈ ｉ ｎ ａ
Ａ ｎＥ ｎ ｓ ｅ ｍｂ ｌ ｅＣ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ Ｆ ｒ ａ ｍｅ ｗ ｏ ｒ ｋｆ ｏ ｒ Ｍｉ ｎ ｉ ｎ ｇＩ ｍｂ ａ ｌ ａ ｎ ｃ ｅ ｄＤ ａ ｔ ａＳ ｔ ｒ ｅ ａ ｍ ｓ
１ １ ２ ２ ， ， ， Ｏ Ｕ Ｙ Ａ Ｎ ＧＺ ｈ ｅ ｎ ｚ ｈ ｅ ｎ ｇ Ｌ Ｕ ＯＪ ｉ ａ ｎ ｓ ｈ ｕ Ｈ ＵＤ ｏ ｎ ｇ ｍ ｉ ｎ ＷＵＱ ｕ ａ ｎ ｙ ｕ ａ ｎ
２ ３ ＷＥ集成分类器
令 ｔ 表示任一时间戳， Ｃ ｔ表示在该时间戳到达的 数据 块， 则数据流模型可描述为｛ …， ， ， ， Ｃ Ｃ Ｃ ｔ － １ ｔ ｔ ＋ １ …｝ 从数据流中连续采样得到 个数据块｛ ， ， …， ． ｎ Ｄ １ Ｄ ２ ｝ ， 下一时刻到来的数据块记为 Ｄ Ｄ ｎ ｎ是最近的数据块， （ 如Ｖ 、 Ｄ ． ＷＥ集成分类器选择某种分类算法 Ｆ Ｆ Ｄ Ｔ ｎ ＋ １ 、 等） 对每个数据块进行学习， 得到 ｎ个 Ｓ Ｖ Ｍ Ｎ ａ ｉ ｖ ｅ Ｂ ａ ｙ ｅ ｓ 基础分类器 ｆ （ ） （ ， ， …， ） ， 然后根据不同的 ＝Ｆ Ｄ ｉ ＝ １ ２ ｎ ｉ ｉ
收稿日期： ； 修回日期： ２ ０ ０ ９ ０ ５ １ ５ ２ ０ ０ ９ ０ ８ １ ０
内容版权归作者所有
更多技术文章，论文请登录www.srvee.com
第 １ 期 欧阳震诤： 一种不平衡数据流集成分类模型 １ ８ ５
最简单的办法是复制少数类样本， 改进的算法是在少 ［ ］ ６ 数类中插值样本， 比较著名的是 Ｓ 过抽样由于 Ｍ Ｏ Ｔ Ｅ ． 增加了训练集样本的规模， 会导致构建分类器的时间 增加 ． 欠抽样与过抽样相反， 它通过减少多数类样本的 数量， 从而提高少数类的分类性能， 但是当随机去掉一 些多数类样本时， 可能造成多数类样本的一些重要信 ］ ７ 息的丢失［ ． 从分类算法的改进、 设计来看， 目前主要集中于几 个方面： 一是通过调整不同类样本的错分代价来给训 ］ ８ ～ １ ０ 练集中的样本加权， 重构训练集［ ； 二是改进传统算 ［ ］ １ １ 法， 设计代价敏感的分类算法 ； 三是多分类器的集成 学习 ． 在机器学习领域， 目前不平衡学习分类的研究对 象主要是静态不平衡数据集， 比较普遍的做法是综合 利用抽样技术与集成方法， 既利用过抽样或欠抽样来 提高分类器对少数类的分类性能， 又利用集成的优点 ］ １ ２ ～ １ ４ 来提高整体分类性能［ ．
更多技术文章，论文请登录www.srvee.com
第１ 期 年１ 月 ２ ０ １ ０
电 子 学 报 Ａ Ｃ Ｔ ＡＥ Ｌ Ｅ Ｃ Ｔ Ｒ Ｏ Ｎ Ｉ Ｃ ＡＳ Ｉ Ｎ Ｉ Ｃ Ａ
Ｖ ｏ ｌ ． ３ ８ Ｎ ｏ ． １ Ｊ ａ ｎ ．２ ０ １ ０
一种不平衡数据流集成分类模型
欧阳震诤１ ， 罗建书１ ， 胡东敏２ ， 吴泉源２
２ 相关工作 ２ １ 不平衡数据集分类的基本方法
在机器学习领域， 鉴于不平衡学习分类的重要现实 意义， 研究者对该问题进行了大量研究， 当前研究主要 集中于数据层的处理、 分类算法的改进、 设计以及分类 器性能评价标准设计等几个方面 ． 从数据层面的处理方法来看， 基本目标都是如何使 得少数类与多数类的样本数趋于平衡， 常用的方法是过 抽样（ ） 与欠抽样（ ） 或者是两 ｏ ｖ ｅ ｒ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇ ｕ ｎ ｄ ｅ ｒ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇ 过抽样方法通过增加训练集中少数类的 种方法的结合 ． 样本来提高分类器的性能， 而对多数类样本不做删减，
１ 引言
分类技术是数据流挖掘研究领域的重要课题， 一个 高效的数据流分类算法应能在有效处理概念漂移的同 近年来， 研究人员在该领域 时保持相当好的分类精度 ． 做了大量卓有成效的工作， 集成分类器方法是一种被广 ［ ］ １ 等从理论上证明了集成分类器 泛采用的方法， Ｗａ ｎ ｇ 的性能要优于单个分类器 ． 在集成分类器方法中， 基于 权重的集成分类器方法（ ， 简称 Ｗｅ ｉ ｇ ｈ ｔ Ｅ ｎ ｓ ｅ ｍ ｂ ｌ ｅＣ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ［ ］ １ ～ ４ ） 被普遍认为是具有较高分类精度的方法， 它们 ＷＥ 能很好的处理数据流分类中的概念漂移问题 ． 然而， 集 成分类器方法与目前多数数据流分类器的设计一样， 它 们是基于数据流中类的分布是大致平衡这一假设的， 设 计者通常假定训练数据集中各类所包含的样本数大致 相当， 而这一基本假设在许多现实数据流应用问题中并 不成立， 不平衡数据流在许多实际应用中经常碰到， 如 挖掘、 信息检索 信用卡的欺诈辨识、 网络入侵检测、 Ｗｅ ｂ 等等 ． 在这些应用中， 少数类的分类辨识更加重要 ． 而目
： Ｍａ ， Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ｎ ｙｒ ｅ ａ ｌ ｗ ｏ ｒ ｌ ｄｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓ ｍ ｉ ｎ ｉ ｎ ｇａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ｉ ｎ ｖ ｏ ｌ ｖ ｅ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｆ ｒ ｏ ｍｉ ｍ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓ ｗ ｈ ｅ ｒ ｅ ｓ ｕ ｃ ｈａ ｐ ， ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ｅ ｘ ｐ ｅ ｃ ｔ ｔ ｏｈ ａ ｖ ｅ ａ ｈ ｉ ｇ ｈ ｅ ｒ ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｖ ｅａ ｃ ｃ ｕ ｒ ａ ｃ ｙｏ ｖ ｅ ｒ ｔ ｈ ｅｍ ｉ ｎ ｏ ｒ ｉ ｔ ｙｃ ｌ ａ ｓ ｓ ｈ ｏ ｗ ｅ ｖ ｅ ｒ ｍ ｏ ｓ ｔ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｍ ｏ ｄ ｅ ｌ ａ ｓ ｓ ｕ ｍ ｅｒ ｅ ｌ ａ ｔ ｉ ｖ ｅ ｌ ｙ ， ， ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓｔ ｈ ｅ ｙｃ ａ ｎ ｎ ｏ ｔ ｈ ａ ｎ ｄ ｌ ｅ ｉ ｍ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｏ ｎ ． Ｉ ｎｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒｗ ｅｐ ｒ ｏ ｐ ｏ ｓ ｅａｎ ｏ ｖ ｅ ｌ ｅ ｎ ｓ ｅ ｍ ｂ ｌ ｅｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ （ ）ｆ Ｉ ＭＤ ＷＥ ｏ ｒ ｍ ｉ ｎ ｉ ｎ ｇｃ ｏ ｎ ｃ ｅ ｐ ｔ ｄ ｒ ｉ ｆ ｔ ｉ ｎ ｇｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓ ｗ ｉ ｔ ｈｉ ｍ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｏ ｎｂ ｙｕ ｓ ｉ ｎ ｇｗ ｅ ｉ ｇ ｈ ｔ ｅ ｄｅ ｎ ｓ ｅ ｍ ｂ ｌ ｅｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇｔ ｅ ｃ ｈ ｎ ｉ ｑ ｕ ｅ ｉ ｎ ｃ ｌ ｕ ｄ ｉ ｎ ｇｏ ｖ ｅ ｒ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇａ ｎ ｄｕ ｎ ｄ ｅ ｒ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇ ． Ｏ ｕ ｒ ｅ ｍ ｐ ｉ ｒ ｉ ｃ ａ ｌ ｓ ｔ ｕ ｄ ｙｓ ｈ ｏ ｗ ｓ ｔ ｈ ａ ｔ ｔ ｈ ｅＩ ＭＤ ＷＥｉ ｓ ｓ ｕ ｐ ｅ ｒ ｉ ｏ ｒ ａ ｎ ｄｈ ａ ｖ ｅ ｉ ｍ ｐ ｒ ｏ ｖ ｅ ｓ ｂ ｏ ｔ ｈｔ ｈ ｅ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｙｉ ｎｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｔ ｈ ｅ ｍ ｏ ｄ ｅ ｌ ａ ｎ ｄｔ ｈ ｅ ａ ｃ ｃ ｕ ｒ ａ ｃ ｙｉ ｎｐ ｅ ｒ ｆ ｏ ｒ ｍ ｉ ｎ ｇｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｏ ｖ ｅ ｒ ｔ ｈ ｅ ｍ ｉ ｎ ｏ ｒ ｉ ｔ ｙｃ ｌ ａ ｓ ｓ ． ： ｃ ； ； ； Ｋ ｅ ｙｗ ｏ ｒ ｄ ｓ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｅ ｎ ｓ ｅ ｍ ｂ ｌ ｅ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｉ ｍ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓ ｃ ｏ ｎ ｃ ｅ ｐ ｔ ｄ ｒ ｉ ｆ ｔ
前大部分分类方法虽然整体上具有较高的分类精度， 可 ］ ５ ， 因此适当降低多数类的 是对少数类的辨识率却很低［ 分类精度， 以换取更高的少数类的分类精度就成为了不 为能有效处理带概念 平衡数据流挖掘分类的主要目标 ． 漂移的不平衡数 据流 挖掘分 类问 题， 本文 基于 ＷＥ模 型， 提出了一种不平衡数据流集成分类器模型 Ｉ Ｍ Ｄ ＷＥ ．
］ １ ～ ４ 对每个基础分类器 ｆ ， 最后组合 方法［ ｉ赋予权重 ｗ ｉ 各个基础分类器构成一个整体分类器 ｆ 来对 Ｄ 中 ＷＥ ｎ ＋ １ 数据进行预测分类， 的计算公式为公式（ ） ： ｆ ５ ＷＥ
（ ）＝ ∑ ｗ （ ） ｆ ｘ ｆ ｘ ＷＥ ｉ ｉ １ ｉ ＝
ｎ
ｎ
（ ） ５
２ ２ 不平衡数据流分类性能的评价标准
多类别的分类问题通常可以简化为二分类问题， 在二分类问题中， 称少数类为正类（ ） ， 多数 ｐ ｏ ｓ ｉ ｔ ｉ ｖ ｅ ｃ ｌ ａ ｓ ｓ 表 混合矩阵 １ 类为负类 （ ｎ ｅ ｇ ａ ｔ ｉ ｖ ｅ 被分为正类 被分为负类 ） 下面主要就不 ｃ ｌ ａ ｓ ｓ． 实际为正类 Ｔ Ｐ Ｆ Ｎ 平衡数据流中的二 实际为负类 Ｆ Ｐ Ｔ Ｎ 分类问题进行讨论 ． 数据流的分类问题研究中， 分类精度是一个主要 的性能评价指标， 然而单一分类精度的评价标准对于 不平衡数据流来说是不合适的， 到目前为止， 机器学习 领域中对于不平衡数据集分类问题中常用的标准有： ， 如表 Ｒ Ｏ Ｃ曲线分析以及基于混合矩阵（ ｃ ｏ ｎ ｆ ｕ ｓ ｉ ｏ ｎｍ ｅ ｔ ｒ ｉ ｃ 所示） 的 如查 全 率（ ） 、 查准率 （ ） 、 １ ｒ ｅ ｃ ａ ｌ ｌ ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ Ｆ Ｖ ａ ｌ ｕ ｅ ［ ］ １ ５ ～ １ ７ 值以及 Ｇ 等 查全率（ ） 、 查准 率（ ｍ ｅ ａ ｎ ． ｒ ｅ ｃ ａ ｌ ｌ ｐ ｒ ｅ ｃ ｉ ） 、 值以及 Ｇ 的计算公式如下： ｓ ｉ ｏ ｎ Ｆ Ｖ ａ ｌ ｕ ｅ ｍ ｅ ａ ｎ （ ） （ ） ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ＝Ｔ Ｐ／ Ｔ Ｐ＋Ｆ Ｐ １ （ ） （ ） ｒ ｅ ｃ ａ ｌ ｌ ＝Ｔ Ｐ／ Ｔ Ｐ＋Ｆ Ｎ ２ ２ （ ） · · １ ＋ ｒ ｅ ｃ ａ ｌ ｌ ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ β （ ） Ｆ ｖ ａ ｌ ｕ ｅ ＝ ２ ３ ｅ ｃ ａ ｌ ｌ ＋ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ β·ｒ Ｇ ｍ ｅ ａ ｎ ＝ · Ｔ Ｐ＋Ｆ ＮＴ Ｎ＋Ｆ Ｐ 槡 Ｔ Ｐ Ｔ Ｎ （ ） ４
（ 国防科技大学理学院， 湖南长沙 ４ ； 国防科技大学计算机学院， 湖南长沙 ４ ） １ １ ０ ０ ７ ３ ２ １ ０ ０ ７ ３
摘
百度文库
要： 针对不平衡数据流的分类问题， 结合基于权重的集成分类器与抽样技术， 本文提出了一种处理不平衡
理论分析与实验验证表明， 该集成分类器具有更低的计算复杂度， 更能适应存在概念漂移的 数据流集成分类器模型 ． 不平衡数据流挖掘分类， 其整体分类性能优于基于权重的集成分类器模型， 能明显提升少数类的分类精度 ． 关键词： 分类；集成分类器；不平衡数据流；概念漂移 Ｔ Ｐ １ ８ １ 文献标识码： Ａ 文章编号： ）０ ０ ３ ７ ２ ２ １ １ ２（ ２ ０ １ ０ １ ０ １ ８ ４ ０ ６ 中图分类号：