选择性集成算法分类与比较
基于重采样策略的选择性谱聚类集成学习算法
， 导师。研究方 向： 数据挖 掘与企业信息化。
力， 实现 简单 且 不 会 陷入 局 部 最 优 解 ， 但 谱 聚 类 算
１ ９期
柳炳 祥 ， 等： 基 于重采样 策略的选择性谱聚类集成学习算法
法 自身 也存 在 一 些 问 题 ， 如计算量大 、 构 造 相 似 性 矩 阵 复杂 ， 特别 是对 尺度 参 数 十 分 敏感 。设 有 数 据 集 Ｘ ＝｛ ， ： ， …， ｝∈Ｒ ， 算 法 的基本 步骤 如下 ： 步骤 １ ： 选 择 适 当 的 径 向基 函 数 Ｓ ＝
算法在聚类准确率方面得到了一定的提高。
１ 基学 习器
利 用最 近 出 现 的谱 聚类 算 法 来 产 生 集 成
国 家 自然 科 学 基 金 项 目（ ６ １ ２ ０ ２ ３ １ ３ ， ６ １ ２ ６ １ ０ ２ ７ ） 、 江 西 省 自然 科 学基 金 项 目（ ２ ０ １ ２ ２ Ｂ Ａ Ｂ ２ １ １ ０ ３ ３ ，
个 重要 的研 究 内容 ， 广 泛 应 用 于数 据 挖 掘 、 模 式
识别 等 诸 多 领 域 。近 年 来 ， 集 成 学 习 受 到 广 泛 关 注， 是机器 学 习的一 个 重 要 的研 究 方 向 。集 成 学 习组 合不 同算 法 或 同一 算 法 在 不 同参 数 情 况 下 的 结果 来解 决 同一 个 问题 ， 可 以得 到 比单 个 学 习 器更 好 的结果 ， 提 高 学 习 系统 的泛 化 能 力 。然 而 ， 大部 分 的集 成学 习算法 如 Ｂ ａ ｇ ｇ ｉ ｎ ｇ 和Ｂ ｏ ｏ ｓ ｔ ｉ ｎ ｇ 是为 监 督 学 习而设 计 的 ， 对 于 无 监 督 学 习如 聚 类 ， 由于 缺
机器学习中的集成学习算法
机器学习中的集成学习算法一、集成学习简介集成学习（Ensemble Learning）是机器学习中的一种重要算法。
它的主要思想是将多个弱学习算法集合起来形成一个强学习算法。
二、集成学习分类按照分类器的生成方式可将集成学习分类为Bagging算法、Boosting算法和Stacking算法。
1. Bagging算法Bagging全称为Bootstrap AGGregating，是自举聚合的缩写。
它的基本思想是采用自助法来产生k个新的训练集，在每个训练集上训练出一个基学习器，然后将这k个基学习器的结果进行平均或多数表决等方式来得到最终的结果。
2. Boosting算法Boosting算法基本思想是将一系列弱分类器相互结合，构成一个强分类器的过程。
它的主要特点是每一轮都学习一个新的分类器，并使得之前所有分类器的分类准确率加权相加。
3. Stacking算法Stacking算法是一种用来组合多个学习器的方法。
与传统的集成学习方法不同，Stacking算法通过加入一个“次级学习器”来对多个基学习器进行组合，从而构建出一个强学习器。
三、集成学习的优点1. 集成学习可显著提高机器学习算法的准确率和性能，并且对于许多不同类型的学习算法均有效。
2. 集成学习能够减轻模型过拟合问题，提高模型鲁棒性和泛化能力。
3. 集成学习能够减少各个单个模型产生的误差或者偏差，从而提高模型的精度。
四、集成学习案例1. 随机森林（Random Forest）随机森林是一种集成学习方法，它基于决策树算法创建多个随机子集的基学习器，最终将这些基学习器合并成一个强学习器。
2. AdaBoostAdaBoost是一种常见的Boosting算法，它通过不断调整训练样本的权重来训练机器学习模型，从而提高模型准确率。
3. Gradient Boosting Machines（GBM）GBM也是一种常见的Boosting算法，它采用一种梯度下降算法来学习弱学习器的加权。
数据流选择性集成的两阶段动态融合方法
并不一定越好 。为此，文献【］ ６从差异性 角度 出发提 出选择性 集成方法 ，证 明在 多个个体分类器 中选 出部分差异性大 的进
行集成 ，可 以有效提高集合分类器 的泛化性 ，并给 出具体 的 学 习算法 Ｇ Ｅ ＡＳ Ｎ。它 为集 合分类器结果 融合 提供 了新 的研
第３ ７卷 第 ２ ０期
、０ ．７ ， １３
・
计
算
机
工
程
２１年 １ ０１ ０月
Ｏｃｏｂ ｒ ０１１ ｔ ｅ ２
Ｎｏ．０ ２
Ｃｏ ｕｔｒＥｎ ｉ ｅ ｒｎｇ ｍｐ ｅ ｇ ｎ ｅ ｉ
人 工智 能及 识别 技 术 ・
文章绩号： ｏ ３２（ｌ） ＿ ｌ 一３ 文献标识码： １ｏ＿４８ ０１ ＿ ８ ＿ ２ ２ ０ｏ０ Ａ
［ ｙｗｏ ｄ ］ｄ ｔ ｓｅ ｍ；ｅｅｔ ｅｎｅｒｔ ｎ ｃａｓ ｃｔ ｎ ｓｌａ ａｔ ｎ ｅｇｎｐ ｃ Ｋｅ ｒ ｓ ａａ ｔ ａ ｓｌｃ ｖ ｔｇａ ｏ ； ｌｓｉ ａ ｏ ；ｅｆ ｄｐｉ ； ｉｅｓ ａｅ ｒ ｉ ｉ ｉ ｉ ｆ ｉ － ｏ
ＤＯＩ １．９ ９ｊｓｎ１０ —４ ８２ １．００ ２ ： ０３ ６ ／ｉ ．０ ０３ ２ ．０ １２ ．６ ．ｓ
之 一 『２ ｌ】 ＿。
ｌ １ Ｘ＝ —１ —
集合分类器通过组合多个弱学 习器 ，可 以获得较强 的分
集成学习算法总结
集成学习算法总结1、集成学习概述1.1 集成学习概述集成学习在机器学习算法中具有较⾼的准去率，不⾜之处就是模型的训练过程可能⽐较复杂，效率不是很⾼。
⽬前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。
1.2 集成学习的主要思想集成学习的主要思想是利⽤⼀定的⼿段学习出多个分类器，⽽且这多个分类器要求是弱分类器，然后将多个分类器进⾏组合公共预测。
核⼼思想就是如何训练处多个弱分类器以及如何将这些弱分类器进⾏组合。
1.3、集成学习中弱分类器选择⼀般采⽤弱分类器的原因在于将误差进⾏均衡，因为⼀旦某个分类器太强了就会造成后⾯的结果受其影响太⼤，严重的会导致后⾯的分类器⽆法进⾏分类。
常⽤的弱分类器可以采⽤误差率⼩于0.5的，⽐如说逻辑回归、SVM、神经⽹络。
1.4、多个分类器的⽣成可以采⽤随机选取数据进⾏分类器的训练，也可以采⽤不断的调整错误分类的训练数据的权重⽣成新的分类器。
1.5、多个弱分类区如何组合基本分类器之间的整合⽅式，⼀般有简单多数投票、权重投票，贝叶斯投票，基于D-S证据理论的整合，基于不同的特征⼦集的整合。
2、Boosting算法2.1 基本概念Boosting⽅法是⼀种⽤来提⾼弱分类算法准确度的⽅法,这种⽅法通过构造⼀个预测函数系列,然后以⼀定的⽅式将他们组合成⼀个预测函数。
他是⼀种框架算法,主要是通过对样本集的操作获得样本⼦集,然后⽤弱分类算法在样本⼦集上训练⽣成⼀系列的基分类器。
他可以⽤来提⾼其他弱分类算法的识别率,也就是将其他的弱分类算法作为基分类算法放于Boosting 框架中,通过Boosting框架对训练样本集的操作,得到不同的训练样本⼦集,⽤该样本⼦集去训练⽣成基分类器;每得到⼀个样本集就⽤该基分类算法在该样本集上产⽣⼀个基分类器,这样在给定训练轮数 n 后,就可产⽣ n 个基分类器,然后Boosting框架算法将这 n个基分类器进⾏加权融合,产⽣⼀个最后的结果分类器,在这 n个基分类器中,每个单个的分类器的识别率不⼀定很⾼,但他们联合后的结果有很⾼的识别率,这样便提⾼了该弱分类算法的识别率。
选择性集成—周志华
选择性集成*周志华南京大学软件新技术国家重点实验室，南京2100931 引言一个好的机器学习系统应该有较强的泛化能力，简单的说，就是其根据已有数据建立的模型应该能够很好地处理新的数据。
因此，泛化能力一直是机器学习关心的一个根本问题。
由于集成学习（ensemble learning）可以有效地提高泛化能力，因此从20世纪90年代开始，对集成学习理论和算法的研究成为了机器学习的一个热点。
早在1997年，国际机器学习界的权威T.G. Dietterich就将集成学习列为机器学习四大研究方向之首 [Die97]，而在今天，集成学习仍然是机器学习中最热门的研究领域之一，研究人员众多、成果层出不穷。
由于集成学习是一个仍在迅速发展中的研究领域，因此关于“什么是集成学习”，机器学习界目前还没有最终达成共识。
狭义地说，集成学习是指利用多个同质的学习器来对同一个问题进行学习，这里的“同质”是指所使用的学习器属于同一种类型，例如所有的学习器都是决策树、都是神经网络等等。
广义地来说，只要是使用多个学习器来解决问题，就是集成学习。
在集成学习的早期研究中，狭义定义采用得比较多，而随着该领域的发展，越来越多的学者倾向于接受广义定义。
例如，以神经网络集成为例，P. Sollich和A. Krogh [SK96] 在1996年给出的定义就采用了狭义定义，而Opitz和Maclin [OM99] 在1999年给出的定义则采用了广义定义。
采用广义定义有一个很大的好处，就是以往存在的很多名称上不同、但本质上很接近的分支，例如多分类器系统（multi-classifier system）、基于委员会的学习（committee-based learning）等，都统一地归属到集成学习之下进行研究，由于这些子领域之间有很多共通性，因此把它们放到一起，不再强调各自之间的区别，反倒会对更深入的理论、算法、应用研究带来一些好处。
所以在今天来看，集成学习已经成为了一个包含内容相当多的、比较大的研究领域。
基于约束规划的选择性神经网络集成方法
关键词
神 经 网络 ， 经 网络 集 成 ， 束 规 划 神 约
Ｃｏ ｓ ｒ ｉ ｅ Ｐｒ ｇ ａ ｎ ｔ ａ ｎ ｄ ｏ ｒ ｍｍｉ ｓ ｄ Ｓ ｌｃ ｉ ｅ Ｎｅ ａ ｌＮｅ ｗｏ ｋ ｓ ｍ ｂ ｅ Ｍ ｅ ｈ ｄ ｎｇ Ｂａ ｅ ｅ ｅ ｔｖ ｕｒ ｔ ｒ Ｅｎ ｅ ｌ ｔ ｏ
１ 引言
随着人 工神经网络理论 的逐渐成 熟 、 高速计算 与并 行处 理 的发展 ， 神经网络集 成 已成 为机 器学 习和神经计 算领 域的 新 的研究热点 ， 也成 为人工 神经 网络研究 向广度 和纵深 发展
的一 种 趋 势 。
各 网络 分别 被赋 予权值 Ｗ （—Ｉ ２ … ， ， ｉ ， ， Ｎ） 满足 ∑Ｗｉ —Ｉ且 ０
Ｇ０ＮＧ Ｚ Ａｎ ＨＡＮＧ ｉ Ｍ “
（ ｈ Ｉｏ ｍｐ ｔ ｒＳ ｉｎ ｅａ ｄＣ ｍｍ ｕ ｉａ ｉｎ Ｅｎ ｉｅ ｒｎ Ｃ Ｓ ￣ ｆＣｏ ｕ ｅ ｃｅ ｃ ｎ ｏ ｎｃ ｔｏ ｇｎ ｅｉｇ，ＣｈｎａＵｎｖ ｒｉｙｏ ｅ ｒ ｌｕ ，Ｄｏｎ ｙｎ ５ ０６ ） ｉ ｉｅ ｓｔ ｆＰ ｔｏｅ ｍ ｇ ｉｇ ２ ７ １
通常情 况下不能得 到最优解 ， 即在验证集 上 的泛化误差 较大
（） ２
其 中 ＧＪ 为个体网络 与 厂 的相关度 ， Ｊ 定义为 ： Ｃ —Ｊ ｘ （ ） （ ） ｄ ｘ ） （ ） ｄ ｘ ） ｏ ｄ ｐ ｘ （ ｚ － （ ） （ ｚ － （ ）
且 Ｇ， 足 满
Ｇ — Ｅ 且 Ｃ 一 ，
Ｅ一 ∑ Ｚ ｗｆ ｗ，
．
训练生成若 干个神经 网络之后 ， 不对所有 的网络进行集成 ， 而 是选择 出相对最佳 的个 体网络组成集 成 。 目前 常用 的选择性集 成方 法有简单 枚举 法、 心算法 和 贪 遗传算法等 。简单枚举 法可 以获得最优 解 ， 但在个 体网络 较 多时 ， 方法由于计算复杂 度太 大而无法 实现 。基 于贪心 法 该 的选择性集成计算复杂度较小 ， 但是容易陷入“ 局部极小点 ” ，
选择性集成学习算法综述
进行 了详细综述 ， 按照算法采用 的选择 策略对其进行了分类 ， 分析 了各种算法 的主要特点 ， 并 最后对选 择性集成 学
习 在将 来 的 可 能 研 究 方 向进 行 了探 讨 ．
关 键 词 选 择性 集 成 学 习 ； 学 习 机 ； 成 学 习机 ； 样 性 ； 化 能力 基 集 多 泛
Ｗ ｉ ｎ ｒ ａ ｉ ｇ ｎ ｍ ｂ ｒｏ ｎ ｅ ｌ ｍ ｂ ｒ ，ｈ ｗｅ ｅ ，ｔ ｅｐ ｅ ｉｔｏ ｐ ｅ ｆａ ｎ ｅ ｌ ｍ ａ ｔ ｉ ｃ ｅ ｓｎ ｕ ｅ ｆ ｓ ｍｂ ｅ ｍｅ ｅ ｓ ｏ ｖ ｒ ｈ ｒ ｄ ｃ ｉ ｎ ｓ ｅ ｄ ｏ ｎ ｅ ｓ ｍｂ ｅ ｈ ｅ — ｃ ｉ ｅ ｄ ｃ ｅ ｓ ｓ ｓｇ ｉｉａ ｔｙ ａ ｄ ｉｓｓ ｏ ａ ｅ ｎ ｅ ｎ ｒ ａ ｅ ｕ ｃ ｌ ．Ｔｈ ｉ ｏ ｅ ｅ ｔｖ ｎ ｅ ｌ ｈ ｎ ｅ ｒ ａ ｅ ｉ ｎ ｆｃ ｎ ｌ ｎ ｔ ｔ ｒ ｇ ｅ ｄ ｉ ｃ ｅ ｓ ｓｑ ｉｋ ｙ ｅ ａ ｍ ｆｓ ｌｃ ｉ ｅ ｅ ｓ ｍｂ ｅ
（ ｔ ｔ Ｋｅ ａ ｏ ａ ｏ ｙ ｆ ｒＭａ ｕ ａ ｔ ｒｎ ｙ ｔｍｓＥ ｇ ｎ ｅｉ ｇ，Ｘｉ ｎＪ ａ ｔｎ ｎ ｖ ｒ ｉ Ｓ ａ ｅ ｙ Ｌ ｂ ｒ ｔｒ ｏ ｎ ｆ ｃｕ ｉ ｇ Ｓ ｓｅ ｎ ｉ ｅｒｎ ｉ ｏｏ ｇ Ｕ ｉｅ ｓ ｙ，ｘｉ ｎ ７ ０ ４ ） ａ ｔ １ ０ ９ ａ
ｄ ｃ ｉ ｎ ｓ ｅ ｄ ａ ｌ ａ ｏ ｄ ｃ ｅ ｓ ｔ ｔ ｒ ｇ ｅ ｄ Ｔｈ ｓ ｐ ｐ ｒ ｐ ｅ ｅ ｔ ｅ ａｌｄ ｒ ｖｅ ｏ ｈ ｉｔ ｐ ｅ ｓ ｗｅ ｌ ｓ ｔ ｅ ｒ ａ ｅ ｉｓ ｓ ｏ ａ ｅ ｎ ｅ ． ｏ ｉ ａ ｅ ｒ ｓ ｎ ｓ ａ ｄ ｔ ｉ ｅ ｉｗ ｆｔ ｅ ｅ
采用离散化处理的选择性SVM集成学习算法
关键词 ：支持 向量机 ；集成学 习：选择 性集成 ：离散化
中 图分 类 号 ：Ｔ １ １ Ｐ ８ 文 献 标 识 码 ：Ａ
集 成 学 习是 近 年 来 机 器 学 习领 域 的 研 究 热 点 确 、更具 差异 性 的基 分类 器 ，并 通过 选 择性 集成 进
提 出了选 择性 集 成方 法 ，能 够通 过选 择部 分 基分 Ｄ＝ ｝ ， 为决策属性 ， 是各属性值域的并集 ， 为 厂 类 器 进行 集成 ，取得 比全 部 个体 集 成更 好 的泛 化性 信 息 函数 。对 于ｖ 口∈Ｃ，值域 ＝【 ， ） ， 为
能 。此外 ，已有 的大多数 集 成学 习方法 主要 以神 经 上 的一 个划 分 ，即 ：
：
［０ｃ ） ｃ ， Ｕ…Ｕ［ ， ） ｃ ，Ｆ ｕ［ ｃ ） ａ ｌ ｃ ｃ的基 分 类 器 出发 ，提 出一
尔推 理 （ ｏｇ ｅ ａ ｄＢ ｏ ａ ｅ ｓｎｎ ｐ ｒａｈ Ｒ ｕ ｈＳｔ ｎ ｏｌ ｎＲ ａｏ ｉｇＡ ｐｏｃ ， ｅ
构 造 和基 分类 器 的组 合 。其 中基 分 类器 的构 造 极其
重要 ，它 决定 了集 成 学 习 的泛 化 误差 。 当前 ，许 ］
多研 究人 员对 集 成学 习 已展 开 大量 的研 究 ，并 提 出
１ Ｓ Ｒ Ｒ Ｂ Ａ离 散化 方 法
作 为 数据 预 处理 的一 个 重要 内容 ，数 据 离散 化
（． １ 深圳信息职业技术学 院信息技术研究所 ，深圳 ５ ２ ； ０ ９ １ ８ ２深圳 信息职业 技术学院图 书馆 ，深圳 ５ ８ ２ ． １０ ９）
摘 要 ：为 提 高 分 类性 能 ，提 出 了 一 种 新 的 基 于数 据 离散 化 和 选 择 性 集 成 的 Ｓ Ｍ集 成 学 习 算 法 。该 算 法 采 用 粗 Ｖ
一种新的动态SVM选择集成算法
中图分 类号 ：Ｔ ３ １４ Ｐ ９．
文献标 识码 ： Ａ
文章编 号 ：０ ９—３ １ （ ０ ０ ０ ０ ２ ０ １０ ５ ６ ２ １ ） ５— ０ ６— ５
（） １
作者 简介 ： 廖
勇（ ９６一） 男 ， １７ ， 河南信 阳人 ， 副教授 ， 士生 ， 博 主要从事智能信息处理 、 模式识别等研究 ；
—
Ｅ — ｍａｌ ｑｇ ｓｍ ＠ １ ６． Ｏｎ ｉ： ｉｅ ｖ ２ Ｃ Ｉ
王晓丹 （ ９６一） 女 ， １６ ， 陕西汉 中人 ， 教授 ， 士生导师 ， 博 博士（ ） 主要从事智 能信息处理 、 后 ， 模式识别等研究
Ｏｃ ． ０ ０ ｔ２ １
一
种 新 的动 态 Ｓ Ｍ选 择 集 成 算 法 Ｖ
廖 勇 ， 王 晓丹 齐俊 杰 ，
导弹学院 ，陕西 三原 ７ ３０ ；，５ ２ １８ ０２ ９ ８４部队，北京 １０ ９ ） ０ １５
（． １ 空军工程大学
摘 要 ： 对动 态选择 集成 算 法存 在 当局 部分 类器 无 法对 待 测样 本 正 确 分 类 时避 免错 分 的 问 针 题 ， 出基 于差异 聚类 的动 态 Ｓ Ｍ 选择 集成 算法。 算法 首先对 训练 样 本实 施聚 类 ， 于 每个 聚 提 Ｖ 对 类 ， 法根据 精度及 差异 度选择 合适 的分 类器 进行 集 成 ， 算 并根 据这 些分 类器 集 成 结果 为每 个 聚 类标 定 错分样本 区 ， 同时额外 为之 设计 一 组分 类器 集 合 。在 测试 过 程 中， 据 待测 样本 所属 子 根 聚 类及在 子聚 类 中离错分 样本 区的远近 ， 择 合适 的分 类 器集 合 为 之分 类 ， 最大 可 能 的减少 选 尽 由上 一问题所 带来 的盲 区。在 Ｕ Ｉ Ｃ 数据集 上 与 Ｂｇｉｇ—Ｓ Ｍ 算 法及 文 献 ［０ 所 提算 法 比较 ， ａｇｎ Ｖ １］ 使 用该 算法在保 证 测试速度 的同 时， 能有效提 高分 类精度 。 关键 词 ： 差异聚 类 ； 支持 向量机 ； 动态集 成
基于子图策略的选择性分类器集成算法
ｉｄｖｄ ａ ａ ｄ ｄｖ ｒｉ ａ ｅ ｂ ｔ ｅ ｎ ｉｉ ａｓ ａ ｄ ｃ ｏ ｓｓ ｉｄｖｄ ａ ｔ ａｇ ｒ ｄｖ ｒｉ ａ ｅ ｎ ｓｂ ｒｐ ｔ ｔｇ ｎ ｉｉｕ ｌ ｎ ｉｅｓ ｙ ｖ ｌ ｅ ｔ ｕ ｗｅ ｎ ｉｄｖｄ ｌ， ｈ ｏ ｅ ｎ ｉ ｉｕ ｌ ｗｉ ｌｒｅ ｉｅ ｓ ｂ ｓｄ ｏ ｕ ｇ ａ ｈ ｓ ａｅ ｙ ｕ ｎ ｓ ｈ ｙ ｔ ｒ
ｔ ｏｓ ｕｔｅ ｓｍ ｌ ｍｅ ｅｓ ｙ ｃ ｏ ｓ ｇ Ｓｐ ｏｔＶ ｃｏ ｃ ｉ （Ｖ ）ａ ａｉ ｃａｓ ｅ，ｘ ｅｉ ｎａ ｓ ｄ ｓｃ ｎｕ ｔ ｏ ｃｎｔ ｃ ｎｅ ｂｅ ｍｂｒ． ｈ ｏｉ ｕ ｐ ｒ ｅｔｒＭａｈ ｅ Ｓ Ｍ ｒ Ｂ ｎ ｎ ｓｂ ｓ ｌｓｉ ｒｅｐ ｒ ｔｌ ｔ ｙ ｉ ｏ ｄ ｃ ｄ ｓ ｉ ｆ ｍｅ ｕ ｅ
ｓｂ ｒｐ ｔａｅ ｙ ｓ ｒ ｐ ｓ ｄＩ ｔａｎ ａ ｅ ｆ ｃａ ｓｆ ｒ ａ ｄ ｃ ｎ ｔ ｃｓ ｏ ｕ ｇ ａ ｈ ｓｒｔｇ ｉ ｐ ｏ ｏ ｅ ． ｒ ｉｓ ｓｔ ｏ ｌｓｉ ｅｓ ｎ ｏ ｓｒ ｔ ｔ ｉ ｕ ａ ｃ ｍｐｌｔ ｕ ｄｒ ｃｅ ｒｐ ｔ ｉｈ ｂ ｓ ｇ ｅｅ ｎ ｉｅ ｔｄ ｇ ａ ｈ ｗｉ ｗｅｇ ｔ ｙ ｕ ｉ ｈ ｎ
体间的差异性构造出一个带权的完全无向图； 利用子图 方法选择部分差异性大的个体参与集成。 通过使用支持向量机作为基学习器， 在 多个分类数据 集上进行 了实验研究， 并且与常用的集成方法Ｂ ｇｉ 和Ａ ａｏｓ ａｇｎ ｇ ｄｂｏｔ 了比较 ， 进行 结果该方法获得 了 较好 的集成效果。
关键词 ： 图； 子 差异性 ； 集成 学 习； 支持 向量机 ＤＯ ：０３７ ￣ｉ ｎ１０ ．３ １２ １ ． ． ０ 文章编号 ：０ ２８ ３ （ ０ １ ３ ．０ ８０ 文献标识码 ： 中图分类号： Ｐ ８ Ｉ １ ． ８ ．ｓ． ２８ ３ ． １３ ０ ７ ｓ ０ ０ ４２ １０ ．３ １２ １ ）４０ ７ －３ Ａ Ｔ １
常用的三种分类算法及其比较分析
第22卷第5期重庆科技学院学报(自然科学版)2020年10月常用的三种分类算法及其比较分析肖铮(四川工商职业技术学院，成都611830)摘要:做好数据分析处理工作，必需掌握几种分类算法。
介绍了决策树算法、朴素贝叶斯算法和最近邻算法的基本思想和分类流程，给出了应用实例，比较分析了它们各自具有的优势和存在的局限。
采用数据挖掘技术进行大数据分析要选择最合适的算法，才能获得更有效的结果(关键词:数据挖掘%决策树算法;朴素贝叶斯算法%最近邻算法中图分类号:TP301文献标识码:A文章编号：1673-1980(2020)05-0101-06数据挖掘就是通过算法从海量数据中搜索获取有用知识和信息的过程。
数据挖掘的任务主要表现为预测和描述:预测性任务就是根据其他属性的值来预测特定属性的值;描述性任务就是概括数据中潜在的联系模式(如相关性、趋势、聚类、轨迹和异常等)。
分类属于预测任务。
分类算法的目的就是构造一个分类函数或者分类模型，然后由这个模型把数据库中的数据映射到某一个给定的类别中⑷(决策法、素法最邻法的分类算法。
下面,我们将结合实例对这3种算法进行比较分析。
1决策树算法决策树算法是数据挖掘中常见且实用的分类方法,经常被用于规则提取和分类预测等领域。
J.R. Quinlan于1979年提出并在之后逐渐修正完善的ID3算法［2］，是经典的决策树算法。
后来有学者在ID3的基础之上推出了效率更高、适用范围更广的C4.5算法,它既适用于分类问题，又适用于回归问题。
近几年，有南京大学周志华教授提出的“选择性集成”［3］概念被学术界所接受，并有基于遗传算法的选择性集成算法GASEN-b用于集成C4.5决策树⑷(1.〔基本思想和分类过程决策树算法在决策分类时整个过程都非常清晰。
在判断类别时,首先通过计算选择一个属性，把它放在决策树的顶端，称它为根节点;接下来从这个点分出若干个分支，任何一个分支都代表一个不同的分类特征，每个分支的另一端都连接一个新的点，称为决策点。
【国家自然科学基金】_选择性集成学习_基金支持热词逐年推荐_【万方软件创新助手】_20140803
推荐指数 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2013年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
推荐指数 7 3 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
2014年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
2014年 科研热词 选择性集成 集成学习 选择性集成学习 网络用户异常行为检测 精度 用户概貌攻击 混淆矩阵 泛化性能 机器学习 攻击检测 支持向量机 差异性 多样性度量 协同推荐 协同学习 匹配追踪 偏最小二乘 仿生模式识别 bagging 算法 adaboost算法 推荐指数 3 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
科研热词 选择性集成 分类回归树 自助法 齿轮故障诊断 集成学习 自助抽样 聚类算法
推荐指数 3 3 2 1 1 1 1
2010年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14
Байду номын сангаас
科研热词 选择性集成 集成学习 财务困境预测 离散化 概念漂移 朴素贝叶斯 支持向量机 成对差异性度量 并行计算 差异性 多特征子集 多分类器系统 q统计量 error-ambiguity分解
2012年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
常用分类算法的比较与选用建议
常用分类算法的比较与选用建议数据分析技术的广泛应用，已经成为企业决策过程中必不可少的一环。
其中，分类算法是数据分析中最基础也是最重要的一种技术，被广泛应用于预测、识别、过滤等方面。
现在，我们将比较几种常用的分类算法，介绍它们在各种情况下的优缺点以及选用建议。
1. 决策树算法决策树是一种基于属性推理的分类算法，该算法根据训练数据集生成一棵树形结构，每一个叶子结点代表一个类别。
在生成过程中，算法不断地选择最能区分不同类别的属性作为节点，并在此基础上不断分类。
最终生成的决策树可以用于对未知数据的分类。
决策树算法的优点在于，生成的决策树易于理解、解释，并且可以处理具有缺失数据的情况。
但是，决策树算法容易产生过拟合的问题，需要进行剪枝来解决。
2. 朴素贝叶斯算法朴素贝叶斯是一种基于贝叶斯定理的分类算法，该算法假设所有属性相互独立，计算每个属性在类别中出现的概率，并用贝叶斯定理计算给定属性值时每个类别出现的概率，从而进行分类。
朴素贝叶斯算法的优点在于处理大量属性时效率高、易于实现，并且对于少量训练数据也能够获得较好的分类效果。
但是，朴素贝叶斯算法假设所有属性相互独立，在实际情况中不一定成立，因此会产生一定的误判。
3. 支持向量机算法支持向量机算法是一种基于最大间隔分类的分类算法，该算法寻找特征空间中最佳超平面来对数据进行分类。
支持向量机算法的优点在于，可以处理高维数据、非线性数据，并且在数据量较小的情况下效果很好。
但是，支持向量机算法对于噪声和非线性的情况需要进行特殊处理，并且对训练数据的选择比较敏感。
4. KNN算法KNN算法是一种基于邻居寻址的分类算法，该算法通过比较未知数据和已知数据的距离来进行分类。
该算法找出最接近未知数据的K个已知数据，然后根据这K个数据的类别来确定未知数据的类别。
KNN算法的优点在于，可以适用于多种数据类型，并且不需要进行训练。
但是，该算法需要存储所有的训练数据，并且对于大量数据，计算距离的过程会较为耗时。
一种基于差异思想的选择性Bagging Trees集成算法研究
树 彼此 之 间 的 差 异 ， 而 选 择 出 较 优 的 个 体 进 行 从
等等 。特别 是近几 年来 ， ｈ ｕ等人 『 在 已有 的集 成 Ｚｏ ５
算 法基 础之 上 ， 另辟 蹊径 ， 出 了“ 择 性 集成 （ ｅ 提 选 Ｓ— ｌ ｔ ｅＥ ｓｍｂｅ ” ｅ ｉ ｎ ｅ ｌ） 的概 念 ， 方法 可 以选 择 差 异度 ｃｖ 该
组合 投 票 。实验 结 果证 明， 算法 与传 统 的 集成 ｏ 分 且 ｈ ｕ等 人『 ５
提 出 的基于遗 传 算 法 的选 择 性 集 成 算 法一ＧＡＳ Ｎ Ｅ
ｔｖ ｎ ｅ ｂ ｅ ｂ ｓ ｄ ｏ ｅ ｅ ｉ ａ ｇ ｒｔ ｍ ，ＧＡＳ ｉ ｅ ｅ ｓ ｍ ｌ ａ ｅ ｎ ｇ ｎ ｔ ｌ ｏ ｉ ｃ ｈ ＥＮ ，ｔ ｉ ｅ ａ ｇ ｒｔ ｍ ｒ ｐ ｓ ｄ ｉ ｈ ｓ ｐ ｐ ｒ ｈ ｓ ｈ ｇ ｅ ｈ ｓ ｎ ｗ ｌ ｏ ｉ ｈ ｐ ｏ ｏ ｅ ｎ ｔ ｉ ａ ｅ ａ ｉ ｈ ｒ
ａｃ ｒｃ ｃ ｕ ａ ｙ。ａ ｌｏ ｃ ｔ ｕ ｈ ｌｔ ｌ ｉ ｈ ｎ ＧＡＳＥＮ ｌ ｏ ｉｈｍ ｎ ｍ ｐ ｏｖ ｓ ｅ ｆｃ ｅ ｙ ｗ ｈ ｎ ｉ ｓ ｕ ｅ ｎ ｎｄ ａｓ ｏｓ ｓｍ ｃ ｉｔｅｔｍｅ ｔ ａ ａ ｇ ｒｔ ａ ｄ ｉ ｒ ｅ ｆｉｉｎｃ ｅ ｔｉ ｓ ｄ ｉ ｔ ｅ ｐｒ ｂ ｅ ｆｃ ａ ｓｆｃ ｔｏ ｈ ｏ ｌ ｍｓ ｏ ｌ ｓ ｉｉａ ｉｎ． Ｋｅ ｒ ： ｃｓｏ ｅ ｓ； ｏｔ ｔ ａ Ｓｅｅ ｔｖ ｙ ｗｏ ｄｓ Ｄｅ ｉｉ ｎ Ｔｒ ｅ Ｂｏ ｓ ｒ ｐ； ｌ ｃ ｉ ｅ Ｅｎｓ ｍｂｌ ｅ ｅ
Ｃｈｅ ｉ Ｚｈｕ Ｙｕ Ｗ ａ ｎ Ｋａ ｎｇ Ｚｈｅ ｎｇ Ａｂ ｔ ａ ｔ ｎ ｔ ｉ ｐｅ ｓ ｒ ｃ ：Ｉ ｈ ｓ ｐａ ｒ，ｂａ ｅ ｎ ａ ｃ ｓ ｔ ｄ ｆｉｉ ｔ ｓ ｔ ｔｄ ａ ｅ ｅ ｅ ｓ ｄ ｏ ａ ｅ ｓ ｕ ｙ ｏ ｒｓｄａ ａ ｅ ，ｉ ｒ ｗｓａ ｎ ｗ ｎｓ ｍｂｌ ｌ ｒｔ ｍ ，ａ ｓ ｌｃ ｅ ａｇｏ ｉｈ ｅｅ — ｔｖｅｂａ ｇｉ ｒ ｅ ｎ ｅ ｂ ｅ ｂ ｓ ｄ ｏ ｉ ｅ ｓｔ ｆｄｉｆ ｒ ｎｔｃ ａ ｓｆｅ ｓ ｉ ｇ ｎｇ ｔ ｅ ｓ ｅ ｓ ｍ ｌ ａ ｅ ｎ ｄ ｖ ｒ ｉｙ ｏ ｆｅ ｅ ｌ ｓ ｉｉｒ ．Ａｎｄ ｃ ｎ ｒ ｓ ｅ ｔ ｔ ｒ ｓ ａ ｉｔｃ ｌ ｏ ｔ ａ ｔ ｄ ｗｉｈ ｏ ｈｅ ｔ ｔｓ ｉａ ｍａ ｈｉ ｅ ｒ ｎ ｔ ｄ ｃ ｎｅ ｌ ａ ｎｉ ｇ ｍｅ ｈｏ ｓ，ｓ ｃ ｓ，ＣＡＲＴ ，ｂ ｇ ｎ ｒ ｅ ，ｒ ｎｄ ｍ ｏ ｅ ｔａ ｄ ｔ ｕｒ ｅ ｔｐｒ ｖ ｌ ｎ ｅ ｅ — ｕｈａ ａ ｇｉ ｇ ｔ ｅ ｓ ａ ｏ ｆ ｒ ｓ ｎ ｈｅ ｃ ｒ ｎ ｅ ａ ｅ ｔｓ ｌｃ
机器学习中的集成学习算法
机器学习中的集成学习算法机器学习是目前非常热门的研究领域。
在机器学习中，集成学习算法尤为重要。
集成学习算法是指通过将多个不同的学习算法结合起来，来提高模型的性能和泛化能力。
本文将会介绍集成学习算法的概念、分类以及具体应用等内容。
一、集成学习算法的概念集成学习算法是一种将多个分类器组合起来，以提高学习算法的性能和泛化能力的方法。
其根据不同的机器学习算法，通过实现不同的策略来改进分类器的准确性。
这些算法的主要目的是减少过拟合和提高鲁棒性，它们通过整合来自不同算法的信息，从而提高整体性能。
二、集成学习的分类根据集成学习算法的实现原理，可以将其划分为三类：bagging(套袋法)、boosting(提升法)和stacking(堆叠法)。
1. BaggingBagging是一种并行的集成学习方法。
它的原理是基于不同的训练集对分类器进行训练，并对结果进行平均（以分类问题为例），以提高分类器的准确性。
Bagging依赖于构造大量的分类器并将它们的结果合并，从而使得模型更具鲁棒性和泛化能力。
2. BoostingBoosting是目前应用最广泛的集成学习方法之一。
Boosting的工作原理是一种按序列引入数据的方法。
它的实现方法是生成一系列的基分类器，并将它们按照一定的权重组合来提高模型的准确性。
Boosting技术就是不断得学习如何在错误中提高模型的准确性的过程。
缺点是Boosting几乎总是会导致过度拟合问题，而且对训练数据过于敏感。
3. StackingStacking是一种堆叠的学习方法，它通过堆叠不同分类器的输出来构建一个新的分类器。
Stacking的实现方法是基于不同的学习算法来生成若干个分类器。
这些分类器由不同的特征子集和训练数据子集构成。
最终，在训练数据上生成的分类器组成一个新的分类器来提高分类的准确性。
三、集成学习算法的具体应用集成学习算法可以应用于各种机器学习问题，包括分类和回归。
以下是一些常见的应用：1. 图像识别图像识别是一个受欢迎的研究领域。
基于聚类技术的集成学习差异性研究
中图分类号：Ｔ Ｉ１ Ｐ ８
文献标识码 ：Ａ
文章编号 ：１７ — ６ ４ （０ ８ ４— ｏ ｌ ０ ６ １ ４ ４ ２０ ）ｏ ０ ２ 一 ４
集 成 学 习是 机 器 学 习 研究 热 点 之 一 ， 目前 已经 在 数据 挖 掘 、模 式 识别 等 许 多 方 面获 得 了应 用 。它 是 将 多 个 不 同 的基
基 于 聚 类技 术 的集 成 学 习差 异性 研 究
陈 凯
（ 中ＮＡ－ 民大学
摘
统 计学 院，北京
１２ １） ０２８
要： 目前 ，集成学习特别是选择性 集成 学习研 究 已经成为统计机 器学习研究的一大热点 ，从众 多的个体学 习器
中选择差异大且效果好的进行 集成 已被 学术界 达成共识 ，但如何度量 个体学 习器彼 此之 间的差异性依 然是一个难 点。本文提 出了一种利用变相似度聚类技术 来进 行选择性集 成学 习的算 法——ｓ —ａｇ ｇＴｅｓ 法。模拟数据 表 ＥＢ ｇｉ ｒ 算 ｎ ｅ 明，该算法往往比 简单集成学习算法具有更好的 学习效果。
几 种 反 映基 学 习 器 彼 此之 间差 异性 的相 似 度 系数 ，试 图采 用
取的策略是增 长一 棵较大 的树 ，仅当达到最 小节 点大小 （ 比如 ５ ）时才停止分裂过程 。然后利用代 价复杂性 准则 来
修剪这棵较大 的树 ，从而将一些噪声 和干扰数据排除，获得
最优树。 １２ 集成 学 习 ．
一
让该学习算法训练多轮 ，每轮的训练集采用 自助法重抽样技
术 从 初始 的训 练 集 中随 机 取 出 的 个 训 练 例 组 成 ，最 后 组 合
一种选择性GMDH网络集成算法
的训练样本数量少 ， 模型结构不需预先设定 ］ 。但 Ｇ Ｈ建 ＭＤ
模是一个确定性 的过程并且基于对训练样 本的划分。训 练样 本一经被划分为构造集 合和选择集 合后 ， 该方法将 沿着确定 的方 向构造 网络 模 型。不 同的划分 将得 到不 同的 Ｇ Ｄ 网 Ｍ Ｈ
Ｃ ｅ ｇ ＩＪｎｌｎ ， Ｚ ＡＯ Ｐ ｎ ，Ｌ ｉ— ｇ ＨＡＮ Ｚ — ｎ ，Ｗ ＡＮＧ Ｘｕ ｆ ｏ Ｇ ｅｍｉｇ — ａ
（ ｅａｔ ｅｔｆＣ ｍ ｕ ｒ ｃ ｎｅ ｎ ｅ ｎｌ ｙ ｎ ｅ ｉ Ｓｉ ｅ ｎ ｅｈ ｌ ｙｏ Ｃ ｉ ，Ｈｆｉ ｎ ｕ ２ ０２ ，Ｃ ｉ ） Ｄ ｐ ｒ ｎ ｏ ｏ ｐ ｔ ｉ ｃ ｄＴｃ ｏｏ ，Ｕ ｉ ｒｔ ｏ ｃ ｎ ｄ Ｔｃｎ ｏ ｈｎ ｍ ｅ Ｓｅ ａ ｈ ｇ ｖ ｓｙｆ ｅ ａ ｃ ｏ ｇｆ ａ ｅ ｈ ｉ ３０ ７ ｈｎ ｅＡ ａ
Ｋｅ ｒｓ ｒｕ ｔ ｄｏ Ｄ ｔ Ｈ ｄ ｎ Ｇ ＤＨ ；ｐ ｎｔｅｐｒｔｎ ｅ ｃ ｌ ｇ（ Ｍ ） ｕ ｉｖ ａｔｉ ；ｓｌ ｔｅｅ ｓｍ ｌ ｈ ａ ｎ ｉ ｉ ｉｏ ｅｉ
０ 引言
Ｇ Ｄ Ｇｏ ｐＭ ｔｏ ｆ ａａＨ ｎ ｉｇ 是 一 种 自组 织 的 Ｍ Ｈ（ ｒｕ ｅ ｄ ｏ ｔ ａ ｄ ｎ ） ｈ Ｄ ｌ
经 网络 集成相 比， ＭＤ 网络 的选择 性 集成在 性 能上具 有 明显 的优 势。 Ｇ Ｈ
关键 词 ： ＭＤ 惩罚 性划分 ； Ｇ Ｈ； 选择 性 集成 中图分类 号 ： Ｐ ８ Ｔ １ 文献标 识码 ： Ａ
Ａ ｅ ｅ ｔｖ ｓ ｌ ｃ ｉ ｅ ＧＭ ＤＨ ｔ ｒ ｎ ｅ ｂ ｅ ａ ｇ ｒ ｔ ｍ ｎｅ ｗｏ ｋ ｅ ｓ ｍ ｌ ｌ ｏ ｉｈ
Ｖｏ ． ６ Ｎｏ １ １２ ． ｌ
一种新的决策树选择性集成学习方法
１ ． 安徽大学 智能计算 与信号处理教育部重点实验室 ， 合肥 ２ ０ ３ ３０ ９
Ｅｎ ｉｅ ｒｎ ｎ ｐｉａｉｎ ．０ ０ ４ （ ７） ４ － ４ ｇｎ ｅ ｉｇ ａ ｄ Ａｐ ｌ ｔｏ ｓ ２ １ ， ６ １ ： １ ４ ． ｃ
Ａｂ ｔ ａ ｔ Ｄｉｅ ｓｔ ｍｏ ｇ ｔ ｅ ｉ ｄ ｖｄ ａ ｌａ ｅ ｓ ｓ ｅ ｍｅ ｏ ｅ ａ ｋ ｙ ｓ ｕ ｉ ｅ ｓ ｍｂ ｅ ｌ ａ ｎ ｎ ． ｏ ｕ ａ ｅ ｓ ｍｂ ｅ ｌ ａ ｎ ｎ ｓｒ ｃ ： ｖ ｒ ｉ ａ ｎ ｈ ｎ ｉｉ ｕ ｌ ｅ ｒ ｒ ｉ ｙ ｎ ｄ ｅ ｄ ｔ ｂ ｅ ｉｓ ｅ ｎ ｎ ｅ ｌ ｅ ｒ ｉ ｇＰ ｐ ｌ ｒ ｎ ｅ ｌ ｅ ｒ ｉ ｇ ａｇ ｒ ｈ ｓ ｃ ｈ ｔ Ｂ ｇ ｉ ｇ ａ ｏ ｔ ｅ ｓ ｍｐ ｉｇ ｔ ｃ ｎ ｌｇ ｏ ｐ ｏ ｕ ｅ ’ ｅ ｉ ｅ ｓ ｙ ｆ ｔ ｅ ｎ ｉ ｉｕ ｌ ｌ ａ ｅ ｓＳ ｌ ｃｉｅ ｅ ｓ ｍｂ ｅ ｌ ｏ ｉ ｍｓ ｕ ｈ ｔ ａ ａ ｇ ｎ ｄ ｐ ｓ — ａ ｌ ｅ ｈ ｏ ｏ ｙ ｔ ｒ ｄ ｃ ｔ ｄ ｖ ｒｉ ｏ ｈ ｉ ｄ ｖｄ ａ ｅ ｒ ｒ ．ｅｅ ｔ ｎ ｅ ｌ ｔ ｒ ｎ ｈ ｔ ｎ ｖ ｃ ｏ ｓ ｓ ｉ ｄ ｖｄ ａ ｅ ｒ ｅ ｓ ｗ ｉｈ ａ ｅ ａ ｐ ｒ ｏ ｈ ｒｇｎ ｌ ｌａ ｎ ｒ ｏ ｅ ｓ ｍｂ ｅＴ ｅ ｒ ｓ ｌ ｓ ｏ ｈ ｔ ｉ ｉ ｂ ｔ ｒ ｔ ａ ｈ ｏ ｉｉ ｈ ｏ ｅ ｎ ｉｉ ｕ ｌ ｌ ａ ｎ ｒ ｈ ｃ ｒ ａ ｔ ｆ ｔ ｅ ｏ ｉ ａ ｅ ｒ ｅ ｓ ｔ ｎ ｅ ｌ ． ｈ ｅ ｕ ｔ ｈ ｗｓ ｔ ａ ｔ ｓ ｅｔ ｈ ｎ ｔ ｅ ｒｇ— ｉ ｅ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
预测性能和选择速度方面均位居列。其他基于排 名法的选择性集成算法还有Ｋａｐｐａ算法、基于 ＢＯｏｓｔｉｎｇ的选择性集成法等。 排名法的关键是采用何种标准对各基分类器 进行评估，即所使用的排序标准。早期的算法大都 是基于预测性能以及源于信息论的各种统计量，但 是实验证明：个体基分类器预测性能好并不能保证 集成分类器也具有较好的预测性能，因此目前许多 基于排名的算法都是通过分析分类器之间的相关 性，使得所选的基分类器具有互补性，从而避免它 们的优势互相抵消。 排名法的另一个重要问题是如何确定最终获 得的目标集成分类器的大小。最简单的方法是预 设目标集成分类器的大小或基分类器数目占总数 的百分比；另一种方法是设定基于精度或其他度量 的阈值，只有达到该阈值的基分类器才能入选。为
究重点。
Ａｂｓｔｒａｃｔ：Ｅｎｓｅｍｂｌｅ ｐｒｕｎｉｎｇ ｉｓ
ａｎ
ａｃｔｉｖｅ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ ｉｎ ｔｈｅ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｆｉｅｌｄ．
ｕｓｅ
Ｅｎｓｅｍｂｌｅ Ｔｈｅｒｅ
ｏｎ
ｐｒｕｎｉｎｇ ｉｓ ａｎ ＮＰ—ｈａｒｄ ｐｒｏｂｌｅｍ，ｍｏｓｔ ｒｅｓｅａｒｃｈｅｒｓ
ｐｒｕｎｉｎｇ ａｐｐｒｏａｃｈｅｓ
ｂａｓｅｄ， ｉｔ ｉｓ ｄｉｆｆｉｃｕｌｔ
ｔｏ
ｕｎｄｅｒｓｔａｎｄ ｔｈｅｍ ｃｌｅａｒｌｙ．
ｔｏ
Ｉｎ
ｔｈｉｓ
ｐａｐｅｒ，
ቤተ መጻሕፍቲ ባይዱ
ｔｈｅ ｅｎｓｅｍｂｌｅ ｏｐｔｉｍｉｚａｔｉｏｎ—
ａｒｅ
ｄｉｖｉｄｅｄ ｉｎｔｏ ｆｏｕｒ ｃａｔｅｇｏｒｉｅｓ ａｃｃｏｒｄｉｎｇ
ｔｈｅｉｒ ｐｒｕｎｉｎｇ ｓｔｒａｔｅｇｉｅｓ：
赵强利，蒋艳凰，徐明
ＺＨＡＯ Ｑｉａｎ矿¨，ＪＩＡＮＧ Ｙａｎ－ｈｕａｎｇ。ＸＵ Ｍｉｎｇ
（国防科学技术大学计算机学院。湖南长沙４１００７３）
（Ｓｃｈｏｏｌ
ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｅｆｅｎｓｅ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ
４１００７３，Ｃｈｉｎａ）
排名法 排名法采用特定函数对所有基分类器进行评
估并排序，然后按照该次序选择基分类器。排名法 的最大优势在于分类器选择速度快，该类方法涵盖 的选择性集成算法较多，其中方向排序（Ｏｒｉｅｎｔｅｄ ｏｒｄｅｒ，简称ｏｏ）［４］、边界距离最小化（Ｍａｒｇｉｎ
ｔａｎｃｅ
Ｄｉｓ—
Ｍｉｎｉｍｉｚａｔｉｏｎ，简称ＭＤＳＱ）Ｌ５３这两种算法在
ｂａｓｅｄ，ｒａｎｋｉｎｇ—ｂａｓｅｄ，ｃｌｕｓｔｅｒｉｎｇ ｂａｓｅｄ ａｎｄ ｐａｔｔｅｒｎ ｍｉｎｉｎｇ—ｂａｓｅｄ．
ｃａｔｅｇｏｒｙ
ａｒｅ
Ｎｅｘｔ，ｔｈｅ ｐｏｐｕｌａｒ ａｌｇｏｒｉｔｈｍｓ ｏｆ ｅａｃｈ
ｉｍｐｌｅｍｅｎｔｅｄ ａｎｄ ｔｅｓｔｅｄ
ｏｎ
２０ ｄａｔａｓｅｔｓ ｆｒｏｍ
ｔｈｅ ＵＣＩ ｒｅｐｏｓｉｔｏｒｙ，ａｎｄ ｃｏｍｐａｒｅｄ ｆｒｏｍ ｔｈｒｅｅ Ｔｈｅ ａｄｖａｎｔａｇｅｓ ａｎｄ
２．２
２选择性集成算法分类
根据不同的分类标准，可将选择性集成算法分 为不同的几类。主要的分类方法有如下三种： （１）根据基分类器的选择时机的不同，可分为 静态法和动态法。静态法是利用一个校验样本集 来计算最佳的基分类器集合，该基分类器集合将持 续用于对新样本的预测。动态法是在预测新样本 类别时才进行分类器选择，选择的依据是新样本的 属性特征以及基分类器在训练时的表现，每个新样 本所选的基分类器集合可能互不相同。目前选择 性集成方法的研究多集中在静态方法上。 （２）根据选择过程中对集成分类器的度量标准 的不同，可分为基于预测精度的方法和基于多样性 的方法。预测精度度量包括基分类器的预测准确 度及其变体，而多样性度量的目的则是发现和利用 分类器之间的互补性，从而间接地提升集成预测性 能。 （３）根据算法采用的选择策略，可将选择性集 成方法分为四类：迭代优化法、排名法、分簇法、模 式挖掘法。 下面对第三种划分进行详细介绍。 ２．１迭代优化法 给定一个度量准则（例如集成分类器在校验样 本集上的预测精度），选择性集成的目的是找到一 个基分类器集合，使得该度量的值最优。分类器的 选择过程是一个组合优化问题，如采用穷举法则存 在组合爆炸问题，因此研究者们将选择性集成问题
ａｒｅ
ｈｅｕ“ｓｔｉｃｓ
ｔｏ
ｏｂｔａｉｎ
ｎｅａｒ
ｏｐｔｉｍａｌ ｓ０１ｕｔｉｏｎｓ．
ａｌｒｅａｄｙ ｍａｎｙ ｅｎｓｅｍｂｌｅ ｐｒｕｎｉｎｇ ａｐｐｒｏａｃｈｅｓ ｉｎ １ｉｔｅｒａｔｕｒｅｓ，ｂｕｔ ｂｅｃａｕｓｅ ｏｆ ｔｈｅ ｄｉｆｆｅｒｅｎｔ ｐｅｒｓｐｅｃｔｉｖｅｓ
ａｒｅ
ｗｈｉｃｈ ｔｈｏｓｅ ｍｅｔｈｏｄｓ
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００７—１３０Ｘ．２０１２．０２．０２５
中图分类号：ＴＰｌ８
文献标识码：Ａ 对这些分类器进行某种方式的组合，共同解决同一
１
引言
集成学习（Ｅｎｓｅｍｂｌｅ Ｌｅａｒｎｉｎｇ）‘１３通过对训练
个学习任务。集成学习过程可分为两大阶段，一是 构造基分类器，二是对这些基分类器的预测结果进 行组合。相对于单个分类器，集成学习有效地提高 了分类器的泛化能力。选择性集成（Ｅｎｓｅｍｂｌｅ
ＣＮ４３—１２５８／ＴＰ ＩＳＳＮ １００７—１３０Ｘ
计算机工程与科学
ＣＯＭＰＵＴＥＲ ＥＮＧＩＮＥＥＲＩＮＧ＆ＳＣＩＥＮＣＥ
２０１２年第３４卷第２期
Ｖ０１．３４，Ｎｏ．２，２０１２
文章编号：１００７—１３０Ｘ（２０１２）０２一０１３４一０５
选择性集成算法分类与比较＋
Ｃａｔｅｇｏｒｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｈｅ Ｅｎｓｅｍｂｌｅ Ｐｒｕｎｉｎｇ Ａｌｇｏｒｉｔｈｍｓ
样本的学习获取若干分类器（称为基分类器），然后
＊
收稿日期：２０１０一Ｏ卜０６；修订日期：２０ｌｏ—０４—２５
基金项目：国家自然科学基金资助项目（６０９０５０３２，６０７７３０１７） 通讯地址：４１００７３湖南省长沙市国防科学技术大学计算机学院博士生队
Ａｄｄｒ姻ｓ：Ｄｏｃｔｏｒａｌ Ｂｒｉｇａｄｅ，Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｅｆｅｎｓｅ Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ，Ｈｕｎａｎ ４１００７３，Ｐ．Ｒ． Ｃｈｉｎａ
转换为逐步求优问题，以便在较短的时间内获得问 题的近似最优解。迭代优化方法涵盖了一大批选 择性集成算法，这类方法的核心是问题的映射，即 如何将分类器选择问题表示为相应的优化问题。 迭代优化法需要引入某一优化处理过程，例如 ＧＡＳＥＮ算法凹］利用遗传算法来进化一组与分类 器对应的权重向量，目标是使得集成分类器对校验 样本集的预测精度最优。ＥＰＲＬ算法利用强化学 习的方法获得一个最优的决策函数，同时将该函数 作为启发式来指导搜索过程的进行。ＳＤＰ算法利 用数学变换将选择性集成转化为二次整数规划问 题，并利用整数规划法求得近似最优的基分类器集 合。受限于优化方法的特性，这些选择性集成算法 的收敛速度均较慢。 爬山法也将选择性集成看作是一个逐步求优 的搜索过程，不过它每一次搜索都是建立在对前一 次搜索评估的基础之上，因此它的搜索空间可以迅 速减小，速度大为提高。爬山法根据搜索的方向分 为前向选择（Ｆｏｒｗａｒｄ Ｓｅｌｅｃｔｉｏｎ，简称ＦＳ）和向后 消除（Ｂａｃｋｗａｒｄ Ｅｌｉｍｉｎａｔｉｏｎ）两种¨ｊ。爬山法的关 键在于评估标准的确定。由于爬山法思想简单，速 度较快，因此得到了广泛的关注。
关键词：集成学习；选择性集成；排名法；分簇法；迭代优化法；模式挖掘法
Ｋｅｙ ｗｏｒｄｓ：ｅｎｓｅｍｂｌｅ １ｅａｒｎｉｎｇ；ｅｎｓｅｍｂｌｅ
ｐｒｕｎｉｎｇ；ｏｐｔｉｍｉｚａｔｉｏｎ ｂａｓｅｄ ｐｒｕｎｉｎｇ；ｒａｎｋｉｎｇ ｂａｓｅｄ ｐｒｕｎ—
ｉｎｇ；ｃｌｕｓｔｅｒｉｎｇ ｂａｓｅｄ ｐｒｕｎｉｎｇ；ｐａｔｔｅｒｎ ｍｉｎｉｎｇ ｂａｓｅｄ ｐｒｕｎｉｎｇ
万方数据
赵强利等：选择性集成算法分类与比较
１３５
Ｐｒｕｎｉｎｇ）［２］是在集成学习的基分类器构造和分类 器组合之间又增加了一个阶段，即分类器选择阶 段。选择性集成具有两个方面的优越性：（１）提高 泛化能力：通过剔除对集成分类器的预测能力具有 负面影响的基分类器，进一步提高预测性能；（２）降 低预测阶段的开销：去掉冗余基分类器以减少集成 分类器的存储空间、降低预测运算量、加快预测速 度。 本文对选择性集成算法的分类进行了介绍，并 根据选择策略将已有的选择性集成算法分为四类， 最后从预测精度、分类器选择时间、目标集成分类 器大小三个方面对各类典型算法进行了比较分析。 文章的结构如下：第２节介绍选择性集成算法分类 以及典型的选择性集成算法；第３节对实验结果进 行比较分析；最后总结全文，并展望了未来这一方 向的研究重点。
来自不同领域的数据集。
３．１
实验方法 实验采用十次交叉验证的方法。为了充分验
证各算法的性能，实验采用了四种异构的基分类 器［１…，所生成基分类器中有４０个ＢＰＮＮ神经网 络，２０个Ｃ４．５决策树，２０个简单贝叶斯，２０个 ＳＶＭ支持向量机。 ３．２预测精度 从表１可以看出，ＳｅｌＢ的结果表明选择单个 最优基分类器极有可能出现过适应问题。Ｂａｇｇｉｎｇ 的结果说明在绝大多数情况下集成学习的性能优 于单个分类器，同时也可能表明基分类器相关性强 或是性能较差会对集成分类器的预测性能有较大 影响。其他六种选择性集成算法的实验结果再次 验证了选择性集成能够提高集成分类器的泛化能 力。ＧＡＳＥＮ算法的性能相对不佳，我们认为其主 要原因在于ＧＡＳＥＮ终止条件的确定相对困难，从 而难以达到全局最优。ＣＰＦ利用分簇思想引入了 多样性的考虑，其存在的问题是即使性能较差的基 分类器，由于其差异性较高，也可能被选人到目标 集成分类器。ＦＳ算法以预测精度作为度量标准进 行贪婪式选择，ＯＯ算法以基分类器签名向量与参 考向量间的角度进行排序，它们均获得较好的预测 性能。ＭＤＳＱ和ＰＭＥＰ是最近提出的新算法，这 两种算法均综合考虑了基分类器的预测精度和多 样性，并获得了优异的性能。