特征选择算法综述

域 的 重 要 问题 ： ９ 自 Ｏ年 代 以来 ， 征 选 择 的 研 究 引 起 了 机 器 特
学 习 领 域 众 多 学 者 前 所 未 有 的 重 视 。主 要 原 因有 以下 三 方
目较 多 的 时候 ，穷 举 式 搜 索 因 为 计 算 量 太 大 而 无 法 应 用 ， 因
此 人 们 致 力 于 用 启 发 式 搜 索 算 法 寻 找 次优 解 。一 般 特 征 选 择
指 描 述 样 本 的 特 征 维 数 高 。３ 随 着 应 用 领 域 的不 断 扩 大 ， ） 所 遇 到 的 数 据 类 型也 将 不 断 变 化 。 因此 ， 征 选 择 算 法 的 设 计 特
需 要 适 应 新 的数 据 类 型 。正 是 由 于 上 述 原 因 ， 征 选 择 的 研 特 究 成 为 模 式 识 别 和 机 器 学 习领 域 的 重 要 课 题 ． 具 有 重 要 的 它
Ａ ｕｒ ｅ ｆｆ ａ ｕ ｅ ｓ ｌ ｃ ｉ ｎ ｌ ｏ ｉｈｍ ｓ ｖ ｙ ｏ ｅ ｔ ｒ ｅ ｅ ｔｏ ａ ｇ ｒｔ
Ｊ ｈ— ｉ，ＨＵ ｎ ，ＹＩ ｉｎ ｘｎ Ｉ ｉ Ｚ ｗｅ Ｍｉ Ｎ Ｊａ －ｉ’
（． ｃ ｏｌｆＩ ｏ ｔ ｎＥ ｇｎｅｉｇ Ｚ ｅ ａｇＡ ｒ ｕ ｕａ ａｄＦｒｓ ｙＵ ＆ｅ ｉ Ｌｎ ｎ １３ ０ Ｃ ｉａ １ Ｓｈ ｏ ｏ ｎ ｒ ｉ ｎｉｅｒ ， ｈｊ ｎ ｇｉ ｌ ｒｌ ｎ ｏｅｔ ｎ ￣ ＠， ｉ＇ ３ １０ ， ｈｎ ； ｆ ｍａ ｏ ｎ ｉ ｃｔ ｒ ａ ２ Ｓｈ ｏ ｏ Ｓｄ ｅ ｓ ｔ ｅｏ Ｌ ｎ ｕｇ Ｃ ｍｍ ｒｅ Ｓ ａｇ ａ Ｕ ＆ ｎｉ Ｓ ａｇ ａ ２ ０ ７ ， ｉ ） ． ｃ ｏｌ ｙ ｎｙＩ ｔｕ ａｇ ａｅ＆ ｏ ｅｃ ， ｈｎ ｈｉ ｎ ｅ ＠， ｈ ｈ ｉ ００ ２ Ｃ ｎ ｆ ｎ ｉｔ ｆ ｎ ｈ ａ
计算效率 ， 同时 可 降 低 “ 度 灾 难 ” 维 的发 生频 率 。
在 机 器 学 习 领 域 中 ． 征 选 择 被 认 为 是 跟 学 习 算 法 紧 密 特 联 系 的 一 个 问 题 ， 表 述 为 ： 定 一 个 学 习 算 法 Ｌ、 个 数 据 可 给 一 集 Ｓ Ｓ来 自一 个 特 征 Ｘ ， ２Ｘ ，… ， 具 有 类 别 标 记 Ｙ 的 ， ｌ ，３ Ｘ Ｘ的
学术 意 义 和 实 用 价 值 。
符 合 分 布 的样 本 空 间 。则 一 个 最 优 特 征 子 集 Ｘ ｐ 是 使 得 某 ｏｔ
个 评 价 准 则 ＪＪ Ｌ Ｓ 最 优 的 特 征 子 集 。 因 此 ， 领 域 的 学 者 ＿（ ，） 该 认 为 特 征 选 择 的 结 果 应 该 用 学 习算 法 来 评 价 。 特 征 选 择 作 为 统 计 学 领 域 的 经 典 问 题 ， 自上 个 世 纪 ６ ０
多 而 急 剧 增 加 【１ 因此 ， 择 好 的 特 征 不 仅 可 以 减 小 计 算 复 ｌ。 － ４ 选
杂度 ， 高 预测 精度 ， 且有 助 于寻 找更 精简 的算 法模 型 。 提 而 ２ 大 规 模 数 据 处 理 问 题 的 不 断 出现 ， 信 息 检 索 ， 传 基 因 ） 如 遗
ｔｅｒｓａｃ ｏ ｇｔ ｅ ａｕｅｓｌｃｏ ｇｒｈ ａｅ ｎｍ ｌ－ｂｅｔ ｅｉｍｕ ｅｏｔ ｚｔ ｎｍ ｔｏ ． ｈ ｅｒｈｔ ｕ ｈ ｏ ａｎｗｆ ｔｒ ｅｔ ｎａ ｏｉ ｍ ｂ ｓｄｏ ｕｔｏｊｃ ｖ ｅ ｈ ｆ ｅ ｅ ｉ ｌ ｔ ｉ ｉ ｍ ｎ ｐ ｍｉ ｉ ｅｈｄ ｉ ａｏ Ｋｅ ｏ ｄ ：ｅｔｒ ｌｃｏ ；ｅｔｒｓ ｕ ｓｔ ｓａｃ ； ｌ－ ｊｃｉ ｐ ｍｉ ｉ ｙｗ ｒ ｓ ｆａｕｅｓ ｅｔ ｎ ｆａ ｅ ｂｅ； ｅｒｈ ｍｕ ｉ ｂｅｔ ｅｏｆ ｚ ｏ ｅ ｉ ｕ ｓ ｔｏ ｖ ｉ ｍ ｎ
分 析 等 。 谓 大规 模 。 方 面 指 样 本 数 目的庞 大 。 一 方 面 所 一 另
集 所 构 建 的 分 类 或 回归 模 型 达 到 和 特 征 选 择 前 近 似 甚 至 更
好 的 预 测 精 度 。 不 但 提 高 了模 型 的 泛 化 能 力 、 理 解 性 和 这 可
－
４ ６－
计 智伟 ， 等
略 ；） 征评估函数 ；） 止准则 。 ３特 ４停
１１ 搜 索 起 点 和 方 向 ．
特征 选择 算 法综 述
优 特 征 子 集 是 由 若 干 个 预 测 能 力 较 强 的 特 征 组 成 的１ ９ １ 。 相 反 ， Ｗｒ ｐｒ 法 中 ， 后 续 的 学 习 算 法 嵌 入 到 特 在 ａ ｅ方 ｐ 用 征 选 择 过 程 中 。 过 测 试 特 征 子 集 在 此 算 法 上 的预 测 性 能 来 通
算 法 必 须 确 定 以 下 ４个 要 素 ： ） 索 起 点 和 方 向 ； ） 索 策 １搜 ２搜
基金 项 目 ： 家 自然科 学基金 （０ ７ ０ ２ ； 国 ６９ ０ ８ ）国家 自然科 学基金 （０７ １９ ； ５ ７ ８ ０ ） 浙江省 自然科 学基金 项 目（ ０ ０ ７ 、 ３９ ０ １ ３ ８ ４ ７ Ｙ１ ８７ ７Ｙ ０ ０ ６ 、 ０ ０ ５ ） Ｙ 作者 简 介 ： 智 伟 （９ 一） 男 ， 江 嘉 兴 人 ， 士 。研 究 方 向 ： 工 智 能 与模 式识 别 。 计 １８ ， 浙 硕 人
Ａｂ ｔ ａ ｔ ｅ ｔ ｒ ｅｅ ｔ ｎ ｈ ｓ ｂ ｅ ｎ ｉ ｏ ｔｎ ｅ ｅ ｒ ｈ ａ ｅ ｎ ｐ ｔ ｒ ｅ ｏ ｎ ｔ ｎ ａ ｄ ｍａ ｈ ｎ ｅ ｒ ｉ ｇ ｓｎ ｅ ９ ’ ｏ ｓ ｒ ｃ ：Ｆ ａ ｕ ｅ ｓ ｌｃ ｉ ａ ｅ ｎ ａ ｍｐ ｒ ｔ ｓ ａ ｃ ｒ ａ ｉ ａ ｔ ｎ ｒ ｃ ｇ ｉ ｏ ｎ ｃ ｉｅ ｌａ ｎ ｎ ｉ ｃ ０ Ｓ ｆ ｏ ａ ｒ ｅ ｉ ｔ ｅ ２ ｔ ｅ ｔ ｒ ． ｅ ｔ ｃ ｉｖ ｍｅ ｔ ａ ｅ ｂ ｅ ｃ ｉ ｖ ｄ，ｈ ｗｅ ｅ ｎ ｒ ｂ ｅ ｅ ｉ ｏ ｂ ｎ ｏ ｖ ｄ ａ ｄ ｎ ｅ ｕ ｔ ｅ ｈ ０ ｈ ｃ ｎ ｕ ｙ Ｇｒ ａ ｈ ｅ ｅ ｎ ｓｈ ｖ ｅ ｎ ａ ｈ ｅ ｅ ａ ｏ ｖ ｒｍａ ｙ ｐ ｏ ｌｍｓｒ ｍａｎ ｔ ｅ ｕ ｓ ｌ ｅ ｎ ｅ ｄ ｆ ｒｈ ｒ ｉ ｖ ｓｉ ａｉ ｎ Ｉ ｈ ｓｐ ｐ ｒ ｅ ｆ ｓ ｄ ｓ ｒｂ ｅ ｔ ｒ ｅｅ ｔ ｎ ｉ ｅ ｍｓｏ ｅ ｒｓｉ ｅ ｒ ｈ ｔ ｒ ｕ ｈ ｔ ｅ ｓ ａ ｅ ｏ ａｕ ｅ ｓ ｔ ， ｎ ｅ ｔ ｔ ． ｎ ｔ ｉ ａ ｅ ，ｗ ｒｔ ｅ ｃ ｅ ｆ ａｕ ｅ ｓ ｌ ｃｉ ｔｒ ｆ ｕ ｔ ｓ ａ ｃ ｏ ｇ ｐ ｃ ｆ ｅ ｔ ｒ ｅｓ ｇ ｏ ｉ ｉ ｏ ｎ ｈ ｉ ｅ ｈ ｈ ｆ ｄ ｓ ｕ ｓｎ ｈ ｏ ｒ ｆｃ ｏ ｓ ｉ ｅ ｔ ｒ ｓ ｌｃ ｉｎ ａ ｇ ｒ ｈ ， ｅ ｌｓ ｉ ｍａ ｙ ｐ ｐ ｌ ｒ ｆ ａｕ ｅ ｅｅ ｔ ｎ ａ ｇ ｒ ｍｓ ｆｏ ｉｃ ｓ ｉ ｇ ｔ ｅ ｆ ｕ ａ ｔ ｒ ｎ ｆ ａｕ ｅ ｅｅ ｔ ｌｏ ｔ ｍｓ ｔ ｎ ｃａ ｓｆ ｏ ｉ ｈ ｙ ｎ ｏ ｕ ａ ｅ ｔ ｒ ｓ ｌｃ ｉ ｌ ｏ ｔ ｏ ｉ ｈ ｒ ｍ ｄ ｆ ｒ ｎ ｏｎ ｓ ｏ ｉｗ ａ ｄ ｉ ｔ ｄ ｃ ｅ ｅ ａ ｍｂ ａ ｃ ｍｅ ｔ ｅ ｔ ｒ ｅ ｅ ｔ ｎ ａ ｄ ｔｅ ｄ ｖ ｌ ｐ ｎ ． ａ ｔ ｅ ｄ ｓ ｕ ｓ ｉ ｅ ｅ ｔ ｉ ｔ ｆｖｅ ｎ ｎ ｒ ｕ ｅ ｓ ｖ ｒ ｌ ｐ ｏ ｅ ｒｎ ｈ ｎ ｓｏ ｆ ａｕ ｅ ｓ ｌ ｃｉ ｎ ｅ ｅ ｏ ｍｅ ｔ Ａｔｌｓ ，ｗ ｉｃ ｓ ｆ ｏ ｈ
面 ：） 多 学 习 算 法 的性 能 受 到 不 相 关 或 冗 余 特 征 的 负 面 影 １许
响 。大 多 数 学 习算 法 所 需 训 练 样 本 的 数 目随 不 相 关 特 征 的增
收 稿 日期 ：０ １ ０ — ８ ２ １－ １ ２ 稿 件 编 号 ： ０ １ １９ ２ １０ ０ ５
个要 素进 行 了 阐述 ， 然后 从 各 个 角 度 对 特 征 选 择 算 法 进 行 了分 类 ， 述 了其 各 个 分 支 的发 展 态 势 ， 后 探 讨 了基 于 多 概 最
目标 免 疫优 化 的 特 征 选 择 方 法的 研 究 思路 。 关 键 词 ： 征 选 择 ；特征 子 集 ； 索 ；多 目标 优 化 特 搜 中 图分 类 号 ： Ｐ ８ Ｔ １ 文献标识码 ： Ａ 文 章 编 号 ：１７ — ２６ ２ ｌ ）９ ０ ４ — ６ ６ ４ ６ ３ （０ １０ — ０ ６ ０
第 １ ９卷 第 ９期
Ｖ０ ．９ １ １
Ｎｏ ９ ．
电子 设计 工 程
Ｅ ｅ ｔｏ ｉ ｓｇ ｎ ｉ ｅ ｒｎ ｌ ｃｒ ｎ ｃ Ｄｅ ｉｎ Ｅ ｇｎ ｅ ｉ ｇ
２ １ 年 ５月 ０１
Ｍ ａ ．２ １ ｙ ０１
特征选择算 法综述
计 智伟wenku.baidu.com，胡 珉 ，尹建新
（． 江农 林 大 学 信 息 工 程 学 院 ， 江 临安 ３ １０ ； ． 海 大 学 悉尼 工 商 学 院 ，上 海 ２ ０ ７ ） １浙 浙 １３ ０ ２ 上 ０ ０ ２ 摘 要 ：自 ２ ０世 纪 ９ ０年 代 以来 ， 特征 选择 成 为 模 式 识 别 和机 器 学 习领 域 的 重要 研 究方 向 ， 究成 果 十 分 显 著 ， 是 也 研 但 存 在 许 多 问题 需要 进 一 步 研 究。 本 文 首 先 将 特 征 选 择 视 为特 征 集 合 空 间 中的 启 发 式 搜 索 问题 ， 特 征 选择 涉 及 的 四 对
搜 索 起 点 是 算 法 开 始 搜 索 的 状 态 点 ． 索 方 向是 指 评 价 搜 的特 征 子 集 产 生 的 次 序 。搜 索 的 起 点 和 搜 索 方 向 是 相 关 的 ， 它 们 共 同 决 定 搜 索 策 略 。一 般 的 ， 据 不 同 的 搜 索 起 点 和 方 根
年 代 起 就 有 学 者 对 此 进 行 了 研 究 ； 时 ， 也 是 机 器 学 习 领 同 它
１ 特 征 选 择 作 为 搜 索 问题 的 ４个 要素
一
般 而 言 ． 征 选 择 可 以 看 作 一 个 搜 索 寻 优 问 题 。对 大 特
小 为 ｎ的 特 征 集 合 ，搜 索 空 间 由 ２一 “１种 可 能 的 状 态 构 成 。 Ｄ ｖｅ 等 证 明最 小 特 征 子 集 的搜 索 是 一 个 Ｎ ａｉ ｓ Ｐ问 题ｌ， 除 了 Ｓ即 ｌ 穷举式搜索 ， 能保证找到最优解 。 实际应用中 ， 不 但 当特 征数
特 征 选 择 （ ａ ｒ ｓｌｃ ｏ ） 为 一 种 常 见 的 降 维 方 法 是 ｆ ｔ ｅ ｅｅｔ ｎ 作 ｅｕ ｉ 模 式 识 别 的研 究 热 点 之 一 。它 是 指 从 原 始 特 征 集 中 选 择 使 某 种 评 估 标 准最 优 的 特 征 子 集 。 目的是 使 选 出 的 最 优 特 征 子 其
向 ． 以 下 ４种 情 况 ： 有 １前 向搜 索 ） 搜索起点是空集 Ｓ依据某种 评价标准 ， ， 随
决 定 它 的 优 劣 ， 极 少 关 注 特 征 子集 中 每 个 特 征 的 预测 性 能 而 如何 。 因 此 ， 二 种 评 价 标 准 并 不要 求 最 优 特 征 子 集 中 的 每 第 个 特征 都是 优 秀 的［。 】 Ｏ ｌ