降维技术与方法综述

化、 数据分析 、 数据 建模 都会 带来 困难 。因此 ， 有必要讨 论
目前 常 见 的 降 维 方 法 。 本 文 详 细 讨 论 了 特 征 选 择 与 特 征 变 换 两 类 。 特 征 选 择 为 从 给定 的 特 征 中直 接 选 择 若 干 重 要 特 征 ， 征 变 换 为 特 通 过 某 种 变换 将 原 始 输 入 空 间 数 据 映 射 到 一 个 新 空 问 中 。
第 ３ 卷 第 １ １ ０期
四 川 兵 工 学 报
２１ ０ ０年 １ ０月
【 特稿 】
降 维 技 术 与 方 法 综 述
张 煜 东 霍 元铠 吴 乐 南 ， 正 超 ， ， 董
（ ．哥 仑 比 亚 大 学 精 神 病 学 系 脑 成 像 实 验 室 ， 约 纽 约 州 １ 纽 ２ 东 南 大 学 信 息 科 学 与工 程 学 院 ， 京 ． 南 ２ ０９ ） １０ ６ １０ ２ ０３ ；
式 方 法 能 够证 明 自身 的 收敛 时 间 或 收敛 结 果 ， 是 启 发 式 但
要， 例如拟合器 、 分类 器 、 聚类 器 等） 的性 能作 为模 型 。
优点是得到 的特征子集更符合 后续学 习器 的需要 ， 缺点是 计算耗 时过长 、 且易发生过拟合 。
方法抛弃了这 两种 目标 ： 在某 次寻优 中可 能收敛很 快 ， 它 但 不 能保 证始 终 如 此 ； 它在 某 次 寻 优 中 可 能 找 到 足 够 好 的 子集 ， 但不能证 明下 一次寻 优得 到 的子集更 优 Ｊ 。当然 ， 启发式算法 的优点在于计算 复杂度低 ， 实现过程 比较简单
法 法
有
按照特征 子集 的形 成 方 法 ， 取 特 征可法 、 能 优 化 方 法 等 ， 图 ２所 示 。 启 随 智 如
图 ２ 按 子 集 产 生 方 法 分 类
穷 举 法 （ｘ ａｓｖ ） 一 种 最 直 接 的优 化 策 略 ， 大 小 ｅｈ ｕｔ ｅ 是 ｉ 对
摘 要 ： 了更 好 地 对 数 据 实 现 降 维 ， 论 了 特 征 选 择 与 特 征 变 换 两种 技 术 。对 于 特 征 选 择 ， 照 特 征 子 集 的形 成 为 讨 按
方法可分为穷举法 、 启发 式方法 、 随机 方法 、 能优化 方法 等 ； 照评 价 函数 的类别 可分 为筛选 式 、 智 按 封装式 、 人 嵌
式 。 对 于 特 征 变 换 ， 统 的方 法 采 用 线 性 降 维 方 法 ， 要 有 非 负 矩 阵 分 解 、 子 分 析 、 成 份 分 析 、 异 值 分 解 、 传 主 因 主 奇
独立成分 分析等 ； 目前 的方法是非线性降维方法 ， 以流形学 习为代表 。对各种 不同方法 详细探讨 其原理 与流程 ，
董正超 ， ， 男 哥伦 比亚大学教授 ， 主要从事脑 图像 处理研究 。
２
四 川 兵 工 学 报
得分 ， 一般可采用基 于该子 集的后续 学 习器 （ 根据实 际需
为 ｎ的 特 征 集 ， 索 ２ 搜 ｎ种 可 能 的子 集 。 因 此 ， 管 穷 举 法 尽
能确保寻找到最优子集 ， 但是计算开销过大 、 不实用 。 启发式（ ｅｒ ｔ ） 法不一 定产 生最 优子 集 ， ｈｕｉ ｉ 方 ｓｃ 结果 一 般是一个 较优 子集 ， 与确定 式方 法存 在下述 区别 ： 定 它 确
并 进 行 了 性 能 比较 。
关键 词 ： 特征选择 ；特征变换 ；嵌入式特征选择 ；流形学习
中 图 分 类 号 ：Ｐ ８ Ｔ １ 文 献 标 识 码 ： Ａ 文 章 编 号 ：０６— ７ ７ ２ １ ）Ｏ一００ — ７ １０ ０ ０ （０ ０ １ ０ １ ０
随着 技术 的发展 ， 们 在 各个 领 域都 会 面对 高 维数 人 据 。 高维 数 据 不 仅 会 造 成 “ 数 诅 咒 ”问 题 ， 且 对 可 视 维 而
一
般 特 征 选 择 的结 果 更 有 物 理 意 义 ， 于 用 户 理 解 ； 特 便 而 征变 换 的 结 果 效 率 更 高 ， 够 提 取 原 始 数 据 中 隐 含 的 能
信息 。
图 １ 特 征 选择 算 法 框 架
１ 特征选择
特 征提 取 算 法
特 征 选 择 是 一 种 从 相 关 特 征 集 中 挑 选 出 一 个 重 要 子 集 的 技 术 ， 称 为 变 量 选 择 、 征 压 缩 、 性 选 择 、 量 子 也 特 属 变 集 选 择 等 。特 征 变 换 通 过 移 除 原 特 征 集 中 的 相 关 性 与 冗 余 性 ， 以 减 轻 维 数 诅 咒 ， 强 模 型 泛 化 能 力 ， 速 模 型 学 可 增 加 习速 度 ， 善 模 型 可 读 性 。特 征 选 择 的 算 法 框 架 一 般 如 图 改 １ 当然 有 些 算 法 并 不 全 部 具 有 以 上 ４个 方 面 ， 如 对 特 征 ， 例 排 序 后 选 择 前 ｍ 个 特 征 的 Ｒ ｎ ｉｇ 法 只 涉及 评 价 和 停 止 ａｋ 方 ｎ
收 稿 日期 ：０ ０—０ ２１ ８—２ ５ 基 金 项 目 ： 家 自然 科 学 基 金 （０ ７ ０ ５ ； 家 高 技 术 发 展 计 划 （０ ８ Ａ １２ ７ 国 ６ ８２ ７ ） 国 ２０Ａ ０Ｚ ２ ） 作者简介 ： 煜东（９５ ） 张 １８ 一 ，男 ， 士 后 ， 要 从 事 数 据 挖 掘研 究 ； 博 主 吴 乐 南 （９ ２ ） 男 ， 授 ， 导 ， 要从 事 多 媒 体 信 息 处 理 和通 信 信 号 处 理 研 究 ； １５ 一 ， 教 博 主
两 方 面 。 １ １ 子 集产 生 ．
遍
历 所
ｌ 穷举 法
启 发 式 Ｉ Ｉ 机 方 法Ｉ 智 能优 随 ｌ
向 向 组 基 前 后 合 于 选 选 选 实 择 择 择 侈０
模 柱 完 概 遗 拟 蚁 子 全 蛊 传 退 群 群 随 随 算 火 算 机 机 法 算 算 法