基于多子空间线性判别分析的特征提取与分类
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ＤＯＮＧ ｎ Ｙａ
（ ＥＲＰ Ｓ ｐ ｏ ｔＣｅ ｔ ｒ ｏ ｉ ｏ ｅ ｈ ｎ ｌ Ｏｉ ｉｌ ａ ｃ ｍｐ ｎ ｕ ｐ ｒ ｎ ｅ ｆＳ ｎ ｐ ｃＳ ｅ ｇ ｉ ｌ ｅ ｄ Ｂｒ ｎ ｈ Ｃｏ ａ ｙ，Ｄｏ ｇ ｉ ｇ ２ ７ ０ ，Ｃ ｉ ａ ｆ ｎ ｙｎ ５ ０ ０ ｈｎ ） Ａｂ ｔａ ｔ ｎ ｃａ ｓｆ ａ ｉ ｎ ｏ ｉ ｈ ｄ ｍｅ ｓｏ ａ ｔ ｔ ｔ ａ ａ ａ ｕ ｄ ｒｙ ｎ ｍａ ｌ ａ ｌ ｉｅ ｐ ｏ ｌｍ ，ｉ ｒ ｅ Ｏ ｓ ｌ ｅ Ｆ ｓ ｅ ｆ ｃ ｓｒ ｃ ：Ｉ ｌｓ ｉ ｃ ｔ ｆ ｇ — ｉ ｎ ｉｎ ｌ ａ ｉ ｉ ｌ ｔ ｎ ｅ ｌ ｉｇ ｓ ｌ ｓ ｍｐ ｅ ｓ ｒ ｂ ｅ ｉ ｏ ｈ ｓ ｓｃ ｄ ｚ ｎ ｏ ｄ ｒ ｔ ｏ ｖ ｉｈ ｒ ａ ｅ ｔ ｏ ｇ ｔｌｃ ｆ ｉｃ ｉ ｉ ａ ｔ ｎ ｌ ｓｓ ｅ ｈ ｄ，ｓ ｍｐ ｅｏ ａ ｈ ｃａ ｓｉ ｄ ｓ ｒ ｅ ｓｎ ｌｉｕ ｓ ａ ｅｔ ｃ ｎ ｑ ｅａ ｄ ｍａ ｉ ｕ ｓ ａ — ｈ ｕ ｈ ａ ｋ ｏ ｓ ｒ ｎ ｎ ａ ｙ ｉ ｔ ｏ ｄ ｍ ａ ｍ ａ ｌ ｆ ｃ ｌｓ ｅ ｃ ｉ ｄ ｕ ｉ ｇ ｍｕ ｔ ｂ ｐ ｃ ｅ ｈ ｉ ｕ ｎ ｘｍ ｍ ｃ ｔ ｅ ｓ ｂ ｓ ｔ ｒｄ ｆ ｒ ｎ ｅｃ ｉ ｒ ｎ ｔ ｅ ｌｃ ａ ｌ ｅ ｗｅ ｎ ｃａ ｓ ａ ｄ ｗｉ ｉ－ ｌ ｓ ｉｔｉ ｕ ｉｎ ｍｏ ｅ ａ ｃ ｒ ｔ ．Ｃｒｔ ｒ ｎ ｏ ｌ ｓ ｉ ｃ ｔ ｎ ｉ ｅ ｉ ｅ ｅ ｃ ｒｔ ｉ Ｏ ｒ ｆｅ ｔ ｓ ｍｐ ｅ ｂ ｔ ｅ － ｌｓ ｎ ｔ ｎ ｃａ ｓ ｄ ｓ ｒｂ ｔ ｒ ｃ ｕ ａ ｅ ｆ ｅｏ ｈ ｏ ｉ ｉ ｆ ｃａ ｓｆ ａ ｉ ｓ ｅｏ ｉ ｏ ｃ ｎ ｉ ｅ ｃ ｒ ｍ ｙ ｓｒ ｌ ａ ｔ ｅ ｈ ｎ ｄｓ ａ ｃ ．Ｒｅ ｕ ｔ ｅ ｎ ｔ ａ ｅ ｈ ｔｔ ｅｐ ｒｏ ｍａ ｃ ｆ ｈ ｒ ｐ ｓ ｄ ｍｅ ｈ ｄ ｉ ｓ ｐ ｒｏ ｏ ｆ ｎ ｅ ｆｏ Ｂａ ｅ ｕ ｅ ｒ ｎ ｈ ｒ ｔ ａ ｉｔ ｎ ｅ ｄ ｓ ｌ ｄ ｍｏ ｓｒ ｔｄ ｔ ａ ｈ ｅ ｆ ｒ ｎ ｅｏ ｅ ｐ ｏ ｏ ｅ ｔ ｏ ｕ ｅ ｉｒ ｓ ｔ ｓ ｔ ｈ ｔｏ ｒ ｄ ｔ ｎ ｌ ｐ ｒ ａ ｈ ｓ Ｏ ｔ ａ ｆｔａ ｉ ｏ ａ ｐ ｏ ｃ ｅ ．Ａｓｆ ｒ ａ ｅ ｏ ｎ ｔ ｎ ｒ ｔ ｓ ｃ ｎ ｅ ｎ ｄ ｒ ｅ ｍｐ ｏ ｅ ｎ ｓｏ ｔ ｉ ｅ ． ｉ ａ ａ ｓｒ ｃ ｇ ｉｉ ａ ｅ ｉ ｏ ｃ ｒ ｅ ，ａｍａ ｋ ｄ ｉ ｒ ｖ ｍｅ ｔｉ ｂ ａｎ ｄ ｏ Ｋｅ ｗｏ ｄ ： ｈ ｇ ｉ ｎ ｉ ｎ ｌ ａ ｄ ｓ ｌ ｓ ｍｐ ｅ ｓｚ ｐ ｏ ｌｍ ； ｍｕ ｔ ｕ ｓ ａ ｅ ｌ ｅ ｒ ｉｃ ｉ ｉａ ｔ ａ ａ ｙ ｉ ； ｆａ ｕ ｅ ｙ ｒｓ ｉ ｈ ｄ ｍｅ ｓ ａ ｏ ｎ ｍａ ｌ ａ ｌ ｉ ｅ ｒ ｂｅ ｌ ｓ ｂ ｐ ｃ ； ｉ ａ ｄ ｓ ｒ ｎ ｎ ｎ ｌ ｓｓ ｉ ｎ ｍ ｅ ｔｒ
线性判别分析方 法 （ Ｄ Ｌ Ａ）进行 分类 时往 往 因类 内散 度矩 阵的奇异 性 而无 法求 解 ，即模 式 识别 中的 高维 小 样 本 问 题 ｌ 。而实践 中常 用 Ｆｓ ｅｆｃ 方 法来解 决 高维小 样本 问 １ ］ ｉ ｒ ｅ ｈ ａ
题 ＿ ，它 由 主 成 分 分 析 （ Ｃ ２ ］ Ｐ Ａ） 和 线 性 判 别 分 析 （ Ｄ Ｌ Ａ）
根 据子 空 间 分 析 理 论 ，解 决 高 维 小 样 本 问 题 的 关 键 是
ｆ ８
（ 在ｍｌ方向投影后的分布商方 图 ｂ ）
图 ２ 考 虑 分 类 后 的 Ｐ Ａ 及 分 类 结 果 Ｃ 左 侧 浅 灰 ，右 侧 深 灰 ） 分 别 代 表 不 同 类 的 数 据 样 本 ，将 样
Ｌ ＡＥ Ｄ ，Ｇｅｅａｉ ｄＬ Ａ［等方法提 出，其 中 Ｐ Ａ＋Ｌ Ａ ｎｒｌ ｅ Ｄ 。 ｚ ｃ Ｄ 作 为有 效的方法广泛应用 在人脸识 别领域 。在 Ｐ Ａ＋Ｌ Ａ Ｃ Ｄ 处理 中，首先利用 Ｐ Ａ进行维度缩减 ，作 为一 种全局提取 Ｃ 技术 ，Ｐ Ａ的 目标是寻找一组正 交 向量使 得所有样 本经过 Ｃ 投影后 的方差最 大 ，而 Ｐ Ａ在降维过程 中并没 有考虑样本 Ｃ
本文针对 常用 Ｐ Ａ 和 Ｌ Ａ在 降维 和判别分 析上 的不 Ｃ Ｄ 足 ，在算 法设计 中 ，一方面借鉴 了 Ｐ Ａ在维数缩 减上的作 Ｃ
用 ，另一 方 面尽 可 能 多 地 保 留 类 的 判 别 信 息 。 算 法 的 简 单
组成 ， 先通过 Ｐ Ａ实现 降维 ，从而消 除类 内散度矩 阵的奇 Ｃ
— ＿ 一
Ｉ
０
Ｊ
Ｉ ；
有最大 的类 间距 离和最 小 的类 内距离 ，即模式 在该空 间中 有最佳 的可分 离性 。当 非 奇异 时 ，根据 Ｌ ｇａｇ 乘 数 ａｒｎ ｅ 法 可得 ｇ 是由矩 阵 Ｓ 的特征 向量 组成 的矩 阵 ，但在 高 ． Ｕ ｗＳ 维 小样本 的情况 下 ， 非 奇异 的前提常 常无法满足 。
．
Ｌ
；
Ｉ
（） １
（ 提取的新投影 方向ｍ１和ｍ ａ ） ２
～ 一０ ＿． 叠 冀 ～
一
Ｌ Ａ使用最大散度 比准则 ，目的是 求使 准则 Ｊ （ Ｄ 训）最
大 的投影 叫 ，在此投影下可 以使样本的类间散度矩阵 与 类 内散度矩 阵 Ｓ 的比值最大 ，使得经过特征提取后 的样本
ｅ ｔａ ｔ ｎ；ｃａ ｓｆｃ ｔｏ ｘｒ ｃｉ ｏ ｌ ｓ ｉｉ ｉｎ ａ
０ 引 言
特征提取和分类始 终是模式 识别 研究 的重要课 题 ，在
同时 ，也 带来 分类 判别 信 息 的缺 失 。 Ｌ ＤＡ 的 目标 是 使 特 征
提取后的样本 类问离 散度 和类 内离 散度 的 比值 最大化 ，即
异性并有效 降低运算复杂度 ，但是 Ｐ Ａ 的作为最佳描 述特 Ｃ
征的提取方法是 以投影后 方差 最大为 准则 ，并没 有判别 分
思想就是通过对每类样本 进行特 征提取 以有效 地保 留判别
信息和降维 。提出 的多子空 间线性 判别分 析 ，对不 同样本 类分别描述 ，针对 每类样本提取最适 合分类 的特征 子空间 ； 分类时综 合考虑投影 后样本 的概率 分布模 型 ，以概 率距离
摘 要 ：为 了解 决 高 维 小样 本 数 据 的 分 类 中 Ｆｓｅｆｃ 想判 别 分 析 方 法 的 不 足 ，在 最 大散 度 差 准 则 的 基 础 上 ，提 出 了 利 ｉ ｒ ｅ思 ｈ ａ
用多线性子空间技 术对每 类样本进行单独描述的方法 ，该方法能更准确地反 映样本在 类 内类 间的分布 关 系。在 分类 中不是
各 类 样 本 在 特 征 空 间 中有 最 佳 的可 分 离 性 。 该 方 法 利 用 最
生物特征识别 ，基 因图谱分 析 ，遥感影 像分类 ，空 间数据
挖掘等应用 领域 更有着 广泛 的实用价 值 。随着数 据 的复杂
性 和 规 模 急 剧增 长 ，特 征 提 取 和 分 类 的难 点 主要 表 现 为 数 据 集 中 样本 的特 征 维 数 远 远 大 于 每 类 样 本 数 量 。 由 于 样 本 的 稀 疏 造成 样 本 类 的统 计 特 征 描 述 不 充 分 ，在 利 用 经 典 的
本数据分别投影 到 Ｐ Ａ第 一主元 方 向 ｍ 和新 提取 的投影 Ｃ １
方 向 ｍ 样 本 数 据 由 ２维 降 为 １ 。 比较 图 １与 图 ２降 维 １， 维
后的数据直方图分布 ，可以看出在 图 ２ （ ）中，两类数 据 ｂ
在 投 影 后 得 到更 好 的 分离 。 由此 可 知 Ｐ Ａ 并 不 是 面 向分 类 Ｃ 的 特 征 提 取 方 法 ，一 般 情 况 下 ， 由其 得 到 的 特 征 是 最 佳 描
Ｆｅ ｔ ｒ ｘ ｒ ｃ ｉ ｎ ａ ｄ ｃａ ｓｆｃ ｔｏ ａ ｅ ｎ ｍ ｕ ｔｓ ｂ ｐ ｃ ｉ ｅ ｒ ａ ｕ ｅ ｅ ｔａ ｔｏ ｎ ｌｓ ｉｉａ ｉ ｎ ｂ ｓ ｄ ｏ ｌｉｕ ｓ ａ ｅｌ ａ ｎ
ｄ ｓ ｒｍ ｉ ａ ｔａ ａｙ ｉ ｉｃ ｉ ｎ ｎ ｎ ｌ ｓｓ
去除由冗余特征 组成样 本空 间的稀疏 部分 ，这 些冗余 特征 所具有 的判别信 息往往 很少或 没有 ，是类 内散 度矩 阵奇 异 的根源 ，针对 Ｌ Ａ方法在解决高维小样本 问题 的 困境 ，先 Ｄ
后 有 Ｆｓ ｅｆｃ （ Ｃ ＋ Ｌ Ａ ） Ｄｒｃ— Ｄ ， Ｄ ａ ｉ ｒ ｅ ＰＡ ｈ ａ Ｄ ， ｉ ｔ ＡＥ ｅ Ｌ ｕｌ —
２１ ０ ２年 ４月
计 算机 工程 与设 计
ＣＯＭ ＰＵＴＥＲ ＥＮＧＩ ＥＲ１ ＮＥ ＮＧ ＡＮＤ ＤＥＳ ＧＮ Ｉ
Ａｐｒ ２ ２ ． ０１
第３ ３卷
第 ４期
Ｖｏ ． ３ Ｎｏ ４ １３ ．
基于 多子空 问线性判别分析的特征提取 与分类
董 琰 （ 中石 化胜 利 油田分公 司 Ｅ ＲＰ支持 中心 ，山 东 东营 ２ ７ ０ ） ５ ０ ０
的 类 别 标 志 ，因此 在 以分 类 为 目标 的特 征 提 取 技 术 中 并 不
述特征 ，而不是最佳分类特征。
２ 算 法提 出
对于包含 Ｃ 类样本 的分 类 问题 ，类 中的所 有样 本是 已 知 的对原始类 最可能 的描述 。但 是样本 分类 时 ，不仅依 赖 对类 内共性 的描述 ，更 多 的是依 赖 于对 类 间差 异 的描 述。 直观上 ，通过对每类 单独 描述 ，提取 最能体 现类 内共性 和 类问差异的特征 ，可 以提高对 类模式 描述 的准确 性和 全面
大散度 比准则 将所 有类 的样 本投 影 到 同一个 特征 空 间 中，
而 忽 略 了各 类 样 本 在 特 征 分 布 上 的 差 异 ； 同时 ，对 于 一 个 特 定 的 模 式识 别 问题 ，表 达 和 识 别 模 式 的特 征 具 有 不 同 的 形 式 ，而 且 在 物 理 意 义 上 也 不 是 完 全 相 同 的 ，并 且 在 数 量 级 也 有 很 大 差 别 ，简 单 基 于 距 离 的 匹 配 划 分 难 以实 现 客 观 的分 类 判 别 。
析能力 ，降维时 没有考 虑样本 的类属 信息 ，在维 度缩减 的
收稿 日期 ：２ １ —９１ ；修 订 日期 ：２ １ １１ ０ １０ —２ ０ １１ ５
作者 简 介 ：董 琰 （ ９ ０ ） １ ７ 一 ，男 ，山 东 东 营人 ，硕 士 ，研 究 方 向 为计 算 机 信 息 技 术 。Ｅｍａ ： ｏ ｇ ａ ９ １ ６ ｃ ｍ － ｉ ｄｎｙｎ ＠ ２ ． ｏ ｌ
以距 离作为判别依据 ，而是按照 贝叶斯决策规则得到的隶属置信度 作为衡 量标 准。实验 结果表 明了该 方法的有效性 ，和 同
类方法相比，有 更高的识 别率 。
关 键 词 ：高 维 小样 本 问题 ； 多子 空 间 ；线 性 判 别 分析 ；特 征 提 取 ；分 类 中图法分类号 ： Ｐ ９．１ 文献标识号 ： Ｔ ３ １４ Ａ 文 章 编 号 ：１０ ０ ４ （０ ２ ４１９ —４ ０ ０７ ２ ２ １ ）０ —５ １０
一
计 算机 工程 与设 计
作为隶属置信度 ，并 以此 作为分类 的依 据 ，选 取最 可能 的 wenku.baidu.com
类属划分 。
２ １ 住 ０２
１ 相 关技术
Ｉ 胡是统计模 式识 别 中最基 本 和 常用 的分 类方 法 ， Ｄ 其 准则 函数如下
． 叫）＝ ， （
叫 叫
：
＿ ＿
（ ＥＲＰ Ｓ ｐ ｏ ｔＣｅ ｔ ｒ ｏ ｉ ｏ ｅ ｈ ｎ ｌ Ｏｉ ｉｌ ａ ｃ ｍｐ ｎ ｕ ｐ ｒ ｎ ｅ ｆＳ ｎ ｐ ｃＳ ｅ ｇ ｉ ｌ ｅ ｄ Ｂｒ ｎ ｈ Ｃｏ ａ ｙ，Ｄｏ ｇ ｉ ｇ ２ ７ ０ ，Ｃ ｉ ａ ｆ ｎ ｙｎ ５ ０ ０ ｈｎ ） Ａｂ ｔａ ｔ ｎ ｃａ ｓｆ ａ ｉ ｎ ｏ ｉ ｈ ｄ ｍｅ ｓｏ ａ ｔ ｔ ｔ ａ ａ ａ ｕ ｄ ｒｙ ｎ ｍａ ｌ ａ ｌ ｉｅ ｐ ｏ ｌｍ ，ｉ ｒ ｅ Ｏ ｓ ｌ ｅ Ｆ ｓ ｅ ｆ ｃ ｓｒ ｃ ：Ｉ ｌｓ ｉ ｃ ｔ ｆ ｇ — ｉ ｎ ｉｎ ｌ ａ ｉ ｉ ｌ ｔ ｎ ｅ ｌ ｉｇ ｓ ｌ ｓ ｍｐ ｅ ｓ ｒ ｂ ｅ ｉ ｏ ｈ ｓ ｓｃ ｄ ｚ ｎ ｏ ｄ ｒ ｔ ｏ ｖ ｉｈ ｒ ａ ｅ ｔ ｏ ｇ ｔｌｃ ｆ ｉｃ ｉ ｉ ａ ｔ ｎ ｌ ｓｓ ｅ ｈ ｄ，ｓ ｍｐ ｅｏ ａ ｈ ｃａ ｓｉ ｄ ｓ ｒ ｅ ｓｎ ｌｉｕ ｓ ａ ｅｔ ｃ ｎ ｑ ｅａ ｄ ｍａ ｉ ｕ ｓ ａ — ｈ ｕ ｈ ａ ｋ ｏ ｓ ｒ ｎ ｎ ａ ｙ ｉ ｔ ｏ ｄ ｍ ａ ｍ ａ ｌ ｆ ｃ ｌｓ ｅ ｃ ｉ ｄ ｕ ｉ ｇ ｍｕ ｔ ｂ ｐ ｃ ｅ ｈ ｉ ｕ ｎ ｘｍ ｍ ｃ ｔ ｅ ｓ ｂ ｓ ｔ ｒｄ ｆ ｒ ｎ ｅｃ ｉ ｒ ｎ ｔ ｅ ｌｃ ａ ｌ ｅ ｗｅ ｎ ｃａ ｓ ａ ｄ ｗｉ ｉ－ ｌ ｓ ｉｔｉ ｕ ｉｎ ｍｏ ｅ ａ ｃ ｒ ｔ ．Ｃｒｔ ｒ ｎ ｏ ｌ ｓ ｉ ｃ ｔ ｎ ｉ ｅ ｉ ｅ ｅ ｃ ｒｔ ｉ Ｏ ｒ ｆｅ ｔ ｓ ｍｐ ｅ ｂ ｔ ｅ － ｌｓ ｎ ｔ ｎ ｃａ ｓ ｄ ｓ ｒｂ ｔ ｒ ｃ ｕ ａ ｅ ｆ ｅｏ ｈ ｏ ｉ ｉ ｆ ｃａ ｓｆ ａ ｉ ｓ ｅｏ ｉ ｏ ｃ ｎ ｉ ｅ ｃ ｒ ｍ ｙ ｓｒ ｌ ａ ｔ ｅ ｈ ｎ ｄｓ ａ ｃ ．Ｒｅ ｕ ｔ ｅ ｎ ｔ ａ ｅ ｈ ｔｔ ｅｐ ｒｏ ｍａ ｃ ｆ ｈ ｒ ｐ ｓ ｄ ｍｅ ｈ ｄ ｉ ｓ ｐ ｒｏ ｏ ｆ ｎ ｅ ｆｏ Ｂａ ｅ ｕ ｅ ｒ ｎ ｈ ｒ ｔ ａ ｉｔ ｎ ｅ ｄ ｓ ｌ ｄ ｍｏ ｓｒ ｔｄ ｔ ａ ｈ ｅ ｆ ｒ ｎ ｅｏ ｅ ｐ ｏ ｏ ｅ ｔ ｏ ｕ ｅ ｉｒ ｓ ｔ ｓ ｔ ｈ ｔｏ ｒ ｄ ｔ ｎ ｌ ｐ ｒ ａ ｈ ｓ Ｏ ｔ ａ ｆｔａ ｉ ｏ ａ ｐ ｏ ｃ ｅ ．Ａｓｆ ｒ ａ ｅ ｏ ｎ ｔ ｎ ｒ ｔ ｓ ｃ ｎ ｅ ｎ ｄ ｒ ｅ ｍｐ ｏ ｅ ｎ ｓｏ ｔ ｉ ｅ ． ｉ ａ ａ ｓｒ ｃ ｇ ｉｉ ａ ｅ ｉ ｏ ｃ ｒ ｅ ，ａｍａ ｋ ｄ ｉ ｒ ｖ ｍｅ ｔｉ ｂ ａｎ ｄ ｏ Ｋｅ ｗｏ ｄ ： ｈ ｇ ｉ ｎ ｉ ｎ ｌ ａ ｄ ｓ ｌ ｓ ｍｐ ｅ ｓｚ ｐ ｏ ｌｍ ； ｍｕ ｔ ｕ ｓ ａ ｅ ｌ ｅ ｒ ｉｃ ｉ ｉａ ｔ ａ ａ ｙ ｉ ； ｆａ ｕ ｅ ｙ ｒｓ ｉ ｈ ｄ ｍｅ ｓ ａ ｏ ｎ ｍａ ｌ ａ ｌ ｉ ｅ ｒ ｂｅ ｌ ｓ ｂ ｐ ｃ ； ｉ ａ ｄ ｓ ｒ ｎ ｎ ｎ ｌ ｓｓ ｉ ｎ ｍ ｅ ｔｒ
线性判别分析方 法 （ Ｄ Ｌ Ａ）进行 分类 时往 往 因类 内散 度矩 阵的奇异 性 而无 法求 解 ，即模 式 识别 中的 高维 小 样 本 问 题 ｌ 。而实践 中常 用 Ｆｓ ｅｆｃ 方 法来解 决 高维小 样本 问 １ ］ ｉ ｒ ｅ ｈ ａ
题 ＿ ，它 由 主 成 分 分 析 （ Ｃ ２ ］ Ｐ Ａ） 和 线 性 判 别 分 析 （ Ｄ Ｌ Ａ）
根 据子 空 间 分 析 理 论 ，解 决 高 维 小 样 本 问 题 的 关 键 是
ｆ ８
（ 在ｍｌ方向投影后的分布商方 图 ｂ ）
图 ２ 考 虑 分 类 后 的 Ｐ Ａ 及 分 类 结 果 Ｃ 左 侧 浅 灰 ，右 侧 深 灰 ） 分 别 代 表 不 同 类 的 数 据 样 本 ，将 样
Ｌ ＡＥ Ｄ ，Ｇｅｅａｉ ｄＬ Ａ［等方法提 出，其 中 Ｐ Ａ＋Ｌ Ａ ｎｒｌ ｅ Ｄ 。 ｚ ｃ Ｄ 作 为有 效的方法广泛应用 在人脸识 别领域 。在 Ｐ Ａ＋Ｌ Ａ Ｃ Ｄ 处理 中，首先利用 Ｐ Ａ进行维度缩减 ，作 为一 种全局提取 Ｃ 技术 ，Ｐ Ａ的 目标是寻找一组正 交 向量使 得所有样 本经过 Ｃ 投影后 的方差最 大 ，而 Ｐ Ａ在降维过程 中并没 有考虑样本 Ｃ
本文针对 常用 Ｐ Ａ 和 Ｌ Ａ在 降维 和判别分 析上 的不 Ｃ Ｄ 足 ，在算 法设计 中 ，一方面借鉴 了 Ｐ Ａ在维数缩 减上的作 Ｃ
用 ，另一 方 面尽 可 能 多 地 保 留 类 的 判 别 信 息 。 算 法 的 简 单
组成 ， 先通过 Ｐ Ａ实现 降维 ，从而消 除类 内散度矩 阵的奇 Ｃ
— ＿ 一
Ｉ
０
Ｊ
Ｉ ；
有最大 的类 间距 离和最 小 的类 内距离 ，即模式 在该空 间中 有最佳 的可分 离性 。当 非 奇异 时 ，根据 Ｌ ｇａｇ 乘 数 ａｒｎ ｅ 法 可得 ｇ 是由矩 阵 Ｓ 的特征 向量 组成 的矩 阵 ，但在 高 ． Ｕ ｗＳ 维 小样本 的情况 下 ， 非 奇异 的前提常 常无法满足 。
．
Ｌ
；
Ｉ
（） １
（ 提取的新投影 方向ｍ１和ｍ ａ ） ２
～ 一０ ＿． 叠 冀 ～
一
Ｌ Ａ使用最大散度 比准则 ，目的是 求使 准则 Ｊ （ Ｄ 训）最
大 的投影 叫 ，在此投影下可 以使样本的类间散度矩阵 与 类 内散度矩 阵 Ｓ 的比值最大 ，使得经过特征提取后 的样本
ｅ ｔａ ｔ ｎ；ｃａ ｓｆｃ ｔｏ ｘｒ ｃｉ ｏ ｌ ｓ ｉｉ ｉｎ ａ
０ 引 言
特征提取和分类始 终是模式 识别 研究 的重要课 题 ，在
同时 ，也 带来 分类 判别 信 息 的缺 失 。 Ｌ ＤＡ 的 目标 是 使 特 征
提取后的样本 类问离 散度 和类 内离 散度 的 比值 最大化 ，即
异性并有效 降低运算复杂度 ，但是 Ｐ Ａ 的作为最佳描 述特 Ｃ
征的提取方法是 以投影后 方差 最大为 准则 ，并没 有判别 分
思想就是通过对每类样本 进行特 征提取 以有效 地保 留判别
信息和降维 。提出 的多子空 间线性 判别分 析 ，对不 同样本 类分别描述 ，针对 每类样本提取最适 合分类 的特征 子空间 ； 分类时综 合考虑投影 后样本 的概率 分布模 型 ，以概 率距离
摘 要 ：为 了解 决 高 维 小样 本 数 据 的 分 类 中 Ｆｓｅｆｃ 想判 别 分 析 方 法 的 不 足 ，在 最 大散 度 差 准 则 的 基 础 上 ，提 出 了 利 ｉ ｒ ｅ思 ｈ ａ
用多线性子空间技 术对每 类样本进行单独描述的方法 ，该方法能更准确地反 映样本在 类 内类 间的分布 关 系。在 分类 中不是
各 类 样 本 在 特 征 空 间 中有 最 佳 的可 分 离 性 。 该 方 法 利 用 最
生物特征识别 ，基 因图谱分 析 ，遥感影 像分类 ，空 间数据
挖掘等应用 领域 更有着 广泛 的实用价 值 。随着数 据 的复杂
性 和 规 模 急 剧增 长 ，特 征 提 取 和 分 类 的难 点 主要 表 现 为 数 据 集 中 样本 的特 征 维 数 远 远 大 于 每 类 样 本 数 量 。 由 于 样 本 的 稀 疏 造成 样 本 类 的统 计 特 征 描 述 不 充 分 ，在 利 用 经 典 的
本数据分别投影 到 Ｐ Ａ第 一主元 方 向 ｍ 和新 提取 的投影 Ｃ １
方 向 ｍ 样 本 数 据 由 ２维 降 为 １ 。 比较 图 １与 图 ２降 维 １， 维
后的数据直方图分布 ，可以看出在 图 ２ （ ）中，两类数 据 ｂ
在 投 影 后 得 到更 好 的 分离 。 由此 可 知 Ｐ Ａ 并 不 是 面 向分 类 Ｃ 的 特 征 提 取 方 法 ，一 般 情 况 下 ， 由其 得 到 的 特 征 是 最 佳 描
Ｆｅ ｔ ｒ ｘ ｒ ｃ ｉ ｎ ａ ｄ ｃａ ｓｆｃ ｔｏ ａ ｅ ｎ ｍ ｕ ｔｓ ｂ ｐ ｃ ｉ ｅ ｒ ａ ｕ ｅ ｅ ｔａ ｔｏ ｎ ｌｓ ｉｉａ ｉ ｎ ｂ ｓ ｄ ｏ ｌｉｕ ｓ ａ ｅｌ ａ ｎ
ｄ ｓ ｒｍ ｉ ａ ｔａ ａｙ ｉ ｉｃ ｉ ｎ ｎ ｎ ｌ ｓｓ
去除由冗余特征 组成样 本空 间的稀疏 部分 ，这 些冗余 特征 所具有 的判别信 息往往 很少或 没有 ，是类 内散 度矩 阵奇 异 的根源 ，针对 Ｌ Ａ方法在解决高维小样本 问题 的 困境 ，先 Ｄ
后 有 Ｆｓ ｅｆｃ （ Ｃ ＋ Ｌ Ａ ） Ｄｒｃ— Ｄ ， Ｄ ａ ｉ ｒ ｅ ＰＡ ｈ ａ Ｄ ， ｉ ｔ ＡＥ ｅ Ｌ ｕｌ —
２１ ０ ２年 ４月
计 算机 工程 与设 计
ＣＯＭ ＰＵＴＥＲ ＥＮＧＩ ＥＲ１ ＮＥ ＮＧ ＡＮＤ ＤＥＳ ＧＮ Ｉ
Ａｐｒ ２ ２ ． ０１
第３ ３卷
第 ４期
Ｖｏ ． ３ Ｎｏ ４ １３ ．
基于 多子空 问线性判别分析的特征提取 与分类
董 琰 （ 中石 化胜 利 油田分公 司 Ｅ ＲＰ支持 中心 ，山 东 东营 ２ ７ ０ ） ５ ０ ０
的 类 别 标 志 ，因此 在 以分 类 为 目标 的特 征 提 取 技 术 中 并 不
述特征 ，而不是最佳分类特征。
２ 算 法提 出
对于包含 Ｃ 类样本 的分 类 问题 ，类 中的所 有样 本是 已 知 的对原始类 最可能 的描述 。但 是样本 分类 时 ，不仅依 赖 对类 内共性 的描述 ，更 多 的是依 赖 于对 类 间差 异 的描 述。 直观上 ，通过对每类 单独 描述 ，提取 最能体 现类 内共性 和 类问差异的特征 ，可 以提高对 类模式 描述 的准确 性和 全面
大散度 比准则 将所 有类 的样 本投 影 到 同一个 特征 空 间 中，
而 忽 略 了各 类 样 本 在 特 征 分 布 上 的 差 异 ； 同时 ，对 于 一 个 特 定 的 模 式识 别 问题 ，表 达 和 识 别 模 式 的特 征 具 有 不 同 的 形 式 ，而 且 在 物 理 意 义 上 也 不 是 完 全 相 同 的 ，并 且 在 数 量 级 也 有 很 大 差 别 ，简 单 基 于 距 离 的 匹 配 划 分 难 以实 现 客 观 的分 类 判 别 。
析能力 ，降维时 没有考 虑样本 的类属 信息 ，在维 度缩减 的
收稿 日期 ：２ １ —９１ ；修 订 日期 ：２ １ １１ ０ １０ —２ ０ １１ ５
作者 简 介 ：董 琰 （ ９ ０ ） １ ７ 一 ，男 ，山 东 东 营人 ，硕 士 ，研 究 方 向 为计 算 机 信 息 技 术 。Ｅｍａ ： ｏ ｇ ａ ９ １ ６ ｃ ｍ － ｉ ｄｎｙｎ ＠ ２ ． ｏ ｌ
以距 离作为判别依据 ，而是按照 贝叶斯决策规则得到的隶属置信度 作为衡 量标 准。实验 结果表 明了该 方法的有效性 ，和 同
类方法相比，有 更高的识 别率 。
关 键 词 ：高 维 小样 本 问题 ； 多子 空 间 ；线 性 判 别 分析 ；特 征 提 取 ；分 类 中图法分类号 ： Ｐ ９．１ 文献标识号 ： Ｔ ３ １４ Ａ 文 章 编 号 ：１０ ０ ４ （０ ２ ４１９ —４ ０ ０７ ２ ２ １ ）０ —５ １０
一
计 算机 工程 与设 计
作为隶属置信度 ，并 以此 作为分类 的依 据 ，选 取最 可能 的 wenku.baidu.com
类属划分 。
２ １ 住 ０２
１ 相 关技术
Ｉ 胡是统计模 式识 别 中最基 本 和 常用 的分 类方 法 ， Ｄ 其 准则 函数如下
． 叫）＝ ， （
叫 叫
：
＿ ＿