模式识别中的特征提取研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
４ 实验及总结
实验数据采用 １９９９ 年 ＫＤＤ 入侵检测竞赛的标准数据集的 部分数据， 实验结果如表（ １） 所示：
表（１）主成分分析结果
第二主成分贡献率达到 １６．６７１％， 事实上， 前 １０ 个主成分贡献
率达到 ８６．３０４％， 这就是说， 可以用 １０ 个主成分的数据信息来
描述出变换前的 ２０ 维特征数据的变化状态。将 ２０ 个特征变量
ｓｅｔ ａｌｌ ｗｅｉｇｈｔｓ Ｗ［Ａ］：＝０．０； ｆｏｒ ｉ：＝１ ｔｏ ｍ ｄｏ ｂｅｇｉｎ ｒａｎｄｏｍｌｙ ｓｅｌｅｃｔ ａｎ ｉｎｓｔａｎｃｅ Ｒｉ； ｆｉｎｄ ｋ ｎｅａｒｅｓｔ ｈｉｔｓ Ｈｊ；
曾庆鹏： 讲师 硕士 基金项目：国家自然科学基金（ ６０６６３００７）
ｆｏｒ ｅａｃｈ ｃｌａｓｓ ≠ ｃｌａｓｓ（Ｒｉ） ｄｏ ｆｒｏｍ ｃｌａｓｓ Ｃ ｆｉｎｄ ｋ ｎｅａｒｅｓｔ ｍｉｓｓｅｓ Ｍｊ（ Ｃ ）； ｆｏｒ Ａ：＝１ ｔｏ ａ ｄｏ
；
ｅｎｄ； 其中 ｄｉｆｆ（Ａ，Ｉ１，Ｉ２）函数计算属性 Ａ 与实例 Ｉ１ 和 Ｉ２ 的区分度， 其初始值定义如式（ １） ：
（１） 迭代计算如式（ ２） ：
（２）
２ 主成分选择
设 Ｘ１，Ｘ２，…，Ｘｐ 为 ｐ 个随机变量， 记 Ｘ＝（Ｘ１，Ｘ２，…，Ｘｐ）Ｔ， 令 Σ为 Ｘ 的协方差矩阵， 进行式（ ３） 的线性变换：
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｌｅｃｔｒｏｔｅｈｎｉｃａｌ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｃｏｎｆｅｒｅｎｃｅ （ＥＲＫ９８）．：１３７－ １４０．
［５］陈德钊， 多元数据处理［Ｍ］， 化学工业出版社， 北京：１９８４．４ 作者简介：曾庆鹏（ １９７４－ ） ， 男， 江西吉水人， 讲师， 硕士， 研究方 向：网络与信息安全； 吴水秀（ １９７５－ ） ， 女， 江西南丰人， 讲师， 硕 士， 研究方向：信息系统； 王明文（ １９６５－ ） ， 男， 江西南康人， 教授， 博士， 研究方向：信息检索， 文本分类。 Ｂｉｏｇｒ ａｐｈｙ：Ｚｅｎｇ Ｑｉｎｇ－ ｐｅｎｇ（１９７４－ ）， ｍａｌｅ，ｈａｎ， Ｊｉａｎｇｘｉ Ｐｒｏｖｉｎｃｅ， ＮａｎＣｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｍａｓｔｅｒ ｄｅｇｒｅｅ， Ｍａｊｏｒ ｉｎ ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ， Ｒｅｓｅａｒｃｈ ａｒｅａ： ｎｅｔｗｏｒｋ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｓｅｃｕｒｉｔｙ． Ｗｕ Ｓｈｕｉ－ ｘｉｕ（１９７５－ ）， ｆｅｍａｌｅ， ｈａｎ， Ｊｉａｎｇｘｉ Ｐｒｏｖｉｎｃｅ， Ｊｉａｎｇｘｉ Ｎｏｒｍａｌ
所有特征的一个线性组合。如果用变换后的所有主成分来代替 原始的特征信息， 一般没有信息的损失， 因此被广泛应用到模式 匹配的相关领域中。但很多情况下， 通常选择少数几个包含大 部分原始特征信息的主要成分来代替原始的特征信息， 这样做 虽然损失了部分特征信息， 但可以使用更少的特征变量来代替 原始的较多的特征变量， 这样可以大大减轻后续分类器的计算 量， 同时对提高分类器的性能也是有帮助的。本文提出了一种 基于改进 ＲｅｌｉｅｆＦ 算法的主特征提取方法。
（ １．南昌大学； ２． 江西师范大学） 曾庆鹏 １ 吴水秀 ２ 王明文 ２
ＺＥＮＧ ＱＩＮＧＰ ＥＮＧ ＷＵ Ｓ ＨＵＩＸＩＵ ＷＡＮＧ ＭＩＮＧＷＥＮ
摘要：特征提取是模式识别中的关键技术之一， 本文提出了一种基于改进 ＲｅｌｉｅｆＦ 算法的主成分特征提取方法， 通过该方法
进行主特征特征提取可以有效降维， 大大减轻了后续的分类器的工作量， 同时也有助于提高分类器的分类精度。
Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ （ＩＣＭＬ９２）．：２４９－ ２５６．
［２］Ｊｅｎｎｉｆｅｒ Ｇ．ｐＹ． ａｎｄ Ｃａｒｌａ Ｅ．Ｂｒｏｄｌｅｙ． Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ ［Ｊ］．
技 Ｋｅｙ ｗｏｒ ｄｓ：Ｐａｔｔｅｒ ｎ Ｍａｔｃｈｉｎｇ， Ｆｅａｔｕｒ ｅ Ｓｅｌｅｃｔｉｏｎ， Ｐｒ ｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ
术 概述
主成分分析是特征提取中很常用的一种变换方法， 该方法
创 通过使用变换后的几个主要的成分来代替原始的特征信息，变 新 换后的主成分之间是相互独立的， 并且每个主成分都是变换前
指：在限制条件
和
下寻找 ａｉ， 使
得
达到最大。
－ ２２０ － ３６０元 ／ 年 邮局订阅号：８２－９４６
《现场总线技术应用 ２００ 例》
您的论文得到两院院士关注
模式识别
３ 基于主成分分析的特征提取
基于前面介绍的原理， 下面给出基于主成分分析的特征提 取方法的具体过程。
第一步：去除无关特征变量。利用 ＲｅｌｉｅｆＦ 算法去掉原始特 征中那些与分类不相关的特征。经过第一步处理后得到的数据 矩阵为式（ ４） ：
技 术 创 新
Ｕｎｉｖｅｒｓｉｔｙ， Ｍａｓｔｅｒ ｄｅｇｒｅｅ， Ｍａｊｏｒ ｉｎ ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ， Ｒｅｓｅａｒｃｈ ａｒｅａ： ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ． Ｗａｎｇ Ｍｉｎｇ－ ｗｅｎ （１９６５－ ），
ｍａｌｅ，ｈａｎ， Ｊｉａｎｇｘｉ Ｐｒｏｖｉｎｃｅ， Ｊｉａｎｇｘｉ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ， Ｄｏｃｔｏｒ ｄｅｇｒｅｅ， Ｍａｊｏｒ ｉｎ ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ， Ｒｅｓｅａｒｃｈ ａｒｅａ：ｉｎｆｏｒｍａｔｉｏｎ
降维成 １０ 个主成分， 大大减轻了后续的分类器的工作量， 同时
也有助于提高分类器的分类精度。
本文作者创新点在于利用改进的 ＲｅｌｉｅｆＦ 算法进行主成分
特征提取并取得较好的实验效果， 该算法可用于模式识别领域。
参考文献
［１］Ｋｉｒａ，ｋ． ａｎｄ Ａ．Ｒｅｎｄｅｌｌ． Ａ Ｐｒａｃｔｉｃａｌ ａｐｐｒｏａｃｈ ｔｏ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ．
换后的数据矩阵 Ｙ 即：
显然， Ｙ 是 ｎ 行 ｄ 列的矩阵， ｙｉｊ 表示在变换后的特征空间中 第 ｊ 个特征变量在第 ｉ 个样本实例上的值。Ｙｊ 代表在变换后的 特征空间中第 ｊ 个特征向量， 也就是变换后的第 ｊ 主成分。Ｓｉ 代 表在变换后的特征空间中第 ｉ 个实例向量。还可以看出， 变换前 数据矩阵的大小为 ｎ×ｐ， 变换后的数据矩阵大小为 ｎ×ｄ， 又因为 ｄ≤ｐ， 所以在相同的样本实例的情况下， 变换后的数据矩阵的 特征维数小于等于变换前的数据矩阵的特征维数。
（３）
可以得到：
显然我们希望 Ｙ１ 是 Ｘ１， Ｘ２，…， Ｘｐ 的所有线性函数中方差
最大的， 此处限制 ａ１ 为单位向量， 即有
， 这样可以使得
达到最大， 此时就称 Ｙ１ 为第一主成分。如果第
一主成分所包含的信息还不够多， 不足以代表原始的 ｐ 个变量，
就要考虑使用 Ｙ２ 、Ｙ３ 、Ｙ４ 等， 一般来说， Ｘ 的第 ｉ 主成分
（ ４）
Βιβλιοθήκη Baidu
其中， Ｘｎ×ｐ 表示一个 ｎ 行 ｐ 列的一个矩阵。代表 ｎ 个样本实 例， 并且每个样本实例是 ｐ 维的。ｘｉｊ 表示第 ｊ 人特征变量在第 ｉ 个样本实例上的观测值， Ｘｊ 代表第 ｊ 个特征变量的观测向量， Ｉｉ 代表第 ｉ 个样本实例的观测向量。
第二步：数据规一化处理。将矩阵 Ｘｎ×ｐ 转换为矩阵 Ｚｎ×ｐ， 变换 公式为式（ ５） ：
（５）
其中， ｘｊ 代表矩阵 Ｘｎ×ｐ 中第 ｊ 列 （ 第 ｊ 个特征变量） 的均
值，
代表矩阵 Ｘｎ×ｐ 中第 ｊ 个特征的标准差。
第三步： 进行主成分变换。先计算矩阵 Ｚｎ×ｐ 的协方差矩阵
∑， 然后计算协方差矩阵∑的特征值和特征向量， 特征值从大
到小依次为
。相应的特征向量为
。接
着选择出合适数量的特征向量并构成变换矩阵 Ｕ， 最终得到变
关键词：模式识别；特征提取；主成分分析
中图分类号：ＴＰ３９１
文献标识码：Ａ
Ａｂｓｔｒ ａｃｔ：Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ ｉｓ ｏｎｅ ｏｆ ｋｅｙ ｔｅｃｈｎｏｌｏｇｉｅｓ ｉｎ Ｐａｔｔｅｒｎ Ｍａｔｃｈｉｎｇ， ａ ｍｅｔｈｏｄ ｏｆ ｐｒｉｎｃｉｐａｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｒｅｆｏｒｍａ－ ｔｉｖｅ ａｌｇｏｒｉｔｈｍ ＲｅｌｉｅｆＦ ｉｓ ｐｒｅｓｅｎｔｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｕｓｉｎｇ ｔｈｉｓ ｍｅｔｈｏｄ ｔｏ ｓｅｌｅｃｔ ｔｈｅ ｐｒｉｎｃｉｐａｌ ｆｅａｔｕｒｅ ｗｉｌｌ ｒｅｄｕｃｅ ｔｈｅ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｓｉｇ－ ｎｉｆｉｃａｎｔｌｙ， ａｎｄ ｔｈｅ ｃｏｍｐｕｔｉｎｇ ｃｏｓｔ ｏｆ ｔｈｅ ｃｌａｓｓｉｆｙ ｐｒｏｇｒａｍ ｃａｎ ｂｅ ｄｅｃｒｅａｓｅｄ ， ａｔ ｔｈｅ ｓａｍｅ ｔｉｍｅ， ｔｈｅ ｐｒｅｃｉｓｉｏｎ ｏｆ ｔｈｅ ｃｌａｓｓｉｆｙ ｐｒｏｇｒａｍ ｃａｎ ｂｅ ｉｎｃｒｅａｓｅｄ．
《现场总线技术应用 ２００ 例》 １１０ 元 ／ 本（免邮资）汇至
地址：北京海淀区皂君庙 １４ 号院鑫雅苑 ６ 号楼 ６０１ 室 微计算机信息杂志收 邮编：１０００８１
电话：０１０－６２１３２４３６ ０１０－６２１９２６１６（Ｔ／Ｆ ）
《Ｐ ＬＣ 技术应用 ２００ 例》
１ ＲｅｌｉｅｆＦ 算法及其实现
ＲｅｌｉｅｆＦ 算法的主要思想是： 根据属性值在区分相互靠近的 样本实例的能力上来对属性的质量进行评价， 首先随机地从训 练数据中选择一个样本实例 Ｒ， 然后在训练数据中找出和样本 实例 Ｒ 在同一类中的 ｋ 个最近邻的样本实例， 把这 ｋ 个样本实 例称作 Ｎｈｉｔｓ， 然后在训练数据中分别找出和样本实例 Ｒ 不在 同一个类中的 ｋ 个最近邻的样本实例， 把这些 ｋ 个样本实例称 作 Ｎｍｉｓｓｅｓ， 每个属性 Ａ 的权重的更新依赖于随机选择的样本 实例 Ｒ、和 Ｒ 在同一类吕的 ｋ 个近邻 ＮＨｉｔｓ 以及和 Ｒ 不在同一 类中的若干个 ｋ 个近邻 Ｎｍｉｓｓｅｓ， 在属性权重的更新公式中所有 的 ＮＨｉｔｓ 和 ＮＭｉｓｓｅｓ 的贡献是经过平均的。改进后的 ＲｅｌｉｅｆＦ 算 法如下：
模式识别
文章编号：１００８－ ０５７０（２００８）０１－ １－ ０２２０－ ０２
中文核心期刊 《微计算机信息》（测控自动化）２００８ 年第 ２４ 卷第 １－１ 期
模式识别中的特征提取研究
Ｒｅ ｓ ｅ ａ ｒｃｈ ｏ ｎ Ｆｅ ａ ｔｕ ｒｅ Ｓ ｅ ｌｅ ｃｔｉｏ ｎ ｉｎ Ｐａ ｔｔｅ ｒｎ Ｍａ ｔｃｈ ｉｎ ｇ
Ｒｅｔｒｉｅｖａｌ， ｔｅｘｔ ｃｌａｓｓｉｆｙ ．
（３３００３１ 江西 南昌 南昌大学信息工程学院） 曾庆鹏
（３３００２７ 江西 南昌 江西师范大学计算机信息工程学院）
吴水秀 王明文
（Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒ ｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒ ｉｎｇ ， ＮａｎＣｈａｎｇ Ｕｎｉｖｅｒ ｓｉｔｙ，
２００４．０５：８４５－ ８８９． ［３］徐正光 闫恒川 张利欣， 独立成分分析在表情识别中的应用
［Ｊ］， 微计算机信息， ２００６．ＶＯＬ．２２．ＮＯ．６－ ２：２８７－ ２８９ ［４］Ｒｏｂｎｉｋ Ｓｉｋｏｎｊｉａ． Ｓｐｅｅｄｉｎｇ ｕｐ Ｒｅｌｉｅｆ ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ｋ－ ｄ ｔｒｅｅ．
通讯地址： （ ３３００３１ 江西省南昌市红谷滩新区学府大道 ９９９ 号
南昌大学信息工程学院计算机系） 曾庆鹏
（收稿日期：２００７．１０．０３）（修稿日期：２００７．１２．０５）
由表可以看出， 变换后的第一主成分贡献率达到 ２８．６２５％，
书讯
《变频器与软启动器应用 ２００ 例》 １１０ 元 ／ 本（免邮资）汇至
ＮａｎＣｈａｎｇ ３３００３１，Ｃｈｉｎａ）Ｚｅｎｇ Ｑｉｎｇｐｅｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｉｎｆｏｒ ｍａｔｉｏｎ ａｎｄ Ｅｎｇｉｎｅｅｒ ｉｎｇ ， Ｊ ｉａｎｇｘｉ
Ｎｏｒ ｍａｌ Ｕｎｉｖｅｒ ｓｉｔｙ ， ＮａｎＣｈａｎｇ ３３００２７，Ｃｈｉｎａ）Ｗｕ Ｓｈｕｉｘｉｕ Ｗａｎｇ Ｍｉｎｇｗｅｎ
实验数据采用 １９９９ 年 ＫＤＤ 入侵检测竞赛的标准数据集的 部分数据， 实验结果如表（ １） 所示：
表（１）主成分分析结果
第二主成分贡献率达到 １６．６７１％， 事实上， 前 １０ 个主成分贡献
率达到 ８６．３０４％， 这就是说， 可以用 １０ 个主成分的数据信息来
描述出变换前的 ２０ 维特征数据的变化状态。将 ２０ 个特征变量
ｓｅｔ ａｌｌ ｗｅｉｇｈｔｓ Ｗ［Ａ］：＝０．０； ｆｏｒ ｉ：＝１ ｔｏ ｍ ｄｏ ｂｅｇｉｎ ｒａｎｄｏｍｌｙ ｓｅｌｅｃｔ ａｎ ｉｎｓｔａｎｃｅ Ｒｉ； ｆｉｎｄ ｋ ｎｅａｒｅｓｔ ｈｉｔｓ Ｈｊ；
曾庆鹏： 讲师 硕士 基金项目：国家自然科学基金（ ６０６６３００７）
ｆｏｒ ｅａｃｈ ｃｌａｓｓ ≠ ｃｌａｓｓ（Ｒｉ） ｄｏ ｆｒｏｍ ｃｌａｓｓ Ｃ ｆｉｎｄ ｋ ｎｅａｒｅｓｔ ｍｉｓｓｅｓ Ｍｊ（ Ｃ ）； ｆｏｒ Ａ：＝１ ｔｏ ａ ｄｏ
；
ｅｎｄ； 其中 ｄｉｆｆ（Ａ，Ｉ１，Ｉ２）函数计算属性 Ａ 与实例 Ｉ１ 和 Ｉ２ 的区分度， 其初始值定义如式（ １） ：
（１） 迭代计算如式（ ２） ：
（２）
２ 主成分选择
设 Ｘ１，Ｘ２，…，Ｘｐ 为 ｐ 个随机变量， 记 Ｘ＝（Ｘ１，Ｘ２，…，Ｘｐ）Ｔ， 令 Σ为 Ｘ 的协方差矩阵， 进行式（ ３） 的线性变换：
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｌｅｃｔｒｏｔｅｈｎｉｃａｌ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｃｏｎｆｅｒｅｎｃｅ （ＥＲＫ９８）．：１３７－ １４０．
［５］陈德钊， 多元数据处理［Ｍ］， 化学工业出版社， 北京：１９８４．４ 作者简介：曾庆鹏（ １９７４－ ） ， 男， 江西吉水人， 讲师， 硕士， 研究方 向：网络与信息安全； 吴水秀（ １９７５－ ） ， 女， 江西南丰人， 讲师， 硕 士， 研究方向：信息系统； 王明文（ １９６５－ ） ， 男， 江西南康人， 教授， 博士， 研究方向：信息检索， 文本分类。 Ｂｉｏｇｒ ａｐｈｙ：Ｚｅｎｇ Ｑｉｎｇ－ ｐｅｎｇ（１９７４－ ）， ｍａｌｅ，ｈａｎ， Ｊｉａｎｇｘｉ Ｐｒｏｖｉｎｃｅ， ＮａｎＣｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｍａｓｔｅｒ ｄｅｇｒｅｅ， Ｍａｊｏｒ ｉｎ ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ， Ｒｅｓｅａｒｃｈ ａｒｅａ： ｎｅｔｗｏｒｋ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｓｅｃｕｒｉｔｙ． Ｗｕ Ｓｈｕｉ－ ｘｉｕ（１９７５－ ）， ｆｅｍａｌｅ， ｈａｎ， Ｊｉａｎｇｘｉ Ｐｒｏｖｉｎｃｅ， Ｊｉａｎｇｘｉ Ｎｏｒｍａｌ
所有特征的一个线性组合。如果用变换后的所有主成分来代替 原始的特征信息， 一般没有信息的损失， 因此被广泛应用到模式 匹配的相关领域中。但很多情况下， 通常选择少数几个包含大 部分原始特征信息的主要成分来代替原始的特征信息， 这样做 虽然损失了部分特征信息， 但可以使用更少的特征变量来代替 原始的较多的特征变量， 这样可以大大减轻后续分类器的计算 量， 同时对提高分类器的性能也是有帮助的。本文提出了一种 基于改进 ＲｅｌｉｅｆＦ 算法的主特征提取方法。
（ １．南昌大学； ２． 江西师范大学） 曾庆鹏 １ 吴水秀 ２ 王明文 ２
ＺＥＮＧ ＱＩＮＧＰ ＥＮＧ ＷＵ Ｓ ＨＵＩＸＩＵ ＷＡＮＧ ＭＩＮＧＷＥＮ
摘要：特征提取是模式识别中的关键技术之一， 本文提出了一种基于改进 ＲｅｌｉｅｆＦ 算法的主成分特征提取方法， 通过该方法
进行主特征特征提取可以有效降维， 大大减轻了后续的分类器的工作量， 同时也有助于提高分类器的分类精度。
Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ （ＩＣＭＬ９２）．：２４９－ ２５６．
［２］Ｊｅｎｎｉｆｅｒ Ｇ．ｐＹ． ａｎｄ Ｃａｒｌａ Ｅ．Ｂｒｏｄｌｅｙ． Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ ［Ｊ］．
技 Ｋｅｙ ｗｏｒ ｄｓ：Ｐａｔｔｅｒ ｎ Ｍａｔｃｈｉｎｇ， Ｆｅａｔｕｒ ｅ Ｓｅｌｅｃｔｉｏｎ， Ｐｒ ｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ
术 概述
主成分分析是特征提取中很常用的一种变换方法， 该方法
创 通过使用变换后的几个主要的成分来代替原始的特征信息，变 新 换后的主成分之间是相互独立的， 并且每个主成分都是变换前
指：在限制条件
和
下寻找 ａｉ， 使
得
达到最大。
－ ２２０ － ３６０元 ／ 年 邮局订阅号：８２－９４６
《现场总线技术应用 ２００ 例》
您的论文得到两院院士关注
模式识别
３ 基于主成分分析的特征提取
基于前面介绍的原理， 下面给出基于主成分分析的特征提 取方法的具体过程。
第一步：去除无关特征变量。利用 ＲｅｌｉｅｆＦ 算法去掉原始特 征中那些与分类不相关的特征。经过第一步处理后得到的数据 矩阵为式（ ４） ：
技 术 创 新
Ｕｎｉｖｅｒｓｉｔｙ， Ｍａｓｔｅｒ ｄｅｇｒｅｅ， Ｍａｊｏｒ ｉｎ ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ， Ｒｅｓｅａｒｃｈ ａｒｅａ： ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ． Ｗａｎｇ Ｍｉｎｇ－ ｗｅｎ （１９６５－ ），
ｍａｌｅ，ｈａｎ， Ｊｉａｎｇｘｉ Ｐｒｏｖｉｎｃｅ， Ｊｉａｎｇｘｉ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ， Ｄｏｃｔｏｒ ｄｅｇｒｅｅ， Ｍａｊｏｒ ｉｎ ｃｏｍｐｕｔｅｒ ａｐｐｌｉｃａｔｉｏｎ， Ｒｅｓｅａｒｃｈ ａｒｅａ：ｉｎｆｏｒｍａｔｉｏｎ
降维成 １０ 个主成分， 大大减轻了后续的分类器的工作量， 同时
也有助于提高分类器的分类精度。
本文作者创新点在于利用改进的 ＲｅｌｉｅｆＦ 算法进行主成分
特征提取并取得较好的实验效果， 该算法可用于模式识别领域。
参考文献
［１］Ｋｉｒａ，ｋ． ａｎｄ Ａ．Ｒｅｎｄｅｌｌ． Ａ Ｐｒａｃｔｉｃａｌ ａｐｐｒｏａｃｈ ｔｏ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ．
换后的数据矩阵 Ｙ 即：
显然， Ｙ 是 ｎ 行 ｄ 列的矩阵， ｙｉｊ 表示在变换后的特征空间中 第 ｊ 个特征变量在第 ｉ 个样本实例上的值。Ｙｊ 代表在变换后的 特征空间中第 ｊ 个特征向量， 也就是变换后的第 ｊ 主成分。Ｓｉ 代 表在变换后的特征空间中第 ｉ 个实例向量。还可以看出， 变换前 数据矩阵的大小为 ｎ×ｐ， 变换后的数据矩阵大小为 ｎ×ｄ， 又因为 ｄ≤ｐ， 所以在相同的样本实例的情况下， 变换后的数据矩阵的 特征维数小于等于变换前的数据矩阵的特征维数。
（３）
可以得到：
显然我们希望 Ｙ１ 是 Ｘ１， Ｘ２，…， Ｘｐ 的所有线性函数中方差
最大的， 此处限制 ａ１ 为单位向量， 即有
， 这样可以使得
达到最大， 此时就称 Ｙ１ 为第一主成分。如果第
一主成分所包含的信息还不够多， 不足以代表原始的 ｐ 个变量，
就要考虑使用 Ｙ２ 、Ｙ３ 、Ｙ４ 等， 一般来说， Ｘ 的第 ｉ 主成分
（ ４）
Βιβλιοθήκη Baidu
其中， Ｘｎ×ｐ 表示一个 ｎ 行 ｐ 列的一个矩阵。代表 ｎ 个样本实 例， 并且每个样本实例是 ｐ 维的。ｘｉｊ 表示第 ｊ 人特征变量在第 ｉ 个样本实例上的观测值， Ｘｊ 代表第 ｊ 个特征变量的观测向量， Ｉｉ 代表第 ｉ 个样本实例的观测向量。
第二步：数据规一化处理。将矩阵 Ｘｎ×ｐ 转换为矩阵 Ｚｎ×ｐ， 变换 公式为式（ ５） ：
（５）
其中， ｘｊ 代表矩阵 Ｘｎ×ｐ 中第 ｊ 列 （ 第 ｊ 个特征变量） 的均
值，
代表矩阵 Ｘｎ×ｐ 中第 ｊ 个特征的标准差。
第三步： 进行主成分变换。先计算矩阵 Ｚｎ×ｐ 的协方差矩阵
∑， 然后计算协方差矩阵∑的特征值和特征向量， 特征值从大
到小依次为
。相应的特征向量为
。接
着选择出合适数量的特征向量并构成变换矩阵 Ｕ， 最终得到变
关键词：模式识别；特征提取；主成分分析
中图分类号：ＴＰ３９１
文献标识码：Ａ
Ａｂｓｔｒ ａｃｔ：Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ ｉｓ ｏｎｅ ｏｆ ｋｅｙ ｔｅｃｈｎｏｌｏｇｉｅｓ ｉｎ Ｐａｔｔｅｒｎ Ｍａｔｃｈｉｎｇ， ａ ｍｅｔｈｏｄ ｏｆ ｐｒｉｎｃｉｐａｌ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｒｅｆｏｒｍａ－ ｔｉｖｅ ａｌｇｏｒｉｔｈｍ ＲｅｌｉｅｆＦ ｉｓ ｐｒｅｓｅｎｔｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｕｓｉｎｇ ｔｈｉｓ ｍｅｔｈｏｄ ｔｏ ｓｅｌｅｃｔ ｔｈｅ ｐｒｉｎｃｉｐａｌ ｆｅａｔｕｒｅ ｗｉｌｌ ｒｅｄｕｃｅ ｔｈｅ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｓｉｇ－ ｎｉｆｉｃａｎｔｌｙ， ａｎｄ ｔｈｅ ｃｏｍｐｕｔｉｎｇ ｃｏｓｔ ｏｆ ｔｈｅ ｃｌａｓｓｉｆｙ ｐｒｏｇｒａｍ ｃａｎ ｂｅ ｄｅｃｒｅａｓｅｄ ， ａｔ ｔｈｅ ｓａｍｅ ｔｉｍｅ， ｔｈｅ ｐｒｅｃｉｓｉｏｎ ｏｆ ｔｈｅ ｃｌａｓｓｉｆｙ ｐｒｏｇｒａｍ ｃａｎ ｂｅ ｉｎｃｒｅａｓｅｄ．
《现场总线技术应用 ２００ 例》 １１０ 元 ／ 本（免邮资）汇至
地址：北京海淀区皂君庙 １４ 号院鑫雅苑 ６ 号楼 ６０１ 室 微计算机信息杂志收 邮编：１０００８１
电话：０１０－６２１３２４３６ ０１０－６２１９２６１６（Ｔ／Ｆ ）
《Ｐ ＬＣ 技术应用 ２００ 例》
１ ＲｅｌｉｅｆＦ 算法及其实现
ＲｅｌｉｅｆＦ 算法的主要思想是： 根据属性值在区分相互靠近的 样本实例的能力上来对属性的质量进行评价， 首先随机地从训 练数据中选择一个样本实例 Ｒ， 然后在训练数据中找出和样本 实例 Ｒ 在同一类中的 ｋ 个最近邻的样本实例， 把这 ｋ 个样本实 例称作 Ｎｈｉｔｓ， 然后在训练数据中分别找出和样本实例 Ｒ 不在 同一个类中的 ｋ 个最近邻的样本实例， 把这些 ｋ 个样本实例称 作 Ｎｍｉｓｓｅｓ， 每个属性 Ａ 的权重的更新依赖于随机选择的样本 实例 Ｒ、和 Ｒ 在同一类吕的 ｋ 个近邻 ＮＨｉｔｓ 以及和 Ｒ 不在同一 类中的若干个 ｋ 个近邻 Ｎｍｉｓｓｅｓ， 在属性权重的更新公式中所有 的 ＮＨｉｔｓ 和 ＮＭｉｓｓｅｓ 的贡献是经过平均的。改进后的 ＲｅｌｉｅｆＦ 算 法如下：
模式识别
文章编号：１００８－ ０５７０（２００８）０１－ １－ ０２２０－ ０２
中文核心期刊 《微计算机信息》（测控自动化）２００８ 年第 ２４ 卷第 １－１ 期
模式识别中的特征提取研究
Ｒｅ ｓ ｅ ａ ｒｃｈ ｏ ｎ Ｆｅ ａ ｔｕ ｒｅ Ｓ ｅ ｌｅ ｃｔｉｏ ｎ ｉｎ Ｐａ ｔｔｅ ｒｎ Ｍａ ｔｃｈ ｉｎ ｇ
Ｒｅｔｒｉｅｖａｌ， ｔｅｘｔ ｃｌａｓｓｉｆｙ ．
（３３００３１ 江西 南昌 南昌大学信息工程学院） 曾庆鹏
（３３００２７ 江西 南昌 江西师范大学计算机信息工程学院）
吴水秀 王明文
（Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒ ｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒ ｉｎｇ ， ＮａｎＣｈａｎｇ Ｕｎｉｖｅｒ ｓｉｔｙ，
２００４．０５：８４５－ ８８９． ［３］徐正光 闫恒川 张利欣， 独立成分分析在表情识别中的应用
［Ｊ］， 微计算机信息， ２００６．ＶＯＬ．２２．ＮＯ．６－ ２：２８７－ ２８９ ［４］Ｒｏｂｎｉｋ Ｓｉｋｏｎｊｉａ． Ｓｐｅｅｄｉｎｇ ｕｐ Ｒｅｌｉｅｆ ａｌｇｏｒｉｔｈｍ ｗｉｔｈ ｋ－ ｄ ｔｒｅｅ．
通讯地址： （ ３３００３１ 江西省南昌市红谷滩新区学府大道 ９９９ 号
南昌大学信息工程学院计算机系） 曾庆鹏
（收稿日期：２００７．１０．０３）（修稿日期：２００７．１２．０５）
由表可以看出， 变换后的第一主成分贡献率达到 ２８．６２５％，
书讯
《变频器与软启动器应用 ２００ 例》 １１０ 元 ／ 本（免邮资）汇至
ＮａｎＣｈａｎｇ ３３００３１，Ｃｈｉｎａ）Ｚｅｎｇ Ｑｉｎｇｐｅｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｉｎｆｏｒ ｍａｔｉｏｎ ａｎｄ Ｅｎｇｉｎｅｅｒ ｉｎｇ ， Ｊ ｉａｎｇｘｉ
Ｎｏｒ ｍａｌ Ｕｎｉｖｅｒ ｓｉｔｙ ， ＮａｎＣｈａｎｇ ３３００２７，Ｃｈｉｎａ）Ｗｕ Ｓｈｕｉｘｉｕ Ｗａｎｇ Ｍｉｎｇｗｅｎ