特征选择的优化算法研究

={ e1 - , . . . em - }, 其中 e =(v1, . . . vn)是 n维向 量 D1 ×D2 ×. . . ×Dn 的元素 , D j 是第 j个特征 X j 的值域. X ={X1 , . . . X n}是候选特征集合 V i∈ D i( i=1, 2, . . . n)。 E =PE∪ N E。
第 22卷 第 9期 文章编号 :1006 - 9348(2005)09 -0099 - 04
计 算 机 仿 真
特征选择的优化算法研究
2005年 9月
王春迎 , 郝士琦 , 李洪涛
(解放军电子工程学院 , 安徽 合肥 230037)
摘要 :目标识别成为战争胜败的关键 , 而对目标识别的关键之一是对目 标特征的提取与 选择 。 因此 , 特征 的选择尤 为重要 。 为了提高效率, 通过一种算法选择较少 (优化 )的特征是所希望的 。 鉴于此该文简 单介绍基于扩张 矩阵与粗集理 论的算法 、 启发式搜索算法 、自适应神经网络 、混沌神经网络等几种典型特征选择的优 化算法的原理 , 并比较它们的 性能 , 在此基 础上 提出了一种结合混沌神经网络和自适应神经网络的特征选择的改进方法 , 并对其原理进行简单介绍 。 最后用 M A TLAB 编程 验证启发式搜索算法特征选择的有效性 。 关键词 :特征选择 ;优化算法 ;扩张矩阵理论 中图分类号 :TP391 文献标识码 :A
粗糙集理论是基 于此种假设 :即每 个所研究的 对象都附 带有一定的信息 , 如 果一些 对象 由同样 的信 息来表 征 , 则它 们就是相似的 , 或者 说是不 可辨 别的 , 而这 种不 可辨别 性正 是粗糙集理论的 数学 基础 。 相 似或 称为不 可识 别的对 象的 集合被称为基本集合 , 它们构成了信 息的基本颗 粒 。 一个集 合对象如果是由这些基本集合 的并集所形成 , 就称 其是精确 的 ;反之就称其是非 精确的 , 即 粗糙的 。 在粗集理论中 , 主要 就是决策表中的 核 , 核是决 策表 中所有 简约 的交集 , 它 所包 含的属性在所有 的简 约中 是必不 可少 。 因 此可 用扩张 矩阵 作为粗集理论的特征 矩阵 , 这样最优特 征子集的问 题就转化 为要选择最大程度区 分正例集和反例集的 (条件属性 )特征 。 2. 1. 3 扩张矩阵理论与 粗集理论的结合
ABSTRACT:T arget recogn ition is vital fo r battle. A nd featu re ex trac tion and selection are v ita l fo r targe t re cognition . So fea ture se le ction is espec ia lly im pa rtan.t Se lecting relative ly fewe r fea tures is hoped in orde r to enhance effic iency. Thus the paper introduce s the theo ry of Extension M a trix and Rough Se t, Heuristic search A lgorithm, Adaptive N eu ra l- N e tw ork, CNNA (chaos - neura l ne tw orks algorithm) and so on and ana lyze s the ir capab ilities. B ased on th is ana logy , the pape r presents an im proved a lgo rithm and analyze s its theory . The p rogram o fM AT LAB proves the availab ility of heu ristic search a lgo rithm fo r selecting the optima l fea ture subse t. KEYWO RDS:F eatu re selection ;O ptim al a lgo rithm s;Ex tension ma trix theory
把反例集 NE写成矩阵形 式 :N E =(bij)m ×n, e+ =( a1, a2 , . . .
an)在反 例集 NE背景下的扩张 矩阵定义为
DN(
e+,
N
E)
=(
ri
),
j
rij =
1 若 ai≠ bji, 0 否则
Βιβλιοθήκη Baidu
i=1,
2, . . .
,
q,
j=1,
2, . . .
n,
— 99 —
1 引言
在现代战 争中 , 侦察 、通信等 都占有极为重要的地 位 , 为 了满足在高技术条件下打赢局 部战争的要求 , 获得 准确的目 标信息尤为重要 , 即目标的识别成为 战争胜败的 关键 。 而对 电子目标识别的 关键 之一 是对目 标特 征的提 取与 选择 。 也 就是 , 选择出能够描 述各目 标的 典型特 征 , 并通 过这些 特征 把目标区别开 , 从 而达 到识别 目标 的目的 。 因此 , 特征 选择 就是按照某一准则 从特 征集中 选择 出分辨 性较 强的特 征子 集 , 所以特征选择就 是一个 组合 优化问 题 , 可以 用解决 优化 问题的方法来解 决特 征选 择问题 。 优化问 题是 很多研 究人 员关注的一个问 题 , 近年提 出了 一些较 好的 解决办 法 , 主要 有扩张理论与粗集理 论 、启发式搜索 算法 、自适应神经 网络 、 混沌神经网络等 算法 , 下面 将一 些典型 的算 法作一 介绍 , 并 对它们的性能进行比 较 。
根据扩张矩阵理 论 , 在矩 阵 DNP(PE, NE) pq ×n中 , 由 分别来自不同行的 pq个值为 “ 1”的 元素组 成的集 合是 DN P (PE, N E)的一条 路 (可能 有多 个路 ), 这 样的 路可 以将 正例 集和反例集分开 。 最优 特征子 集对 应涉及 特征 数目最 少的 路 , 在寻找这样的路时 可以用 一些优化 算法 。 在 文献 [ 1] 中 用了一种求解最优解 的优化模型 。 2. 2 启发式搜索算法
设 e+ =( a1, a2, . . . an )和 e - =(b1, b2 , . . . bn), 定义 e1 +
在反例 e1 - 背景下的扩张向量为
D(e+, e- ) =[ r1 , r2 , . . . rn] ,
ri =
1 若 ai≠ bi 其中 0 否则
j∈ [ 1, n]
所以 正例 集 PE 在 反 例集 N E 背景 下的 扩 张矩 阵 定义 为:
DN P(PE, N E) =[ A1 , A2 , . . . A p ] T , 其 中 A i =DN ( e+, N E), i=1, 2, . . . , p
扩张矩阵证明 [ 1] :最优特征子集问题等价于在上述 DN P (PE, N E)矩阵找一条由 “ 1”组成的路 (覆盖 ), 该路 覆盖最少 数目的列 , 但覆盖所有的行 。 2. 1. 2 粗集理论
R esearch on O ptmi al A lgorithm s of Feature Selection
W ANG Chun - y ing, HAO Sh i - qi, L IH ong - tao
(E lectronic Eng ineering Institu te o f PLA, He fei A nhu i 230037, Ch ina)
启发式搜 索算 法 与贪 心算 法 都要 用 到实 例 特征 矩 阵 。 实例特征 矩阵 就 是上 述的 扩 张矩 阵 。 显 然 , 实例 特 征 矩阵 EM (PE, NE)的每一行中为 “ 1”的元素 , 表示可以用 其相应的 特征属性区分一个正 例和反例 。 因此 , 利用整个实 例特征矩 阵 EM (PE, NE), 就可以 获取用 于区别 正例和 反例的 特征属 性集 。 最优特征集 实际 上就是 从实 例特征 矩阵 中找出 的最 少列 (较少的特征 )所构成的 覆盖 。 它 将覆盖 实例特征 矩阵 中的所有行 (能区别所有的目标 ), 但要含尽量少的列 。 所以 最优特征集的选择问 题就是一个指数组合的搜索问题 。
— 100 —
①启发信息 之一 :首 先 , 根据实 例特征矩阵各行中 1 的个数 , 选择出 1的个数最少的行 , 由这些行所 涉及的各列 和行组成 新的矩阵 ;然后 , 对其中各列中 1 的个数进行累计 , 选择出累 计最大的各列 , 并以此作为下一步搜 索的新起点 。 ②启发信 息之二 :为了减少搜 索回溯 的次 数 , 可用贪 心算 法所 获得的 解 , 作为搜索时的分 枝定界 的阀 值 , 并根据 搜索 过程 所获得 的结果 , 不断更新 分枝 定界的 阀值 , 以 保证高 效的 搜索 。 该 搜索算法每搜索完一个 结点时都要做一次覆 盖操作 , 将该搜 索结点 V1 所覆 盖的 各行 都置 为 “ 0”, 表示 该行 已覆 盖 。 然 后 , 继续搜索过程 , 直到 实例特 征矩 阵的所 有行 均被 覆盖为 止。 2. 3 自适应的神经网络算法
贪心算法 [ 3] 步骤 : 第一步 :建立实例特征矩阵 DN P(PE, NE); 第二步 :在 DNP(PE, NE)中 找一 列 , 该 列包 含最 少的 0 元素 ; 第三步 :从 DNP(PE, NE)中删除所找列中 1元素所在的 行; 第四步 :如果 DNP( PE, N E)为 空 , 则停 止 , 否 则转 第二 步。 启发式搜索算法 [ 2] 是在实 例特征 矩阵与 “贪 心算法 ”的 基础上 , 提出的一个最优特征集的启 发式搜索算 法 。 启发式 搜索算法利用启 发信息 提高 搜索 效率 , 并获 得最 优特征 集 。
2 优化算法
收稿日期 :2004 - 06 - 14
2. 1 基于扩张矩阵理论与粗集理论的特征选择的优化算法
2. 1. 1 扩张矩阵 理论
设 PE与 N E分别 是正例 集和 反例 集 (正 例集 与反 例集
相当于两不同 目标的特 征的 集合 , 如 :航空 母舰 的特 征集是
正例集 , 舰艇 的特 征集 是反 例集 ), PE ={e1 +, . . . ek +}, NE
神经网络由于具有 良好的非线性映射能 力 、对 任意函数 的准 确逼近 能力 、自学习 、自 组织能 力 , 且 精度较 高 , 对于不 同的对象建模有良好的 通用性和灵活性 , 在特征选 择领域得 到了广泛的应用 。 近年 , 出现了很多用 于特征选择 的神经网 络方法 , 但是这些方 法均 没考虑 网络 中隐结 点数 目的变 化 。 这使得网络结 构在进 行特 征选择 时往 往变得 不合 理 。 在此 基础上 , 文献 [ 4] 提出 了一种基 于神经 网络的 结构自 适应特 征选择算法 。 该算法在 传统神经网络的基础 上 , 增 加了一个 环节 , 就是交替删除 网络中 的输 入特征 和隐 结点 , 使 网络结 构在特征选择 的过程 中保 持相对 良好 。 输 入特 征的 删除算 法就是根据网络精度和 最大允许精度下降 , 若删除 某结点网 络精度下降超过了所要 求的最大允许精度下 降 , 对 其进行调 整达到网络要求精度 。 在文献 [ 4] 中还对该算法进行了实验 验证 , 结果表明这种 算法使 得特 征选择 过程 更合 理简洁 , 但 是此方法并不能保证得 到最优特征集 , 仅得到一个 给定要求 满意的特征组 。 2. 4 混沌神经网络智能集成优化算法
在文献 [ 5] 中提出了一种混沌神经网络智能集成优化算 法 , 该算法把混沌理论引入神经网络中 。 利用罚函数 :
p(x, σ) =f( x) +σ. Q( c( x)) 式中 :f(x) -原问题目标函数 ;σ. Q( c( x)) -惩罚 罚项 ; σ - -惩罚因子 ;p(x, σ) -惩罚函 数 。 把非线 性约束 为体转 换为以罚函数 为目标函数的无约束优化问题 。 它用 Hopfie ld网络实 现优化 , 主 要因为 Hopfie ld 网络是 神经网络与非线性 动力 学的结 合 。 其 流程图 [ 5] 就是 以混沌 网 络 产 生 的 一 组 向 量 作 为 H op fie ld 网 络 的 输 入 , 然 后 H op fie ld网络进行迭代直至 最终 收敛于 某一 个吸 引子 , 记录 此吸引子的能 量值 , 与搜索 到的 吸引子 的最 低能 量比较 , 若 本吸引子的能量低 , 则用本吸引子代 替原吸引 子 。 为了避免 无限的运算 , 设置了 一个限 制条 件 , 若循环 迭代 的次 数超过 规定的最大迭 代次数则找到了最优解输出 , 否则继续循环 。