基于混沌遗传算法的SVM特征和参数优化
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
故 障诊 断,性 能测试 ;谭业双 ,副教授 ;甘 收稿 日期 : 0 1 81 2 1— —1 0 彤 ,硕士研究生 E ma :m s 10 o . m ・ i yk 1 @t c l y m o
上述 方法大 部分仅对 特征 子集选取 或对 S VM 参数进行 优化 。实 际上,特百度文库选择与参数选择在提高 S VM 分类性能
s orwa e c n r le u p n . p rme t l e u t s e se f c i e e so n i g o tma o u i n o epr p s d a p o c . h t v — o to — q i me t Ex e i n a s lsa s s f e t n s n f d n p i l l t ft o o e p r a h r v i s o h
上相互 影响 ,对于特征选择或参数选择 的单一优化均无法充 分 发挥 S M 的分类潜能。 目前关于联合优化 的研究相对较 V
14 6
计
算
机
工
程
21 0 2年 3月 5日
的特征 子集选择 和 S M 的参数 编在 同一 个染 色体 中,设 V P 。 c - u l 一 , , 一 f 产{ 6 -1t , [ 2 ,  ̄ 2 G , 】 2f l 2 为第 t 的一个染色 代 体 , f 1 一“为特征子集选择位 串, ( ,, v为惩罚 n( , 2 ) 1 …,) 2 参数位 串 ,O( ,, ) - 1 …w 为核参数 位 串,6 f " 01 i 2 c fi /。特征 , O=
现有很 多优化 S M 参数的方法。文献[] 出了一种采用改 V 1提
2 基于变尺度混沌遗传算法的联合优化
21 混沌运动 . 混 沌是 自然界广 泛存在 的一种 非线性 现象 ,具有 随机 性、遍历性和初始条件敏感性等特点 ,在 一定范围内能够按
进 的人 工鱼群 算法实现 S M 参数的优化。文献【】 出了采 V 2提
尺度 的混沌遗传算法 ,联合优化染色体编、 译码 ,利用混沌 的遍历性产 生初始种 群 ,改进遗传 算法 中的交叉算子 ,动态缩减寻优 区问。将
该 方法应用于短波通信控制器 的诊 断分 类器 中 ,以实现分类器特征子集选取和参数 的联合优化 ,结果表 明该 方法具有较强 的寻优能力 。 关健词 :支持向量机 ;混沌遗传算法 ;特征选取 ;参数优化 ;故障诊断 ;变尺度
[ yw r s S p o etr cieS Ke o d ] u p rV c hn(VM)c at e ei agrh fa r e cin p a t pi zt nfut ig oi; t iesae t o Ma ; hoig nt loi m;et esl t ; a mee o t ao ;a lda n s mua v l c c t u e o r r mi i s t c DOh 1 . 6  ̄is.0 03 2 .0 2 50 0 03 9 . n1 0 —4 R 1 . .5 9 s 2 0
() 5
其,。 { 中 ? =
无效操作 的可能性就愈小 。
2个体间配对概率 )
。
事实上 ,r ,) ( 曰 表示 A和 B之 间不 同基因的数 目,r 曰 A ( ) A, 愈大 ,表明 A和 B的相关性愈 小 , A和 B进行 交叉时出现 对
染色体译码是指将寻优后 的二进制位 串转换成具体解空 间的值 。特征子集选择位 串中数值 为 1的位置代表选中相应 特征 作为故障诊 断训练样本 。C和 y 参数位 串的解码方式相
第3 8卷 第 5期
V_ . 8 O 3 1
・
计
算
机
工
程
21 0 2年 3月
M a c 2 2 r h 01
N o. 5
Co mpu e g n e i g trEn i e rn
人 工 智 能及 识别 技 术 ・
 ̄ltqt 0o 48 02 5 6一l l " 10_3 ( 1) — 1 4 文 l 22 0 献标识 A 码:
少 ,文献 fJ 出采 用免疫多 向二进制粒子群 算法实现特征子 5提 集选取和 S M 参数 的共 同优化 ,但 其搜索区间固定不变 , V 使得参数 的搜索精度较低。针对 上述情况 ,本文提 出了将特
征选择和参数选择进行联合优化 的方法,该方法基于变尺度 的混沌遗传算法 ,将混沌运动的遍历性和遗传算法 的高效并 行计算能力相结合 ,并随着寻优次数 的增长动态缩减寻优区 间,克服 了传统寻优方法存在早熟收敛、非全局收敛 以及后 期收敛速度慢 的弱点。
c mbi a i n o tmi ai n f r f a u e s l ci n a a ee s p e e t d b s d o ha t e e i l o i m f m u a i e s a e Th t o f o n to p i z to o e t r e e t on a d p r m t r i r s n e a e n c o i g n tc ag rt c h o ttv c l . e me h d o c r mo o o i g a d d c d n sp e e e I i a i a i n p p l t n i pr d c d b sn h ose g d c t , m o fe r s o e p r t ra d h o s me c d n e o i g i r s ntd. n t l t o u a i s o u e y u i g c a r o i i A di d c o s v r o e a o n n i z o o y i
用反三 角函数 L gsc映射产 生优化变量 ,对优化变量进行 oii t
其 自身 的规律不重复地遍历所有状态。经常与其他进化算法
结合使用 , 用于遗传算法 中以设计和保持演化群体的多样性 。
遗传搜索 ,实现 S M 参数 的优化 。 V
另外 ,样 本特征 子集的选择也很重要 。原始样本特征集
相 似程度 。考虑二进制 编码 的情况 , 2 设 个个体 A { 1 2 = d, , a …, a } 曰 {1 2 b} 和 = , , ,其 中,a, ∈{,】 = ,, n b …, i 01 ,i1 …,。 b 2 个体 A 、B之间不相关指数为 J :
rA 曰) E l (, = n 0b
S VM a u ea d Pa a e e tm i a i n Fe t r n r m t r0p i z to Ba e n Cha tcGe e i g r t m sd0 o i n t Al o ih c
D U Zha lng ,TA N s n-o Ye-huang ,G AN ng To
文 献[】 3利用高光谱数据集进行一系列分类算法分析后 ,得 出
其 中,0 l ; 是迭代次数 ,k l , 是控制参量 , ≤X≤l = , …; 2
当 p 4时系统完全处于混沌状态 ,此时 X 在【,】 = 01的范 围内
变化 。
特征 的增 加对 S M 分类置信度按显著性水平 5 V %减少 。文
(. pr n f t s n l t ncE gn eig Ornn e n iern olg , h iz un 5 0 3 C ia 1De a me t i dEe r i n ier , d ac gneigC l e S iah ag0 0 0 , hn; t o Op c a co n E e j
常用 的一维 lgs c o i i 映射 为 : t ’
x+ =Px (~ ) kl k1 () 1
中不可避免地存在着 一些与故障诊断不相关的特征 和与其他 特征相冗余 的特征 ,从而增加了故障诊 断的计算量 ,降低故 障诊断 的精 度。因此 , 对原 始样 本特征集 必须进行 优化选择 。
献 [] 4利用遗传算法和最小二乘支持 向量机 的 Wrp e 方法选 ap r 择最优特征 子集 。
22 染色体的编译码 . 染色体编码是指将寻优问题的解 空间转换成寻优方法所 能处理 的搜索 空间。本文使用二进制编码形式。将故障样本
作者简介 :杜 占龙( 8-) 男 , 16 , 9 硕士研究 生, 主研方 向: 通信装备
近年来 ,基于支持 向量机(u p rV co c ie S S p ot etr hn , VM) Ma 的诊 断方法得 到了广 泛的关注 。 V 基于结构风险最小化原 SM 则 ,可 以在 有限样 本的基础上取得 良好 的分类效果 。故障分 类器 的性能与 S M 的核参数 和误差惩罚参数有很大 关系 。 V
1 概 述
将某型短波通信控制器应 用于 短波通信 网的管理和控制
中,此类设备 中各模块 单元 的电路板结构复杂 , 耦合程 度高 , 其故 障呈现 出复杂化的特点 。研究此类设备的故障诊断 ,不
仅可 以提 高此类 设备的维修保障水平、节约维修时间 ,而且 能够提高整个短波通信 网的工作稳定性 。
d na i rd cn e r hn s c i y m c e u ig s ac ig pa e s e o ut r o tmiain usd f r f r he p i z to .Th s i meh d i a p id o fu tca sfe o iain o tmiain f to s p le t a l ls i r c mbn t pi z to o i o
同 ,以惩罚参数位 串映射到解空 间为例 ,表达 式为 :
2 Nao aAs o o cl b ev tr, au tUnvri f hn s c dmyo ce csB in 0 0 0 Chn) . t nl t n mia O sraoy Grd ae iesyo iee ae f ine, e ig10 0 , ia i r t C A S j
f=1
子集选择位 串位数长度 U等于特征的个数 ,每一位代表一个 特征 ,每位上的 1表示选 中该特征 ,0则表示不选 中。参数 位 串位数长度 v W 由参数搜索精度决定 。以惩罚参数位 串 和
为例 ,设惩罚参数 C的搜索范围是 1 1,用 v位二进 制编 ,] b 码 ,则 C的搜索精度为( n) 一 12。本文 中参数位串位数 长度 / v和 W均取 1 。 6位
[ src]Ai n te tr eet nadp rmee pi zt npo lm fcasf r ae nS p o e tr c ieS Ab ta t miga aueslci n aa t o t ai rbe o lsie sdo u p r V co hn(VM) o ekn f f o r mi o i b t Ma , n ido
中图分类号:T 23 P7
基 于混沌 遗传 算 法的 S M 特征 和 参数优化 V
杜 占龙 ,谭业双 ,甘 彤
(. 1 军械 工程 学院光学与 电子工程系 ,石家庄 0 0 0 ;2 中国科学院研究生院国家天文 台 ,北京 10 0 ) 503 . 000
摘
要 :为解决支持向量机(V 分类器 的样本特征选择和参 数优化问题 ,提出一种将特征选择和参数选择进行联合优化 的方法 。基于变 S M)
上述 方法大 部分仅对 特征 子集选取 或对 S VM 参数进行 优化 。实 际上,特百度文库选择与参数选择在提高 S VM 分类性能
s orwa e c n r le u p n . p rme t l e u t s e se f c i e e so n i g o tma o u i n o epr p s d a p o c . h t v — o to — q i me t Ex e i n a s lsa s s f e t n s n f d n p i l l t ft o o e p r a h r v i s o h
上相互 影响 ,对于特征选择或参数选择 的单一优化均无法充 分 发挥 S M 的分类潜能。 目前关于联合优化 的研究相对较 V
14 6
计
算
机
工
程
21 0 2年 3月 5日
的特征 子集选择 和 S M 的参数 编在 同一 个染 色体 中,设 V P 。 c - u l 一 , , 一 f 产{ 6 -1t , [ 2 ,  ̄ 2 G , 】 2f l 2 为第 t 的一个染色 代 体 , f 1 一“为特征子集选择位 串, ( ,, v为惩罚 n( , 2 ) 1 …,) 2 参数位 串 ,O( ,, ) - 1 …w 为核参数 位 串,6 f " 01 i 2 c fi /。特征 , O=
现有很 多优化 S M 参数的方法。文献[] 出了一种采用改 V 1提
2 基于变尺度混沌遗传算法的联合优化
21 混沌运动 . 混 沌是 自然界广 泛存在 的一种 非线性 现象 ,具有 随机 性、遍历性和初始条件敏感性等特点 ,在 一定范围内能够按
进 的人 工鱼群 算法实现 S M 参数的优化。文献【】 出了采 V 2提
尺度 的混沌遗传算法 ,联合优化染色体编、 译码 ,利用混沌 的遍历性产 生初始种 群 ,改进遗传 算法 中的交叉算子 ,动态缩减寻优 区问。将
该 方法应用于短波通信控制器 的诊 断分 类器 中 ,以实现分类器特征子集选取和参数 的联合优化 ,结果表 明该 方法具有较强 的寻优能力 。 关健词 :支持向量机 ;混沌遗传算法 ;特征选取 ;参数优化 ;故障诊断 ;变尺度
[ yw r s S p o etr cieS Ke o d ] u p rV c hn(VM)c at e ei agrh fa r e cin p a t pi zt nfut ig oi; t iesae t o Ma ; hoig nt loi m;et esl t ; a mee o t ao ;a lda n s mua v l c c t u e o r r mi i s t c DOh 1 . 6  ̄is.0 03 2 .0 2 50 0 03 9 . n1 0 —4 R 1 . .5 9 s 2 0
() 5
其,。 { 中 ? =
无效操作 的可能性就愈小 。
2个体间配对概率 )
。
事实上 ,r ,) ( 曰 表示 A和 B之 间不 同基因的数 目,r 曰 A ( ) A, 愈大 ,表明 A和 B的相关性愈 小 , A和 B进行 交叉时出现 对
染色体译码是指将寻优后 的二进制位 串转换成具体解空 间的值 。特征子集选择位 串中数值 为 1的位置代表选中相应 特征 作为故障诊 断训练样本 。C和 y 参数位 串的解码方式相
第3 8卷 第 5期
V_ . 8 O 3 1
・
计
算
机
工
程
21 0 2年 3月
M a c 2 2 r h 01
N o. 5
Co mpu e g n e i g trEn i e rn
人 工 智 能及 识别 技 术 ・
 ̄ltqt 0o 48 02 5 6一l l " 10_3 ( 1) — 1 4 文 l 22 0 献标识 A 码:
少 ,文献 fJ 出采 用免疫多 向二进制粒子群 算法实现特征子 5提 集选取和 S M 参数 的共 同优化 ,但 其搜索区间固定不变 , V 使得参数 的搜索精度较低。针对 上述情况 ,本文提 出了将特
征选择和参数选择进行联合优化 的方法,该方法基于变尺度 的混沌遗传算法 ,将混沌运动的遍历性和遗传算法 的高效并 行计算能力相结合 ,并随着寻优次数 的增长动态缩减寻优区 间,克服 了传统寻优方法存在早熟收敛、非全局收敛 以及后 期收敛速度慢 的弱点。
c mbi a i n o tmi ai n f r f a u e s l ci n a a ee s p e e t d b s d o ha t e e i l o i m f m u a i e s a e Th t o f o n to p i z to o e t r e e t on a d p r m t r i r s n e a e n c o i g n tc ag rt c h o ttv c l . e me h d o c r mo o o i g a d d c d n sp e e e I i a i a i n p p l t n i pr d c d b sn h ose g d c t , m o fe r s o e p r t ra d h o s me c d n e o i g i r s ntd. n t l t o u a i s o u e y u i g c a r o i i A di d c o s v r o e a o n n i z o o y i
用反三 角函数 L gsc映射产 生优化变量 ,对优化变量进行 oii t
其 自身 的规律不重复地遍历所有状态。经常与其他进化算法
结合使用 , 用于遗传算法 中以设计和保持演化群体的多样性 。
遗传搜索 ,实现 S M 参数 的优化 。 V
另外 ,样 本特征 子集的选择也很重要 。原始样本特征集
相 似程度 。考虑二进制 编码 的情况 , 2 设 个个体 A { 1 2 = d, , a …, a } 曰 {1 2 b} 和 = , , ,其 中,a, ∈{,】 = ,, n b …, i 01 ,i1 …,。 b 2 个体 A 、B之间不相关指数为 J :
rA 曰) E l (, = n 0b
S VM a u ea d Pa a e e tm i a i n Fe t r n r m t r0p i z to Ba e n Cha tcGe e i g r t m sd0 o i n t Al o ih c
D U Zha lng ,TA N s n-o Ye-huang ,G AN ng To
文 献[】 3利用高光谱数据集进行一系列分类算法分析后 ,得 出
其 中,0 l ; 是迭代次数 ,k l , 是控制参量 , ≤X≤l = , …; 2
当 p 4时系统完全处于混沌状态 ,此时 X 在【,】 = 01的范 围内
变化 。
特征 的增 加对 S M 分类置信度按显著性水平 5 V %减少 。文
(. pr n f t s n l t ncE gn eig Ornn e n iern olg , h iz un 5 0 3 C ia 1De a me t i dEe r i n ier , d ac gneigC l e S iah ag0 0 0 , hn; t o Op c a co n E e j
常用 的一维 lgs c o i i 映射 为 : t ’
x+ =Px (~ ) kl k1 () 1
中不可避免地存在着 一些与故障诊断不相关的特征 和与其他 特征相冗余 的特征 ,从而增加了故障诊 断的计算量 ,降低故 障诊断 的精 度。因此 , 对原 始样 本特征集 必须进行 优化选择 。
献 [] 4利用遗传算法和最小二乘支持 向量机 的 Wrp e 方法选 ap r 择最优特征 子集 。
22 染色体的编译码 . 染色体编码是指将寻优问题的解 空间转换成寻优方法所 能处理 的搜索 空间。本文使用二进制编码形式。将故障样本
作者简介 :杜 占龙( 8-) 男 , 16 , 9 硕士研究 生, 主研方 向: 通信装备
近年来 ,基于支持 向量机(u p rV co c ie S S p ot etr hn , VM) Ma 的诊 断方法得 到了广 泛的关注 。 V 基于结构风险最小化原 SM 则 ,可 以在 有限样 本的基础上取得 良好 的分类效果 。故障分 类器 的性能与 S M 的核参数 和误差惩罚参数有很大 关系 。 V
1 概 述
将某型短波通信控制器应 用于 短波通信 网的管理和控制
中,此类设备 中各模块 单元 的电路板结构复杂 , 耦合程 度高 , 其故 障呈现 出复杂化的特点 。研究此类设备的故障诊断 ,不
仅可 以提 高此类 设备的维修保障水平、节约维修时间 ,而且 能够提高整个短波通信 网的工作稳定性 。
d na i rd cn e r hn s c i y m c e u ig s ac ig pa e s e o ut r o tmiain usd f r f r he p i z to .Th s i meh d i a p id o fu tca sfe o iain o tmiain f to s p le t a l ls i r c mbn t pi z to o i o
同 ,以惩罚参数位 串映射到解空 间为例 ,表达 式为 :
2 Nao aAs o o cl b ev tr, au tUnvri f hn s c dmyo ce csB in 0 0 0 Chn) . t nl t n mia O sraoy Grd ae iesyo iee ae f ine, e ig10 0 , ia i r t C A S j
f=1
子集选择位 串位数长度 U等于特征的个数 ,每一位代表一个 特征 ,每位上的 1表示选 中该特征 ,0则表示不选 中。参数 位 串位数长度 v W 由参数搜索精度决定 。以惩罚参数位 串 和
为例 ,设惩罚参数 C的搜索范围是 1 1,用 v位二进 制编 ,] b 码 ,则 C的搜索精度为( n) 一 12。本文 中参数位串位数 长度 / v和 W均取 1 。 6位
[ src]Ai n te tr eet nadp rmee pi zt npo lm fcasf r ae nS p o e tr c ieS Ab ta t miga aueslci n aa t o t ai rbe o lsie sdo u p r V co hn(VM) o ekn f f o r mi o i b t Ma , n ido
中图分类号:T 23 P7
基 于混沌 遗传 算 法的 S M 特征 和 参数优化 V
杜 占龙 ,谭业双 ,甘 彤
(. 1 军械 工程 学院光学与 电子工程系 ,石家庄 0 0 0 ;2 中国科学院研究生院国家天文 台 ,北京 10 0 ) 503 . 000
摘
要 :为解决支持向量机(V 分类器 的样本特征选择和参 数优化问题 ,提出一种将特征选择和参数选择进行联合优化 的方法 。基于变 S M)