粒子群优化算法的收敛性分析及其混沌改进算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人, 教授, 博士生导师, 从事进化计算、机器学习等研究.
第6期
刘洪波等: 粒子群优化算法的收敛性分析及其混沌改进算法
637
混沌状态引入到优化变量使粒子获得继续搜索的能
力.
2 粒子群优化算法
粒子群优化算法寻优的过程被看成是鸟群协
同觅食, 其目标就是全局最优解. 其算法描述如下:
Step 1: 设优化问题的定义域为 [ - r, r ], 维度
Step 2: 若满足终止条件, 则输出结 果 x 3 和
f (x 3 ) 并结束算法; 否则, 转 Step 3.
Step 3: t = t + 1, 实施最优保存策略, 即
x
# i
ห้องสมุดไป่ตู้
( t)
=
a rg m in (f 1≤i≤n
(x
# i
(t -
1) ) , f (x i (t) ) ) ;
x 3 ( t) = a rg m in (f (x 3 ( t - 1) ) , 1≤i≤n
Υ - (1) i, j
Υ ) < (2) 2 i, j
4w , 则 Χ, Α, Β为
复 数. 为了讨论方便, 如果 Χ, Α, Β 为实数, ‖Α‖,
‖Β‖ 分别表示 Α, Β 的绝对值; 如果 Χ, Α, Β 为复数,
‖Α‖, ‖Β‖ 分别表示 Α, Β 的模值.
定理 1 (粒子群优化算法收敛定理) 粒子群优
化算法是收敛的, 当且仅当 m ax (‖Α‖, ‖Β‖) ≤
1. 证 明 不失一般性, 忽略具体维度标识, 对式
(6) 求极限有
lim x ( t) =
t→+ ∞
lim
t→+ ∞
(k
1
+
k 2Αt +
k 3Βt) =
k1 +
k2
lim Αt
t→+ ∞
+
k3
lim Βt).
t→+ ∞
当 ‖Α‖ > 1 或 ‖Β‖ > 1 时, lim x ( t) 不存 t→+ ∞
1 引 言
粒子群优化算法 (PSO ) 是一种新兴的群智优化 算法[1], 其思想来源于人工生命和演化计算理论, 是 对鸟群觅食过程中的迁徙和聚集的模拟. 由简单个 体组成的群落以及个体之间的互动行为模拟搜索最
优解, 收敛速度快. 相对遗传算法、模拟退火等算法 而言, PSO 更简单有效[2], 并已得到众多学者的重 视和研究[3～ 5 ], 许多实际应用非常成功[6～ 8 ]. 但它存 在早熟问题, 大量的研究只集中在讨论粒子的轨迹
正态分布的随机数, k = 1, 2, 转 S tep 2.
粒子群在 d 维解空间搜索, 粒子处在一定的位
置上, 由一个适应函数 f (x ) 决定它的适应值, 并有
一个飞行速度直接影响它每次飞翔的距离. 初始时
一群粒子随机地处在解空间中的不同位置, 然后根
据 式 (1) 和 (2) 来 更 新 自 己 的 速 度 和 位 置, 其 中
Υ - (1) i, j 2
Υ + (2) i, j
Χi, j ,
Βi, j = 1 + w -
Υ - (1) i, j 2
Υ - (2) i, j
Χi, j.
其 中: Χi, j =
(1 + w -
Υ - (1) i, j
Υ ) - (2) 2 i, j
4w . 因 为
Α, Β 均为式 (4) 系数矩阵的特征多项式的根, 所以
对算法收敛性所产生的影响[9, 10 ], 以及惯性因子的 更新和种群拓扑结构的改进[11, 12 ], 而深入分析粒子 的速度对算法收敛性的影响并给出其具体的证明并 不多见. 本文从理论上分析粒子的速度对算法收敛性的 影响, 并给出了证明. 同时提出了混沌粒子群优化算 法, 该算法在满足收敛性的条件下利用混沌的伪随 机性、对初始值敏感性和遍历性引导粒子群中的粒 子搜索, 提高种群的多样性和粒子搜索的遍历性, 将
Abstract: T he p a rticle sw a rm op tim iza tion (PSO ) a lgo rithm is ana lyzed. Its p rem a tu re convergence is due to the decrea se of velocity of p a rticles in sea rch sp ace tha t leads to a to ta l im p lo sion and u ltim a tely fitness stagna tion of the sw a rm. A chao tic p a rticle sw a rm op tim iza tion (CPSO ) a lgo rithm is in troduced to overcom e the p rob lem of p rem a tu re convergence. CPSO u ses the p rop erties of ergodicity, stocha stic p rop erty, and regu la rity of chao s to lead p a rticles’ exp lo ra tion. T h is enab le the sw a rm system to have the ab ility of“su sta inab le developm en t”. Sim u la tion resu lts show tha t CPSO p reven ts p rem a tu re convergence effectively and is better than PSO , genetic a lgo rithm and sim u la ted annea ling on som e benchm a rk function op tim iza tion p rob lem s. Key words: Pa rticle sw a rm op tim iza tion; Chao s; M u lti2m oda l function op tim iza tion p rob lem ; Genetic a lgo rithm s; Sim u la ted annea ling
1) +
Υ + x (1) # i, j i, j
Υ . x (2) 3 i, j j
(3)
令
A=
1+ w -
Υ - (1) i, j
Υ(2) i, j
1
-w 0
Υ + Υ x (1) # i, j i, j
x (2) 3
i, j j
0
,
0
0
1
则式 (3) 的齐次矩阵形式为
x i, j ( t + 1)
v i, j ( t) 表示 t 时粒子 i 的第 j 维的速度, x i, j ( t) 表示 t
时第 i 个粒子的第 j
维的位置,
x
# i
( t)
表示 t 时粒子 i
的当前极值, x 3 ( t) 表示 t 时粒子群的当前极值. 在
式 (1) 的右边共有三项: 第 1 项是粒子上一次的速度
v i, j ( t) 与惯性因子w 的乘积; 第 2 项是粒子自身行为
x i, j ( t)
x i, j ( t) = A x i, j ( t - 1) .
(4)
1
1
式 (4) 中系数矩阵的特征多项式为
(1 -
Κ) (w -
Κ(1 + w -
Υ - (1) i, j
Υ ) (2) i, j
+
Κ2 ).
(5)
该特征多项式存在三个根值, 即
Κ= 1,
Αi, j = 1 + w -
为 d , 令粒子最大速度 vm ax = r. t = 0 时, 对 n 个 d 维 粒子的位置和速度进行初始化, 令 v i, j (0) = U (- 1, 1) vmax, x i, j (0) = U (- 1, 1) 3 r, 其中 U (- 1, 1) 是
[ - 1, 1 ] 区间正态分布的随机数.
f (x 1 ( t) ) , …, f (x n ( t) ) ).
Step 4: 针对每个粒子的每一维度执行个性算
子、自意识算子、群意识算子联合操作, 即
v i, j ( t + 1) =
w v i, j ( t) +
Υ(1) i, j
( t)
(x
# i,
j
(
t)
-
x i, j ( t) ) +
Convergence Ana lysis of Particle Swarm O ptim iza tion and Its Im proved A lgor ithm Ba sed on Chaos
L IU H ong 2bo, W A N G X iu 2kun, TA N G uo2z hen
差异比较; 第 3 项是粒子群行为差异比较; 后两项合
称为粒子的“意识”.
3 粒子群优化算法的收敛性分析
文献[ 10 ] 对粒子群优化算法中粒子轨迹收敛
进行了深入分析, 本文在此基础上进一步分析粒子
的速度对算法收敛性的影响.
假定
Υ(k ) i, j
(
t)
,
x
# i,
j
(
t)
,
x
3 j
( t)
是 常 数,
即 Υ(k) i, j
=
Υ(k ) i, j
( t)
,
x
# i,
j
=
x
# i,
j
(
t)
,
x
3 j
=
x
3 j
( t).
由式 (1)
和 (2)
消
去速度相关的参数, 则
x i, j ( t + 1) =
(1 + w -
Υ - (1) i, j
Υ(2) i, j
)
x
i,
j
(
t)
-
w x i, j ( t -
收稿日期: 2005205208; 修回日期: 2005208226. 基金项目: 国家自然科学基金项目 (60373095) ; 国家 973 计划项目 (2100CCA 00700) ; 教育部科学基金项目 (KP0302). 作者简介: 刘洪波 (1971—) , 男, 武汉人, 博士, 讲师, 从事进化计算、神经网络等研究; 王秀坤 (1945—) , 女, 辽宁辽阳
式 (3) 可写为
x i, j ( t) =
k1 +
Α k t 2 i, j
+
k
3
Βt i,
j.
(6)
同理可得
v i, j ( t) =
Α h t 1 i, j
+
h
2
Βt i,
j.
(7)
如果 (1 + w -
Υ - (1) i, j
Υ(2) i, j
)
2
≥
4w
,
则
Χ,
Α,
Β为
实数; 如果 (1 + w -
在, 即粒子的轨迹是发散的;
当 ‖Α‖ <
1 且 ‖Β‖ <
1 时, 有 lim x ( t) = t→+ ∞
k1,
粒子的轨迹是收敛的;
当m ax (‖Α‖, ‖Β‖) =
(大连理工大学 计算机系, 辽宁 大连 116023)
摘 要: 分析了粒子群优化算法的收敛性, 指出它在满足收敛性的前提下种群多样性趋于减小, 粒子将会因速度降 低而失去继续搜索可行解的能力; 提出混沌粒子群优化算法, 该算法在满足收敛性的条件下利用混沌特性提高种群 的多样性和粒子搜索的遍历性, 将混沌状态引入到优化变量使粒子获得持续搜索的能力. 实验结果表明混沌粒子群 优化算法是有效的, 与粒子群优化算法、遗传算法、模拟退火相比, 特别是针对高维、多模态函数优化问题取得了明显 改善. 关键词: 粒子群优化算法; 混沌; 多模态函数优化问题; 遗传算法; 模拟退火算法 中图分类号: T P301. 6 文献标识码: A
(D ep a rtm en t of Com p u ter, D a lian U n iversity of T echno logy, D a lian 116023, Ch ina. Co rresponden t: L IU Hong2bo , E2m a il: lhb@ dlu t. edu. cn)
第 21 卷 第 6 期
V o l. 21 N o. 6
控 制 与 决 策
C on trol and D ecision
2006 年 6 月
J un. 2006
文章编号: 100120920 (2006) 0620636205
粒子群优化算法的收敛性分析及其混沌改进算法
刘洪波, 王秀坤, 谭国真
Υ(2) i, j
( t)
(x
3 j
( t)
-
x i, j ( t) ) ,
(1)
x i, j ( t + 1) = x i, j ( t) + v i, j ( t + 1).
(2)
其中: 1 ≤ i ≤ n, 1 ≤ j ≤ d , w 通常是小于或等于 1
的正常数,
Υ(k ) i, j
=
ckU k (0, 1) , U k (0, 1) 是 [ 0, 1 ] 区间
第6期
刘洪波等: 粒子群优化算法的收敛性分析及其混沌改进算法
637
混沌状态引入到优化变量使粒子获得继续搜索的能
力.
2 粒子群优化算法
粒子群优化算法寻优的过程被看成是鸟群协
同觅食, 其目标就是全局最优解. 其算法描述如下:
Step 1: 设优化问题的定义域为 [ - r, r ], 维度
Step 2: 若满足终止条件, 则输出结 果 x 3 和
f (x 3 ) 并结束算法; 否则, 转 Step 3.
Step 3: t = t + 1, 实施最优保存策略, 即
x
# i
ห้องสมุดไป่ตู้
( t)
=
a rg m in (f 1≤i≤n
(x
# i
(t -
1) ) , f (x i (t) ) ) ;
x 3 ( t) = a rg m in (f (x 3 ( t - 1) ) , 1≤i≤n
Υ - (1) i, j
Υ ) < (2) 2 i, j
4w , 则 Χ, Α, Β为
复 数. 为了讨论方便, 如果 Χ, Α, Β 为实数, ‖Α‖,
‖Β‖ 分别表示 Α, Β 的绝对值; 如果 Χ, Α, Β 为复数,
‖Α‖, ‖Β‖ 分别表示 Α, Β 的模值.
定理 1 (粒子群优化算法收敛定理) 粒子群优
化算法是收敛的, 当且仅当 m ax (‖Α‖, ‖Β‖) ≤
1. 证 明 不失一般性, 忽略具体维度标识, 对式
(6) 求极限有
lim x ( t) =
t→+ ∞
lim
t→+ ∞
(k
1
+
k 2Αt +
k 3Βt) =
k1 +
k2
lim Αt
t→+ ∞
+
k3
lim Βt).
t→+ ∞
当 ‖Α‖ > 1 或 ‖Β‖ > 1 时, lim x ( t) 不存 t→+ ∞
1 引 言
粒子群优化算法 (PSO ) 是一种新兴的群智优化 算法[1], 其思想来源于人工生命和演化计算理论, 是 对鸟群觅食过程中的迁徙和聚集的模拟. 由简单个 体组成的群落以及个体之间的互动行为模拟搜索最
优解, 收敛速度快. 相对遗传算法、模拟退火等算法 而言, PSO 更简单有效[2], 并已得到众多学者的重 视和研究[3～ 5 ], 许多实际应用非常成功[6～ 8 ]. 但它存 在早熟问题, 大量的研究只集中在讨论粒子的轨迹
正态分布的随机数, k = 1, 2, 转 S tep 2.
粒子群在 d 维解空间搜索, 粒子处在一定的位
置上, 由一个适应函数 f (x ) 决定它的适应值, 并有
一个飞行速度直接影响它每次飞翔的距离. 初始时
一群粒子随机地处在解空间中的不同位置, 然后根
据 式 (1) 和 (2) 来 更 新 自 己 的 速 度 和 位 置, 其 中
Υ - (1) i, j 2
Υ + (2) i, j
Χi, j ,
Βi, j = 1 + w -
Υ - (1) i, j 2
Υ - (2) i, j
Χi, j.
其 中: Χi, j =
(1 + w -
Υ - (1) i, j
Υ ) - (2) 2 i, j
4w . 因 为
Α, Β 均为式 (4) 系数矩阵的特征多项式的根, 所以
对算法收敛性所产生的影响[9, 10 ], 以及惯性因子的 更新和种群拓扑结构的改进[11, 12 ], 而深入分析粒子 的速度对算法收敛性的影响并给出其具体的证明并 不多见. 本文从理论上分析粒子的速度对算法收敛性的 影响, 并给出了证明. 同时提出了混沌粒子群优化算 法, 该算法在满足收敛性的条件下利用混沌的伪随 机性、对初始值敏感性和遍历性引导粒子群中的粒 子搜索, 提高种群的多样性和粒子搜索的遍历性, 将
Abstract: T he p a rticle sw a rm op tim iza tion (PSO ) a lgo rithm is ana lyzed. Its p rem a tu re convergence is due to the decrea se of velocity of p a rticles in sea rch sp ace tha t leads to a to ta l im p lo sion and u ltim a tely fitness stagna tion of the sw a rm. A chao tic p a rticle sw a rm op tim iza tion (CPSO ) a lgo rithm is in troduced to overcom e the p rob lem of p rem a tu re convergence. CPSO u ses the p rop erties of ergodicity, stocha stic p rop erty, and regu la rity of chao s to lead p a rticles’ exp lo ra tion. T h is enab le the sw a rm system to have the ab ility of“su sta inab le developm en t”. Sim u la tion resu lts show tha t CPSO p reven ts p rem a tu re convergence effectively and is better than PSO , genetic a lgo rithm and sim u la ted annea ling on som e benchm a rk function op tim iza tion p rob lem s. Key words: Pa rticle sw a rm op tim iza tion; Chao s; M u lti2m oda l function op tim iza tion p rob lem ; Genetic a lgo rithm s; Sim u la ted annea ling
1) +
Υ + x (1) # i, j i, j
Υ . x (2) 3 i, j j
(3)
令
A=
1+ w -
Υ - (1) i, j
Υ(2) i, j
1
-w 0
Υ + Υ x (1) # i, j i, j
x (2) 3
i, j j
0
,
0
0
1
则式 (3) 的齐次矩阵形式为
x i, j ( t + 1)
v i, j ( t) 表示 t 时粒子 i 的第 j 维的速度, x i, j ( t) 表示 t
时第 i 个粒子的第 j
维的位置,
x
# i
( t)
表示 t 时粒子 i
的当前极值, x 3 ( t) 表示 t 时粒子群的当前极值. 在
式 (1) 的右边共有三项: 第 1 项是粒子上一次的速度
v i, j ( t) 与惯性因子w 的乘积; 第 2 项是粒子自身行为
x i, j ( t)
x i, j ( t) = A x i, j ( t - 1) .
(4)
1
1
式 (4) 中系数矩阵的特征多项式为
(1 -
Κ) (w -
Κ(1 + w -
Υ - (1) i, j
Υ ) (2) i, j
+
Κ2 ).
(5)
该特征多项式存在三个根值, 即
Κ= 1,
Αi, j = 1 + w -
为 d , 令粒子最大速度 vm ax = r. t = 0 时, 对 n 个 d 维 粒子的位置和速度进行初始化, 令 v i, j (0) = U (- 1, 1) vmax, x i, j (0) = U (- 1, 1) 3 r, 其中 U (- 1, 1) 是
[ - 1, 1 ] 区间正态分布的随机数.
f (x 1 ( t) ) , …, f (x n ( t) ) ).
Step 4: 针对每个粒子的每一维度执行个性算
子、自意识算子、群意识算子联合操作, 即
v i, j ( t + 1) =
w v i, j ( t) +
Υ(1) i, j
( t)
(x
# i,
j
(
t)
-
x i, j ( t) ) +
Convergence Ana lysis of Particle Swarm O ptim iza tion and Its Im proved A lgor ithm Ba sed on Chaos
L IU H ong 2bo, W A N G X iu 2kun, TA N G uo2z hen
差异比较; 第 3 项是粒子群行为差异比较; 后两项合
称为粒子的“意识”.
3 粒子群优化算法的收敛性分析
文献[ 10 ] 对粒子群优化算法中粒子轨迹收敛
进行了深入分析, 本文在此基础上进一步分析粒子
的速度对算法收敛性的影响.
假定
Υ(k ) i, j
(
t)
,
x
# i,
j
(
t)
,
x
3 j
( t)
是 常 数,
即 Υ(k) i, j
=
Υ(k ) i, j
( t)
,
x
# i,
j
=
x
# i,
j
(
t)
,
x
3 j
=
x
3 j
( t).
由式 (1)
和 (2)
消
去速度相关的参数, 则
x i, j ( t + 1) =
(1 + w -
Υ - (1) i, j
Υ(2) i, j
)
x
i,
j
(
t)
-
w x i, j ( t -
收稿日期: 2005205208; 修回日期: 2005208226. 基金项目: 国家自然科学基金项目 (60373095) ; 国家 973 计划项目 (2100CCA 00700) ; 教育部科学基金项目 (KP0302). 作者简介: 刘洪波 (1971—) , 男, 武汉人, 博士, 讲师, 从事进化计算、神经网络等研究; 王秀坤 (1945—) , 女, 辽宁辽阳
式 (3) 可写为
x i, j ( t) =
k1 +
Α k t 2 i, j
+
k
3
Βt i,
j.
(6)
同理可得
v i, j ( t) =
Α h t 1 i, j
+
h
2
Βt i,
j.
(7)
如果 (1 + w -
Υ - (1) i, j
Υ(2) i, j
)
2
≥
4w
,
则
Χ,
Α,
Β为
实数; 如果 (1 + w -
在, 即粒子的轨迹是发散的;
当 ‖Α‖ <
1 且 ‖Β‖ <
1 时, 有 lim x ( t) = t→+ ∞
k1,
粒子的轨迹是收敛的;
当m ax (‖Α‖, ‖Β‖) =
(大连理工大学 计算机系, 辽宁 大连 116023)
摘 要: 分析了粒子群优化算法的收敛性, 指出它在满足收敛性的前提下种群多样性趋于减小, 粒子将会因速度降 低而失去继续搜索可行解的能力; 提出混沌粒子群优化算法, 该算法在满足收敛性的条件下利用混沌特性提高种群 的多样性和粒子搜索的遍历性, 将混沌状态引入到优化变量使粒子获得持续搜索的能力. 实验结果表明混沌粒子群 优化算法是有效的, 与粒子群优化算法、遗传算法、模拟退火相比, 特别是针对高维、多模态函数优化问题取得了明显 改善. 关键词: 粒子群优化算法; 混沌; 多模态函数优化问题; 遗传算法; 模拟退火算法 中图分类号: T P301. 6 文献标识码: A
(D ep a rtm en t of Com p u ter, D a lian U n iversity of T echno logy, D a lian 116023, Ch ina. Co rresponden t: L IU Hong2bo , E2m a il: lhb@ dlu t. edu. cn)
第 21 卷 第 6 期
V o l. 21 N o. 6
控 制 与 决 策
C on trol and D ecision
2006 年 6 月
J un. 2006
文章编号: 100120920 (2006) 0620636205
粒子群优化算法的收敛性分析及其混沌改进算法
刘洪波, 王秀坤, 谭国真
Υ(2) i, j
( t)
(x
3 j
( t)
-
x i, j ( t) ) ,
(1)
x i, j ( t + 1) = x i, j ( t) + v i, j ( t + 1).
(2)
其中: 1 ≤ i ≤ n, 1 ≤ j ≤ d , w 通常是小于或等于 1
的正常数,
Υ(k ) i, j
=
ckU k (0, 1) , U k (0, 1) 是 [ 0, 1 ] 区间