粒子群优化算法研究及应用(周先东)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
应用领域。
1 论文的创新之处
2）本文根据运输问题的特殊约束条件， 设计了一种产生初始可行解的方法，同时基 于遗传算法(GA)和PSO算法的思想，设计了 求解运输问题的GAPSO算法。 3）针对PSO算法收敛速度较慢和后期局 部搜索能力不强的问题，本文基于分层搜索 的思想，提出了一种分层PSO算法。
其中i=1,2,…,n， xi 1 x xi 则在整个区间[a, b]的可行函数y(x)的近似函数为：
H i ( x) H ( x) 0 ( xi 1 x xi )
其他
i 1, 2,
,n
本文主要工作
H(x)是一个分段三次多项式，对于各区间的一 阶导数Hi'(x)很容易得到。由于积分是线性算子，故 可以将变分问题（3.6）看成如下的近似问题：
体智能为特征，以求解连续变量优化问题为背景的 一种优化算法。
2.1 基本PSO算法的原理
PSO算法通过个体之间的协作来搜寻最优解，
它利用了生物群体中信息共享的思想，它采用的 是速度——位置搜索模型。 适应值 优化 问题 的解 搜索 空间 的鸟 粒子
速度
位置
2.1 基本PSO算法的原理
初始 化一 种群 跟 踪 个体 极值 全局 极值 迭 更新 速度 代 位置
误差为：4.176204068600461e-006 （*是准确值，□是近似值）
本文主要工作
例3.7结果（同差分法的比较）
xi yi（差分法结果） y（标准 ) PSO算法结果） y ( xi （准确值） i
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.07048937725197 0.14268364827646 0.21830475578371 0.29910891084880 0.38690415502238 0.48356844074618 0.59106841087745 0.71147906511749 0.84700451000870 1 0 0.07046815731340 0.14264232077624 0.21824524945515 0.29903486176007 0.38682054346801 0.48348169007427 0.59098668994751 0.71141231144020 0.84696416450834 1 0 0.07046740687740 0.14264090885891 0.21824367622186 0.29903320048416 0.38681888397007 0.48348014891688 0.59098524736430 0.71141096008247 0.84696338169191 1
理论准确解为：
x 5.72917*(t sin t ) y 5.72917*(1 cos t )
从A到B的最短时间为1.8442
16等分结果对比图
本文主要工作
3.2.2 标准PSO算法在曲面最短路径问题中的应用
本文采用离散化思想，将曲线离散成若干小段，
提出了一个解决该问题的离散化模型。从而将复杂 曲面上路径寻优问题，转化为了多元的单目标优化 问题，使得PSO算法能够在该问题中发挥作用。
min f ( y1 , y2 ,..., yn ) (1 i n) Lmin ( xi ) yi Lmax ( xi )
本文主要工作
例3.2 本实例采用搜索空间D为100×100单 位的正方形区域，用函数模拟实际地形，函 数构造如下：
pi qi y yci x xci z ( x, y) hi exp ui i 1 vi n
本文主要工作
3 标准PSO算法在变分问题中的应用
虽然PSO算法在工程优化、自动控制等领域
有着广泛的应用，但是在数学界却没能被认可，
因为到目前为止，该算法还没能解决数学上的经
典问题，同时该算法也还没有数学理论的支撑。
本文则对PSO算法在微分方程及变分问题中
的应用做进行了初步研究。
本文主要工作
PSO算法 泛函极值问题 变分问题
根据变分原理，二阶线性常微分方程的两点边 值问题可转化为等价的变分问题。因此，求解二阶 线性常微分方程的两点边值问题可以转化为求解与
之等价的变分问题。
本文主要工作
考虑二阶线性常微分方程的两点边值问题：
y '' p ( x) y ' q ( x ) y f ( x ) y (a ) ya , y (b) yb
例3.2 求两点间最短路径的结果示意图
本文主要工作 3.3 标准PSO 算法在含一阶导数变分问题中 的应用
研究带有一阶导数的固定边界变分问题：
b min J [ y] a F ( x, y, y ')dx y(a) ya , y(b) yb
(3.6)
定义1 满足变分问题的边值条件的函数 y ( x) 称为可行函数。
2 PSO算法简介
群体智能算法（Swarm Intelligence Algorithm）
的研究开始于20世纪90年代，其基本思想是模拟自 然界生物的群体行为来构造随机优化算法。
PSO算法是群体智能算法的一种。它是由美国
社会心理学家James kennedy和电气工程师Russell
Eberhart在1995年提出的，该算法是以模拟鸟的群
?
微分方程
变分原理
变分问题实际上是一个泛函极值问题。PSO算法
在求解极值问题中有着广泛的应用。但是关于PSO算 法在变分问题中的应用，目前尚没有相关的研究。
本文主要工作 3.1变分问题概述
变分问题在自然科学和工程技术领域普遍存
在。1900年8月，Hilbert在第二届国际数学家代表
大会上提出了 23个重大数学问题，其中最后一个 问题就是关于变分问题的直接解法。由此可见， 研究变分问题的直接解法具有极其重要的意义。
目前已有的变分问题直接解法包括有限差分
法、Ritz法、Ka二 乘法、配置法和分区平均法等等。
本文主要工作 3.2 标准PSO 算法两个经典变分问题中的应用
3.2.1 标准PSO算法在最速降线问题中的应用 根据问题的物理背景，本文采用离散化的思 想建立了一个求解最速降线问题的最优化模型， 然后利用标准PSO算法对该问题进行了求解。
n xi min J [ y] x F ( x, H i ( x), H i '( x))dx i 1 i1 H (a) y , H (b) y a n b 1
(3.8)
问题就转化为以y1, y2, …, yn, y0', y1', …, yn'为变
量的单目标多元变量优化问题，对于这样的问题则
1 其准确解为： y ( x x 2 ) 4
收敛图
划分为4段时 （误差3.3252e-009）
（点为准确值，线为近似值）
本文主要工作 例3.3的计算结果
划分为16段时 划分为8段时 （误差0.0104） （误差0.0074） （点为准确值，线为近似值）
本文主要工作
例3.4的计算结果
例3.4 对变分问题
一个线性算子，故该目标函数就可作为适应度函
数，即
J [ y ] F ( x, H i ( x), H i '( x))dx
xi i 1 xi1 n
本文主要工作 例3.3的计算结果
例3.3 对于变分问题
1 2 min J [ y] 0 ( xy ' y ' )dx y(0) 0, y(1) 0
可以采用标准PSO算法来求解。
本文主要工作
标准PSO算法设计：y1, y2, …, yn-1, y0‘, y1’, y2‘, …, yn’被看作一个粒子，但问题是无约束问题， 所以要将解空间限制在一个具有上下限的区域内 [-M, M]内，其中M是一个足够大的正数。模型的 最优化问题是一个极小值问题，且其目标函数是
1998年,Y.Shi和R.C.Eberhart 首次在速度进化
方程中引入惯性权重，即：
vij (t 1) wvij (t ) c1r1 j (t )( pij (t ) xi j (t )) c2r2 j (t )( pgj (t ) xi j (t ))
式中 w 称为惯性权重，它使粒子保持运动惯性， 使其有扩展搜索空间的趋势，有能力搜索新的区
假设可行函数y(x)在各个分点的函数值及其一
阶导数值：yi，y'i，其中i=1,2,…,n。在各小段内采
用两点三次Hermite插值多项式来近似逼近可行函 数y(x) 。
本文主要工作
则可行y(x)函数在区间[xi-1, xi]内的近似函数为：
x x0 x x1 2 x x1 x x0 2 H i ( x) (1 2 )( ) yi 1 (1 2 )( ) yi x1 x0 x0 x1 x0 x1 x1 x0 x x0 2 x x1 2 ( x x0 )( ) y 'i 1 ( x x1)( ) y 'i x0 x1 x1 x0
定义2 由可行函数 y ( x) 构成的集合为可行函数类。
本文主要工作 3.3.1 基于Hermite插值的求解模型
基于离散化的思想，本文采用两点三次Hermite 插值来构造可行函数类中的近似可行函数 H ( x ) ， 将区间[a, b]等分为n段，各分点为：
x0 , x1 ,
, xn1 , xn ,( x0 a, xn b)
跟踪新种群
满足终 止条件
最 优 解
迭代公式：
vij (t 1) vij (t ) c1r1 j ( pij (t ) xij (t )) c2r2 j ( pgj (t ) xij (t ))
xij (t 1) xij (t ) vij (t 1)
2.2 标准PSO算法
例3.7 对于两点边值问题
y '' y x y (0) 0, y(1) 1
其等价的变分问题为：
1 2 2 min 0 ( y ' y 2 yx)dx y(0) 0, y(1) 1
其解析解为：
2(e x e x ) y ( x) x 1 ee
域。这种带惯性权重的PSO算法被称PSO算法的
标准版本，简称标准PSO算法。
2.3 PSO算法研究和发展现状
PSO算法具有概念简单，易于实现的特点， 同时它还具有深刻的智能背景，既适合科学研究， 又特别适合工程应用。 目前，PSO算法的研究大致可分为以下几个 方向：算法的理论研究、算法的改进以及算法的 应用研究。详见参考文献。 但是无论是理论还是实践应用都还不够成熟， 还有大量问题需要研究。
n 1 ( xi 1 xi ) 2 ( yi yi 1 ) 2 min T ( x0 , x1 , , xn ) vi i 0 x0 xi xn , (i 1, 2, , n 1)
本文主要工作
求点 A(0,0), B(10, 10) 之间的最速降线 。
粒子群优化算法研究及其应用
Research and Applications of Particle Swarm Optimization （PSO）
学生姓名：周先东
指导教师：杨大地 副教授
专 业：运筹学与控制论
2008.11
论文结构
PSO算法简介 论文主要工作 结论与展望
其等价于变分问题
含一阶导数的 变分问题
b 2 2 min ( P ( x ) y ' Q ( x ) y 2 yF ( x))dx a y(a) ya , y(b) yb
由两点三次Hermite 插值的模型及标准PSO算法 即可求解。
本文主要工作
例3.7结果（同准确解的比较）
例3.5的计算结果
例3.5 对于变分问题
1 2 min 0 ( y ' 2 y cos x)dx y(0) 0, y( ) 0
其用准确解为：
y cos x 2
x 1
误差为：4.796748020400851e-005 （红色*为准确值，O为近似值）
本文主要工作 3.4 标准PSO 算法在二阶线性常微分方程两 点边值问题中的应用
绪 论
标准PSO算法在变 分问题中的应用
求解运输问题的 GAPSO算法 分层PSO算法
致 谢
1 论文的创新之处
1）本文建立了求解两个经典变分问题以及 含一阶导数变分问题的优化模型，从而成功地 应用PSO算法求解了该类变分问题。根据变分原 理，又将PSO算法应用到了求解二阶线性微分方
程的两点边值问题当中。从而拓展了PSO算法的
1 2(1 x 2 )2 2 2 2 2 y )dx min 0 ((1 x ) y ' 2 1 x y(0) 1, y(2) 1
其准确解为：
1 2x y 2 1 x
误差为：1.739915277616710e-004 （红色*为准确值，O为近似值）
本文主要工作
1 论文的创新之处
2）本文根据运输问题的特殊约束条件， 设计了一种产生初始可行解的方法，同时基 于遗传算法(GA)和PSO算法的思想，设计了 求解运输问题的GAPSO算法。 3）针对PSO算法收敛速度较慢和后期局 部搜索能力不强的问题，本文基于分层搜索 的思想，提出了一种分层PSO算法。
其中i=1,2,…,n， xi 1 x xi 则在整个区间[a, b]的可行函数y(x)的近似函数为：
H i ( x) H ( x) 0 ( xi 1 x xi )
其他
i 1, 2,
,n
本文主要工作
H(x)是一个分段三次多项式，对于各区间的一 阶导数Hi'(x)很容易得到。由于积分是线性算子，故 可以将变分问题（3.6）看成如下的近似问题：
体智能为特征，以求解连续变量优化问题为背景的 一种优化算法。
2.1 基本PSO算法的原理
PSO算法通过个体之间的协作来搜寻最优解，
它利用了生物群体中信息共享的思想，它采用的 是速度——位置搜索模型。 适应值 优化 问题 的解 搜索 空间 的鸟 粒子
速度
位置
2.1 基本PSO算法的原理
初始 化一 种群 跟 踪 个体 极值 全局 极值 迭 更新 速度 代 位置
误差为：4.176204068600461e-006 （*是准确值，□是近似值）
本文主要工作
例3.7结果（同差分法的比较）
xi yi（差分法结果） y（标准 ) PSO算法结果） y ( xi （准确值） i
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.07048937725197 0.14268364827646 0.21830475578371 0.29910891084880 0.38690415502238 0.48356844074618 0.59106841087745 0.71147906511749 0.84700451000870 1 0 0.07046815731340 0.14264232077624 0.21824524945515 0.29903486176007 0.38682054346801 0.48348169007427 0.59098668994751 0.71141231144020 0.84696416450834 1 0 0.07046740687740 0.14264090885891 0.21824367622186 0.29903320048416 0.38681888397007 0.48348014891688 0.59098524736430 0.71141096008247 0.84696338169191 1
理论准确解为：
x 5.72917*(t sin t ) y 5.72917*(1 cos t )
从A到B的最短时间为1.8442
16等分结果对比图
本文主要工作
3.2.2 标准PSO算法在曲面最短路径问题中的应用
本文采用离散化思想，将曲线离散成若干小段，
提出了一个解决该问题的离散化模型。从而将复杂 曲面上路径寻优问题，转化为了多元的单目标优化 问题，使得PSO算法能够在该问题中发挥作用。
min f ( y1 , y2 ,..., yn ) (1 i n) Lmin ( xi ) yi Lmax ( xi )
本文主要工作
例3.2 本实例采用搜索空间D为100×100单 位的正方形区域，用函数模拟实际地形，函 数构造如下：
pi qi y yci x xci z ( x, y) hi exp ui i 1 vi n
本文主要工作
3 标准PSO算法在变分问题中的应用
虽然PSO算法在工程优化、自动控制等领域
有着广泛的应用，但是在数学界却没能被认可，
因为到目前为止，该算法还没能解决数学上的经
典问题，同时该算法也还没有数学理论的支撑。
本文则对PSO算法在微分方程及变分问题中
的应用做进行了初步研究。
本文主要工作
PSO算法 泛函极值问题 变分问题
根据变分原理，二阶线性常微分方程的两点边 值问题可转化为等价的变分问题。因此，求解二阶 线性常微分方程的两点边值问题可以转化为求解与
之等价的变分问题。
本文主要工作
考虑二阶线性常微分方程的两点边值问题：
y '' p ( x) y ' q ( x ) y f ( x ) y (a ) ya , y (b) yb
例3.2 求两点间最短路径的结果示意图
本文主要工作 3.3 标准PSO 算法在含一阶导数变分问题中 的应用
研究带有一阶导数的固定边界变分问题：
b min J [ y] a F ( x, y, y ')dx y(a) ya , y(b) yb
(3.6)
定义1 满足变分问题的边值条件的函数 y ( x) 称为可行函数。
2 PSO算法简介
群体智能算法（Swarm Intelligence Algorithm）
的研究开始于20世纪90年代，其基本思想是模拟自 然界生物的群体行为来构造随机优化算法。
PSO算法是群体智能算法的一种。它是由美国
社会心理学家James kennedy和电气工程师Russell
Eberhart在1995年提出的，该算法是以模拟鸟的群
?
微分方程
变分原理
变分问题实际上是一个泛函极值问题。PSO算法
在求解极值问题中有着广泛的应用。但是关于PSO算 法在变分问题中的应用，目前尚没有相关的研究。
本文主要工作 3.1变分问题概述
变分问题在自然科学和工程技术领域普遍存
在。1900年8月，Hilbert在第二届国际数学家代表
大会上提出了 23个重大数学问题，其中最后一个 问题就是关于变分问题的直接解法。由此可见， 研究变分问题的直接解法具有极其重要的意义。
目前已有的变分问题直接解法包括有限差分
法、Ritz法、Ka二 乘法、配置法和分区平均法等等。
本文主要工作 3.2 标准PSO 算法两个经典变分问题中的应用
3.2.1 标准PSO算法在最速降线问题中的应用 根据问题的物理背景，本文采用离散化的思 想建立了一个求解最速降线问题的最优化模型， 然后利用标准PSO算法对该问题进行了求解。
n xi min J [ y] x F ( x, H i ( x), H i '( x))dx i 1 i1 H (a) y , H (b) y a n b 1
(3.8)
问题就转化为以y1, y2, …, yn, y0', y1', …, yn'为变
量的单目标多元变量优化问题，对于这样的问题则
1 其准确解为： y ( x x 2 ) 4
收敛图
划分为4段时 （误差3.3252e-009）
（点为准确值，线为近似值）
本文主要工作 例3.3的计算结果
划分为16段时 划分为8段时 （误差0.0104） （误差0.0074） （点为准确值，线为近似值）
本文主要工作
例3.4的计算结果
例3.4 对变分问题
一个线性算子，故该目标函数就可作为适应度函
数，即
J [ y ] F ( x, H i ( x), H i '( x))dx
xi i 1 xi1 n
本文主要工作 例3.3的计算结果
例3.3 对于变分问题
1 2 min J [ y] 0 ( xy ' y ' )dx y(0) 0, y(1) 0
可以采用标准PSO算法来求解。
本文主要工作
标准PSO算法设计：y1, y2, …, yn-1, y0‘, y1’, y2‘, …, yn’被看作一个粒子，但问题是无约束问题， 所以要将解空间限制在一个具有上下限的区域内 [-M, M]内，其中M是一个足够大的正数。模型的 最优化问题是一个极小值问题，且其目标函数是
1998年,Y.Shi和R.C.Eberhart 首次在速度进化
方程中引入惯性权重，即：
vij (t 1) wvij (t ) c1r1 j (t )( pij (t ) xi j (t )) c2r2 j (t )( pgj (t ) xi j (t ))
式中 w 称为惯性权重，它使粒子保持运动惯性， 使其有扩展搜索空间的趋势，有能力搜索新的区
假设可行函数y(x)在各个分点的函数值及其一
阶导数值：yi，y'i，其中i=1,2,…,n。在各小段内采
用两点三次Hermite插值多项式来近似逼近可行函 数y(x) 。
本文主要工作
则可行y(x)函数在区间[xi-1, xi]内的近似函数为：
x x0 x x1 2 x x1 x x0 2 H i ( x) (1 2 )( ) yi 1 (1 2 )( ) yi x1 x0 x0 x1 x0 x1 x1 x0 x x0 2 x x1 2 ( x x0 )( ) y 'i 1 ( x x1)( ) y 'i x0 x1 x1 x0
定义2 由可行函数 y ( x) 构成的集合为可行函数类。
本文主要工作 3.3.1 基于Hermite插值的求解模型
基于离散化的思想，本文采用两点三次Hermite 插值来构造可行函数类中的近似可行函数 H ( x ) ， 将区间[a, b]等分为n段，各分点为：
x0 , x1 ,
, xn1 , xn ,( x0 a, xn b)
跟踪新种群
满足终 止条件
最 优 解
迭代公式：
vij (t 1) vij (t ) c1r1 j ( pij (t ) xij (t )) c2r2 j ( pgj (t ) xij (t ))
xij (t 1) xij (t ) vij (t 1)
2.2 标准PSO算法
例3.7 对于两点边值问题
y '' y x y (0) 0, y(1) 1
其等价的变分问题为：
1 2 2 min 0 ( y ' y 2 yx)dx y(0) 0, y(1) 1
其解析解为：
2(e x e x ) y ( x) x 1 ee
域。这种带惯性权重的PSO算法被称PSO算法的
标准版本，简称标准PSO算法。
2.3 PSO算法研究和发展现状
PSO算法具有概念简单，易于实现的特点， 同时它还具有深刻的智能背景，既适合科学研究， 又特别适合工程应用。 目前，PSO算法的研究大致可分为以下几个 方向：算法的理论研究、算法的改进以及算法的 应用研究。详见参考文献。 但是无论是理论还是实践应用都还不够成熟， 还有大量问题需要研究。
n 1 ( xi 1 xi ) 2 ( yi yi 1 ) 2 min T ( x0 , x1 , , xn ) vi i 0 x0 xi xn , (i 1, 2, , n 1)
本文主要工作
求点 A(0,0), B(10, 10) 之间的最速降线 。
粒子群优化算法研究及其应用
Research and Applications of Particle Swarm Optimization （PSO）
学生姓名：周先东
指导教师：杨大地 副教授
专 业：运筹学与控制论
2008.11
论文结构
PSO算法简介 论文主要工作 结论与展望
其等价于变分问题
含一阶导数的 变分问题
b 2 2 min ( P ( x ) y ' Q ( x ) y 2 yF ( x))dx a y(a) ya , y(b) yb
由两点三次Hermite 插值的模型及标准PSO算法 即可求解。
本文主要工作
例3.7结果（同准确解的比较）
例3.5的计算结果
例3.5 对于变分问题
1 2 min 0 ( y ' 2 y cos x)dx y(0) 0, y( ) 0
其用准确解为：
y cos x 2
x 1
误差为：4.796748020400851e-005 （红色*为准确值，O为近似值）
本文主要工作 3.4 标准PSO 算法在二阶线性常微分方程两 点边值问题中的应用
绪 论
标准PSO算法在变 分问题中的应用
求解运输问题的 GAPSO算法 分层PSO算法
致 谢
1 论文的创新之处
1）本文建立了求解两个经典变分问题以及 含一阶导数变分问题的优化模型，从而成功地 应用PSO算法求解了该类变分问题。根据变分原 理，又将PSO算法应用到了求解二阶线性微分方
程的两点边值问题当中。从而拓展了PSO算法的
1 2(1 x 2 )2 2 2 2 2 y )dx min 0 ((1 x ) y ' 2 1 x y(0) 1, y(2) 1
其准确解为：
1 2x y 2 1 x
误差为：1.739915277616710e-004 （红色*为准确值，O为近似值）
本文主要工作