神经网络及应用第七章基于粒子群优化算法的人工神经网络

7.2 粒子群优化算法
1995年，由 Kennedy 和 Eberhart 提出 是一种基于群集智能技术进化算法 模仿鱼群鸟群等寻找食物的行为 是一种简单而有效的方法
1
7.2 粒子群优化算法
PSO中，每个优化问题的解被看做是搜索空间域内的 一只鸟，我们称之为“粒子” 所有的粒子都有一个由被优化的函数决定的适应度； 每个粒子还有一个速度来决定他们飞翔的方向和距 离，然后粒子们就追随当前的最优粒子在解空间中搜 索
Step 3：判断是否满足停止条件（迭代次数，gbest未 更新代数等），是则停止（gbest即为所求最优解）， 否则返回Step2.
7.2 基于PSO的人工神经网络
以多层感知器为例
输出层
o1 ... ok ... ol
W1
Wk
Wl
O = (o1, o2 ,..., ok ..., ol )T W = (W1,W2 ,...,Wk ,...,Wl )
7.2 粒子群优化算法
PSO初始化为一群随机粒子（随机解），然后通过迭 代找到最优解。 在每一次迭代时，粒子通过跟踪两个“极值”来更新自 己：
– 一个是粒子本身所找到的到目前为止最好的解 pbest (personal best)
– 一个是整个种群目前找到的最好的解 gbest (global best) 有时为了比较过早收敛，使用邻域中目前找到的最好的解 lbest (local best)代替gbest
7.2 粒子群优化算法
粒子的速度及位置更新公式：
Vid = w*Vid + c1 * rand1() *( pbestid - Xid ) + c2 * rand 2() *(gbest d - Xid ) X id = X id + Vid 式中，c1 和 c2是(0,1]内的随机数，代表了将粒子推向向pbest和 gbest位置的加速度的权重。 w是惯性权重，用来平衡PSO的全局搜索能力和局部搜索能力， 大些的惯性权重有利于全局搜索而小些的惯性权重有利于局部搜 索，因而可设置一单调下降的惯性权重使得PSO在开始时有较好 的全局搜索能力，而在后期有较好的局部搜索能力。
l
dk p − ok p 2
p =1
p =1 k =1
m
n
∑ ∑ ok = f ( wjk f ( vij xi p )) , k = 1, 2,...,l, j = 1, 2,..., m
j=0
i=0
7.2 基于PSO的人工神经网络
X p = (x0 p , x1p ,..., xi p ,..., xn p )T由输入样本决定，已确定 未知数：
7.2 粒子群优化算法
优点：
– 概念简单 – 需要调节的参数很少 – 容易掌握和应用 – 收敛的快
7.2 基于PSO的人工神经网络
输出层：
ok = f (netk )
m
∑ netk = wjk y j
隐层：
j=0
y j = f (net j )
k = 1, 2,...,l k = 1, 2,...,l j = 1, 2,..., m
n
∑ net j = vij xi j = 1, 2,..., m
i=0
变换函数 f (x) 为连续、可导的单极性Sigmoid函数
f
(
x)
=
1
1 + e−
x
f '(x) = f (x)[1− f (x)]
3
7.2 基于PSO的人工神经网络
设样本数为P 目标函数：
∑ ∑∑( ) Min
P
P
E = (d p − O p )2 =
subject to g j (x) ≤ 0, j = 1,..., J hk (x) = 0, k = 1,..., K x ∈[Xmin , Xmax ]D
Байду номын сангаас
7.1 优化问题及进化计算
进化计算的研究始于20世纪50年代，其思想是将自然界中 的进化过程进入工程研究领域以解决工程中的优化问题。 Rechenberg提出进化策略（Evolutionary Strategies，ES）方 法，之后这一工作被Schwefel继续下去； Fogel，Owens和Walsh提出了进化规划（Evolutionary Programming，EP）； Holland提出了遗传算法（Genetic Algorithms，GA）； 之后研究者们又陆续提出了很多其他进化算法，如粒子群 优化算法（Particle Swam Optimizor，PSO），蚁群算法 （Ant Colony Optimization，ACO），差分进化 （Differential Evolution，DE）等。
7.2 粒子群优化算法
pbest
X gbest
2
7.2 粒子群优化算法
算法步骤： Step 1：设定粒子数，随机初始化所有粒子（位置X、 速度V），计算所有粒子的适应度（由具体问题的目 标函数决定），pbest= X ， gbest= Xbest ； Step 2： 对于每个粒子
– 使用更新公式计算新的位置和速度 – 计算适应度，如果新的位置Xi比pbesti好，更新pbesti – 如果新的位置比gbest好，更新gbest；
– 权向量W，V 将W，V合并为一个nw维变量S nw =m ×(n+1)+l×(m+1)
该网络问题转化为以nw维变量S为自变量，以最小化
误差函数E为目标的优化问题 可设 fitness = −E，即可使用粒子群优化算法来解决该 问题。
4
隐层 y0
y1
V1
输入层
x0
x1
y2 ... y j ... ym
V2
Vj
Vm
Y = ( y0 , y1,..., y j ,..., ym )T V = (V1,V2 ,...,Vj ,...,Vm )
x2 ... xi ... xn−1 三层感知器模型
X = (x0 , x1,..., xi ,..., xn )T xn
第7章 基于粒子群优化算法的 人工神经网络
优化问题及进化计算 粒子群优化算法（PSO） 基于粒子群优化算法的人工神经网络
7.1 优化问题及进化计算
优化问题:
通常我们可以用下面的式子来定义优化： Max/Min fi (x), i = 1,..., M , x = [x1, x2 ,..., xD ]