非线性参数估计的数值方法

二、遗传算法原理
遗传算法（Genetic Algorithm，GA）：起源于应用计算机模拟生 物进化系统。
基本原理：
1）将优化问题离散后的各个可行解“编码”成“个体”（或染色 体），一群个体组成“种群”； 2）将参数编码个体（如二进制字符串），各个字符（二进制码0 或1）称为“基因”； 3）父代初始种群随机产生； 4）模拟生物进化，选择“适应度”（如优化问题的目标函数）高 的个体，进行“交叉”和“变异”操作，生成子代种群。“选 择”、“交叉”和“变异”是遗传算法的三个基本操作算子； 5）对子代种群，再进行选择、交叉和变异操作，直至收敛； 6）收敛的最优个体，对应于问题的最优或次优解。
按变异概率005实施变异操作序号交叉生成种群的个体位串随机变量y的计算结果变异生成种群的个体位串实参数适应值201129999683201677998967201194999839201355999949总和平均值最大值新一代的种群3998438999610999949在此基础上再用排序选择结合精英选择确定进入交配池的种群再实施交叉和变异操作直到适应值指标或最大进化代数达到设定的要求


从输入层通过隐层到输出层的传播为： ~ R 1 ~ ~ y y R f R ( z R ) f R (W R ~ y ) f R [W R F R 1 (W R 1 ~ y R 2 )] ~ ~ f R {W R f R 1[ f 1 (W 1 x )]}
， ， ，
( yk d k ) ~ ) E E yk ( y d ) yk E ( w k k k ~ ~ ~ w y w w k k k k f ( zk ) zk f ( zk ) ~ ~ ( y d ) x δ x k k k ~ zk wk zk
，
1.4、神经网络的学习与推理方法(续)
• BP网络的学习过程
1、信息的正向传播过程：从第r－1层到第r层传播，输入为：
z r W r y r 1 ( w1r ) T y r 1 z1r ( w r ) T y r 1 z r J J
1.4、神经网络的学习与推理方法(续)
2、误差的反向传播过程
R 误差函数： E W , θ y d 2
W W1 W 2 W R


θ θ1 θ 2 θ R



1 R ( y d )T ( y R d ) 2
连接权和阈值的更公式 ：
W r (i 1) W r (i ) E W , θ W r
基本BP算法
（7）计算 x p 的网误差
（8）通过网络将δ反向传播。
E P W , θ y R p dp
2

1 R ( y p d p )T ( y R p dp) 2
f R R 最后一层： δ R y p d p z p
R p


f r r 1 r 1 δ rW δ 逐层计算： z p
r f 2r ( z2 2r ) r f Jr ( z J Jr )
输出为： y r f r z r θ r f1r ( z1r 1r )
~ r 1 f r (W r ~ y )

T
其中：
~ W r W r θr


T
T ~ y r 1 y r 1 1
序号 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 位串 00000 00001 00010 00011 00100 00101 00110 00111 01000 01001 01010 01011 01100 01101 01110 01111 实参数 20.1000 20.1032 20.1065 20.1097 20.1129 20.1161 20.1194 20.1226 20.1258 20.1290 20.1323 20.1355 20.1387 20.1419 20.1452 20.1484 适应值 9.99178 9.99329 9.99463 9.99581 9.99683 9.99769 9.99839 9.99893 9.99931 9.99953 9.99959 9.99949 9.99923 9.99881 9.99823 9.99749 序号 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 位串 10000 10001 10010 10011 10100 10101 10110 10111 11000 11001 11010 11011 11100 11101 11110 11111 实参数 20.1516 20.1548 20.1581 20.1613 20.1645 20.1677 20.1710 20.1742 20.1774 20.1806 20.1839 20.1871 20.1903 20.1935 20.1968 20.2000 适应值 9.99658 9.99552 9.99430 9.99292 9.99137 9.98967 9.98781 9.98578 9.98360 9.98125 9.97875 9.97609 9.97326 9.97028 9.96713 9.96382
非线性参数估计的数值方法
沈云中
同济大学测量系 E-mail: yzshen@
提
• 概述
要
• 神经网络算法
• 遗传算法 • 模拟退火算法
一、神经网络算法
• 人工神经网络（Artificial Neural Network，简称 神经网络或ANN）是模拟人脑信息处理机制的 信息系统，如自组织、自适应、容错性等 • 具有自组织、自适应、容错性；思维、学习、
辑规则；2）模糊逻辑规则用神经网络来实现。
1.4、神经网络的学习与推理方法
• BP网络的学习：其实质是确定相邻层神经元间的连接权，
有两类学习：有教师学习和无教师学习；前者已知网络的 目标输出，后者则无目标输出。
• BP网络的学习规则：输入 x，网络输出y ，与目标输出d 间存在误差，调节连接权和阈值，使误差减小，达到不大 于目标误差的要求。
θ r (i 1) θ r (i )
E W , θ θ r
E W , θ r r 1 r r 1 r r 1 T r r 1 T y y y δ ( y ) 1 2 J r W f R R R δ R y d 输出层： z
• 神经元的数学模型：
x1 x2 xn
w k1 wk 2 wkn
∑
n yk f w x k kj j j 1
/ 表示神经激条件， wkj x j k 时，输出元素yk
j 1
n
1.2、神经元模型(续)
• 激活函数：
z k wkj x j k
j 1 n
激活函数f (z)有以下几种形式：
1、阈值函数：
2、非线性斜面函数： 3、Sigmoid函数：
1 f z 1 e a z
1 , f z Байду номын сангаас 0 ,
， f z c z ， ，
if z 0, if z 0
if z if z if z


E W , θ δ r r θ
隐层：
f r r 1 r 1 δ rW δ z
r
r R 1,2 ,1
R R 1 2 1 误差反向传播过程可表示为： δ δ δ δ
。
1.4、神经网络的学习与推理方法(续)
3、基本BP算法：基本BP算法的具体步骤如下：
r p
r R 1, ,2,1
（9）修正网络的权值和阈值。
r 1 T W r (t 1) W r (t ) δ p ( yr p ) r θ r (t 1) θ r (t ) δ p
r 1,2, , R
（10）如果p ＜ q，那么p = p＋1，转到（5）；否则，转到（11）。 （11） E E E p （12）如果E ≤ε，那么训练成功，转到（14）；否则，转到（13）。 （13）如果t ＜ T，那么t = t＋1，转到（4）；否则，训练未成功，转到（14）。 （14）结束。
记忆等能力；
• 通过学习和记忆而不是假设，找出输入、输出 变量之间的非线性关系（映射）
1.1、神经网络的特点
• 分布式存储信息。 • 自适应性。具有自我调节的能力， 包含：学习、自组织、泛化及训练。 • 并行性。
• 联想记忆功能。
• 自动提取特征参数。
• 容错性。
1.2、神经元模型
• 神经元：生物神经系统是由大量神经细胞（神经元）组成的 一个复杂的互联网络。
1.3、典型的神经网络模型
• BP网络模型：BP算法是非循环多级网络的训练
算法，该算法的学习过程由正向传播和反向传播 组成。
• Hopfield网络模型： Hopfield网络是一种简单且
应用广泛的反馈网络模型。
• 模糊神经网络（FNN）：神经网络与模糊逻辑
有机结合，有两类：1）神经网络中应用模糊逻
（1）输入共有q组训练样本的样本集
{( x1 , d1 ), ( x2 , d 2 ),, ( xq ,d q )}
（2）设计网络层数，每层神经元数，激活函数；权值和阈值初始化； 设置目标误差ε，学习速率η，最大训练次数T。 （3）初始化训练次数t = 0。 （4）p = 1，总误差E = 0。 （5）输入网络一对训练样本( x p , d p )
z2 f z 1 z 2 0
if z 0 其 他
e z ez f z tanh(z ) z e ez
1.2、神经元模型(续)
• 神经网络模型
~ n1 2 n 1 两层模型的输出： y k f wkj f w ji xi j k i 1 j 1
遗传算法原理框图
优化问题参数集
参数离散化并编码
种群初始化 P(t)
种群的适应度评价 种群P(t)
种群P(t+1) 结束 是 满足停止准则
否 进行遗传操作： 选择、交叉和变异
2.2 介绍遗传算法结合的简单算例
【例7.2】对某两点的距离用不同的方法丈量了5次，相应的观测值和观测权 如表7.7所示，用遗传算法求解该段距离的最优估值。
T ~ w T w 取连接权 k 和输入 ~ x x 1 ，输出为： k k
~ T~ yk f ( z k ) f (w k x)
1 2 ~ 误差函数为： E ( w k ) ( y k d k ) 2
， ；
1.4、神经网络的学习与推理方法(续)
误差的导数 ：
2.1 遗传算法计算步骤
遗传算法的计算步骤： 1. 对参数离散化，确定编码方案，随机给定一组初始解， 确定初始化种群； 2. 用适应度评价这组解的性能；
3. 根据评价结果，选择一定数量性能优异的解，进行交 叉、变异操作，得到一组新的解；
4. 返回到第2步，对该组新的解进行评价；
5. 若评价结果满足要求或进化过程达到设定的代数，计 算结束；否则转向第3步，继续进行交叉、变异操作。
（6）通网络将输入模式 x p 的正传播，计算网络的输出 y p
0 初值： y p x p
r 1 r 1 r 1 r r 1 逐层计算输出：y p f W y p θ r 0,1,2, , R 1
最后一层输出：
yp yR p
。
1.4、神经网络的学习与推理方法(续)
f ( z k ) 其中：δk ( yk d k ) zk
E w k E k x w k
因此，有
E θ k E δk θ k
代入最速下降法迭代关系，得学习规则：
wk (i 1) wk (i) i k x
k (i 1) k (i) i k
2.3 遗传编码与译码
• 参数空间到GA编码空间的映射称为编码；从编码空间到参数空间 的映射为解码。 • 参数空间中所有的点（潜在解）必须与GA编码空间中的个体必须 一一对应，称为编码条件。
2.3 遗传编码与译码
• 个体位串编码空间到参数空间的映射为译码，译码函数为：
算例的编码
长度为L=5的二进制编码。编码精度为