BP神经网络实例

q 1
Q
2 1 m dqj xqj 。 2 j 1
（7）如果性能指标满足精度要求，即 E ，那么训练结束，否则，转到（2） ，继
续下一个训练周期。 是小的正数，根据实际情况而定，例如 0.01
3、流程图 根据 BP 网络的算法，我们可得流程图如下。
参数设置
初始化权值和阈值 训练周期数 计算并保存各网络层的输出 计算并保存传递误差 Yes 修正并保存权值和阈值 s
BP 神经网络实例
智能控制
第一章
一、BP 神经网络基本概念
1、人工神经网络
BP 神经网络基本原理
人工神经网络 ANN（Artificial Neural Network） ，是对人类大脑系统的一阶特性 的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以 用计算机程序来模拟，是人工智能研究地一种方法。近年来发展迅速并逐渐成 熟的一种人工智能技术，其来源于对神经元细胞的模拟。人工神经网络具有以 下三个特点:信息分布表示，运算全局并行与局部操作，信息非线性处理。由于 这三个特点，使得由人工神经网络构成的分类器具有强大的数据拟和与泛化能 力，因而广泛运用于模式识别与机器学习领域。 神经网络模式识别的过程分为两步:首先是学习过程，通过大量的训练样本，对 网络进行训练，根据某种学习规则不断对连接权值进行调节，然后使网络具有 某种期望的输出，这种输出就可以将训练样本正确分类到其所属类别中去，此 时可以认为网络是学习到了输入数据或样本间的内在规律。接下来是分类过 程，应用前面学习过程所训练好的权值，对任意送入网络的样本进行分类。 人工神经网络模型各种各样，目前已有数十种。他们从各个角度对生物神经系 统的不同层次进行了描述和模拟。代表模型有感知机、多层映射 BP 网、 RBF 网络、HoPfiled 模型、Boit~机等等。虽然人工神经网络有很多模型，但按神经 元的连接方式只有两种型态:没有反馈的前向网络和相互结合型网络。前向网络 是多层映射网络，每一层中的神经元只接受来自前一层神经元的信号，因此信 号的传播是单方向的。BP 网络是这类网络中最典型的例子。在相互结合型网络 中，任意两个神经元都可能有连接，因此输入信号要在网络中往返传递，从某 一初态开始，经过若干变化，渐渐趋于某一稳定状态或进入周期震荡等其它状 态，这方面典型的网络有 Hopfiled 模型等。
学习率为 0.1，动量项学习率为 0.05，训练次数为 5000，训练样本数为 11*11。 图形如下：
学习实际输出
1.5 1 0.5 0 -0.5 15 10 5 0 0 5 15 10
学习期望输出
1
0.5
0
-0.5 15 10 5 0 0 5 15 10
7
智能控制
检验期望输出 1 0 -1 20 10 0 0 10 10 2 0 -2 20 10
5000
（2）学习率为 0.2，样本点数为 30，学习次数为 5000 时的曲线如下：
1.2 1 0.8 0.6 0.4 0.2 0 -0.2 学习曲线
1.2 1 0.8 0.6 0.4 0.2 0 -0.2 检验曲线
y=cos(x)
y=cos(x)
0
1
2
3
x
4
5
6
7
0
1
2
3
x
4
5
6
7
1.4 1.2 1 0.8 0.6 0.4 0.2 0
3、 f 3 x , y
sin x sin y ; x, y ( 10,10) x y
取 11*11 个点来训练网络，并用 21*21 个点测试拟合的曲面。
二、计算结果如下
1、第一个函数： f1 ( x ) cos( x ), x (0, 2 )
1 0.8 0.6 0.4 学习曲线
1 0.8 0.6 0.4 0.2
y=cos(x)
检验曲线
0.2
y=cos(x)
0 -0.2 -0.4 -0.6 -0.8 -1 0 1 2 3 4 5 6 7
0 -0.2 -0.4 -0.6 -0.8 -1 0 1 2 3 4 5 6 7
x
x
3
误差曲线
（2）学习率为 0.2，训练次数 为 3300 时 训练过程如学习曲线所示， 圈圈为学习后产生的，折线为标 准函数点连线。检验过程如检验 曲线所示，点序列为拟合曲线上
1.4 1.2 1 0.8 0.6 0.4 0.2 0
检验曲线
y=cos(x)
y=cos(x)

0
1
2
3
x
4
5
6
7
0
1
2
3
x
4
5
6
7
5
智能控制
1.1 1 0.9 0.8 0.7 0.6 0.5 0.4
误差曲线
误差值
0
500
1000
1500
2000 2500 3000 训练次数
3500
4000
4500
1 0.5 0
0
500
1000
1500 2000 训练次数
2500
3000
3500
2、第二个函数： f 2 ( x ) sin( x ) , x (0, 2 ) （1）学习率为 0.2，样本点数为 10，学习次数为 5000 时的曲线如下：
1.4 1.2 1 0.8 0.6 0.4 0.2 0 学习曲线
误差曲线
从函数 2 可以看出，样本点 个数越多时，曲线精度越高。但 学习时间会有所增加。
误差值
0
500
1000
1500
2000 2500 3000 训练次数
3500
4000
4500
5000
6
智能控制
3、第三个函数 f 3 x, y
sin x sin y ; x, y ( 10,10) x y
（4）计算训练误差
j (l ) (d qj x (jl ) ) f ' ( s (jl ) ) ，输出层
j
(l ) ( l 1) f ( s ) (l 1) wkj ，隐含层和输入层 ' (l ) j k 1 nl 1
2
智能控制
（5）修正权值和阈值
w(jil 1) [k 1] w(jil ) [k ] j ( l ) xi( l 1) (w(jil ) [k ] w(jil ) [k 1])
9
智能控制
s3=w3*x2-o3; %x3=1./(1+exp(-s3)); x3(i)=s3; %反向计算： %e3=(yf(i)-x3)./(exp(s3)+2+exp(-s3)); e3=yf(i)-x3(i); e2=((w3)'*e3)./(exp(s2)+2+exp(-s2)); e1=((w2)'*e2)./(exp(s1)+2+exp(-s1)); %权值和阈值修正 w3=w3+a*e3*(x2)'; w2=w2+a*e2*(x1)'; w1=w1+a*e1*(X(:,i))'; o3=o3-a*e3; o2=o2-a*e2; o1=o1-a*e1; end E(j)=0.5*((yf-x3)*(yf-x3)'); time=time+1; if E(j)<b break end end %检验 m=0:2*pi/(Nj-1):2*pi; n=0:2*pi/(Nj-1):2*pi; x=m; y=n; ym=eval(fcn); M(1,:)=x; M(2,:)=y; m3=zeros(1,Nj); for i=1:1:Nj S1=w1*M(:,i)-o1; m1=1./(1+exp(-S1)); S2=w2*m1-o2; m2=1./(1+exp(-S2)); S3=w3*m2-o3; %m3(i)=1./(1+exp(-S3)); %输出层输出 %第二层隐含层输出 %第一层隐含层输出 %期望输出 %方差 %记录学习次数 %阈值修正 %权值修正 %第二层隐含层误差 %第一层隐含层误差 %输出层误差 %输出层输出
否 是否满足精度
是 结论
3
智能控制
第二章
一、实例要求
1、 f1 ( x ) cos( x ), x (0, 2 )
BP 神经网络实例分析
取九个点来训练网络，然后得出拟合曲线。 2、 f 2 ( x ) sin( x ) , x (0, 2 )
取适当数量训练点来训练网络，然后得出拟合曲线
1
智能控制
2、BP 神经网络 BP 算法是利用输出层的误差来估计输出层的直接前导层的误差，再用这个误差 估计更前一层的误差。如此下去，就获得了所有其他各层的误差估计。这样就 形成了将输出端表现出的误差沿着与输入信号传送相反的方向逐级向网络的输 入端传递的过程。因此，人们就又将此算法称为向后传播算法，简称 BP 算 法。 如下图所示：
算法过程为 （1）设置各权值和阈值的初始值 w(jil ) [0] ， (j l ) [0](l 0,1,..., L) 为小随机数。
（2）输入训练样本 I q , d q ，对每个样本进行（3）~(5)步。


（3）计算各个网络层的实际输出
x ( l ) f (s ( l ) ) f (w( l ) x ( l 1) ( l ) )
10
智能控制
m3(i)=S3; end figure(1);plot(m,ym,'g-'); hold on plot(m,m3,'r.'); title('检验曲线'); xlabel('x'); ylabel('y=cos(x) '); figure(2);plot(x0,yf,'b-'); hold on plot(x0,x3,'ro'); title('学习曲线'); xlabel('x'); ylabel('y=cos(x)'); k=1:time; figure(3);plot(k,E); title('误差曲线'); xlabel('训练次数'); ylabel('误差值'); 第三个函数的程序 %此 BP 网络为两层隐含层，每个隐含层 10 个节点。输入输出各一层 %输入层和输出层均采用恒等函数，隐含层采用 S 形函数 clear all; close all; b=0.05; a=0.1; c=0.05; Num=11; N=5000; Nj=21; o0=rand(2,1); o1=rand(10,1); o2=rand(10,1); o3=rand(1,1); w1=rand(10,2); w2=rand(10,10); w3=rand(1,10); o1_before=zeros(4,1); o2_before=zeros(4,1); o3_before=zeros(1,1); %精度要求 %学习率 %动量项学习率 %训练样本数 %训练次数 %检验样本数 %输入层阈值 %第一层隐含层阈值 %第二层隐含层阈值 %输出层阈值 %输入层与第一层隐含层的权系数 %第一层隐含层与第二层隐含层的权系数 %第二层隐含层与输出层的权系数 %用于存储前一次的阈值