基于BP神经网络算法的正余弦函数逼近

实验二 基于BP 神经网络算法的正余弦函数逼近1. 实验目的（1） 掌握MATLAB 子函数编写与调用。

（2） 理解BP 神经元网络算法的原理，并利用程序实现通过BP 算法逼近任意非线性函数。

2. 实验内容与实验要求（1） 掌握BP 神经网络算法的原理。

（2） 掌握MATLAB 子函数的编写方法及调用方法。

（3） 根据BP 神经网络算法的原理，编写MA TLAB 程序，逼近非线性函数。

3. 实验原理一个2×3×1的神经网络即输入层有两个节点，隐层含三个节点，输出层有一个节点，图1 神经网络结构图图中ij w )5,4,3;2,1(==j i 为输入层与隐层的权值，jk w )6;5,4,3(==k j 为隐层与输出层的权值，1x 、2x 是神经网络的输入值，y 是网络的输出值，p y 为教师信号，e 为神经网络的实际输出与期望输出的误差。

在这个神经网络中，节点1，2是输入层， 节点3，4，5是隐层，节点6是输出层；输入层和隐层之间的权值依次252423151413,,,,,w w w w w w ，隐层和输出层间的权值为564636,,w w w ，下角标为节点的编号；隐层和输出层节点的阈值依次为3θ，4θ，5θ，6θ。

①前馈计算设隐层的第j 个节点的输入和输出分别为：∑=⋅=N i i ij j O wI 1)(j j I f O =其中)(j I f 为激励函数 j I j e I f -+=11)(由于隐层的输出就是输出层的输入，则输出层第k 个节点的总输入和输出分别为： ∑=⋅=H j j jk k O wI 1)(k k k I f O y ==若网络输出与实际输出存在误差，则将误差信号反向传播，并不断地修正权值，直至误差达到要求为止。

②权值调整设误差函数定义为： ∑=-=M k k k p y d E 12)(21 为了简便，以下计算都是针对每个节点而言，误差函数p E 记作E 。

输出层权值的调整权值修正公式为： jkjk w E w ∂∂-=∆η jkk k w I I E ∂∂∂∂-=η 定义反传误差信号k δ为：k k k k k I O O E I E ∂∂∂∂-=∂∂-=δ 式中 )(k k kO d O E --=∂∂ )()(k kk k k I f I I f I O '=∂∂=∂∂ )1()](1)[()(k k k k k O O I f I f I f -=-=' 所以 )(k k k O d -=δ)1(k k O O -又 j H j j jk jk jk k O O w w w I =∂∂=∂∂∑=)(1由此可得输出层的任意神经元权值的修正公式：j k jk O w ηδ=∆或 j k k k k jk O O d O O w ))(1(--=∆η ( 隐层权值的调整 ijij w E w ∂∂-=∆η ijj j w I I E ∂∂∂∂-=η i jO I E ∂∂-=η 式中 i Ni i ij ij ij O O w w w E =⋅∂∂=∂∂∑=)(1由于误差函数E 与隐层输入j I 不存在直接的函数关系，因此不能直接求得，所以 jj j j I O O E I E ∂∂∂∂-=∂∂- jj M k j k k I I f O I I E ∂∂⋅∂∂∂∂-=∑=)()(1 )()()(11j Hj j jk j M k k I f O w O I E '⋅⋅∂∂∂∂-=∑∑== )()(1j M k jk k I f w '⋅=∑=δ 隐层的反传误差信号为∑=⋅'=M k jk k j i w I f 1)(δδ由此可得，隐层权值的修正公式为；i M k jk k j ij O w I f w ⋅⋅'=∆∑=)()(1δη或 i Mk jk k j j ij O w O O w ⋅⋅-=∆∑=)()1(1δη4.实验设备（1）计算机（2）MATLAB软件5.实验流程（1）初始化w ij=0,w jk=0,e0=0,e1=0,e2=0，q0=0,x j=0，q1= 0，q0=0，k1=5，k=100。

（2）循环1开始，计算三角函数y=sin(4*3.14*k1*s/360)的值（3）循环2开始，进行前馈的计算，x(k+1)=x(k)+q(k)，out1(k+1)=(1-exp(-x(k+1))) / (1+exp(-x(k+1)))；out2(k+1)=1/(1-exp(-x(k+1)));n1(k+1)=w ij(k)∗out1(k+1);n2(k+1)=n1(k+1)+p(k)。

y1(k+1)=1/(1+exp(-n2(k+1))),y2(k+1)=(1-exp(-n2(k+1)))/(1+exp(-n2(k+1)))（4）计算偏差e2(k+1)=(y(k+1)-y2(k+1))^2/2;修正项xj1(k+1)=e2(k+1)-e2(k);xj2(k+1)=e2(k+1)-2*e2(k)+e1(k);反传信号的偏差为δ(k+1)=y1(k+1)*(1-y2(k+1))*(y(k+1)-y2(k+1)) （5）调整隐层权值Δw(k+1)=δ(k+1)∗w ij(k)∗(1−out1(k+1))∗out2(k+1)Δq=q1-q0;q2(k+1)=q1(k)+0.8*Δw(k+1)+0.4*Δq;Δw ij(k+1)=w ij(k+1)−w ij(k);w ij(k+1)=w ij(k)+0.8∗δ(k+1)∗xj(k+1)+0.6∗Δw ij(k+1)q0(k+1)=q1(k);q1(k+1)=q2(k+1).（6）调整输出层权值Δh=w jk(k+1)−w jk(k);w jk(k+1)=w jk(k)+0.4∗δ(k+1)∗out1(k+1)+0.75∗Δh w20(k+1)=w21(k);w21(k+1)=w jk(k+1)Δp=p(k+1)-p(k);p(k+1)=p(k)+0.9*δ(k+1)+0.6∗Δpp1(k+1)=p1(k);p1(k+1)=p(k+1).（7）判断偏差e，若小于0.0000001，则循环2结束；否则，跳转执行步骤（2）直到循环1结束。

（8） 得出实验结果为三角函数y=sin(4*3.14*k1*s/360)与逼近曲线的图形。

6. 实验结果7. 实验结果分析利用BP 神经网络算法基本能实现非线性函数的逼近，但只能对正余弦进行逼近。

在函数y 取得最大值时，误差比其他区域要大，说明在峰值时刻的点越难逼近。

而且逼近的程度与权值的加权系数有很大关系。

8. 实验代码%BP Algorithms Program%Giving initial value;%初始化w10=[0 0;0 0;0 0];w11=[0 0;0 0;0 0];w20=[0;0;0];w21=[0;0;0];q0=[0 0 0];q1=[0 0 0];p0=0;p1=0;xj=[0;0];e0=0;e1=0;e2=0;k1=5;k2=100;01020304050607080-1-0.8-0.6-0.4-0.20.20.40.60.81BP Algorithmfor s=1:72yp1=sin(4*3.14*k1*s/360);for k=1:k2;%前馈计算%得到m1,o1两个数组（3 * 1 ）for i=1:3x=w11(i,1)*xj(1,:)+w11(i,2)*xj(2,:); %xj(1,:)表示取行q1(:,i)表示取列z=x+q1(:,i); %相当于加一个初始化时的值o=(1-exp(-z))./(1+exp(-z)); % 算的是Oi 激励函数1为f1(z)=(1-e^(-z))/(1+e^(-z))m=1./(1+exp(-z)); % 算的是Oi1 激励函数2为f2(z)=1./(1+e^(-z))m1(i,:)=m; %把m的值赋给m1数组相对应的行o1(i,:)=o; %把o的值赋给o1数组相对应的行endyb=0;for i=1:3yb=yb+w21(i,:)*o1(i,:); % yb=Ikendyi=yb+p1; % yi为修正后的值n=1./(1+exp(-yi)); % 在函数2下的输出函数值n->Oky=(1-exp(-yi))./(1+exp(-yi)); % 在函数1下的输出函数值y->y%calculation error between aim and practice output;e0=e1;e1=e2;e2=((yp1-y).^2)./2; % y的权值误差函数的计算，放入e2xj1=e2-e1; % 对修正项的修正，放入xj1xj2=e2-2*e1+e0;xj=[xj1;xj2]; %总的修正数组xj( 2 * 1 )d2=n*(1-y)*(yp1-y); %d2:输出的反传误差信号%隐层的权值调整%revising weighted value and threshold value in hidden layer;for i=1:3u=w21(i,:)*d2; % u->dartak*wjkd1=(1-o1(i,:)).*u; %d1->(1-oj)*ud0=m1(i,:)*d1; % d0->m1*d1; d0=Λwijqw=q1(:,i)-q0(:,i);q2=q1(:,i)+0.8*d0+0.4*qw; %设定的阈值与计算出的阈值之间的偏差q3(:,i)=q2;for j=1:2dw=w11(i,j)-w10(i,j);w12=w11(i,j)+0.8*d0*xj(j,:)+0.6*dw;%设定的阈值与计算出的阈值之间的偏差w13(i,j)=w12;endendw10=w11;w11=w13;q0=q1;q1=q3;%输出层的权值调整%revising weighted value and threshold value in output layer;for i=1:3h=w21(i,:)-w20(i,:);w22=w21(i,:)+0.4*d2*o1(i,:)+0.75*h;w23(i,:)=w22;endw20=w21;w21=w23;ph=p1-p0;p2=p1+0.9*d2+0.6*ph;p0=p1;p1=p2;%writing error value and output value;if e2<0.0000001,break;else k=k+1;endende(s)=e2;ya(s)=yp1;yo(s)=y;s=s+1;endw11=w13;w21=w23;%graphicss1=s-1;s=1:s1;plot(s,ya,s,yo,s,yo,'g.',s,e,s,e,'rx')title('BP Algorithm');clear all。