神经网络基础知识

实验十二：神经网络及其在数据拟合中的应用（设计性实验）

一、实验目的

1、了解神经网络的基本知识。

2、学会用matlab 神经网络工具箱进行数据拟合。

3、通过实例学习matlab 神经网络工具箱的应用。

二、实验原理

人工神经网络是在对复杂的生物神经网络研究和理解的基础上发展起来的。我们知道，人脑是由大约11

10个高度互连的单元构成，这些单元称为神经元，每个神经元约有4

10个连接。仿照生物的神经元，可以用数学方式表示神经元，引入人工神经元的概念，并由神经元的互连可以定义出不同种类的神经网络。 1、神经网络的概念及结构

单个人工神经元的数学表示形式如图1所示。其中，n x x x ,,,21 为一组输入信号，它们经过权值i w 加权后求和，再加上阈值b ，则得出i u 的值。可以认为该值为输入信号与阈值所构成的广义输入信号的线性组合。该信号经过传输函数)( f 可以得出神经元的输出信号y 。

图1

由若干个神经元相互连接，则可以构成一种网络，称为神经网络。由于连接方式的不同，神经网络的类型也不同。这里仅介绍前馈神经网络，因为其权值训练中采用误差逆向传播的方式，所以这类神经网络更多地称为反向传播（back propagation ）神经网络，简称BP 神经网络。BP 网的基本结构如下图所示：

MATLAB 的神经网络工具箱提供了现成的函数和神经网络类，可以使用newff()函数来建立一个前馈的BP 神经网络模型。newff()的具体调用格式如下：

net=newff(x,y,[h1,h2,…,hk],{f1,f2,…,fk})

其中，x 为输入向量，y 为输出（目标）向量。[h1,h2,…,hk]是一个行向量，用以存储神经网络各层的节点数，该向量的大小等于神经网络隐层的层数。{f1,f2,…,fk}为一个元胞数组，由若干个字符串构成，每个字符串对应于该层的传输函数类型。当这些参数设定好后，就建立了一个神经网络数据对象net ，它的一些重要属性在下表给出。

2、神经网络的训练和泛化

若建立了神经网络模型net ，则可以调用train()函数对神经网络参数进行训练。该函数的调用格式为：

[net,tr,y1,e]=train(net,x,y)

其中，变量x 为M n ⨯的矩阵，n 为输入变量的维数，M 为样本的组数，y 为M m ⨯的矩阵，m 为输出变量的维数，x ，y 分别存储样本点的输入和输出数据。由样本点数据进行训练，则可以得出训练后的神经网络对象net ，且可以返回其它相关的内容，tr 为结构体数据，返回训练的相关跟踪信息，tr.epochs 为训练步数，tr.perf 为各步目标函数的值。y1和e

矩阵分别返回由神经网络计算出的输出和误差矩阵。在训练过程中将每隔25步自动显示一次训练指标。训练结束后还可以用下面的语句绘制出目标值曲线：

plotperf(tr)

如果在给出的最大训练步数下无法得出满足要求的网络，则将给出错误的信息提示。用户可以再调用该函数一次，这时将以上次的训练结果加权矩阵为初值继续训练，用户可以循环调用该语句。如果误差在几次循环调用后仍无显著改善，则说明网络结构有问题，应该修改网络结构。

神经网络训练完成后，可以利用该网络对样本区域内的其他输入量求解其输出值，这种求值的方法称为神经网络的仿真或泛化（generalization），可以理解为利用神经网络进行数据拟合，对新的输入点数据x1调用sim()函数进行泛化，得出这些输入点处的输出矩阵y1，且

y1=sim(net,x1)

神经网络是否成功不在于对样本点本身拟合误差的大小，而关键在于其泛化效果。如果对样本点以外的其他输入点均有较好的拟合效果，则说明该神经网络结构合理。否则，训练出来的神经网络没有应用价值。

例：产生一组数据：

x=-1 :0.2 :1 ;y=1./(1+25*x.^2) ;

x0=-1 :0.1 :1 ;y0=1./(1+25*x0.^2) ;

其中，x, y为训练数据，x1, y1为测试数据。由数据可知，输入变量x为一维数据，取值范围分别为[-1,1]。利用newff()函数建立BP神经网络。设定其有2个隐层，第1隐层有5个节点，该层神经元采用tansig传输函数，第2隐层含1个节点，传输函数为tansig()函数，建立神经网络模型：

net=newff(x,y,5,{‘tansig’}) ;

net=train(net,x,y) ; %用x，y训练网络

y1=sim(net,x0) ; %调用sim()函数进行泛化

figure,plot(x,y,'o',x0,y0,x0,y1,':') ; %从图形上看神经网络的泛化能力c 用神经网络对二元函数进行曲面拟合。

例：

[x,y]=meshgrid(-3:.6:3, -2:.4:2); x=x(:)'; y=y(:)'; %生成训练样本数据

z=(x.^2-2*x).*exp(-x.^2-y.^2-x.*y); % 注意x,y,z均应为行向量

net=newff([x;y],z); %二维输入，3个隐层

net.trainParam.epochs=1000; net.trainFcn='trainlm'; %设定最大训练步数和训练算法

[net,b]=train(net,[x; y],z); % 训练神经网络

[x2,y2]=meshgrid(-3:.1:3, -2:.1:2); x1=x2(:)'; y1=y2(:)'; %生成测试样本数据figure; z1=sim(net,[x1; y1]); %求出测试样本数据的拟合输出值

z2=reshape(z1,size(x2)); surf(x2,y2,z2) %画出拟合曲面

[x,y]=meshgrid(-3:.6:3, -2:.4:2); x=x(:)';

y=y(:)';

z=(x.^2-2*x).*exp(-x.^2-y.^2-x.*y);

z=z(:)';

net=newff([-3 3;-2 2],[10,10,1],{'tansig','tansig','tansig'});

net.trainParam.epochs=1000; net.trainFcn='trainlm';

net=train(net,[x;y],z);

[x2,y2]=meshgrid(-3:.1:3, -2:.1:2); x1=x2(:)'; y1=y2(:)';

figure; z1=sim(net,[x1; y1]);

z2=reshape(z1,size(x2)); surf(x2,y2,z2)