BP神经网络在Matlab函数逼近中的应用
BP神经网络原理及其MATLAB应用
BP神经网络原理及其MATLAB应用BP神经网络（Back Propagation Neural Network）是一种基于梯度下降算法的人工神经网络模型，具有较广泛的应用。
它具有模拟人类神经系统的记忆能力和学习能力，可以用来解决函数逼近、分类和模式识别等问题。
本文将介绍BP神经网络的原理及其在MATLAB中的应用。
BP神经网络的原理基于神经元间的权值和偏置进行计算。
一个标准的BP神经网络通常包含三层：输入层、隐藏层和输出层。
输入层负责接收输入信息，其节点数与输入维度相同；隐藏层用于提取输入信息的特征，其节点数可以根据具体问题进行设定；输出层负责输出最终的结果，其节点数根据问题的要求决定。
BP神经网络的训练过程可以分为前向传播和反向传播两个阶段。
前向传播过程中，输入信息逐层传递至输出层，通过对神经元的激活函数进行计算，得到神经网络的输出值。
反向传播过程中，通过最小化损失函数的梯度下降算法，不断调整神经元间的权值和偏置，以减小网络输出与实际输出之间的误差，达到训练网络的目的。
在MATLAB中，可以使用Neural Network Toolbox工具箱来实现BP神经网络。
以下是BP神经网络在MATLAB中的应用示例：首先，需导入BP神经网络所需的样本数据。
可以使用MATLAB中的load函数读取数据文件，并将其分为训练集和测试集：```data = load('dataset.mat');inputs = data(:, 1:end-1);targets = data(:, end);[trainInd, valInd, testInd] = dividerand(size(inputs, 1), 0.6, 0.2, 0.2);trainInputs = inputs(trainInd, :);trainTargets = targets(trainInd, :);valInputs = inputs(valInd, :);valTargets = targets(valInd, :);testInputs = inputs(testInd, :);testTargets = targets(testInd, :);```接下来，可以使用MATLAB的feedforwardnet函数构建BP神经网络模型，并进行网络训练和测试：```hiddenLayerSize = 10;net = feedforwardnet(hiddenLayerSize);net = train(net, trainInputs', trainTargets');outputs = net(testInputs');```最后，可以使用MATLAB提供的performance函数计算网络的性能指标，如均方误差、相关系数等：```performance = perform(net, testTargets', outputs);```通过逐步调整网络模型的参数和拓扑结构，如隐藏层节点数、学习率等，可以进一步优化BP神经网络的性能。
基于MATLAB的BP神经网络实现研究
方法与实验设计
基于MATLAB的BP神经网络实现主要包括以下几个步骤：
1、数据预处理：首先需要对数据进行预处理，包括数据清洗、归一化等操 作。
2、网络设计：根据问题特点选择合适的网络结构，并确定输入层、输出层 和隐藏层的节点数。
3、训练模型：使用MATLAB中的神经网络工具箱进行模型训练。
2、在防止过拟合方面，可以研究更有效的正则化方法和技术，以避免模型 在训练过程中产生过拟合问题。
3、在网络结构设计方面，可以研究更加智能的自适应网络结构设计方法， 以简化人工设计网络的复杂度。
4、可以进一步拓展BP神经网络在其他领域的应用研究，例如自然语言处理、 生物信息学等。
谢谢观看
结论与展望
本次演示研究了基于MATLAB的BP神经网络实现方法，通过实验设计和实验结 果分析，可以得出以下结论：
1、BP神经网络在解决分类、逼近和优化等问题方面具有较好的性能，证实 了其在实际应用中的价值。
2、在超参数调整方面，学习率和迭代次数对模型性能具有重要影响，需要 根据实际问题进行调整。
2、函数逼近：BP神经网络可以用于逼近复杂的非线性函数。例如，在控制 系统、信号处理等领域，可以利用BP神经网络对系统进行建模和预测。
3、优化问题：BP神经网络可以应用于求解各种优化问题。例如，利用BP神 经网络实现函数的最小化、多目标优化等。
然而，目前的研究还存在着一些问题。首先，由于BP神经网络的训练速度较 慢，可能需要进行大量的迭代才能得到较好的结果。其次，BP神经网络的训练过 程中容易出现过拟合问题，这可能导致模型的泛化能力下降。最后，BP神经网络 的性能受到初始参数的影响较大，如何选择合适的参数也是亟待解决的问题。
4、模型评估与优化：通过验证数据集评估模型的性能，并进行参数调整和 优化。
BP神经网络用MATLAB逼近非线性函数及其泛化能力的分析
BP网络逼近非线性函数及其泛 化能力的分析
则得到以下所示未经训练的BP网络期 望输出不实际输出曲线比较
接着对函数进行训练
在M文件中输入如下函数：
net.trainParam.goal=0.001;
net=train(net,u,d);
%训练精度设置 为0.001 %网络训练
经过1183次训练达到了要求
经过训练后可以看到网络输出基本不样本输出 一致。这说明经过训练后，BP网络对非线性 函数的逼近效果相当好。
逼近对象
如下：
f (u ) e
[ 1.9 ( u 0.5 )]
sin( u ) 10
由于作用函数采取S型函数，样本数据和测试数据尽量在[-1,1] 之间取。所以样本数据取： u=-0.4:0.04:0.36 测试数据取： u1=-0.48:0.05:0.47
在MATLAB中建立M文件下输入 如下命令：
王江
引言
函数逼近问题是神经网络研究的基本问题 之一.目前，非线性系统的研究已成为国内外科 学研究的热点。复杂非线性系统辨识是非线性 系统研究的前提和基础，其中非线性系统的黑 箱辨识问题尤为引人注目。而具有良好函数逼 近能力的神经网络为非线性系统黑箱辨识提供 了一种十分有效的工具。本文选取比较有代表 性的BP神经网络对非线性函数的逼近问题进行 研究，并通过实际的建模仿真给出了相关的实 验结果。
参考文献
BP神经网络在函数逼近中的应用研究
BP神经网络在函数逼近中的应用研究作者：高坤来源：《电子技术与软件工程》2015年第20期摘要函数逼近在纯数学领域、工程和物理学领域得到了广泛的应用。
利用人工神经网络映射能力，通过样本不断学习实现对未知函数的逼近。
利用BP神经网络研究人工神经网络在函数逼近中的应用，研究过程利用MATLAB神经网络工具箱设计网络并进行仿真实验。
【关键词】人工神经网络函数逼近 BP神经网络1 引言运用逼近的思想可解决日常生活中的很多问题，随着科学技术的发展形成了一种新的理论--函数逼近论，这种函数逼近论在数学领域、工程和物理学领域得到了广泛的应用。
本文研究人工神经网络在函数逼近中的应用，并就网络结构和参数的设计对逼近性能的影响进行分析。
2 函数逼近与BP神经函数网络在数值计算中，通常需要对函数值进行计算，例如，计算基本初等函数和其他特殊函数。
如果函数只在有限点集上给定函数值时，给出一个简单的函数表达式，该函数在包含有限点集的区间内。
这涉及到在一区间上使用一个简单的函数来逼近复杂的函数，这是一个函数逼近问题。
BP神经网络一般是指基于误差反向传播算法（Error Back Propagation，BP算法）的多层前向神经网络，BP神经网络的神经元的传递函数一般都是采用Sigmoid型的可微函数，该传递函数可用以实现任意的非线性的输入与和输出间的映射，在数据处理与数据压缩、模式识别与智能系统、函数逼近等领域BP神经网络都有着广泛应用。
3 利用BP神经网络实现函数逼近下面研究BP神经网络在函数逼近中的应用。
对于非线性函数，设计一个BP神经网络实现对该函数的逼近。
假设在频率参数设为时对该非线性函数进行仿真研究，通过改变调节隐层神经元的数目n研究函数逼近能力与信号的隐层节点之间的关系。
通过改变非线性函数中的频率参数k和该函数的隐层神经元的数目n，k和n的改变对函数逼近的影响有一定的影响。
一般来说，如果非线性函数的非线性的程度越高，对需要设计的BP神经网络的要求则就越高，而且在用相同的BP神经网络来进行逼近时其效果则更差；而且隐层神经元的数目n对于BP神经网络逼近的效果也有很大影响，一般来说BP神经网络逼近非线性函数的能力越强，隐层神经元数目n就需要越大。
实验二 基于BP神经网络算法的函数逼近
2、实验内容与实验要求 掌握BP神经网络算法的原理。 掌握matlab子函数的编写方法及调用方法。 根据BP神经网络算法的原理，编写Matlab程序，逼近非线性函 数。 3、实验要求 1) 自己编写Matlab函数。 2) 书写实验报告。 3) 分析实验结果，用图描述出非线性函数的真实曲线以及 BP算法逼近的曲线。 4、实验设备 1) 计算机 2) Matlab软件 5、实验原理 BP神经网络算法: 神经网络由神经元和权重构成，神经元即为：输入节点，输出 节点和隐层结点三部分；权重是各个神经元相互连接的强度。 神经网络通过训练，从样本中学习知识，并且将知识以数值的 形式存储于连接权中。神经网络的分类过程分成两部分，首先 学习网络的权重，利用一些已知的数据训练网络得到该类数据 模型的权重；接着根据现有的网络结构和权重等参数得到未知 样本的类别。BP算法被称作反向传播算法，主要思想是从前向 后（正向）逐层传播信息；从后向前（反向）逐层传播输出层 的误差，间接算出隐层误差。
8、运行结果
9、实验结果分析 1) 此次逼近的函数为y=cosx，蓝线为真实的正弦曲线，绿 色为逼近的正弦曲线，红色代表误差曲线，从图像上可 以得出逼近结果与原曲线契合程度高，效果良好。
2) 为了测试程序广泛适用性，对函数进行修改反复测试，效果良 好，误差十分小。
3) BP算法能很有效的完成数据训练，是一个训练数据的好 方法。
6bp算法具体步骤前馈计算由于隐层的输出就是输出层的输入则输出层第k个节点的总输入和输出分别若网络输出与实际输出存在误差则将误差信号反向传播并不断地修正权值直至误差达到要求为止
实验二 基于BP神经网络算法的函数逼近
1、实验目的 掌握Matlab子函数的编写与调用。 理解BP神经网络算法的原理，并利用程序实现利用 近任意非线性函数。 BP算法逼
BP网络MATLAB仿真介绍
BP网络MATLAB仿真介绍对于BP网络，存在一个重要的结论，即单隐层的BP网络可以逼近任意的非线性映射，前提是隐含层的神经元个数可以随意调整。
下面以一个单隐层的BP神经网络设计为例，介绍利用神经网络工具箱进行BP网络设计及分析的过程。
此处，利用一个单隐层的BP网络来逼近一个函数。
1.问题描述通过对函数进行采样得到了网络的输入变量P和目标变量T，分别为：P = -1 : 0.1 : 1;T = [-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201];每组向量都有21维数据，可以将输入向量和目标向量绘制在一起，如下图：2. 网络设计网络的输入层和输出层的神经元个数均为1，根据隐含层设计经验，解决该问题的网络的隐层神经元个数应该在3~8之间。
下面设计一个隐含层神经元数目可变的BP网络，通过误差对比，确定最佳的隐含层神经元个数，并检查隐含层神经元个数对网络性能的影响。
网络设计及训练代码如下：P = -1 : 0.1 : 1;T = [-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201];s = 3 : 8; % S表示隐层数目的可选项res = 1 : 6;for i = 1 : 6% 隐含层神经元的传递函数为tansig，输出层神经元的传递函数为logsig% 目标函数在[-1, 1]间，刚好满足tansig的输出要求。
(完整版)BP神经网络matlab实例(简单而经典)
p=p1';t=t1';[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t); %原始数据归一化net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingdx');%设置网络,建立相应的BP网络net.trainParam.show=2000; % 训练网络net.trainParam.lr=0.01;net.trainParam.epochs=100000;net.trainParam.goal=1e-5;[net,tr]=train(net ,pn,tn); %调用TRAINGDM算法训练BP 网络pnew=pnew1';pnewn=tramnmx(pnew,minp,maxp);anewn=sim(net,pnewn); %对BP网络进行仿真anew=postmnmx(anewn,mint,maxt); %还原数据y=anew';1、BP网络构建（1）生成BP网络=net newff PR S S SNl TF TF TFNl BTF BLF PF(,[1 2...],{ 1 2...},,,)PR：由R维的输入样本最小最大值构成的2R⨯维矩阵。
S S SNl：各层的神经元个数。
[ 1 2...]{ 1 2...}TF TF TFNl：各层的神经元传递函数。
BTF：训练用函数的名称。
（2）网络训练[,,,,,] (,,,,,,)=net tr Y E Pf Af train net P T Pi Ai VV TV（3）网络仿真=[,,,,] (,,,,)Y Pf Af E perf sim net P Pi Ai T{'tansig','purelin'},'trainrp'2、BP网络举例举例1、%traingdclear;clc;P=[-1 -1 2 2 4;0 5 0 5 7];T=[-1 -1 1 1 -1];%利用minmax函数求输入样本范围net = newff(minmax(P),T,[5,1],{'tansig','purelin'},'trainrp');net.trainParam.show=50;%net.trainParam.lr=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;[net,tr]=train(net,P,T);net.iw{1,1}%隐层权值net.b{1}%隐层阈值net.lw{2,1}%输出层权值net.b{2}%输出层阈值sim(net,P)举例2、利用三层BP神经网络来完成非线性函数的逼近任务，其中隐层神经元个数为五个。
（整理）BP神经网络matlab实现和matlab工具箱使用实例.
（整理）BP神经网络matlab实现和matlab工具箱使用实例.BP神经网络matlab实现和matlab工具箱使用实例经过最近一段时间的神经网络学习，终于能初步使用matlab实现BP网络仿真试验。
这里特别感谢研友sistor2004的帖子《自己编的BP算法（工具：matlab）》和研友wangleisxcc的帖子《用C++，Matlab，Fortran实现的BP算法》前者帮助我对BP算法有了更明确的认识，后者让我对matlab下BP函数的使用有了初步了解。
因为他们发的帖子都没有加注释，对我等新手阅读时有一定困难，所以我把sistor2004发的程序稍加修改后加注了详细解释，方便新手阅读。
%严格按照BP网络计算公式来设计的一个matlab程序,对BP网络进行了优化设计%yyy，即在o(k)计算公式时，当网络进入平坦区时(<0.0001)学习率加大，出来后学习率又还原%v(i,j)=v(i,j)+deltv(i,j)+a*dv(i,j); 动量项clear allclcinputNums=3; %输入层节点outputNums=3; %输出层节点hideNums=10; %隐层节点数maxcount=20000; %最大迭代次数samplenum=3; %一个计数器，无意义precision=0.001; %预设精度yyy=1.3; %yyy是帮助网络加速走出平坦区alpha=0.01; %学习率设定值a=0.5; %BP优化算法的一个设定值，对上组训练的调整值按比例修改字串9error=zeros(1,maxcount+1); %error数组初始化；目的是预分配内存空间errorp=zeros(1,samplenum); %同上v=rand(inputNums,hideNums); %3*10;v初始化为一个3*10的随机归一矩阵; v表输入层到隐层的权值deltv=zeros(inputNums,hideNums); %3*10;内存空间预分配dv=zeros(inputNums,hideNums); %3*10;w=rand(hideNums,outputNums); %10*3;同Vdeltw=zeros(hideNums,outputNums);%10*3dw=zeros(hideNums,outputNums); %10*3samplelist=[0.1323,0.323,-0.132;0.321,0.2434,0.456;-0.6546,-0.3242,0.3255]; %3*3;指定输入值3*3(实为3个向量)expectlist=[0.5435,0.422,-0.642;0.1,0.562,0.5675;-0.6464,-0.756,0.11]; %3*3;期望输出值3*3(实为3个向量)，有导师的监督学习count=1;while (count<=maxcount) %结束条件1迭代20000次c=1;while (c<=samplenum)for k=1:outputNumsd(k)=expectlist(c,k); %获得期望输出的向量,d(1:3)表示一个期望向量内的值endfor i=1:inputNumsx(i)=samplelist(c,i); %获得输入的向量（数据）,x(1:3)表一个训练向量字串4end%Forward();for j=1:hideNumsnet=0.0;for i=1:inputNumsnet=net+x(i)*v(i,j);%输入层到隐层的加权和∑X(i)V(i)endy(j)=1/(1+exp(-net)); %输出层处理f(x)=1/(1+exp(-x))单极性sigmiod函数endfor k=1:outputNumsnet=0.0;for j=1:hideNumsnet=net+y(j)*w(j,k);endif count>=2&&error(count)-error(count+1)<=0.0001o(k)=1/(1+exp(-net)/yyy); %平坦区加大学习率else o(k)=1/(1+exp(-net)); %同上endend%BpError(c)反馈/修改;errortmp=0.0;for k=1:outputNumserrortmp=errortmp+(d(k)-o(k))^2; %第一组训练后的误差计算enderrorp(c)=0.5*errortmp; %误差E=∑(d(k)-o(k))^2 * 1/2%end%Backward();for k=1:outputNumsyitao(k)=(d(k)-o(k))*o(k)*(1-o(k)); %输入层误差偏导字串5endfor j=1:hideNumstem=0.0;for k=1:outputNumstem=tem+yitao(k)*w(j,k); %为了求隐层偏导，而计算的∑endyitay(j)=tem*y(j)*(1-y(j)); %隐层偏导end%调整各层权值for j=1:hideNumsfor k=1:outputNumsdeltw(j,k)=alpha*yitao(k)*y(j); %权值w的调整量deltw(已乘学习率)w(j,k)=w(j,k)+deltw(j,k)+a*dw(j,k);%权值调整，这里的dw=dletw(t-1)，实际是对BP算法的一个dw(j,k)=deltw(j,k); %改进措施--增加动量项目的是提高训练速度endendfor i=1:inputNumsfor j=1:hideNumsdeltv(i,j)=alpha*yitay(j)*x(i); %同上deltwv(i,j)=v(i,j)+deltv(i,j)+a*dv(i,j);dv(i,j)=deltv(i,j);endendc=c+1;end%第二个while结束；表示一次BP训练结束double tmp;tmp=0.0; 字串8for i=1:samplenumtmp=tmp+errorp(i)*errorp(i);%误差求和endtmp=tmp/c;error(count)=sqrt(tmp);%误差求均方根,即精度if (error(count)<precision)%另一个结束条件< p="">break;endcount=count+1;%训练次数加1end%第一个while结束error(maxcount+1)=error(maxcount);p=1:count;pp=p/50;plot(pp,error(p),"-"); %显示误差然后下面是研友wangleisxcc的程序基础上，我把初始化网络，训练网络，和网络使用三个稍微集成后的一个新函数bpnet %简单的BP神经网络集成，使用时直接调用bpnet就行%输入的是p-作为训练值的输入% t-也是网络的期望输出结果% ynum-设定隐层点数一般取3~20;% maxnum-如果训练一直达不到期望误差之内，那么BP迭代的次数一般设为5000% ex-期望误差，也就是训练一小于这个误差后结束迭代一般设为0.01% lr-学习率一般设为0.01% pp-使用p-t虚拟蓝好的BP网络来分类计算的向量，也就是嵌入二值水印的大组系数进行训练然后得到二值序列% ww-输出结果% 注明：ynum,maxnum,ex,lr均是一个值；而p,t,pp,ww均可以为向量字串1% 比如p是m*n的n维行向量，t那么为m*k的k维行向量，pp为o*i的i维行向量,ww为o* k的k维行向量%p,t作为网络训练输入，pp作为训练好的网络输入计算,最后的ww作为pp经过训练好的BP训练后的输出function ww=bpnet(p,t,ynum,maxnum,ex,lr,pp)plot(p,t,"+");title("训练向量");xlabel("P");ylabel("t");[w1,b1,w2,b2]=initff(p,ynum,"tansig",t,"purelin"); %初始化含一个隐层的BP网络zhen=25; %每迭代多少次更新显示biglr=1.1; %学习慢时学习率(用于跳出平坦区)litlr=0.7; %学习快时学习率(梯度下降过快时)a=0.7 %动量项a大小(△W(t)=lr*X*ん+a*△W(t-1))tp=[zhen maxnum ex lr biglr litlr a 1.04]; %trainbpx[w1,b1,w2,b2,ep,tr]=trainbpx(w1,b1,"tansig",w2,b2,"purelin", p,t,tp);ww=simuff(pp,w1,b1,"tansig",w2,b2,"purelin"); %ww就是调用结果下面是bpnet使用简例:%bpnet举例，因为BP网络的权值初始化都是随即生成，所以每次运行的状态可能不一样。
BP神经网络在Matlab函数逼近中的应用
燕山大学模式识别与智能系统导论题目： BP网络在函数逼近中的应用专业：控制工程姓名： X X X 学号：一BP神经网络及其原理............................................................ - 1 -1.1 BP神经网络定义............................................................. - 1 -1.2 BP神经网络模型及其基本原理..................................... - 1 -1.3 BP神经网络的主要功能................................................. - 3 -1.4 BP网络的优点以及局限性............................................. - 3 - 二基于MATLAB的BP神经网络工具箱函数 ........................ - 6 -2.1 BP网络创建函数............................................................. - 7 -2.2 神经元上的传递函数...................................................... - 7 -2.3 BP网络学习函数............................................................. - 8 -2.4 BP网络训练函数............................................................. - 9 - 三BP网络在函数逼近中的应用.............................................. - 10 -3.1 问题的提出.................................................................... - 10 -3.2 基于BP神经网络逼近函数......................................... - 10 -3.3 不同频率下的逼近效果................................................ - 14 -3.4 讨论................................................................................ - 17 -一BP神经网络及其原理1.1 BP神经网络定义BP (Back Propagation)神经网络是一种神经网络学习算法。
基于BP神经网络的函数逼近实验及MATLAB实现_曹旭帆
! ( 3) 由 ymj = F
W y m m- 1 ij i
计算从第一层直至输
i
出层各节点 j的输出 ymj , 其中上标 m 为 BP 网络的层
标号, F 为神经元的激励函数 ymi - 1为 BP网络 m - 1层
的 i节点的输出, Wmij为 m - 1层的 i节点到 m 层的 j节
点的连接权值, M = M, M - 1, ∀, 1。
!mj = !mj +
m j
( 9) 返回 2, 输入下一组数据前重复 ( 2) ∃ ( 8)的
过程。由此可见, BP 算法的主要思路是从后向前逐层
传播输出层的误差, 并用此误差修正前层权值。
对于 BP 神经网络, 有一个重要定理, 对于任何闭
区间内的连续函数, 都可以用一个三层的 BP 网络逼
近, 本文要研究的问题就是 BP 网络的 隐层神经元个
根据上述一系列实验以及各种算法的训练速度计算量及内存需求量我们设计的bp网络net隐层神经元数目定为16输入输出层神经元数目为1隐层输出层传递函数均为tansig训练函数为traingdx用样本训练网络net训练步数为10000步目标误差0000001bp网络net经过训练达到误差精度要求逼近误差e为00044959netiw11表示隐层16个神经元和输入层1神经元之间的连接权值netlw21表示输出层1个神经元和隐层16个神经元之间的连接权值netb1表示隐层16个神经元的阈值netb2表示输出个神经元的阈值bp网络net的各项权值和阈值如下
关键词: BP 神经网络; MATLAB; 函数逼近; 多项式拟合
中图分类号: TP183
文献标识码: A
文章编号: 1006- 7167( 2008) 05- 0034- 05
Matlab的BP神经网络工具箱及其在函数逼近中的应用
Matlab的BP神经⽹络⼯具箱及其在函数逼近中的应⽤1.神经⽹络⼯具箱概述Matlab神经⽹络⼯具箱⼏乎包含了现有神经⽹络的最新成果，神经⽹络⼯具箱模型包括感知器、线性⽹络、BP⽹络、径向基函数⽹络、竞争型神经⽹络、⾃组织⽹络和学习向量量化⽹络、反馈⽹络。
本⽂只介绍BP神经⽹络⼯具箱。
2.BP神经⽹络⼯具箱介绍BP神经⽹络学习规则是不断地调整神经⽹络的权值和偏值，使得⽹络输出的均⽅误差和最⼩。
下⾯是关于⼀些BP神经⽹络的创建和训练的名称：（1）newff:创建⼀前馈BP⽹络（隐含层只有⼀层）（2）newcf:创建⼀多层前馈BP⽹络（隐含层有多层）（3）train:训练⼀个神经⽹络（4）sim:仿真⼀个神经⽹络以上⼏个是最主要的语句，在后⾯的实例应⽤中会详细说明⽤法。
3.BP神经⽹络⼯具箱在函数逼近中的应⽤BP神经⽹络具有很强的映射能⼒，主要⽤于模式识别分类、函数逼近、函数压缩等。
下⾯通过实例来说明BP⽹络在函数逼近⽅⾯的应⽤。
本⽂需要逼近的函数是f(x)=1+sin(k*pi/2*x),其中，选择k=2进⾏仿真，设置隐藏层神经元数⽬为n,n可以改变，便于后⾯观察隐藏层节点与函数逼近能⼒的关系。
3.1 k=2,n=5时的仿真实验先作出⽬标曲线的图形，以下为matlab代码：clear allclc%%%%%%%%%%设置⽹络输⼊值和⽬标值%%%%%%%%%%k=2;%f(x)中的k值x=[-1:.05:8];f=1+sin(k*pi/2*x);plot(x,f,'-');title('要逼近的⾮线性函数');xlabel('时间');ylabel('⾮线性函数');接着⽤newff函数建⽴BP神经⽹络结构，以下为matlab代码：%%%%%%%%%%建⽴⽹络%%%%%%%%%%n=5;%隐藏层节点数net = newff(minmax(x),[n,1],{'tansig' 'purelin'},'trainlm');%对于初始⽹络，可以应⽤sim（）函数观察⽹络输出。
基于BP神经网络的函数逼近方法及其MATLAB实现
%、 % && 、 ’% 等 传 统 的 高 级 编 程 语 言 ， 采 用 功 能 强 大 的 ()*+)# 语 言 编 程 ， 直 接 调 用 ()*+)# 软 件 包 中 的 #$
神经网络工具箱函数， 使程序简捷明了， 达到了事半功倍 的效果。
!
"# 神 经 网 络 及 其 函 数 逼 近 能 力
#$ 神 经 网 络 的 学 习 过 程 由 正 向 和 反 向 传 播 二 部 分 组
成 。在 正 向 传 播 过 程 中 ， 每一层神经元的状态只影响到下 一 层 神 经 元 网 格 。如 果 输 出 层 不 能 得 到 期 望 输 出 ， 就是实 际输出值和期望输出值之间存在误差，从而转入反向传 播过程， 将 误 差 信 号 沿 原 来 的 连 接 通 路 返 回 。通 过 修 改 各 层神经元的权值， 逐 次 地 向 输 入 层 传 播 并进 行 计 算 ， 再进 行正 向 传 播 。 这 二 个 过 程 的 反 复 运 用 ， 使 得 误 差 信 号 最 小。实际上， 误差达到人们所希望的要求时， 网络的学习 过程就结束。
#$ 定 理 可知， 只 要 用 一 个 三 层 #$ 神 经 网 络 就 可 在 任 意
希望的精度上实现任意的连续函数。 但实际上， 还要使用 其 原 因 是 用 三 层 #$ 神 经 网 络 来 更 多 层 的 #$ 神 经 网 络 ， 实 现 往 往 需 要 大 量 的 隐 含 层 节 点 ， 而 使 用 更 多 层 的 #$ 神 经 网 络 来 实 现 可 减 少 隐 含 层 节 点 的 数 目 。 如 何 选取隐 含层的层数和节点数， 至今还没有确切的方法和理论， 通 常是凭借对学习样本和测试样本的误差交叉评价的试错 法选取。
MATLAB程序代码--bp神经网络应用举例
MATLAB程序代码--bp神经网络应用举例1BP神经网络的设计实例例1采用动量梯度下降算法训练BP网络。
训练样本定义如下：输入矢量为p=[-1-231-115-3]目标矢量为t=[-1-111]解：本例的MATLAB程序如下：close allclearecho onclc%NEWFF——生成一个新的前向神经网络%TRAIN——对BP神经网络进行训练%SIM——对BP神经网络进行仿真pause%敲任意键开始clc%定义训练样本%P为输入矢量P=[-1,-2,3,1;-1,1,5,-3];%T为目标矢量T=[-1,-1,1,1];pause;clc%创建一个新的前向神经网络net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')%当前输入层权值和阈值inputWeights=net.IW{1,1}inputbias=net.b{1}%当前网络层权值和阈值layerWeights=net.LW{2,1}layerbias=net.b{2}pauseclc%设置训练参数net.trainParam.show=50;%两次显示之间的训练次数,缺省值为25 net.trainParam.lr=0.05;%学习速率net.trainParam.mc=0.9;%动量常数设置,缺省就是0.9net.trainParam.epochs=1000;%训练次数,缺省值为100net.trainParam.goal=1e-3;%网络性能目标,缺省值为0clc%调用TRAINGDM算法训练BP网络[net,tr]=train(net,P,T);pauseclc%对BP网络进行仿真A=sim(net,P)%计算仿真误差E=T-AMSE=mse(E)pauseclcecho off例2采用贝叶斯正则化算法提高BP网络的推广能力。
BP神经网络逼近(matlab程序)
BP神经网络逼近y=1/x，MATLAB程序%BP神经网络逼近y=1/x;%----------------定义必要的变量方便调试--------------------clear;clc;q=8; %神经元个数max_epoch=100000; %最大训练次数err_goal=0.01; %期望误差最小值alpha =0.01; %学习率X = 1:0.5:10; %样本D=1./X; %期望值[m,n] = size(X); %m为输入个数，n为样本数量l=1; %单输出wjk = rand(l,q); %隐层到输出层的初始权值vij = rand(q,m); %输入层到隐层的初始权值for epoch=1:max_epoch%-------------------------前向传播求输入--------------------NETj=vij*X; %隐层净输入Yj=1./(1+exp(-NETj)); %计算隐层输出NETk=wjk*Yj; %输出层净输入Ok=1./(1+exp(-NETk));%计算输出层输出e=((D-Ok)*(D-Ok)')/2; %计算误差函数E(epoch)=e;if(e<err_goal)char='达到输出误差要求学习结束'break;end%-------------------反向传播调权值-------------------------------%调整输出层权值deltak=Ok.*(1-Ok).*(D-Ok);wjk=wjk+alpha*deltak*Yj';%调整隐含层权值deltai=Yj.*(1-Yj).*(deltak'*wjk)';vij=vij+alpha*deltai*X';end%-----------------取样本测试---------------------------------Xx = 1:3:66;D1 = 1./Xx; %期望输出[m1,n1] = size(Xx);NETj1=vij*Xx; %隐层净输入Yj1=1./(1+exp(-NETj1)); %计算隐层输出NETk1=wjk*Yj1; %输出层净输入Ok1=1./(1+exp(-NETk1));%计算输出层输出%-----------------------显示与绘图---------------------------------epoch %显示样本集计算次数Ok %显示训练集输出层输出Ok1 %显示测试集输出层输出subplot(2,2,1);plot(X,D,'b-o'); %样本与期望值title('训练集网络样本')subplot(2,2,2);plot(X,Ok,'b-o',X,D,'r-x');%训练集网络输出与期望值title('训练集网络输出与期望值')subplot(2,2,3);plot(1:1:epoch,E,'k*'); %显示误差title('训练集输出误差')subplot(2,2,4);plot(Xx,Ok1,'b-o',Xx,D1,'r-x'); %绘制样本及网络输出title('测试集网络输出与期望值')运行结果当隐层神经元个数q=8时char =达到输出误差要求学习结束epoch =86197Ok =Columns 1 through 100.8717 0.7039 0.5349 0.4121 0.3313 0.2775 0.2398 0.2120 0.1908 0.1741Columns 11 through 190.1608 0.1499 0.1410 0.1337 0.1276 0.1225 0.1183 0.1147 0.1117Ok1 =Columns 1 through 100.8717 0.2398 0.1410 0.1117 0.1013 0.0972 0.0956 0.0950 0.0947 0.0946Columns 11 through 200.0945 0.0945 0.0945 0.0945 0.0945 0.0945 0.0945 0.0945 0.0945 0.0945Columns 21 through 220.0945 0.0945当隐层神经元个数q=2时epoch =100000Ok =Columns 1 through 100.3222 0.3112 0.3007 0.2910 0.2821 0.2741 0.2668 0.2603 0.2546 0.2495Columns 11 through 190.2451 0.2413 0.2379 0.2351 0.2326 0.2305 0.2287 0.2271 0.2258Ok1 =Columns 1 through 100.3222 0.2668 0.2379 0.2258 0.2211 0.2194 0.2187 0.2185 0.2184 0.2184Columns 11 through 200.2184 0.2184 0.2184 0.2184 0.2184 0.2184 0.2184 0.2184 0.2184 0.2184Columns 21 through 220.2184 0.2184结果分析由运行结果和图形可以看出隐层神经元个数q=8时，网络训练86197次就能使误差达到0.01q=2时，网络训练次数达到最大值100000次还没有达到误差允许的范围。
BP神经网络的MATLAB语法介绍
BP神经网络的MATLAB语法介绍BP神经网络（Back Propagation Neural Network）是一种常用的人工神经网络算法，其目的是通过反向传播算法来训练网络模型，实现模式识别和函数逼近等任务。
在MATLAB中，可以使用Neural Network Toolbox来实现BP神经网络模型的构建和训练。
本文将介绍BP神经网络的MATLAB语法，包括网络的构建、训练、预测和模型评估等方面。
一、网络构建1.网络结构定义在MATLAB中，可以使用feedforwardnet函数来定义BP神经网络的结构。
该函数有两个参数，第一个参数是一个向量，表示每一层的节点数；第二个参数是一个向量，表示每一层的传输函数。
例如，下面的代码定义了一个具有2个输入节点、10个隐藏节点和1个输出节点的BP神经网络：```net = feedforwardnet([2, 10, 1]);```2.网络参数初始化网络参数初始化可以使用init函数，其参数是一个BP神经网络对象。
例如，下面的代码将使用init函数来初始化上一步中定义的网络对象：```net = init(net);```二、训练网络1.数据准备在训练BP神经网络之前，需要将数据集划分为输入和输出，然后进行数据归一化处理。
在MATLAB中，可以使用mat2cell函数将数据集划分为输入和输出集合，使用mapminmax函数来归一化数据。
例如，下面的代码将数据集划分为输入集合和输出集合，并进行数据归一化处理：```inputs = mat2cell(data(:, 1:end-1)', size(data, 2)-1,ones(size(data, 1), 1));outputs = mat2cell(data(:, end)', ones(size(data, 1), 1), 1);[input, inputPS] = mapminmax(cat(2, inputs{:}));[output, outputPS] = mapminmax(cat(2, outputs{:}));```2.训练参数设置在训练BP神经网络之前，需要设置一些训练参数，例如训练算法和最大训练次数。
BP神经网络在MATLAB上的实现与应用
收稿日期:2004-02-12作者简介:桂现才(1964)),海南临高人,湛江师范学院数学与计算科学学院讲师,从事数据分析与统计,数据挖掘研究.2004年6月第25卷第3期湛江师范学院学报JO URN AL OF Z HA NJI ANG NOR M AL CO LL EG E Jun 1,2004Vol 125 N o 13BP 神经网络在M ATLAB 上的实现与应用桂现才(湛江师范学院数学与计算科学学院,广东湛江524048)摘 要:BP 神经网络在非线性建模,函数逼近和模式识别中有广泛地应用,该文介绍了B P 神经网络的基本原理,利用MA TL AB 神经网络工具箱可以很方便地进行B P 神经网络的建立、训练和仿真,给出了建立BP 神经网络的注意事项和例子.关键词:人工神经网络;BP 网络;NN box MA TL AB中图分类号:TP311.52 文献标识码:A 文章编号:1006-4702(2004)03-0079-051 BP 神经网络简介人工神经网络(Artificial Neural Netw orks,简称为N N)是近年来发展起来的模拟人脑生物过程的人工智能技术.它由大量简单的神经元广泛互连形成的复杂的非线性系统,它不需要任何先验公式,就能从已有数据中自动地归纳规则,获得这些数据的内在规律,具有很强的非线性映射能力,特别适合于因果关系复杂的非确性推理、判断、识别和分类等问题.基于误差反向传播(Back propagation)算法的多层前馈网络(Multiple -layer feedf or ward net 2work,简记为BP 网络),是目前应用最多也是最成功的网络之一,构造一个BP 网络需要确定其处理单元)))神经元的特性和网络的拓扑结构.1.1神经元模型神经元是神经网络最基本的组成部分,一般地,一个有R 个输入的神经元模型如图1所示.其中P 为输入向量,w 为权向量,b 为阈值,f 为传递函数,a 为神经元输出.所有输入P 通过一个权重w 进行加权求和后加上阈值b 再经传递函数f 的作用后即为该神经元的输出a.传递函数可以是任何可微的函数,常用的有Sigmoid 型和线性型.1.2 神经网络的拓扑结构神经网络的拓扑结构是指神经元之间的互连结构.图2是一个三层的B P 网络结构.B P 网络由输入层、输出层以及一个或多个隐层节点互连而成的一种多层网,这种结构使多层前馈网络可在输入和输出间建立合适的线性或非线性关系,又不致使网络输出限制在-1和1之间.2 M A TLAB 中B P 神经网络的实现BP 网络的训练所采用的算法是反向传播法,可以以任意精度逼近任意的连续函数,近年来,为了解决BP 网络收敛速度慢,训练时间长等不足,提出了许多改进算法[1][2].在应用BP 网络解决实际问题的过程中,选择多少层网络、每层多少个神经元节点、选择何种传递函数、何种训练算法等,均无可行的理论指导,只能通过大量的实验计算获得.这无形增加了研究工作量和编程计算工作量.M AT L AB 软件提供了一个现成的神经网络工具箱(Neural Netw ork T oolbox,简称N Nbox),为解决这个矛盾提供了便利条件.下面针对BP 网络的建立、传递函数的选择、网络的训练等,在介绍NN box 相关函数的基础上,给出利用这些函数编程的方法.2.1 神经网络的建立M AT LAB 的N Nbox 提供了建立神经网络的专用函数ne wff().用ne wf f 函数来确定网络层数、每层中的神经元数和传递函数,其语法为:net =ne wf f(PR,[S1,S2,,,S N],{TF1,TF2,,,T FN},B TF,BL F,PF)其中PR 是一个由每个输入向量的最大最小值构成的Rx2矩阵.Si 是第i 层网络的神经元个数.TFi 是第i 层网络的传递函数,缺省为tansig,可选用的传递函数有tansig,logsig 或purelin.BT F )字符串变量,为网络的训练函数名,可在如下函数中选择:traingd 、traingdm 、traingdx 、trainbfg 、trainlm 等,缺省为trainlm.BL F )字符串变量,为网络的学习函数名,缺省为learngdm.BF )字符串变量,为网络的性能函数,缺省为均方差c mse cnew ff 在确定网络结构后会自动调用init 函数用缺省参数来初始化网络中各个权重和阈值,产生一个可训练的前馈网络,即该函数的返回值为net.由于非线性传递函数对输出具有压缩作用,故输出层通常采用线性传递函数,以保持输出范围.2.2 神经网络训练初始化后的网络即可用于训练,即将网络的输入和输出反复作用于网络,不断调整其权重和阈值,以使网络性能函数net.performFcn 达到最小,从而实现输入输出间的非线性映射.对于new ff 函数产生的网络,其缺省的性能函数是网络输出和实际输出间的均方差M SE.在N Nbox 中,给出了十多种网络学习、训练函数,其采用的算法可分为基本的梯度下降算法和快速算法,各种算法的推导参见文献[1][2].在M A T LAB 中训练网络有两类模式:逐变模式(incremental mode)和批变模式(batch mode).在逐变模式中,每一个输入被作用于网络后,权重和阈值被更新一次.在批变模式中,所有的输入被应用于网络后,权重和阈值才被更新一次.使用批变模式不需要为每一层的权重和阈值设定训80湛江师范学院学报(自然科学) 第25卷练函数,而只需为整个网络指定一个训练函数,使用起来相对方便,而且许多改进的快速训练算法只能采用批变模式,在这里我们只讨论批变模式,以批变模式来训练网络的函数是train ,其语法主要格式为:[net,tr]=train(N ET,p,t),其中p 和t 分别为输入输出矩阵,NET 为由ne wff 产生的要训练的网络,net 为修正后的网络,tr 为训练的记录(训练步数epoch 和性能perf).train 根据在new ff 函数中确定的训练函数来训练,不同的训练函数对应不同的训练算法.Traingd 基本梯度下降算法.收敛速度慢,可用于增量模式训练.Traingdm 带有趋势动量的梯度下降算法.收敛速度快于Traingd,可用于增量模式训练.Traingdx 自适应学习速度算法.收敛速度快于Traingd,仅用于批量模式训练.Trainnp 强适应性BP 算法.用于批量模式训练,收敛速度快,数据占用存储空间小.Traincgf Fletcher-reeves 变梯度算法.是一种数据占用存储空间最小的变梯度算法.Traincgp Polak -Ribiere 变梯度算法.存储空间略大于Traincgp,但对有些问题具有较快的收敛速度.Traincgb Powell-beale 变梯度算法.存储空间略大于Traincgp,具有较快的收敛速度.Trainsc g 固定变比的变梯度算法.是一种无需线性搜索的变梯度算法.Trainbf g BFGS 拟牛顿算法.数据存储量近似于Hessian 矩阵,每个训练周期计算虽大,但收敛速度较快.Trainoss 变梯度法与拟牛顿法的折中算法.Trainlm Levenberg -Marquardt 算法.对中度规模的网络具有较快的收敛速度.Trainbr 改进型L )M 算法.可大大降低确定优化网络结构的难度.训练时直接调用上述的函数名,调用前为下列变量赋初始值:net.trainParam.show )))每多少轮显示一次;net.trainPara m.L r )))学习速度;net.trainParam.epochs )))最大训练轮回数;net.trainPara m.goal )))目标函数误差.2.3 仿真函数及实例利用仿真函数可对训练好的网络进行求值运算及应用.函数调用形式为:a=sim(net,p);其中net 为训练好的网络对象,p 为输入向量或矩阵,a 为网络输出.如果P 为向量,则为单点仿真;P 为矩阵,则为多点仿真.作为应用示例利用上述的函数,可解决下述非线性单输入单输出系统的模型化问题.已知系统输入为:x(k)=sin(k*P /50)系统输出为:y(k)=0.7sin(P x)+0.3sin(3P x)假定采样点k I [0,50].采用含有一个隐层的三层BP 网络建模,为了便于比较建立了两个模型.模型一的神经元为{1,7,1},模型二为{3,7,1},输入层和隐层传递函数均为TA NSIG 函数,输出层为线性函数.网络训练分别采用基本梯度下降法和变学习速度的梯度下降法.可编制如下的应用程序:k=0:50;x(k)=sin(k*pi/50);y(k)=0.7*sin(pi*x)+0.3*sin(3*pi*x);net=new ff([0,1],[1,7,1],{-tansig .,.tansig .,.purelin .},.traingd .);%建立模型一,并采用基本梯度下降法训练.net.trainParam.show=100;%100轮回显示一次结果81第3期 桂现才:BP 神经网络在M A TL AB 上的实现与应用82湛江师范学院学报(自然科学)第25卷net.trainParam.L r=0.05;%学习速度为0.05net.trainParam.epochs=50000;%最大训练轮回为50000次net.trainParam.goal=1e-4;%均方误差为0.0001net=train(net,x,y);%开始训练,其中x,y分别为输入输出样本y1=sim(net,x);%用训练好的模型进行仿真plot(x,y,x,y1);%绘制结果曲线若采用模型二,仅需将程序第4句ne wf f函数中的第二个参数改为[3,7,1].若采用变学习速度算法,仅需将该函数第4个参数改为.traingda.,加入:net.trainparam.lr-inc=1.05%;训练速度增加系数.一句即可.模型一用基本梯度下降法,训练次数要5万次以上,用变学习速度的梯度下降法,训练次数为4214次.模型二用基本梯度下降法,训练次数要5万次以上,用变学习速度的梯度下降法,训练次数6511次.(M A TL AB6.0)以上结果反映出BP网络经有效训练后可很好地逼近非线性函数.但其训练次数过多,训练时间长.3建立BP神经网络的注意事项利用M A TL AB软件提供的工具箱编制采用BP网络解决非线性问题程序是一种便捷、有效、省事的途径,但在使用时要解决好以下几个关键环节.3.1神经元结点数网络的输入与输出结点数是由实际问题的本质决定的,与网络性能无关.网络训练前的一个关键步骤是确定隐层结点数L,隐层结点数的选择与其说具有科学性,不如说更具有技巧性,往往与输入数据中隐含的特征因素有关.L的选择至今仍得不到一个统一的规范.L的初始值可先由以下两个公式中的其中之一来确定[3][4].l=m+n(1)或l=0143mn+0112n2+2154m+0177n+0135+0151(2)其中m、n分别为输入结点数目与输出结点数目.隐层结点数可根据公式(1)或(2)得出一个初始值,然后利用逐步增长或逐步修剪法.所谓逐步增长是先从一个较简单的网络开始,若不符合要求则逐步增加隐层单元数到合适为止;逐步修剪则从一个较复杂的网络开始逐步删除隐层单元,具体实现已有不少文献讨论.3.2传递函数的选择工具箱提供了三种传递函数:L og-sigmoid、tan-sigmoid和线性函数.前两种为非线性函数,分别将x I(-],+])的输入压缩为y I[0,1]和y I[-1,+1]的输出.因此,对非线性问题,输入层和隐层多采用非线性传递函数,输出层采用线性函数,以保持输出的范围,就非线性传递函数而言,若样本输出均大于零时,多采用L og-sigmoid函数,否则,采用Tan-sigmoid函数.对线性系统而言,各层多采用线性函数.3.3数据预处理和后期处理如果对神经网络的输入和输出数据进行一定的预处理,可以加快网络的训练速度,M A TL AB 中提供的预处理方法有(1)归一化处理:将每组数据都变为-1至1之间数,所涉及的函数有pre mnmx、postmnmx、tramnmx;(2)标准化处理:将每组数据都化为均值为0,方差为1的一组数据,所涉及的函数有prestd、poststd、trastd;(3)主成分分析:进行正交处理,可减少输入数据的维数,所涉及的函数有prepca、trapca.(4)回归分析与相关性分析:所用函数为postrg,可得到回归系数与相关系数,也可用[5]介绍的方法进行置信区间分析.下面以归一化处理为例说明其用法,另外两种预处理方法的用法与此类似.对于输入矩阵p 和输出矩阵t 进行归一化处理的语句为:[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t);训练时应该用归一化之后的数据,即:net =train(net,pn,tn);训练结束后还应对网络的输出an =sim(net ,pn)作如下处理:a =postmnmx(an,mint,maxt);当用训练好的网络对新数据pne w 进行预测时,也应作相应的处理:pnew n =tramnmx(pne w,minp,maxp);ane wn =sim(net,pne wn);ane w =postmnmx(anew,mint,ma xt);3.4 学习速度的选定学习速度参数net.trainparam.lr 不能选择的太大,否则会出现算法不收敛.也不能太小,会使训练过程时间太长.一般选择为0.01~0.1之间的值,再根据训练过程中梯度变化和均方误差变化值来确定.3.5 对过拟合的处理网络训练有时会产生/过拟合0,所谓/过拟合0就是训练集的误差被训练的非常小,而当把训练好的网络用于新的数据时却产生很大的误差的现象,也就是说此时网络适应新情况的泛化能力很差.提高网络泛化能力的方法是选择合适大小的网络结构,选择合适的网络结构是困难的,因为对于某一问题,事先很难判断多大的网络是合适的.为了提高泛化能力,可用修改性能函数和提前结束训练两类方法来实现,详见[6].参考文献:[1] 张乃尧、阎平凡.神经网络与模糊控制[M].北京:清华大学出版社,1998.[2] 刘增良、刘有才.模糊逻辑与神经网络)))理论研究与探索[M].北京:北京航空航天大学出版社,1996.[3] 徐庐生.微机神经网络[M].北京:中国医药科技出版社,1995.[4] 高大启.有教师的线性基本函数前向三层神经网络结构研究[J].计算机学报,1998,21(1):80-85[5] 陈小前,罗世彬,王振国,等1B P 神经网络应用中的前后处理过程研究[J].系统工程理论与实践,2002,22(1):65-70.[6] 闵惜琳、刘国华.用MA TLAB 神经网络工具箱开发B P 网络应用[J].计算机应用,2001,21(8):163-164.[7] 飞思科技产品研发中心.MA TLAB 6.5辅助神经网络分析与设计[M].北京:电子工业出版社,2003.Realization of BP Networks and Their Applications on MATLABG UI Xian-cai(Mathe matics and C omputational Science School,Zhanji ang Normal C ollege,Zhanjiang,Guangdong 524048,Chi na)Abstract:B P Neural Netw orks are widely applied in nonlinear modeling,f unction approach,and pat 2tern rec ognition.This paper introduces the fundmental of BP Neural Networks.Nnbox can be easily used to create,train and simulate a netw ork,w hile some e xamples and explanations are given.Key words:Artificial Neural Netw orks;B P Networks;Nnbox;M A TL AB 83第3期 桂现才:BP 神经网络在M A TL AB 上的实现与应用。
BP神经网络的Matlab实现
首先创建 Bp 神经网络 : Matlab 的 NNbox 提供了建立神经网络的专用函数 newff( ) 用 newff 函数来确定网络 层数、 每层中的神经元数和传递函数, 其语法为: net = newff ( PR, Si, {TFi} , BTF, BLF, PF) 其中 PR 是一个由每个 输入向量的最大最小值构成的 Rx2 矩阵 ; Si 是第 i 层网络的神经元个数 ; TFi 是第 i 层网络的传递函数 ; BTF ! 字符串变量, 为网络的训练函数名 ; BLF ! 字符串变量 , 为网络的学习函数名 ; BF ! 字符串变量 , 为网络的性能 函数. 使用 newff 创建 Bp 神经网络后, 网络会自动地初始化权值和阈值 , 缺省值都是 0. 如果要设置这些初始 值, 可以使用函数 init( ) , 格式 : net= init( net) . 初始化后的网络即可用于训练 , 即将网络的输入和输出反复作用于网络, 不断调整其权重和阈值, 以使网 络误差达到期望值. 训练格式为 [ net, tr] = train ( NET, P, T ) , 其中 P 和 T 分别为输入输出矩阵, NET 为由 newff 定义的网络 , net 为修正后的网络, tr 为训练的记录 ( 训练步数 epochs 和性能 perf ) . train 根据在 newff 函数中确 定的训练函数来训练 . NNbox 中给出了十多种网络学习、 训练函数, 其采用的算法可分为基本梯度下降法和快 [ 3] 速算法, 各种算法的推导参见文献 . 在 Matlab 中神经网络的仿真是用函数 sim( ) 来实现的. 函数 sim( ) 的调用格式为 y= sim( net, p) . 其中 y 为 网络输出 ; net 为神经网络对象 ; p 为输入向量或矩阵 , 如果 p 为向量 , 则为单点仿真 ; p 为矩阵, 则为多点仿真.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
燕山大学模式识别与智能系统导论题目： BP网络在函数逼近中的应用专业：控制工程姓名： X X X 学号：一BP神经网络及其原理............................................................ - 1 -1.1 BP神经网络定义............................................................. - 1 -1.2 BP神经网络模型及其基本原理..................................... - 1 -1.3 BP神经网络的主要功能................................................. - 3 -1.4 BP网络的优点以及局限性............................................. - 3 - 二基于MATLAB的BP神经网络工具箱函数 ........................ - 6 -2.1 BP网络创建函数............................................................. - 7 -2.2 神经元上的传递函数...................................................... - 7 -2.3 BP网络学习函数............................................................. - 8 -2.4 BP网络训练函数............................................................. - 9 - 三BP网络在函数逼近中的应用.............................................. - 10 -3.1 问题的提出.................................................................... - 10 -3.2 基于BP神经网络逼近函数......................................... - 10 -3.3 不同频率下的逼近效果................................................ - 14 -3.4 讨论................................................................................ - 17 -一BP神经网络及其原理1.1 BP神经网络定义BP (Back Propagation)神经网络是一种神经网络学习算法。
其由输入层、中间层、输出层组成的阶层型神经网络，中间层可扩展为多层。
相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。
然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。
此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。
1.2 BP神经网络模型及其基本原理BP网络是一种多层前馈神经网络，由输入层、隐层和输出层组成。
图7为一个典型的三层BP网络的拓扑结构，层与层之间采用全互连方式，同一层之间不存在相互连接,隐层可以有一层或多层。
层与层之间有两种信号在流通：一种是工作信号(用实线表示)，它是施加输入信号后向前传播直到在输出端产生实际输出的信号，是输入和权值的函数。
另一种是误差信号(用虚线表示),网络实际输出与期望输出间的差值即为误差，它由输出端开始逐层向后传播。
BP网络的学习过程程由前向计算过程和误差反向传播过程组成。
在前向计算过程中，输入量从输入层经隐层逐层计算，并传向输出层，每层神经元的状态只影响下一层神经元的状态。
如输出层不能得到期望的输出，则转入误差反向传播过程，误差信号沿原来的连接通路返回，逐次调整网络各层的权值和阈值，直至到达输入层，再重复向计算。
这两个过程一次反复进行，不断调整各层的权值和阈值，使得网络误差最小或达到人们所期望的要求时，学习过程结束。
图1 典型BP神经网络模型生物神经元信号的传递是通过突触进行的一个复杂的电化学等过程, 在人工神经网络中是将其简化模拟成一组数字信号通过一定的学习规则而不断变动更新的过程，这组数字储存在神经元之间的连接权重。
网络的输入层模拟的是神经系统中的感觉神经元，它接收输入样本信号。
输入信号经输入层输入，通过隐含层的复杂计算由输出层输出，输出信号与期望输出相比较，若有误差，再将误差信号反向由输出层通过隐含层处理后向输入层传播。
在这个过程中，误差通过梯度下降算法，分摊给各层的所有单元，从而获得各单元的误差信号，以此误差信号为依据修正各单元权值，网络权值因此被重新分布。
此过程完成后，输入信号再次由输入层输入网络，重复上述过程。
这种信号正向传播与误差反向传播的各层权值调整过程周而复始地进行着，直到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。
权值不断调整的过程就是网络的学习训练过程。
BP 神经网络的信息处理方式具有如下特点:1）信息分布存储。
人脑存储信息的特点是利用突触效能的变化来调整存储内容，即信息存储在神经元之间的连接强度的分布上，BP神经网络模拟人脑的这一特点，使信息以连接权值的形式分布于整个网络。
2) 信息并行处理。
人脑神经元之间传递脉冲信号的速度远低于冯·诺依曼计算机的工作速度，但是在很多问题上却可以做出快速的判断、决策和处理，这是由于人脑是一个大规模并行与串行组合的处理系统。
BP神经网络的基本结构模仿人脑，具有并行处理的特征，大大提高了网络功能。
3）具有容错性。
生物神经系统部分不严重损伤并不影响整体功能，BP神经网络也具有这种特性，网络的高度连接意味着少量的误差可能不会产生严重的后果，部分神经元的损伤不破坏整体，它可以自动修正误差。
这与现代计算机的脆弱性形成鲜明对比。
4）具有自学习、自组织、自适应的能力。
BP神经网络具有初步的自适应与自组织能力，在学习或训练中改变突触权值以适应环境，可以在使用过程中不断学习完善自己的功能，并且同一网络因学习方式的不同可以具有不同的功能，它甚至具有创新能力，可以发展知识，以至超过设计者原有的知识水平。
1.3 BP神经网络的主要功能目前，在人工神经网络的实际应用中。
绝大部分的神经网络模型都采用BP神经网络及其变化形式。
它也是前向网络的核心部分，体现了人工神经网络的精华。
BP网络主要用于以下四方面。
（1）函数逼近：用输入向量和相应的输出向量训练一个网络以逼近一个函数。
（2）模式识别：用一个待定的输出向量将它与输入向量联系起来。
（3）分类：把输入向量所定义的合适方式进行分类。
（4）数据压缩：减少输出向量维数以便传输或存储。
1.4 BP网络的优点以及局限性BP神经网络最主要的优点是具有极强的非线性映射能力。
理论上，对于一个三层和三层以上的BP网络，只要隐层神经元数目足够多，该网络就能以任意精度逼近一个非线性函数。
其次，BP神经网络具有对外界刺激和输入信息进行联想记忆的能力。
这是因为它采用了分布并行的信息处理方式，对信息的提取必须采用联想的方式，才能将相关神经元全部调动起来。
BP 神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息。
这种能力使其在图像复原、语言处理、模式识别等方面具有重要应用。
再次，BP 神经网络对外界输入样本有很强的识别与分类能力。
由于它具有强大的非线性处理能力，因此可以较好地进行非线性分类, 解决了神经网络发展史上的非线性分类难题。
另外，BP 神经网络具有优化计算能力。
BP神经网络本质上是一个非线性优化问题, 它可以在已知的约束条件下，寻找一组参数组合，使该组合确定的目标函数达到最小。
不过，其优化计算存在局部极小问题，必须通过改进完善。
由于BP网络训练中稳定性要求学习效率很小，所以梯度下降法使得训练很慢。
动量法因为学习率的提高通常比单纯的梯度下降法要快一些，但在实际应用中还是速度不够，这两种方法通常只应用于递增训练。
多层神经网络可以应用于线性系统和非线性系统中，对于任意函数模拟逼近。
当然，感知器和线性神经网络能够解决这类网络问题。
但是，虽然理论上是可行的，但实际上BP网络并不一定总能有解。
对于非线性系统，选择合适的学习率是一个重要的问题。
在线性网络中，学习率过大会导致训练过程不稳定。
相反，学习率过小又会造成训练时间过长。
和线性网络不同，对于非线性多层网络很难选择很好的学习率。
对那些快速训练算法，缺省参数值基本上都是最有效的设置。
非线性网络的误差面比线性网络的误差面复杂得多，问题在于多层网络中非线性传递函数有多个局部最优解。
寻优的过程与初始点的选择关系很大，初始点如果更靠近局部最优点，而不是全局最优点，就不会得到正确的结果，这也是多层网络无法得到最优解的一个原因。
为了解决这个问题，在实际训练过程中，应重复选取多个初始点进行训练，以保证训练结果的全局最优性。
网络隐层神经元的数目也对网络有一定的影响。
神经元数目太少会造成网络的不适性，而神经元数目太多又会引起网络的过适性。
二基于MATLAB的BP神经网络工具箱函数快速发展的Matlab软件为神经网络理论的实现提供了一种便利的仿真手段。
Matlab神经网络工具箱的出现，更加拓宽了神经网络的应用空间。
神经网络工具箱将很多原本需要手动计算的工作交给计算机，一方面提高了工作效率，另一方面，还提高了计算的准确度和精度，减轻了工程人员的负担。
神经网络工具箱是在MATLAB环境下开发出来的许多工具箱之一。
它以人工神经网络理论为基础，利用MATLAB编程语言构造出许多典型神经网络的框架和相关的函数。
这些工具箱函数主要为两大部分。
一部分函数特别针对某一种类型的神经网络的，如感知器的创建函数、BP网络的训练函数等。
而另外一部分函数则是通用的，几乎可以用于所有类型的神经网络，如神经网络仿真函数、初始化函数和训练函数等。
这些函数的MATLAB 实现，使得设计者对所选定网络进行计算过程，转变为对函数的调用和参数的选择，这样一来，网络设计人员可以根据自己的的需要去调用工具箱中有关的设计和训练程序，从烦琐的编程中解脱出来，集中精力解决其他问题，从而提高工作效率。
神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器和BP网络等。