BP神经网络实验报告
BP神经网络逼近非线性函数
应用BP 神经网络逼近非线性函一、实验要求1、逼近的非线性函数选取为y=sin(x 1)+cos(x 2) ，其中有两个自变量即x1,x2,一个因变量即y。
2、逼近误差<5% ，即：应用测试数据对网络进行测试时，神经网络的输出与期望值的最大误差的绝对值小于期望值的5% 。
3、学习方法为经典的BP 算法或改进形式的BP 算法，鼓励采用改进形式的BP 算法。
4、不允许采用matlab 中现有的关于神经网络建立、学习、仿真的任何函数及命令。
二、实验基本原理2.1神经网络概述BP 神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传播，误差反向传播。
在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。
每一层的神经元状态只影响下一层神经元状态。
如果输出层得不到期望输出，则转入反向传播，根据预判误差调整网络权值和阈值，从而使BP 神经网络预测输出不断逼近期望输出。
BP 神经网络的拓扑结构如图所示。
2.2BP 神经网络训练步骤BP 神经网络预测前首先要训练网络，通过训练使网络具有联想记忆和预测能力。
BP 神经网络的训练过程包括以下几个步骤。
步骤 1 ：网络初始化。
根据系统输入输出序列(X,Y) 确定网络输入层节点数n 、隐含层节点数l、输出层节点数m ，初始化输入层、隐含层和输出层神经元之间的连接权值ωij，ωjk ，初始化隐含层阈值a，输出层阈值 b ，给定学习速率和神经元激励函数。
步骤 2 ：隐含层输出计算。
根据输入变量X，输入层和隐含层间连接权值ω ij 以及隐含层阈值a，计算隐含层输出H 。
2.3 附加动量法经典 BP 神经网络采用梯度修正法作为权值和阈值的学习算法， 从网络预测误差的负梯 度方向修正权值和阈值， 没有考虑以前经验的积累，学习过程收敛缓慢。
对于这个问题，可 以采用附加动量法来解决，带附加动量的算法学习公式为(k) (k 1) (k) a (k 1) (k 2)式中，ω (k)，ω(k-1) ，ω(k-2)分别为 k ，k-1，k-2 时刻的权值； a 为动量学习率，一般取值 为 0.95 。
BP神经网络实验报告
BP神经网络实验报告一、引言BP神经网络是一种常见的人工神经网络模型，其基本原理是通过将输入数据通过多层神经元进行加权计算并经过非线性激活函数的作用，输出结果达到预测或分类的目标。
本实验旨在探究BP神经网络的基本原理和应用，以及对其进行实验验证。
二、实验方法1.数据集准备本次实验选取了一个包含1000个样本的分类数据集，每个样本有12个特征。
将数据集进行标准化处理，以提高神经网络的收敛速度和精度。
2.神经网络的搭建3.参数的初始化对神经网络的权重和偏置进行初始化，常用的初始化方法有随机初始化和Xavier初始化。
本实验采用Xavier初始化方法。
4.前向传播将标准化后的数据输入到神经网络中，在神经网络的每一层进行加权计算和激活函数的作用，传递给下一层进行计算。
5.反向传播根据预测结果与实际结果的差异，通过计算损失函数对神经网络的权重和偏置进行调整。
使用梯度下降算法对参数进行优化，减小损失函数的值。
6.模型评估与验证将训练好的模型应用于测试集，计算准确率、精确率、召回率和F1-score等指标进行模型评估。
三、实验结果与分析将数据集按照7:3的比例划分为训练集和测试集，分别进行模型训练和验证。
经过10次训练迭代后，模型在测试集上的准确率稳定在90%以上，证明了BP神经网络在本实验中的有效性和鲁棒性。
通过调整隐藏层结点个数和迭代次数进行模型性能优化实验，可以发现隐藏层结点个数对模型性能的影响较大。
随着隐藏层结点个数的增加，模型在训练集上的拟合效果逐渐提升，但过多的结点数会导致模型的复杂度过高，容易出现过拟合现象。
因此，选择合适的隐藏层结点个数是模型性能优化的关键。
此外，迭代次数对模型性能也有影响。
随着迭代次数的增加，模型在训练集上的拟合效果逐渐提高，但过多的迭代次数也会导致模型过度拟合。
因此，需要选择合适的迭代次数，使模型在训练集上有好的拟合效果的同时，避免过度拟合。
四、实验总结本实验通过搭建BP神经网络模型，对分类数据集进行预测和分类。
实训神经网络实验报告
一、实验背景随着人工智能技术的飞速发展，神经网络作为一种强大的机器学习模型，在各个领域得到了广泛应用。
为了更好地理解神经网络的原理和应用，我们进行了一系列的实训实验。
本报告将详细记录实验过程、结果和分析。
二、实验目的1. 理解神经网络的原理和结构。
2. 掌握神经网络的训练和测试方法。
3. 分析不同神经网络模型在特定任务上的性能差异。
三、实验内容1. 实验一：BP神经网络（1）实验目的：掌握BP神经网络的原理和实现方法，并在手写数字识别任务上应用。
（2）实验内容：- 使用Python编程实现BP神经网络。
- 使用MNIST数据集进行手写数字识别。
- 分析不同学习率、隐层神经元个数对网络性能的影响。
（3）实验结果：- 在MNIST数据集上，网络在训练集上的准确率达到98%以上。
- 通过调整学习率和隐层神经元个数，可以进一步提高网络性能。
2. 实验二：卷积神经网络（CNN）（1）实验目的：掌握CNN的原理和实现方法，并在图像分类任务上应用。
（2）实验内容：- 使用Python编程实现CNN。
- 使用CIFAR-10数据集进行图像分类。
- 分析不同卷积核大小、池化层大小对网络性能的影响。
（3）实验结果：- 在CIFAR-10数据集上，网络在训练集上的准确率达到80%以上。
- 通过调整卷积核大小和池化层大小，可以进一步提高网络性能。
3. 实验三：循环神经网络（RNN）（1）实验目的：掌握RNN的原理和实现方法，并在时间序列预测任务上应用。
（2）实验内容：- 使用Python编程实现RNN。
- 使用Stock数据集进行时间序列预测。
- 分析不同隐层神经元个数、学习率对网络性能的影响。
（3）实验结果：- 在Stock数据集上，网络在训练集上的预测准确率达到80%以上。
- 通过调整隐层神经元个数和学习率，可以进一步提高网络性能。
四、实验分析1. BP神经网络：BP神经网络是一种前向传播和反向传播相结合的神经网络，适用于回归和分类问题。
神经网络的BP算法实验报告
计算智能基础实验报告实验名称：BP神经网络算法实验班级名称：341521班专业：探测制导与控制技术姓名：***学号：********一、 实验目的1）编程实现BP 神经网络算法；2）探究BP 算法中学习因子算法收敛趋势、收敛速度之间的关系；3）修改训练后BP 神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果，理解神经网络分布存储等特点。
二、 实验要求按照下面的要求操作，然后分析不同操作后网络输出结果。
1）可修改学习因子2）可任意指定隐单元层数3）可任意指定输入层、隐含层、输出层的单元数4）可指定最大允许误差ε5）可输入学习样本（增加样本）6）可存储训练后的网络各神经元之间的连接权值矩阵；7）修改训练后的BP 神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果 。
三、 实验原理1BP 神经网络算法的基本思想误差逆传播(back propagation, BP)算法是一种计算单个权值变化引起网络性能变化的较为简单的方法。
由于BP 算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为“反向传播”。
BP 神经网络是有教师指导训练方式的多层前馈网络，其基本思想是：从网络输入节点输入的样本信号向前传播，经隐含层节点和输出层节点处的非线性函数作用后，从输出节点获得输出。
若在输出节点得不到样本的期望输出，则建立样本的网络输出与其期望输出的误差信号，并将此误差信号沿原连接路径逆向传播，去逐层修改网络的权值和节点处阈值，这种信号正向传播与误差信号逆向传播修改权值和阈值的过程反复进行，直训练样本集的网络输出误差满足一定精度要求为止。
2 BP 神经网络算法步骤和流程BP 神经网络步骤和流程如下：1) 初始化，给各连接权{},{}ij jt W V 及阈值{},{}j t θγ赋予（-1,1）间的随机值；2) 随机选取一学习模式对1212(,),(,,)k k k k k k k n k n A a a a Y y y y ==提供给网络；3) 计算隐含层各单元的输入、输出；1n j ij i j i s w a θ==⋅-∑，()1,2,,j j b f s j p ==4) 计算输出层各单元的输入、输出；1t t jt j t j l V b γ==⋅-∑，()1,2,,t t c f l t q ==5) 计算输出层各单元的一般化误差；()(1)1,2,,k k t t tt t t d y c c c t q =-⋅-=6) 计算中间层各单元的一般化误差；1[](1)1,2,,q kk jt jt j j t e d V b b j p ==⋅⋅-=∑7) 修正中间层至输出层连接权值和输出层各单元阈值；(1)()k jt jt t j V iter V iter d b α+=+⋅⋅(1)()k t t t iter iter d γγα+=+⋅8) 修正输入层至中间层连接权值和中间层各单元阈值；(1)()kk ij ij j i W iter W iter e a β+=+⋅⋅(1)()kj j j iter iter e θθβ+=+⋅9) 随机选取下一个学习模式对提供给网络，返回步骤3），直至全部m 个模式训练完毕；10) 重新从m 个学习模式对中随机选取一个模式对，返回步骤3），直至网络全局误差函数E 小于预先设定的一个极小值，即网络收敛；或者，当训练次数大于预先设定值，强制网络停止学习(网络可能无法收敛)。
神经网络课程报告
神经网络课程认识本学期我们对人工神经网络进行了学习，在学习的过程中，我们对什么是神经网络，神经网络的发展史，神经网络的特点和功能以及神经网络的应用领域等多方面知识都有所了解。
从开始的对人工神经网络的初步了解到最后模型的建立，我们对人工神经网络的认识不断加深。
神经网络作为自动控制及智能控制专业的一个重要分支，掌握一些与其相关的基础知识对今后的学习会有较大的帮助。
具体的人工神经网络中，我们主要学习了单层感知器、标准BP网络、改进型的BP网络、自组织竞争神经网络以及离散型Hopfield网络（即DHNN 网络）。
其中，我们重点学习了标准型BP网络。
在后面的编程训练中，我们也以标准BP网络为模型，设计了一个较为简单的实际型编程问题。
接下来谈谈具体的学习情况：在学习的过程中，我们首先学习了什么是人工神经网络。
这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。
虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化的模型就是人工神经网络。
人工神经网络远不是人脑生物神经网络的真实写照，而只是对它的简化，抽象与模拟。
揭示人脑的奥妙不仅需要各学科的交叉和各领域专家的协作，还需要测试手段的进一步发展。
目前已经提出了上百种的神经网络模型，这种简化模型能放映出人脑的许多基本特征。
综合人工神经网络的来源，特点及各种解释，可以简单的表述为：人工神经网络是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。
神经网络的研究可以追溯到19世纪末期，其发展可分为启蒙时期，低潮时期，复兴时期及新时期四个阶段。
人工神经网络是基于对人脑组织结构，活动机制的初步认识提出的一种新型信息处理体系。
人工神经网络具有人脑的一些基本功能，也有其自身的一些特点。
结构特点：信息处理的并行性，信息储存的分布性，信息处理单元的互连性，结构的可塑性。
BP神经网络原理与应用实习论文
学年论文（本科）学院数学与信息科学学院专业信息与计算科学专业年级10级4班姓名徐玉琳于正平马孝慧李运凤郭双双任培培论文题目BP神经网络原理与应用指导教师冯志敏成绩2013年 9月 24日BP神经网络的原理与应用1.BP神经网络的原理1.1 BP神经网络的结构BP神经网络模型是一个三层网络,它的拓扑结构可被划分为:输入层(InputLayer )、输出层(Outp ut Layer ) ,隐含层(Hide Layer )．其中,输入层与输出层具有更重要的意义,因此也可以为两层网络结构(把隐含层划入输入层,或者把隐含层去掉)每层都有许多简单的能够执行并行运算的神经元组成,这些神经元与生物系统中的那些神经元非常类似,但其并行性并没有生物神经元的并行性高．BP神经网络的特点：1）网络由多层构成,层与层之间全连接,同一层之间的神经元无连接．2）BP网络的传递函数必须可微．因此,感知器的传递函数-——二值函数在这里没有用武之地．BP网络一般使用Sigmoid函数或线性函数作为传递函数．3）采用误差反向传播算法(Back-Propagation Algorithm)进行学习．在BP 网络中,数据从输入层隐含层逐层向后传播,训练网络权值时,则沿着减少误差的方向,从输出层经过中间各层逐层向前修正网络的连接权值．随着学习的不断进行,最终的误差越来越来小．BP神经网络的学习过程BP神经网络的学习算法实际上就是对误差函数求极小值的算法,它采用的算法是最速下降法,使它对多个样本进行反复的学习训练并通过误差的反向传播来修改连接权系数,它是沿着输出误差函数的负梯度方向对其进行改变的,并且到最后使误差函数收敛于该函数的最小点．1.3 BP网络的学习算法BP网络的学习属于有监督学习,需要一组已知目标输出的学习样本集．训练时先使用随机值作为权值,修改权值有不同的规则．标准的BP神经网络沿着误差性能函数梯度的反向修改权值,原理与LMS算法比较类似,属于最速下降法．拟牛顿算法牛顿法是一种基于二阶泰勒级数的快速优化算法．其基本方法是1(1)()()()x k x k A k g k -+=-式中 ()A k ----误差性能函数在当前权值和阀值下的Hessian 矩阵（二阶导数）,即2()()()x x k A k F x ==∇牛顿法通常比较梯度法的收敛速度快,但对于前向型神经网络计算Hessian 矩阵是很复杂的,付出的代价也很大．有一类基于牛顿法的算法不需要二阶导数,此类方法称为拟牛顿法（或正切法）,在算法中的Hessian 矩阵用其近似值进行修正,修正值被看成梯度的函数． 1）BFGS 算法在公开发表的研究成果中,你牛顿法应用最为成功得有Boryden,Fletcher,Goldfard 和Shanno 修正算法,合称为BFG 算法． 该算法虽然收敛所需的步长通常较少,但在每次迭代过程所需要的计算量和存储空间比变梯度算法都要大,对近似Hessian 矩阵必须进行存储,其大小为n n ⨯,这里n 网络的链接权和阀值的数量．所以对于规模很大的网络用RPROP 算法或任何一种梯度算法可能好些；而对于规模较小的网络则用BFGS 算法可能更有效． 2）OSS 算法 由于BFGS 算法在每次迭代时比变梯度算法需要更多的存储空间和计算量,所以对于正切近似法减少其存储量和计算量是必要的．OSS 算法试图解决变梯度法和拟牛顿（正切）法之间的矛盾,该算法不必存储全部Hessian 矩阵,它假设每一次迭代时与前一次迭代的Hessian 矩阵具有一致性,这样做的一个有点是,在新的搜索方向进行计算时不必计算矩阵的逆．该算法每次迭代所需要的存储量和计算量介于梯度算法和完全拟牛顿算法之间． 最速下降BP 法最速下降BP 算法的BP 神经网络,设k 为迭代次数,则每一层权值和阀值的修正按下式进行(1)()()x k x k g k α+=-式中()x k —第k 次迭代各层之间的连接权向量或阀值向量；()g k =()()E k x k ∂∂—第k 次迭代的神经网络输出误差对各权值或阀值的梯度向量．负号表示梯度的反方向,即梯度的最速下降方向；α—学习效率,在训练时是一常数．在MATLAB 神经网络工具箱中,,可以通过改变训练参数进行设置；()E K —第k 次迭代的网络输出的总误差性能函数,在MATLAB 神经网络工具箱中BP 网络误差性能函数默认值为均方误差MSE,以二层BP 网络为例,只有一个输入样本时,有2()()E K E e k ⎡⎤=⎣⎦21S≈22221()S i i i t a k =⎡⎤-⎣⎦∑ 222212,1()()()()s ii j i i j a k f w k a k b k =⎧⎫⎪⎪⎡⎤=-⎨⎬⎣⎦⎪⎪⎩⎭∑21221112,,11()(()())()s s i j i j i i i j j f w k f iw k p ib k b k ==⎧⎫⎡⎤⎛⎫⎪⎪=++⎢⎥ ⎪⎨⎬⎢⎥⎝⎭⎪⎪⎣⎦⎩⎭∑∑若有n 个输入样本2()()E K E e k ⎡⎤=⎣⎦21nS ≈22221()S ii i ta k =⎡⎤-⎣⎦∑根据公式和各层的传输函数,可以求出第k 次迭代总误差曲面的梯度()g k =()()E k x k ∂∂,分别代入式子便可以逐次修正其权值和阀值,并是总的误差向减小的方向变化,直到达到所需要的误差性能为止． 1.4 BP 算法的改进BP 算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点,但标准BP 算法存在以下缺点：收敛速度缓慢；容易陷入局部极小值；难以确定隐层数和隐层节点个数．在实际应用中,BP 算法很难胜任,因此出现了很多改进算．利用动量法改进BP 算法标准BP 算法实质上是一种简单的最速下降静态寻优方法,在修正W(K)时,只按照第K 步的负梯度方向进行修正,而没有考虑到以前积累的经验,即以前时刻的梯度方向,从而常常使学习过程发生振荡,收敛缓慢．动量法权值调整算法的具体做法是：将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上,作为本次的实际权值调整量,即：其中：α为动量系数,通常0＜α＜0．9；η—学习率,范围在0．001～10之间．这种方法所加的动量因子实际上相当于阻尼项,它减小了学习过程中的振荡趋势,从而改善了收敛性．动量法降低了网络对于误差曲面局部细节的敏感性,有效的抑制了网络陷入局部极小．自适应调整学习速率标准BP算法收敛速度缓慢的一个重要原因是学习率选择不当,学习率选得太小,收敛太慢；学习率选得太大,则有可能修正过头,导致振荡甚至发散．可采用图所示的自适应方法调整学习率．调整的基本指导思想是：在学习收敛的情况下,增大η,以缩短学习时间；当η偏大致使不能收敛时,要及时减小η,直到收敛为止．动量-自适应学习速率调整算法采用动量法时,BP算法可以找到更优的解；采用自适应学习速率法时,BP算法可以缩短训练时间．将以上两种方法结合起来,就得到动量-自适应学习速率调整算法．1. L-M学习规则L-M（Levenberg-Marquardt）算法比前述几种使用梯度下降法的BP算法要快得多,但对于复杂问题,这种方法需要相当大的存储空间L-M(Levenberg-Marquardt)优化方法的权值调整率选为:其中：e —误差向量；J —网络误差对权值导数的雅可比（Jacobian ）矩阵；μ—标量,当μ很大时上式接近于梯度法,当μ很小时上式变成了Gauss-Newton 法,在这种方法中,μ也是自适应调整的． 1.5 BP 神经网络的设计 网络的层数输入层节点数取决于输入向量的维数．应用神经网络解决实际问题时,首先应从问题中提炼出一个抽象模型,形成输入空间和输出空间．因此,数据的表达方式会影响输入向量的维数大小.例如,如果输入的是64*64的图像,则输入的向量应为图像中所有的像素形成的4096维向量．如果待解决的问题是二元函数拟合,则输入向量应为二维向量．理论上已证明：具有偏差和至少一个S 型隐含层加上一个线性输出层的网络,能够逼近任何有理数．增加层数可以更进一步的降低误差,提高精度,但同时也使网络复杂化,从而增加了网络权值的训练时间．而误差精度的提高实际上也可以通过增加神经元数目来获得,其训练效果也比增加层数更容易观察和调整.所以一般情况下,应优先考虑增加隐含层中的神经元数. 隐含层的神经元数网络训练精度的提高,可以通过采用一个隐含层,而增加神经元数了的方法来获得．这在结构实现上,要比增加隐含层数要简单得多．那么究竟选取多少隐含层节点才合适？这在理论上并没有一个明确的规定．在具体设计时,比较实际的做法是通过对不同神经元数进行训练对比,然后适当地加上一点余量．1）0niMi C k =>∑,k 为样本数,M 为隐含层神经元个数,n 为输入层神经元个数．如i>M,规定C i M =0．2）和n 分别是输出层和输入层的神经元数,a 是[0.10]之间的常量．3）M=2log n ,n 为输入层神经元个数．初始权值的选取由于系统是非线性的,初始值对于学习是否达到局部最小、是否能够收敛及训练时间的长短关系很大．如果初始值太大,使得加权后的输入和n落在了S型激活函数的饱和区,从而导致其导数f (n)非常小,从而使得调节过程几乎停顿下来．所以一般总是希望经过初始加权后的每个神经元的输出值都接近于零,这样可以保证每个神经元的权值都能够在它们的S型激活函数变化最大之处进行调节．所以,一般取初始权值在（-1,1）之间的随机数．学习速率学习速率决定每一次循环训练中所产生的权值变化量．大的学习速率可能导致系统的不稳定；但小的学习速率导致较长的训练时间,可能收敛很慢,不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值．所以在一般情况下,倾向于选取较小的学习速率以保证系统的稳定性．学习速率的选取范围在0．01-0．8之间．1.6BP神经网络局限性需要参数多且参数选择没有有效的方法对于一些复杂问题 ,BP 算法可能要进行几小时甚至更长的时间训练,这主要是由于学习速率太小所造成的．标准BP 网络学习过程缓慢,易出现平台,这与学习参数率l r的选取有很大关系．当l r较时,权值修改量大,学习速率也快,但可能产生振荡;当l r较小时,虽然学习比较平稳,但速度十分缓慢．容易陷入局部最优BP网络易陷入局部最小, 使 BP网络不能以高精度逼近实际系统．目前对于这一问题的解决有加入动量项以及其它一些方法．BP 算法本质上是以误差平方和为目标函数 , 用梯度法求其最小值的算法．于是除非误差平方和函数是正定的, 否则必然产生局部极小点, 当局部极小点产生时 , BP算法所求的就不是解．1.6.3 样本依赖性这主要表现在网络出现的麻痹现象上．在网络的训练过程中,如其权值调的过大,可能使得所有的或大部分神经元的加权值偏大,这使得激活函数的输入工作在S型转移函数的饱和区,从而导致其导函数非常小,使得对网络权值的调节过程几乎停顿下来．通常为避免这种现象的发生,一是选取较小的初始权值,二是采用较小的学习速率,但又要增加时间训练．初始权敏感对于一些复杂的问题,BP算法可能要进行几个小时甚至更长时间的训练．这主要是由于学习速率太小造成的．可采用变化的学习速率或自适应的学习速率来加以改进．2．BP神经网络应用2.1 手算实现二值逻辑—异或这个例子中,采用手算实现基于BP网络的异或逻辑．训练时采用批量训练的方法,训练算法使用带动量因子的最速下降法．在MATLAB中新建脚本文件main_xor.m,输入代码如下：%脚本%批量训练方式．BP网络实现异或逻辑%%清理clear allclcrand('seed',2)eb = 0.01; %误差容限eta = 0.6; %学习率mc = 0.8; %动量因子maxiter = 1000; %最大迭代次数%% 初始化网络nSampNum = 4;nSampDim = 2;nHidden = 3;nOut = 1;w = 2*(rand(nHidden,nSampDim)-1/2);b = 2*(rand(nHidden,1)-1/2);wex = [w,b];W = 2*(rand(nOut,nHidden)-1/2);B = 2*(rand(nOut,1)-1/2);WEX = [W,B];%%数据SampIn=[0,0,1,1;...0,1,0,1;…1,1,1,1];expected = [0,1,1,0];%%训练iteration = 0;errRec = [];outRec =[];for i = 1:maxiter% 工作信号正向传播hp = wex*SampIn;tau = logsig(hp);tauex = [tau',1*ones(nSampNum,1)]';HM = WEX*tauex;out = logsig(HM);outRec = [outRec,out'];err = expected - out;sse = sumsqr(err);errRec = [errRec,sse];fprintf('第%d 次迭代,误差：%f \n',i,sse);% 判断是否收敛iteration = iteration + 1;if sse <= ebbreak;end% 误差信号反向传播% DELTA 和delta 为局部梯度DELTA = err.*dlogsig(HM,out);delta = W' * DELTA.*dlogsig(hp,tau);dWEX = DELTA*tauex';dwex = delta*SampIn';% 更新权值if i == 1WEX = WEX + eta*dWEX;wex = wex + eta*dwex;elseWEX = WEX + (1-mc)*eta*dWEX + mc*dWEXold;wex = wex + (1-mc)*eta*dwex+mc*dwexold;enddWEXold = dWEX;dwexold = dwex;W = WEX(:,1:nHidden);end%%显示figure(1)grid[nRow,nCol]=size(errRec);semilogy(1:nCol,errRec,'LineWidth',1.5);title('误差曲线');xlabel('迭代次数');x=-0.2:.05:1.2;[xx,yy] = meshgrid(x);for i=1:length(xx)for j=1:length(yy)xi=[xx(i,j),yy(i,j),1];hp = wex*xi';tau = logsig(hp);tauex = [tau',1]';HM = WEX*tauex;out = logsig(HM);z (i,j) =out;endendfigure(2)mesh(x,x,z);figure(3)plot([0,1],[0,1],'*','LineWidth',2);hold onplot([0,1],[1,0],'O','LineWidth',2);[c,h]=contour(x,x,z,0.5,'b');clabel(c,h);legend('0','1','分类面');title('分类面')2.2 误差下降曲线如下图所示：Finger 1010*******400500600700800900100010-210-110误差曲线迭代次数网格上的点在BP 网络映射下的输出如下图：Finger 2异或本质上是一个分类问题,,分类面如图：Finger 3分类面-0.200.20.40.60.81 1.2本文介绍了神经网络的研究背景和现状,分析了目前神经网络研究中存在的问题．然后描述了BP神经网络算法的实现以及BP神经网络的工作原理,给出了BP网络的局限性．本文虽然总结分析了BP神经网络算法的实现,给出了实例分析,但是还有很多的不足．所总结的BP神经网络和目前研究的现状都还不够全面,经过程序调试的图形有可能都还存在很多细节上的问题,而图形曲线所实现效果都还不够好,以及结果分析不够全面、正确、缺乏科学性等,这些都还是需加强提高的．近几年的不断发展,神经网络更是取得了非常广泛的应用,和令人瞩目的发展．在很多方面都发挥了其独特的作用,特别是在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等众多方面的应用实例,给人们带来了很多应用上到思考,和解决方法的研究．但是神经网络的研究最近几年还没有达到非常热门的阶段,这还需有很多热爱神经网络和研究神经网络人员的不断研究和创新,在科技高度发达的现在,我们有理由期待,也有理由相信．我想在不久的将来神经网络会应用到更多更广的方面,人们的生活会更加便捷．学年论文成绩评定表。
基于BP神经网络的手写数字识别实验报告
基于BP神经网络的手写数字识别实验报告基于BP神经网络的手写体数字图像识别PT1700105 宁崇宇PT1700106 陈玉磊PT1700104 安传旭摘要在信息化飞速发展的时代，光学字符识别是一个重要的信息录入与信息转化的手段，其中手写体数字的识别有着广泛地应用，如：邮政编码、统计报表、银行票据等等，因其广泛地应用范围，能带来巨大的经济与社会效益。
本文结合深度学习理论，利用BP神经网络对手写体数字数据集MNIST进行分析，作为机器学习课程的一次实践，熟悉了目前广泛使用的Matlab工具，深入理解了神经网络的训练过程，作为非计算机专业的学生，结合该课题掌握了用神经网络处理实际问题的方法，为今后将深度学习与自身领域相结合打下了基础。
1 引言从计算机发明之初，人们就希望它能够帮助甚至代替人类完成重复性劳作。
利用巨大的存储空间和超高的运算速度，计算机已经可以非常轻易地完成一些对于人类非常困难的工作，然而，一些人类通过直觉可以很快解决的问题，却很难通过计算机解决，这些问题包括自然语言处理、图像识别、语音识别等等，它们就是人工智能需要解决的问题。
计算机要想人类一样完成更多的智能工作，就需要掌握关于这个世界的海量知识，很多早期的人工智能系统只能成功应用于相对特定的环境，在这些特定环境下，计算机需要了解的知识很容易被严格完整地定义。
为了使计算机更多地掌握开放环境下的知识，研究人员进行了很多的尝试。
其中影响力很大的一个领域就是知识图库（Ontology），WordNet是在开放环境中建立的一个较大且有影响力的知识图库，也有不少研究人员尝试将Wikipedia中的知识整理成知识图库，但是建立知识图库一方面需要花费大量的人力和物力，另一方面知识图库方式明确定义的知识有限，不是所有的知识都可以明确地定义成计算机可以理解的固定格式。
很大一部分无法明确定义的知识，就是人类的经验，如何让计算机跟人类一样从历史的经验中获取新的知识，这就是机器学习需要解决的问题。
实验报告-人工神经网络--基于人工神经网络实现材料设计优化与建模
实验课程名称：计算机在材料科学与工程中的应用2）用MATLAB中的人工神经网络方法对材料组成与性能数据进行分析和建模。
题目1：设计一个BP人工神经网络，使其与非线性函数1+sin(k*pi/4*p)逼近，其中k为函数频率系数，p为时间坐标向量，取p=[-1:0.05:8]。
要求：A)当频率系数k=1时，分析设计bp神经网络结构，包括网络的层数、的个数、传递函数。
B)进行bp神经网络的编程，构建网络、训练网络和仿真，绘制神经网络输出的逼近曲线图。
计算机实现过程：① 初始化：对所有连接权和阈值赋以随机任意小值；)0;,...,1;,...,1;,...,2()()(1====-t p j p i m k t t w k k k i k ij ，，θ② 从N 组输入输出样本中取一组样本：x （1）=[x1,…, xp1]T, d (1) =[d1,…,dpm ]T, 把输入信息 x (1) =[x1,…, xp1]T 输入BP 网络中 ③ 正向传播：计算各层节点的输出),...,1,...,2(k ki p i m k y ==；分析：产生副作用，训练后网络输出结果拟合精度不够。
分析：训练曲线达不到，由于初始值不定，误差进入梯度误差局部最小曲面。
分析：训练曲线达到要求分析：训练曲线未达到目标，需要调整神经网络结构参数分析：达到目标，且连续运行多次，均达到要求，此神经元数目达到要求分析：当神经元数目过大，达到过拟合，对训练以外的数据精确度不够，泛化能力减弱当频率一定且其他参数条件不变时，隐含层神经元数增大时，得到的曲线与原始的非线性函数曲线更加接近，说明BP网络对非线性函数的逼近效果比较好。
将数据转置，随机选择5组数据为预测样本数据，其他图：。
BP神经网络实验报告
BP神经网络实验报告BP神经网络实验报告一、实验目的本实验的目的是熟悉MATLAB中神经网络工具箱的使用方法，同时通过编程实现BP网络逼近标准正弦函数，来加深对BP网络的了解和认识，理解信号的正向传播和误差的反向传递过程。
二、实验原理传统的感知器和线性神经网络无法解决线性不可分问题，因此在实际应用过程中受到了限制。
而BP网络却拥有良好的繁泛化能力、容错能力以及非线性映射能力，因此成为应用最为广泛的一种神经网络。
BP算法将研究过程分为两个阶段：第一阶段是信号的正向传播过程，输入信息通过输入层、隐层逐层处理并计算每个单元的实际输出值；第二阶段是误差的反向传递过程，若在输入层未能得到期望的输出值，则逐层递归的计算实际输出和期望输出的差值（即误差），以便根据此差值调节权值。
这种过程不断迭代，最后使得信号误差达到允许或规定的范围之内。
基于BP算法的多层前馈型网络模型的拓扑结构如下图所示：BP算法的数学描述：三层BP前馈网络的数学模型如下图所示。
三层前馈网中，输入向量为X=(x1,x2.xi。
xn)T；隐层输入向量为Y=(y1,y2.___。
y_m)T；输出层输出向量为O=(o1,o2.ok。
ol)T；期望输出向量为d=(d1,d2.dk。
dl)T。
输入层到隐层之间的权值矩阵用V表示，V=(v1,v2.其中列向量vj 为隐层第j个神经元对应的权向量；v_j。
v_m)Y，隐层到输出层之间的权值矩阵用W表示，W=(w1,w2.wk。
wl)，其中列向量wk为输出层第k个神经元对应的权向量。
下面分析各层信号之间的数学关系。
对于输出层，有：yj=f(netj)。
j=1,2.mnetj=∑vijxi。
j=1,2.m对于隐层，有：Ok=f(netk)。
k=1,2.l___∑wjk*yi。
k=1,2.lj=1其中转移函数f(x)均为单极性Sigmoid函数：f(x)=1/(1+e^-x)，具有连续、可导的特点，且f'(x)=f(x)[1-f(x)]。
BP人工神经网络试验报告一
BP⼈⼯神经⽹络试验报告⼀学号：北京⼯商⼤学⼈⼯神经⽹络实验报告实验⼀基于BP算法的XX及Matlab实现院（系）专业学⽣姓名成绩指导教师2011年10⽉⼀、实验⽬的：1、熟悉MATLAB 中神经⽹络⼯具箱的使⽤⽅法；2、了解BP 神经⽹络各种优化算法的原理；3、掌握BP 神经⽹络各种优化算法的特点；4、掌握使⽤BP 神经⽹络各种优化算法解决实际问题的⽅法。
⼆、实验内容：1 案例背景1.1 BP 神经⽹络概述BP 神经⽹络是⼀种多层前馈神经⽹络,该⽹络的主要特点是信号前向传递,误差反向传播。
在前向传递中,输⼊信号从输⼊层经隐含层逐层处理,直⾄输出层。
每⼀层的神经元状态只影响下⼀层神经元状态。
如果输出层得不到期望输出,则转⼊反向传播,根据预测误差调整⽹络权值和阈值,从⽽使BP 神经⽹络预测输出不断逼近期望输出。
BP 神经⽹络的拓扑结构如图1.1所⽰。
图1.1 BP 神经⽹络拓扑结构图图1.1中1x ,2x , ……n x 是BP 神经⽹络的输⼊值1y ,2y , ……n y 是BP 神经的预测值,ij ω和jk ω为BP 神经⽹络权值。
从图1.1可以看出,BP 神经⽹络可以看成⼀个⾮线性函数,⽹络输⼊值和预测值分别为该函数的⾃变量和因变量。
当输⼊节点数为n ,输出节点数为m 时,BP 神经⽹络就表达了从n 个⾃变量到m 个因变量的函数映射关系。
BP 神经⽹络预测前⾸先要训练⽹络,通过训练使⽹络具有联想记忆和预测能⼒。
BP 神经⽹络的训练过程包括以下⼏个步骤。
步骤1:⽹络初始化。
根据系统输⼊输出序列()y x ,确定⽹络输⼊层节点数n 、隐含层节点数l ,输出层节点数m ,初始化输⼊层、隐含层和输出层神经元之间的连接权值ij ω和式中, l 为隐含层节点数; f 为隐含层激励函数,该函数有多种表达形式,本章所选函数为:步骤3:输出层输出计算。
根据隐含层输出H ,连接权值jk ω和阈值b ,计算BP 神经⽹络预测输出O 。
基于神经网络的人脸识别实验报告
基于神经网络的人脸识实验报告别一、 实验要求采用三层前馈BP 神经网络实现标准人脸YALE 数据库的识别。
二、BP 神经网络的结构和学习算法实验中建议采用如下最简单的三层BP 神经网络，输入层为],,,[21n x x x X =，有n 个神经元节点，输出层具有m 个神经元，网络输出为],,,[21m y y y Y =,隐含层具有k 个神经元，采用BP 学习算法训练神经网络。
BP 神经网络的结构BP 网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对BP 网络加以训练，网络就具有输入输出对之间的映射能力。
BP 网络执行的是有教师训练，其样本集是由形如（输入向量，期望输出向量）的向量对构成的。
在开始训练前，所有的权值和阈值都应该用一些不同的小随机数进行初始化。
BP 算法主要包括两个阶段： (1) 向前传播阶段①从样本集中取一个样本(X p ,Y p )，将X p 输入网络，其中X p 为输入向量，Y p 为期望输出向量。
②计算相应的实际输出O p 。
在此阶段，信息从输入层经过逐级的变换，传送到输出层。
这个过程也是网络在完成训练后正常运行时执行的过程。
在此过程中，网络执行的是下列运算： (1)(2)()21(...((())...))n p n p O F F F X W W W =(2) 向后传播阶段①计算实际输出O p 与相应的理想输出Y p 的差； ②按极小化误差的方法调整权矩阵。
这两个阶段的工作一般应受到精度要求的控制，定义211()2mp pj pj j E y o ==-∑ (1)作为网络关于第p 个样本的误差测度（误差函数）。
而将网络关于整个样本集的误差测度定义为p E E =∑ (2)如前所述，将此阶段称为向后传播阶段，也称之为误差传播阶段。
为了更清楚地说明本文所使用的BP 网络的训练过程，首先假设输入层、中间层和输出层的单元数分别是N 、L 和M 。
BP神经网络算法实验报告
计算各层的输入和输出
es
计算输出层误差 E(q)
E(q)<ε
修正权值和阈值
结
束
图 2-2 BP 算法程序流程图
3、实验结果
任课教师： 何勇强
日期： 2010 年 12 月 24 日
中国地质大学（北京） 课程名称：数据仓库与数据挖掘 班号：131081 学号：13108117 姓名：韩垚 成绩：
任课教师： 何勇强
（2-7）
wki
输出层阈值调整公式：
（2-8）
ak
任课教师： 何勇强
E E netk E ok netk ak netk ak ok netk ak
（2-9）
日期： 2010 年 12 月 24 日
中国地质大学（北京） 课程名称：数据仓库与数据挖掘 隐含层权值调整公式： 班号：131081 学号：13108117 姓名：韩垚 成绩：
Ep
系统对 P 个训练样本的总误差准则函数为：
1 L (Tk ok ) 2 2 k 1
（2-5）
E
1 P L (Tkp okp )2 2 p 1 k 1
（2-6）
根据误差梯度下降法依次修正输出层权值的修正量 Δwki，输出层阈值的修正量 Δak，隐含层权 值的修正量 Δwij，隐含层阈值的修正量
日期： 2010 年 12 月 24 日
隐含层第 i 个节点的输出 yi：
M
yi (neti ) ( wij x j i )
j 1
（2-2）
输出层第 k 个节点的输入 netk：
q q M j 1
netk wki yi ak wki ( wij x j i ) ak
bP神经网络控制
doublew_hide_input[numHiddenLayer][numInputLayer]; //隐含结点权值
doublew_output_hide[numOutputLayer][numHiddenLayer]; //输出结点权值
}
//输入层与隐层之间的权值
for(i=0;i<numHiddenLayer;i++)
{
for(intj=0;j<numInputLayer;j++)
{
w_hide_input[i][j]=(2.0*(double)rand()/RAND_MAX)-1;
}
}
//输出层与隐层之间的权值
for(i=0;i<numOutputLayer;i++)
Y[i][0]=sin(X[i][0]);
X[iபைடு நூலகம்[0]=preminmax2(0,2*pi,X[i][0]);//输入[0,2π]归一化到[-1,1]
Y[i][0]=preminmax(-1,1,Y[i][0]);//输出[-1,1]归一化到[0,1]
return 0;
}
void initial()
智能控制实验报告
-BP神经网络
一.实验内容
设计BP网络，映射函数为：
1.y=sin(x) x （0，2 ）
2.y=x1^2+x2^2+x1*x2 x1,x2 (0,1)
给出训练后的权值矩阵，并考察训练拟合的效果。
二.实验原理
1.BP网络原理
BP网络模型处理信息的基本原理是：输入信号Xi通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每个样本包括输入向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输入节点与隐层节点的联接强度取值Wij和隐层节点与输出节点之间的联接强度Tjk以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。
实验七：基于神经网络的模式识别实验
实验七：基于神经网络的模式识别实验一、实验目的理解BP神经网络和离散Hopfield神经网络的结构和原理，掌握反向传播学习算法对神经元的训练过程，了解反向传播公式。
通过构建BP网络和离散Hopfield网络模式识别实例，熟悉前馈网络和反馈网络的原理及结构。
综合掌握模式识别的原理，了解识别过程的程序设计方法。
二、实验内容熟悉模式识别的理论方法，用选择一种合适的识别方法，对图像中的字符（英文字母）进行识别，能够区分出不同的形态的26个字母。
在Matlab中，采用BP神经网络，对读取的数据进行训练，进而识别。
1. 程序设计(1)程序各流程图实验中主程序流程图如图4-1所示：图4-1主程序流程图其中图像预处理的流程如图4-2 所示：图4-2图像预处理的流程神经网络训练的具体流程如图4-3所示：图4-3 神经网络训练流程(2)程序清单%形成用户界面clear all;%添加图形窗口H=figure('Color',[0.85 0.85 0.85],...'position',[400 300 500 400],...'Name','基于BP神经网络的英文字母识别',...'NumberTitle','off',...'MenuBar','none');%画坐标轴对象，显示原始图像h0=axes('position',[0.1 0.6 0.3 0.3]);%添加图像打开按钮h1=uicontrol(H,'Style','push',...'Position',[40 100 80 60],...'String','选择图片',...'FontSize',10,...'Call','op');%画坐标轴对象，显示经过预处理之后的图像h2=axes('position',[0.5 0.6 0.3 0.3]);%添加预处理按钮h3=uicontrol(H,'Style','push',...'Position',[140 100 80 60],...'String','二值化',...'FontSize',10,...'Call','preprocess');%添加识别按钮h4=uicontrol(H,'Style','push',...'Position',[240 100 80 60],...'String','字母识别',...'FontSize',10,...'Call','recognize');%添加显示识别结果的文本框%添加训练神经网络按钮h6=uicontrol(H,'Style','push',...'Position',[340 100 80 60],...'String','网络训练',...'FontSize',10,...'Call','Example1Tr');%预处理%preprocessp1=ones(16,16);bw=im2bw(X,0.5);%转换成二值图像%用矩形框截取图像[i,j]=find(bw==0);imin=min(i);imax=max(i);jmin=min(j);jmax=max(j);bw1=bw(imin:imax,jmin:jmax);%调整比例，变换成16*16图像rate=16/max(size(bw1));bw1=imresize(bw1,rate);[i,j]=size(bw1);i1=round((16-i)/2);j1=round((16-j)/2);p1(i1+1:i1+i,j1+1:j1+j)=bw1;p1=-1.*p1+ones(16,16);%显示预处理的结果axes(h2);imshow(p1);%Example1Tr，训练网络M=1;%人数N=26*M;%样本数%获取26个大写字母图像的数据for kk=0:N-1p1=ones(16,16);%初始化16*16的二值图像（全白）m=strcat(int2str(kk),'.bmp');%形成文件名x=imread(m,'bmp');%读取图像bw=im2bw(x,0.5);%转换成二值图像数据%用矩形框截取[i,j]=find(bw==0);%查找像素为黑的坐标%取边界坐标imin=min(i);imax=max(i);jmin=min(j);jmax=max(j);bw1=bw(imin:imax,jmin:jmax);%截取%调整比例，缩放成16*16的图像rate=16/max(size(bw1));bw1=imresize(bw1,rate);%会存在转换误差%将bw1转换成标准的16*16图像p1[i,j]=size(bw1);i1=round((16-i)/2);j1=round((16-j)/2);p1(i1+1:i1+i,j1+1:j1+j)=bw1;p1=-1.*p1+ones(16,16);%将p1转换成输入向量for m=0:15p(m*16+1:(m+1)*16,kk+1)=p1(1:16,m+1);endend%形成目标向量for kk=0:M-1for ii=0:25t(kk+ii+1)=ii;endend%设置输入向量范围pr(1:256,1)=0;pr(1:256,2)=1;%创建两层BP神经网络，隐层有25个节点net=newff(pr,[25 1],{'logsig' 'purelin'},'traingdx','learngdm'); net.trainParam.epochs=2500;net.trainParam.goal=0.001;net.trainParam.show=10;net.trainParam.lr=0.05;%训练神经网络net=train(net,p,t);%存储训练好的神经网络%recognize，字符识别%生成向量形式M=figure('Color',[0.75 0.75 0.75],...'position',[200 200 400 200],...'Name','基于BP神经网络的英文字母识别结果',...'NumberTitle','off',...'MenuBar','none');M0=uicontrol(M,'Style','push',...'Position',[150 80 130 40],...'String','请先训练网络',...'FontSize',12,...'call','delete(M(1)) ' );for m=0:15q(m*16+1:(m+1)*16,1)=p1(1:16,m+1);end%识别[a,Pf,Af]=sim(net,q);a=round(a);switch acase 0,M0=uicontrol(M,'Style','push',...'Position',[150 80 130 40],...'String','这个字母是A',...'FontSize',12,...'call',...'delete(M(1))');case 1,M0=uicontrol(M,'Style','push',...'Position',[150 80 130 40],...'String','这个字母是B',...'FontSize',12,...'call',...'delete(M(1))');case 2,M0=uicontrol(M,'Style','push',...'Position',[150 80 130 40],...'String','这个字母是C',...'FontSize',12,...'call',...'delete(M(1))');case 3,M0=uicontrol(M,'Style','push',...'Position',[150 80 130 40],...'String','这个字母是D',...'FontSize',12,...'call',...'delete(M(1))');case 4,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是E',...'FontSize',12,...'call',...'delete(M(1))');case 5,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是F',...'FontSize',12,...'call',...'delete(M(1))');case 6,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是G',...'FontSize',12,...'call',...'delete(M(1))');case 7,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是H',...'FontSize',12,...'call',...'delete(M(1))');case 8,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是I',...'FontSize',12,...'call',...'delete(M(1))');case 9,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是J',...'FontSize',12,...'call',...'delete(M(1))');case 10,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是K',...'FontSize',12,...'call',...'delete(M(1))');case 11,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是L',...'FontSize',12,...'call',...'delete(M(1))');case 12,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是M',...'FontSize',12,...'call',...'delete(M(1))');case 13,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是N',...'FontSize',12,...'call',...'delete(M(1))');case 14,M0=uicontrol(M,'Style','push',...'Position',[150 80 130 40],...'String','这个字母是O',...'FontSize',12,...'call',...'delete(M(1))');case 15,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是P',...'FontSize',12,...'call',...'delete(M(1))');case 16,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是Q',...'FontSize',12,...'call',...'delete(M(1))');case 17,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是R',...'FontSize',12,...'call',...'delete(M(1))');case 18,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是S',...'FontSize',12,...'call',...'delete(M(1))');case 19,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是T',...'FontSize',12,...'call',...'delete(M(1))');case 20,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是U',...'FontSize',12,...'call',...'delete(M(1))');case 21,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是V',...'FontSize',12,...'call',...'delete(M(1))');case 22,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是W',...'FontSize',12,...'call',...'delete(M(1))');case 23,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是X',...'FontSize',12,...'call',...'delete(M(1))');case 24,M0=uicontrol(M,'Style','push',... 'Position',[150 80 130 40],...'String','这个字母是Y',...'FontSize',12,...'call',...'delete(M(1))');case 25,M0=uicontrol(M,'Style','push',...'Position',[150 80 130 40],...'String','这个字母是Z',...'FontSize',12,...'call',...'delete(M(1))');End%op%读取图像文件[filename,pathname]=uigetfile({'*.bmp';'*.jpg';...'*.gif';'*.*'},...'Pick an Image File');X=imread([pathname,filename]);%显示图像axes(h0);%将h0设置为当前坐标轴句柄imshow(X);%在h0上显示原始图像2. 实验结果图5-1为实验的主窗口，用于选择图片，进行二值化，网络训练和字符识别。
BP算法实验报告
BP算法实验结果报告
1.提取数据
待拟合的非线性函数为双输入单输出函数：y=power(2,x1)+power(2,x2), 其中x1=0,0.1,0.2,…,6；x2=-3,-2.9,-2.8,…,3.即共61组数据。
2.训练网络
网络训练过程可用如下流程图说明：
3.使用网络
设置最大训练次数为15000次，精度为期望值的1％，得到如下的仿真结果，图1中蓝线表示期望输出，红线表示实际输出，在输入数据内基本拟合。
图1
图2
图2中绘制出了误差曲线，实验要求神经网络输出与期望值的最大误差的绝对值不超过期望值的5％，本实验精度设置为期望值的1％，由图可知最大误差小于期望值的1％（0.72），达到了实验的要求。
同济智能控制实验报告 基于BP神经网络的自整定PID控制仿真
同济大学电子与信息工程学院实验报告姓名：学号：学院：专业：实验课程名称：任课教师：实验项目名称：基于BP神经网络的自整定PID控制仿真实验日期：一、实验内容：1.熟悉神经网络的特征、结构及学习算法。
2.通过实验掌握神经网络自整定PID的工作原理。
3.了解神经网络的结构对控制结果的影响。
4.掌握用MATLAB实现实现神经网络控制系统仿真的方法。
二、实验步骤及结果演示1.实验步骤：（1）被控对象为一时变非线性对象，数学模型可表示为式中系数a(k)是慢时变的，（2）如图5所示确定BP网络的结构，选4-5-3型的BP网络，各层加权系数的初值取区间[-0.5,0.5]上的随机数，选定学习率η=0.25和惯性系数α=0.05.（3）在MATLAB下依据整定原理编写仿真程序并调试。
（4）给定输入为阶跃信号，运行程序，记录实验数据和控制曲线。
（5）修改神经网络参数，如学习速率、隐含层神经元个数等，重复步骤（4）。
（6）分析数据和控制曲线。
图5 BP神经网络结构2.结果展示：（1）实验代码：xite=0.25;alfa=0.02;IN=4;H=10;Out=3;wi=[ 0.4634 -0.4173 0.3190 0.4563;0.1839 0.3021 0.1112 0.3395;-0.3182 0.0470 0.0850 -0.0722;-0.6266 0.0846 0.3751 -0.6900;-0.3224 0.1440 -0.2873 -0.0193;-0.0232 -0.0992 0.2636 0.2011;-0.4502 -0.2928 0.0062 -0.5640;-0.1975 -0.1332 0.1981 0.0422;0.0521 0.0673 -0.5546 -0.4830;-0.6016 -0.4097 0.0338 -0.1503];wi_1=wi;wi_2=wi;wi_3=wi;wo=[ -0.1620 0.3674 0.1959;-0.0337 -0.1563 -0.1454;0.0898 0.7239 0.7605;0.3349 0.7683 0.4714;0.0215 0.5896 0.7143;-0.0914 0.4666 0.0771;0.4270 0.2436 0.7026;0.0215 0.4400 0.1121;0.2566 0.2486 0.4857;0.0198 0.4970 0.6450 ]';wo_1=wo;wo_2=wo;wo_3=wo;x=[0,0,0];u_1=0;u_2=0;u_3=0;u_4=0;u_5=0;y_1=0;y_2=0;y_3=0;oh=zeros(H,1);I=oh;error_2=0;error_1=0;ts=0.001;for k=1:1:6000time(k)=k*ts;rin(k)=1;a(k)=1.2*(1-0.8*exp(-0.1*k));yout(k)=a(k)*y_1/(1+y_1^2)+u_1;error(k)=rin(k)-yout(k);xi=[rin(k),yout(k),error(k),1];x(1)=error(k)-error_1;x(2)=error(k);x(3)=error(k)-2*error_1+error_2;epid=[x(1);x(2);x(3)];I=xi*wi';for j=1:Hoh(j)=(exp(I(j))-exp(-I(j)))/(exp(I(j))+exp(-I(j)));endK=wo*oh;for l=1:Out;K(l)=exp(K(l))/(exp(K(l))+exp(-K(l)));endKp(k)=K(1);Ki(k)=K(2);Kd(k)=K(3);Kpid=[Kp(k),Ki(k),Kd(k)];du(k)=Kpid*epid;u(k)=u_1+du(k);if u(k)>=10;u(k)=10;endif u(k)<=-10;u(k)=-10;enddyu(k)=sign((yout(k)-y_1)/(u(k)-u_1+0.0000001));for j=1:Outdk(j)=2/(exp(K(j))+exp(-K(j)))^2;endfor l=1:Outdelta3(l)=error(k)*dyu(k)*epid(l)*dk(l);endfor l=1:Outfor i=1:Hd_wo=xite*delta3(l)*oh(i)+alfa*(wo_1-wo_2);endendwo=wo_1+d_wo;for i=1:HdO(i)=4/(exp(I(i))+exp(-I(i)))^2;endsegma=delta3*wo;for i=1:Hdelta2(i)=dO(i)*segma(i);endd_wi=xite*delta2'*xi+alfa*(wi_1-wi_2);wi=wi_1+d_wi;u_5=u_4;u_4=u_3;u_3=u_2;u_2=u_1;u_1=u(k); y_2=y_1;y_1=yout(k);wo_3=wo_2;wo_2=wo_1;wo_1=wo;wi_3=wi_2;wi_2=wi_1;wi_1=wi;error_2=error_1;error_1=error(k);endfigure(1)plot(time,rin,'r',time,yout, 'b');xlabel('time');ylabel('rin,yout');figure(2)plot(time,error,'r');xlabel('time(s)');ylabel('error');figure(3)plot(time,u,'r');xlabel('time(s)');ylabel('u');figure(4)subplot(311);plot(time,Kp,'r');xlabel('time(s)');ylabel('Kp');subplot(312);plot(time,Ki,'g');xlabel('time(s)');ylabel('Ki');subplot(313);plot(time,Kd,'b');xlabel('time(s)');ylabel('Kd');（2）控制曲线①初始情况学习率alpha=0.02;惯性系数xite=0.25;隐藏层节点数H=10.②增大学习率学习率alpha=0.05;惯性系数xite=0.25;隐藏层节点数H=10.③学习率减小学习率alpha=0.01;惯性系数xite=0.25;隐藏层节点数H=10.④增大惯性系数学习率alpha=0.02;惯性系数xite=0.5;隐藏层节点数H=10.⑤减小惯性系数学习率alpha=0.02;惯性系数xite=0.1;隐藏层节点数H=10.⑥增大隐含层节点数学习率alpha=0.02;惯性系数xite=0.1;隐藏层节点数H=5.⑦减小隐含层节点数学习率alpha=0.02;惯性系数xite=0.1;隐藏层节点数H=15.三、遇到的主要困难及解决对策1.主要困难：运行程序一直报错，显示矩阵维度不同。
实验四 BP神经网络模拟sin函数
实验四 BP 神经网络模拟sin 函数一、问题描述BP 神经网络模拟sin 函数根据人工神经网络学习算法，实现正弦曲线的拟合。
要求能随机自动生成数量为n 的正弦值作为训练集，并根据训练集拟合曲线，最后能通过输入x 值测试理论与拟合sinx 的拟合度。
二、设计思想思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。
逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。
然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。
这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方式。
这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。
虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
人工神经网络由大量的神经元构成。
这些神经元一般分为三种：输入层神经元，隐层神经元和输出层神经元。
输入层：单元i 的输入：i x单元数量：d单元i 的输出：i x单元i 的激活函数：线性函数隐 层：单元j 的输入：j net单元数量：H n01j dtj ji i j i net x x ωωω==+=∑单元j 的输出： 单元j 的激活函数：非线性函数输出层：单元k 的输入：单元数量：c单元k 的输出： 单元k 的激活函数：非线性函数三、程序设计1、编译环境使用C#语言编写，编译器为VS2008，运行环境为Windows+.NetFramework3.52、 程序运行流程运行程序后，单击“训练”按钮，开始训练，训练完成后可以看到函数图像与各权值，输入x 的值可以查看预测值与准确值。
人工智能实验报告-BP神经网络算法的简单实现
⼈⼯智能实验报告-BP神经⽹络算法的简单实现⼈⼯神经⽹络是⼀种模仿⼈脑结构及其功能的信息处理系统，能提⾼⼈们对信息处理的智能化⽔平。
它是⼀门新兴的边缘和交叉学科，它在理论、模型、算法等⽅⾯⽐起以前有了较⼤的发展，但⾄今⽆根本性的突破，还有很多空⽩点需要努⼒探索和研究。
1⼈⼯神经⽹络研究背景神经⽹络的研究包括神经⽹络基本理论、⽹络学习算法、⽹络模型以及⽹络应⽤等⽅⾯。
其中⽐较热门的⼀个课题就是神经⽹络学习算法的研究。
近年来⼰研究出许多与神经⽹络模型相对应的神经⽹络学习算法，这些算法⼤致可以分为三类：有监督学习、⽆监督学习和增强学习。
在理论上和实际应⽤中都⽐较成熟的算法有以下三种：(1) 误差反向传播算法(Back Propagation，简称BP 算法)；(2) 模拟退⽕算法；(3) 竞争学习算法。
⽬前为⽌，在训练多层前向神经⽹络的算法中，BP 算法是最有影响的算法之⼀。
但这种算法存在不少缺点，诸如收敛速度⽐较慢，或者只求得了局部极⼩点等等。
因此，近年来，国外许多专家对⽹络算法进⾏深⼊研究，提出了许多改进的⽅法。
主要有：(1) 增加动量法：在⽹络权值的调整公式中增加⼀动量项，该动量项对某⼀时刻的调整起阻尼作⽤。
它可以在误差曲⾯出现骤然起伏时，减⼩振荡的趋势，提⾼⽹络训练速度；(2) ⾃适应调节学习率：在训练中⾃适应地改变学习率，使其该⼤时增⼤，该⼩时减⼩。
使⽤动态学习率，从⽽加快算法的收敛速度；(3) 引⼊陡度因⼦：为了提⾼BP 算法的收敛速度，在权值调整进⼊误差曲⾯的平坦区时，引⼊陡度因⼦，设法压缩神经元的净输⼊，使权值调整脱离平坦区。
此外，很多国内的学者也做了不少有关⽹络算法改进⽅⾯的研究，并把改进的算法运⽤到实际中，取得了⼀定的成果：(1) 王晓敏等提出了⼀种基于改进的差分进化算法，利⽤差分进化算法的全局寻优能⼒，能够快速地得到BP 神经⽹络的权值，提⾼算法的速度；(2) 董国君等提出了⼀种基于随机退⽕机制的竞争层神经⽹络学习算法，该算法将竞争层神经⽹络的串⾏迭代模式改为随机优化模式，通过采⽤退⽕技术避免⽹络收敛到能量函数的局部极⼩点，从⽽得到全局最优值；(3) 赵青提出⼀种分层遗传算法与BP 算法相结合的前馈神经⽹络学习算法。
实验五BP神经网络的构建与使用(一)
人工神经网络实验五BP神经网络的构建与使用（一）一、实验目的1、熟悉MATLAB中神经网络工具箱的使用方法；2、掌握BP神经网络的特性和应用范围；3、掌握使用BP神经网络解决实际问题的方法；二、实验内容：在第四次实验中，试图用线性神经网络求解函数逼近问题，从实验的结果可以看到未能达到预期的效果，下面使用BP 神经网络来求解函数逼近问题：1、有21组单输入矢量和相对应的目标矢量，参考书《神经网络实验教程》P36的示例程序，试设计一个BP神经网络来实现这对数组的函数关系。
BP神经网络的部分参数输入与目标数据如下：BP神经网络参数：隐含层神经元个数为5个，设置BP神经网络的最大训练次数为1000。
提示：正确选择输入层到隐含层、隐含层到输出层的激活函数，tansig的定义域为负无穷到正无穷，值域为-1到1，logsig的定义域为负无穷到正无穷，值域为0到1；为观察训练后神经网络的效果，可以利用sim()函数（参见书P22）和plot()函数（参见书P15）在同坐标中画出输入数据和期望目标数据、测试数据和测试数据输出的图形输入数据：P=-1:0.1:1期望目标数据：T=[-0.96、0.577、-0.0729、0.377、0.641、0.66、0.461、0.1336、0.201、-0.434、-0.5、-0.393、-0.1647、0.0988、0.3072、0.396、0.3449、0.1816、-0.0312、-0.2183、-0.3201]（注意：为了清楚的表示数据，我在数据间加了逗号，同学们在MATLAB中使用进请将逗号改为空格）截图：代码：P=-1:0.1:1;T=[-0.960.577-0.07290.3770.6410.660.4610.13360.201-0.434-0.5-0.393-0.16470.09880.30720.3960.34490.1816-0.0312-0.2183-0.3201];%创建一个BP神经网络，每一个输入向量的取值范围为[-1,1]，隐含层有5个神经元，输出层%有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为logsig，训练函数为梯度下%降函数，即2.3.2节中所描述的标准学习算法net=newff([-11],[5,1],{'tansig','tansig'},'traingd');%可以改变训练步数为3000、5000、10000来查看网络的训练结果net.trainParam.epochs=5000;%目标误差设为0.01net.trainParam.goal=0.01;%设置学习速率为0.1LP.lr=0.1;net=train(net,P,T);y=sim(net,P);figurehndl1=plot(P,y);%设置线宽为2set(hndl1,'linewidth',2);%设置线的颜色为红色set(hndl1,'color','red');hold onhndl2=plot(P,T);set(hndl2,'linewidth',2);%设置图形标题title('BP神经网络逼近非线性函数的MATLAB实现'); %设置图例legend('BP神经网络逼近非线性函数','原数据')2、对1中建立的BP神经网络进行测试，测试数据为：P2=-1:0.025:1并对测试结果进行分析，3、当最大训练次数设置为3000、5000、10000时，分析网络的输出效果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
江南大学物联网工程学院实验报告
课程名称人工智能实验名称BP神经网络实验日期2016-04-30
班级计科1305 姓名游思睿学号1030413529
实验报告要求1．实验名称2．实验要求3．实验环境4．实验步骤5．实验体会
一、实验目的：
两个输入a、b（10以内的数），一个输出c，c=a+b。
换句话说就是教BP神经网络加法运算。
二、实验内容：
Data 用来表示已经知道的数据样本的数量，也就是训练样本的数量。
In 表示对于每个样本有多少个输入变量; Out 表示对于每个样本有多少个输出变量。
Neuron 表示神经元的数量，TrainC 来表示训练的次数。
再来我们看对神经网络描述的数据定义，来看下面这张图里面的数据类型都是double 型。
d_in[Data][In] 存储Data 个样本，每个样本的In 个输入。
d_out[Data][Out] 存储Data 个样本，每个样本的Out 个输出。
我们用邻接表法来表示图 1 中的网络，w[Neuron][In] 表示某个输入对某个神经元的权重，v[Out][Neuron] 来表示某个神经元对某个输出的权重；与之对应的保存它们两个修正量的数组dw[Neuron][In] 和dv[Out][Neuron]。
数组o[Neuron] 记录的是神经元通过激活函数对外的输出，OutputData[Out] 存储BP神经网络的输出。
初始化主要是涉及两个方面的功能，一方面是对读取的训练样本数据进行归一化处理，归一化处理就是指的就是将数据转换成0~1之间。
在BP神经网络理论里面，并没有对这个进行要求，不过实际实践过程中，归一化处理是不可或缺的。
因为理论模型没考虑到，BP神经网络收敛的速率问题，一般来说神经元的输出对于0~1之间的数据非常敏感，归一化能够显著提高训练效率。
可以用以下公式来对其进行归一化，其中加个常数A 是为了防止出现0 的情况（0不能为分母）。
y=(x-MinValue+A)/(MaxValue-MinValue+A)
另一方面，就是对神经元的权重进行初始化了，数据归一到了（0~1）之间，那么权重初始化为（-1~1）之间的数据，另外对修正量赋值为0
函数backUpdate(i) 负责的是将预测输出的结果与样本真实的结果进行比对，然后对神经网络中涉及到的权重进行修正，也这是BP神经网络实现的关键所在。
如何求到对于w[Neuron][In] 和v[Out][Neuron] 进行修正的误差量便是关键所在！误差修正量的求法在基本模型一文中数学分析部分有解答，具体问题具体分析，落实到我们设计的这个BP神经网络上来说，需要得到的是对w[Neuron][In] 和v[Out][Neuron] 两个数据进行修正误差，误差量用数据结构dw[Neuron][In] 和 dv[Out][Neuron] 来进行存储。
那么来分析下这两个修正误差量是什么样的？推导的思路与基本模型中推导误差量的一致，这里仅列出对具体对于我们设计的BP神经网络中的数学推导过程：
三、实验环境
VS2010
四、实验步骤（对照截图具体说明，尽量详细）
#include <stdio.h>
#include <time.h>
#include <math.h>
#include <stdlib.h>
#define Data 820
return 0;
}
五、实验体会
教师评价优良中及
格不
及
格
教师
签名
日
期。