神经网络课程设计报告

1、简述神经网络的典型结构，常用的激活函数及各类神经网络的基本作用。

（1）人工神经网络的典型结构正如生物神经元是生物神经网络的基本处理单元一样，人工神经元作为对生物神经元的模拟，是人工神经网络的基本处理单元。

在生物神经元的结够、特性进行深入研究的基础上，心理学家W.McCulloch 和数理逻辑学家W.Pitts 于1943年首先提出了一个简化的神经元模型——M-P 模型。

该模型提出了以下几点假设：①每个神经元都是一个多输入单输出的信息处理单元； ②突触分兴奋型和抑制性两种类型； ③神经元具有阈值特性； ④ 神经元是非时变的，及突触强度均为常数。

神经元及神经网络系统的基本形式来源于对人脑相应生理结构的简单模仿，人工神经元同样是对生物神经元的简化和模拟，它是复杂神经网络的基本处理单元，神经网络的典型结构如图1-1所示：图1-1神经网络典型结构（2） 常用的激活函数a 阀值型（硬限制型）⎩⎨⎧<+≥+=+=0*0 0* 1 )*(θθθX W X W X W f Ab 线性型○1全线性○2正线性c S 型函数(Sigmoid)○1 单极型和双极型θθ+=+=X W X W f A *)*( n *0(*) 0 *0W X A f W X W X θθθ+≥⎧=+=⎨+<⎩11n y e λ-=+21ny e λ-=+○2双曲正切y=tanh(n)d 径向基函数○1高斯函数○2三角波函数n 单极型n 双极型（3）各类神经网络的基本作用○1神经网络的软件模拟和硬件实现的研究。

○2神经网络在各个领域中应用的研究。

这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。

随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。

2、论述BP算法的基本思想，讨论BP基本算法的优缺点，以及改进算法的思路和方法。

（1）BP算法的基本思想BP学习过程分为两个过程：工作信号正向传播：输入信号从输入层经隐含层单元传向输出层，在输出端产生输出信号。

在信号的传递过程中，权值是固定不变的。

每层神经元的状态只影响下一层神经元的状态。

如果在输出层不能得到期望的输出，则转入误差信号反向传播。

误差信号反向传播：网络的实际输出与期望输出的差值为误差信号，误差信号由输出端开始逐渐向前传播。

在误差信号反向传播过程中，网络的权值由误差反馈进行调节。

通过权值的不断修正使实际输出更接近期望输出。

（2）BP算法优缺点优点：○1非线性映射能力。

多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。

只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。

○2泛化能力。

当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。

这种能力称为多层前馈网的泛化能力。

○3容错能力。

输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。

缺点：○1需要较长的训练时间。

这主要是由于学习速率太小所造成的。

可采用变化的学习速率或自适应的学习速率来加以改进。

○2完全不能训练。

这主要表现在网络的麻痹上。

通常为了避免这种情况的产生，一是选取较小的初始权值，二是采用较小的学习速率。

○3局部最小值。

采用多层网络或较多的神经元，有可能得到更好的结果。

（3）改进的思路和算法BP算法改进的主要目标是为了加快训练速度，避免陷入局部极小值和改善其它能力。

本节只讨论前两种性能的改进方法的有关内容。

○1带动量因子算法；○2自适应学习速率；○3改变学习速率；○4作用函数后缩法。

3、试比较RBF与多层感知器，论述这两种网络的特点和差异。

RBF网络与多层感知器都是非线性前向网络，它们都是通用逼近器。

对于任一个多层感知器，总存在一个RBF网络可以代替它，反之亦然。

但是它们也有不同点：○1RBF网络只有一个隐层，而多层感知器可以是一层也可以是多层。

○2多层感知器的隐层和输出层的神经元模型是一样的。

而RBF网络的隐层和输出层的神经元模型不同，而且在网络中起到的作用也不一样。

○3RBF网络的隐层是非线性的，输出层是线性的。

多层感知器解决非线性回归问题时，隐层是非线性的输出层是线性的。

在解决模式分类问题时，它的隐层和输出层通常都选为非线性的。

○4RBF网络的基函数计算的是输入向量和中心的欧氏距离，而多层感知器隐单元的激活函数计算的是输入单元和连接权的内积。

○5多层感知器是对非线性映射的全局逼近，而RBF网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局部逼近。

这意味着，逼近非线性输入输出映射，要达到相同的精度，RBF网络所需要的参数要比多层感知器少得多。

由于RBF网络能逼近任意的非线性函数，可以处理系统内在的难以解析的规律性，并具有极快的收敛速度，因此， RBF网络有广泛的应用。

4、试比较和论述Hopfield网络与随机网络的工作原理，讨论网络状态变化稳定的条件。

Hopfield网络工作原理：按照其用途来设计或训练网络的权值，很难避免出现伪状态，对于有用的吸引子，其吸引力的强、弱吸引域的大小也不同，而且网络是严格按照能量减小的方向运行的，这就容易陷入局部极小点，而无法跳出。

神经网络算法的基本思想：网络运行向误差或能量函数减小方向运行的概率大，向误差或能量函数增大方向运行的概率存在，这样网络跳出局部极小点的可能性存在，而且向局部最小点收敛的概率最大。

网络状态变化稳定的条件：若网络从某一时刻以后，状态不在发生变化，即()()()+∆=∆>v t t v t t,05、谈谈学习神经网络课程后的心得体会，你准备如何在你的硕士课题中应用神经网络理论解决问题。

通过这两个多月来宗老师对神经网络的讲解，我了解到了ANN在信号处理中应用相当广泛。

通过此课程的学习，我掌握了基本的BP网络的基本思想和MALTAB仿真设计以及对于其不足的改进。

同时了解到其他的网络结构，比如Hopfield的基本思想以及应用。

学习一种新知识，掌握算法思想比具体的编程和应用更重要，授之以渔不如授之以鱼。

由于人工神经网络在通讯信号处理、语音信号处理、声纳信号处理、心电信号处理、图像处理等方面应用广泛。

待选定课题以后可能结合具体的应用方面进一步深入学习神经网络。

实验四用于函数逼近的多层感知器设计1研究目的及意义数值逼近是指给定一组数据, 用数学分析的方法来分析这组数据,常用的数学分析方法有多项式拟合和插值运算。

还有一种常用的方法就是运用人工神经网络的有关理论,建立合适的神经网络来逼近给定的数据。

人工神经网络( Artificial Neural Network, ANN)是由大量神经元互相连接而组成的复杂网络系统, 具有感知、记忆、学习和联想等功能, 能模仿人脑处理信息的物理过程, 具有大规模并行模拟处理、分布式存储信息、非线性动力学和网络全局作用, 以及很强的自适应、自学习和容错能力等一些特点, 因此成为一种强大的非线性信息处理工具。

在人工神经网络的实际应用中, 80%~ 90%的人工神经网路模型采用基于误差反向传播算法( Error Back Propagation, BP算法) 的多层前向神经网络(即BP 网络)或他的变化形式。

BP 是前馈网络的核心部分, 体现了人工神经网络最为精华的部分, 广泛应用于函数逼近、模式识别/分类、数据压缩等。

而本实验要做的工作即用多层感知器实现函数逼近。

2 BP网络2.1 BP网络简介BP网络是一种采用有教师学习算法的典型的多层前向神经网络。

它具有强大的计算能力，能够通过训练，掌握学习样本蕴涵的输入输出关系，它在预测和分类中都有着广泛的应用。

BP网络是一种多层前馈神经网络,包括输入层,隐层(中间层)和输出层,其中隐层可以是一层也可以是多层,一般而言,三层BP神经网络就可以解决大部分比较简单的问题。

BP网络前后层之间实现全连接,每层神经元之间无连接。

BP网络由输入层、隐含层和输出层组成, 其学习过程分为2个阶段:第一个阶段是输入已知学习样本向量, 通过设置的网络结构和前一次迭代的权值和阈值, 从网络的输入层经隐含层逐层处理, 并传向输出层, 逐次算出各层节点的输出。

第二个阶段是对权值和阈值进行修改, 根据输出节点的实际输出与期望输出的误差 ( 误差大于要求的精度) ,将误差信号沿原来的连接通道作反向传播, 逐次修改网络各层权值与阈值使误差减小。

重复上述过程, 直至网络的输出误差逐渐减小到允许的精度, 或达到预定的学习次数。

图1是一个3层BP网络结构示意图。

输入层中间层输出层图1 3层BP 神经网络结构图 2.2 BP 梯度算法前馈神经网络BP 算法采用最速下降寻优算法，即梯度法。

假设有N 对学习样本，采取批处理学习方法，目标函数：211()2NK K K E T Y N ==-∑，其中K T 、K Y 分别为第K 对样本的期望输出和实际输出向量。

E 反映网络输出与样本的总体误差。

学习过程就是通过修改各神经元之间的权值，使得目标函数E 的值最小，权值按下列公式修正：ij ij E W W η∂∆=-∂ η为学习速率。

2.3动量学习算法该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权之变化的值，并根据反向传播法来产生新的权值变化。

带有附加动量因子的权值调节公式为：(1)(1)()ij i j ij w k mc p mc w k ηδ∆+=-+∆(1)(1)()i i i b k mc mc b k ηδ∆+=-+∆其中k 为训练次数，mc 为动量因子，一般取0.95左右。

附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传递。

以此方式，当增加动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，δ将变得很小，于是，(1)()ij ij w k w k ∆+≈∆从而防止了()0ij w k ∆=的出现 ，有助于使网络从误差曲面的局部极小值中跳出。

梯度算法是动量因子0mc =的特殊情况。

2.3 BP 算法步骤（1）将各权值、 阈值置为小的随机数。

（2）从训练数据中挑选一组数据（k X 、k T ）, 将输入数据X 加到 BP 神经网络的输入层, T 为预期输出数据,上标k 为训练数据号。

（3）由 1m m m j ij i i y F W y -⎡⎤=⎢⎥⎣⎦∑计算从第一层直至输出层各节点j 的输出m i y , 其中上标m 为 BP 网络的层标号, F 为神经元的激励函数1m i y -为 BP 网络1m -层的i 节点的输出, m ij W 为1m -层的i 节点到m 层的j 节点的连接权值, ,1,...,1M M M =-。