神经网络课程设计报告

1、简述神经网络的典型结构，常用的激活函数及各类神经网络的基本作用。

（1）人工神经网络的典型结构

正如生物神经元是生物神经网络的基本处理单元一样，人工神经元作为对生物神经元的模拟，是人工神经网络的基本处理单元。

在生物神经元的结够、特性进行深入研究的基础上，心理学家W.McCulloch 和数理逻辑学家W.Pitts 于1943年首先提出了一个简化的神经元模型——M-P 模型。该模型提出了以下几点假设：

①

每个神经元都是一个多输入单输出的信息处理单元； ②

突触分兴奋型和抑制性两种类型； ③

神经元具有阈值特性； ④ 神经元是非时变的，及突触强度均为常数。

神经元及神经网络系统的基本形式来源于对人脑相应生理结构的简单模仿，人工神经元同样是对生物神经元的简化和模拟，它是复杂神经网络的基本处理单元，神经网络的典型结构如图1-1所示：

图1-1神经网络典型结构

（2） 常用的激活函数

a 阀值型（硬限制型）

⎩⎨⎧<+≥+=+=0*

0 0* 1 )*(θθθX W X W X W f A

b 线性型

○1全线性

○2正线性

c S 型函数(Sigmoid)

○1 单极型和双极型

θ

θ+=+=X W X W f A *)*( n *0(*) 0 *0

W X A f W X W X θθθ+≥⎧=+=⎨+<⎩11n y e λ-=+21n

y e λ-=+

○2双曲正切

y=tanh(n)

d 径向基函数

○1高斯函数

○2三角波函数

n 单极型

n 双极型

（3）各类神经网络的基本作用

○1神经网络的软件模拟和硬件实现的研究。

○2神经网络在各个领域中应用的研究。这些领域主要包括：

模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。

2、论述BP算法的基本思想，讨论BP基本算法的优缺点，以及改进算法的思路和方法。

（1）BP算法的基本思想

BP学习过程分为两个过程：

工作信号正向传播：输入信号从输入层经隐含层单元传向输出层，在输出端产生输出信号。在信号的传递过程中，权值是固定不变的。每层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。

误差信号反向传播：网络的实际输出与期望输出的差值为误差信号，误差信号由输出端开始逐渐向前传播。在误差信号反向传播过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使实际输出更接近期望输出。

（2）BP算法优缺点

优点：○1非线性映射能力。多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。

○2泛化能力。当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。

○3容错能力。输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。

缺点：○1需要较长的训练时间。这主要是由于学习速率太小所造成的。可采用变化的学习速率或自适应的学习速率来加以改进。

○2完全不能训练。这主要表现在网络的麻痹上。通常为了避免这种情况的产生，一是选取较小的初始权值，二是采用较小的学习速率。

○3局部最小值。采用多层网络或较多的神经元，有可能得到更好的结果。（3）改进的思路和算法

BP算法改进的主要目标是为了加快训练速度，避免陷入局部极小值和改善其它能力。本节只讨论前两种性能的改进方法的有关内容。○1带动量因子算法；○2自适应学习速率；○3改变学习速率；○4作用函数后缩法。

3、试比较RBF与多层感知器，论述这两种网络的特点和差异。

RBF网络与多层感知器都是非线性前向网络，它们都是通用逼近器。对于任一个多层感知器，总存在一个RBF网络可以代替它，反之亦然。但是它们也有不同点：

○1RBF网络只有一个隐层，而多层感知器可以是一层也可以是多层。

○2多层感知器的隐层和输出层的神经元模型是一样的。而RBF网络的隐层和输出层的神经元模型不同，而且在网络中起到的作用也不一样。

○3RBF网络的隐层是非线性的，输出层是线性的。多层感知器解决非线性回归问题时，隐层是非线性的输出层是线性的。在解决模式分类问题时，它的隐层和输出层通常都选为非线性的。

○4RBF网络的基函数计算的是输入向量和中心的欧氏距离，而多层感知器隐单元的激活函数计算的是输入单元和连接权的内积。

○5多层感知器是对非线性映射的全局逼近，而RBF网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局部逼近。这意味着，逼近非线性输入输出映射，要达到相同的精度，RBF网络所需要的参数要比多层感知器少得多。

由于RBF网络能逼近任意的非线性函数，可以处理系统内在的难以解析的规律性，并具有极快的收敛速度，因此， RBF网络有广泛的应用。

4、试比较和论述Hopfield网络与随机网络的工作原理，讨论网络状态变化稳定的条件。

Hopfield网络工作原理：按照其用途来设计或训练网络的权值，很难避免出现伪状态，对于有用的吸引子，其吸引力的强、弱吸引域的大小也不同，而且网络是严格按照能量减小的方向运行的，这就容易陷入局部极小点，而无法跳出。

神经网络算法的基本思想：网络运行向误差或能量函数减小方向运行的概率大，向误差或能量函数增大方向运行的概率存在，这样网络跳出局部极小点的可能性存在，而且向局部最小点收敛的概率最大。

网络状态变化稳定的条件：若网络从某一时刻以后，状态不在发生变化，即

()()()

+∆=∆>

v t t v t t

,0

5、谈谈学习神经网络课程后的心得体会，你准备如何在你的硕士课题中应用神经网络理论解决问题。

通过这两个多月来宗老师对神经网络的讲解，我了解到了ANN在信号处理中应用相当广泛。通过此课程的学习，我掌握了基本的BP网络的基本思想和MALTAB仿真设计以及对于其不足的改进。同时了解到其他的网络结构，比如Hopfield的基本思想以及应用。学习一种新知识，掌握算法思想比具体的编程和应用更重要，授之以渔不如授之以鱼。由于人工神经网络在通讯信号处理、语音信号处理、声纳信号处理、心电信号处理、图像处理等方面应用广泛。待选定课题以后可能结合具体的应用方面进一步深入学习神经网络。