神经网络复习

第一章概论

1.神经元的基本结构：处理单元（兴奋、抑制）、连接（输入、输出）

2.神经元模型-激励函数：硬极限激励函数、线性激励函数、对数-S形激励函数

3.人工神经网络的定义：由大量处理单元互联组成的非线性、自适应、分布式并行信息处

理系统。依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，是一种基于统计的学习方法。

4.神经网络：神经元模型（激励函数）+网络结构+学习算法

5.神经网络的分类：（了解）

拓扑结构：前馈神经网络、递归（反馈）神经网络

按连续性：连续性、离散型

按学习方式：有监督学习、无监督学习

网络应用：自组织神经网络、联想记忆神经网络

6.神经网络分类

前馈神经网络：感知机、自适应线性元、多层感知机、深度学习网络

自组织神经网络（无监督学习）：自组织映射网络（SOM）、自适应谐振理论（ART）、径向基函数网络（RBF）

递归网络模型（简单反馈）：hopfield网络

7.神经网络的特点：

数量巨大（含有大量极其简单的处理单元）；

计算简单（每一个计算单元的处理简单）；

高度复杂的互连。

8.神经网络的特点：

非线性：大多数系统都是非线性的自适应：时变系统、非平稳随机过程分布式：并行计算、大规模并行表示

第二章前馈神经网络（感知机+自适用线性元+BP算法）

2.1感知机

1.感知机的特点：（针对之前神经运算模型的改进）

权值和偏置值能够解析确定，也能学习

二值、多值、连续模型都可以处理

对于线性可分问题，学习步数存在上限

2.感知机组成：一个具有线性组合功能的累加器+硬极限函数激励

3.感知机局限：

对于线性可分问题、学习过程一定收敛；

线性不可分问题：判定边界对震荡不休；

传输函数不可导

4.学习规模：初始化权值；计算输出值；调节权值以及偏置值；迭代完所有样本；判断结

束条件

5.输入向量归一化：很大或很小的输入向量都会导致感知机训练时间大幅度增加，因此对

输入向量归一化（除以向量的模）

6.学习率算法：加一个学习率系数

7.口袋算法：针对线性不可分问题，保留最佳的权值

主要区别在权值更新步骤：若当前权值能将训练样本正确分类，且能够正确分类的训练样本数量大于口袋中权值向量能够正确分类的训练样本数量，则以现权值向量代替原权值向量，并更新口袋中权值向量能够正确分类的样本个数。

若分类错误，则进行常规权值更新

2.2自适应线性元

1.自适应线性元特点：

激励函数为可导线性激励函数

学习规则：LMS最小均方算法，采用梯度下降法的一种近似来更新权值

鲁棒学习，对噪声不敏感

应用广泛：函数逼近、信号处理

2.自适应线性元神经网络组成：一个具有线性组合功能的累加器+线性函数

3.局限性：线性可分问题不一定能够正确分类；线性不可分问题一定不能正确分类

4.感知机与自适应线性元的比较

评价准则不同，导致结果不同：感知机的目标是调整权值，使神经元的输出与期望值完全相同；LMS算法是时神经元的输出在均方意义上接近期望值

线性可分问题：感知机可以保证分类成功；LMS算法不一定保证成功

线性不可分问题：感知机无法收敛；LMS也无法分类成功，但会保留效果最好的一组权值。

2.3反向传播算法BP算法

1.多层感知机

拓扑结构：输入层、隐含层、输出层

特性：激励函数非线性可导（对数S函数）、包含一层以上的隐含层、具有高度的互连性

学习规则：采用有监督学习方式，由反向传播算法来更新权值，可视为LMS算法的推广

2.网络训练：前向传播阶段+反向传播阶段

前向传播阶段：输入向量由输入层引入，以前馈方式经隐含层传导至输出层，并计算网络输出值

反向传播阶段：网络的权值根据误差修正法则来进行修正，以使网络的输出值趋向于期望输出值

3.网络结构的逼近特性

理论上可以逼近任意连续函数

需要两层架构，隐含层上的神经元足够多

4.BP算法的初始值与输入次序

权值向量与初始值应该设定在一均匀分布的小范围内，不能为零，否则性能曲面会趋向鞍点，不能太大，会远离优化点，导致学习较慢

训练样本的输入次序不同，也会造成不一样的学习结果，在每一次的学习循环汇总，输入向量输入网络的次序应不同

5.训练终止条件

当权值向量的梯度小于给定值

均方误差小于给定误差容限值

泛化能力达到目标

6.收敛性

误差函数相对权值向量是非线性函数，会产生很多局部极小值，当BP算法收敛时，不能确定是最优解

如何选择学习率依赖于经验

7.泛化能力

泛化是指对新输入和输出数据是否能做出正确的判断

当网络学习太多的输入输出关系时，也就是网络过度训练时，网络变的只是去记忆所学习过的学习样本，而无法泛化相类似的样本应有的输入输出关系

影响泛化的因素：训练集的大小、网络拓扑结构、处理问题的复杂度

8.BP网络的特点

学习速率固定、网络收敛速度慢，需要较长的训练时间

BP算法可以使权值收敛到某个值，但不能保证是全局最小值

隐含层的层数和单元数的选择尚无理论指导

网络的学习和记忆具有不稳定性

2.4BP算法的变形

1.基本BP算法：采用最速下降反向传播算法；存在局部极小点；网络训练时间长

2.SDBP算法的改进：

基于启发式：源于对标准反向传播算法特定性能的研究：使用动量、可变学习率

基于数值优化：训练前馈网路较小误差是一个数值优化问题：共轭梯度法CGBP、LMBP 算法

3.动量BP算法MOBP

SDBP增大学习速率，缩短训练时间，收敛效果不好的原因是权值震荡比较厉害容易发散

对权值和偏置值的更新值进行平滑以提高收敛效能

实现措施：采用一阶惯性滤波器进行低通滤波

4.可变学习率BP算法（VLBP）

对于多层网络，均方误差不是一个二次哈十年后，曲面形状随参数的空间区域的不同而不同，在陡峭处应降低学习率，平坦处提高学习率

学习率应该随曲率变化而变化

5.VLBP学习规则：

若均方误差增加但小于指定值，接收权值更新，学习率必变

若均方误差大于指定值，取消权值更新，学习率乘以一个小于1的因子