第1章 人工神经网络

（2）神经网络的学习规则
1）联想式学习— Hebb学习规则

心理学家Hebb根据生理学中的条件反射机理，于1949年 提出的神经元连接强度变化的规则：

如果两个神经元同时兴奋(即同时被激活)，则它们之 间的突触连接加强 。
根据该假设定义的权值调整方法称为Hebb学习规则， 可归纳为：当神经元i和神经元j同时处于兴奋状态时， 两者之间的连接强度应增强。
E v jk v jk
为学习速率
源自文库
输出层各神经元的权值调整公式为：
p v jk (t y ) f (Sk ) z j
p 1 k 1 p k p k
P
m
输出层各神经元的阈值调整公式为：
p k (t y ) f ( Sk )
p 1 k 1 p k p k
e(n)=d (n)-yi (n)
现在要调整权值，使误差信号e(n)减小到一个范围。 为此，可设定代价函数或性能指数E(n)：
1 2 E (n)= e (n) 2
反复调整连接权值使代价函数达到最小或者使系统达 到一个稳定状态（即连接权值稳定不变），就完成了该学 习过程。 该学习过程成为纠错学习，或Delta学习规则。 wij 表示神经元xi到xj学的连接权值，在学习步骤为n 时对突触权值的调整为： 学习速
智能信息处理
Intelligent Information Processing
李建坡
信息工程学院
内容简介
1.人工神经网络 2.模糊理论 3.数据挖掘 4.粗糙集理论 5.蚁群算法 6.支持向量机 7.灰色系统理论 8.信息融合
9.专家系统 10.云计算 11.聚类分析 12.遗传算法 13.粒子群算法 14.免疫算法 15.模拟退火算法 ……
BP网络的结构 输入向量、输出向量的维数、网络隐含层的层数和 各个隐含层神经元个数的决定。 实验：增加隐藏层的层数和隐藏层神经元个数不一 定总能够提高网络精度和表达能力。 BP网一般都选用三层网络。
输入层 隐含层 输出层
. . .
. . .
. . .
开始
BP网络学习流程图
连接权及阈值初始化 学习模式对提供给网络
P
m
3）隐含层权值和阈值的变化 采用累计误差BP算法调整 ij，使全局误差E变小，即
E wij wij
隐含层各神经元的权值调整公式为：
P m
为学习速率
p p wij (t y ) f (Sk )v jk f (S j ) xi
p 1 k 1 p k p k
BP网络主要用于： （ 1 ）函数逼近：用输入矢量和相应的输出矢量训练网络 逼近某个函数； （ 2 ）模式识别：用一个特定的输出矢量将它与输入矢量 联系起来； （ 3 ）分类：把输入矢量以所定义的合适的方法进行分类 ； （4）数据压缩：减少输出矢量维数以便于传输或存储。 在人工神经网络的实际工程应用中，特别在自动控 制领域中，大多数神经网络模型是采用BP网络或它的变 化形式，它也是前向网络的核心部分，体现了人工神经 网络最精华的部分。
计算隐含层和输出层各单元的输入、输出 计算输出层和隐含层各单元的校正误差 调整各层单元的连接权值和阈值 更新学习模式对 N 全部训练完？ Y 更新学习次数 N 误差<E或学习 次数>N？ Y 结束
计算过程 （1）正向传播输出过程 设BP网络的输入层有n个节点，隐含层有q个节点， 输出层有m个节点；输入层与隐含层之间的权值为wij ， 隐含层与输出层之间的权值为 v jk；隐含层单元的阈 值为 j ，输出层单元的阈值为 k ；隐含层和输出层 的激活函数为S型函数。则隐含层节点的输出为：
1.5 人工神经网络的学习
• 人工神经网络最具有吸引力的特点是它的学习能 力。 1962 年， Rosenblatt 给出了人工神经网络著 名的学习定理：人工神经网络可以学会它可以表 达的任何东西。 (1)神经网络的学习方式 有导师（监督）学习方式 无导师（监督）学习方式 (2)神经网络的学习规则 • 联想式学习 — Hebb学习规则 • 误差纠正式学习——Delta (δ)学习规则
1）有导师学习方式
神经网络根据实际输出与期望输出的偏差，按照一定的 准则调整各神经元连接的权系数。期望输出又称为导师信 号，是评价学习的标准。
特点： 不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本的表示次序变化比较敏感
2）无导师学习方式
无导师信号提供给网络，神经网络仅仅根据其输入 调整连接权系数和阈值，此时，网络的学习评价标准隐 含于内部。这种学习方式主要完成聚类操作。
1.人工神经网络 Artificial Neural Networks
1.1 人工神经网络的提出
• 人工神经网络（ANN），是对人类大脑系统的一 阶特性的一种描述。简单地讲，它是一个数学模 型，可以用电子线路来实现，也可以用计算机程 序来模拟，是人工智能研究的一种方法。 • 智能:个体有目的的行为，合理的思维，以及有效 的、适应环境的综合能力。是个体认识客观事物 和运用知识解决问题的能力。 • 人工智能：研究如何使类似计算机这样的设备去 模拟人类的这些能力。
采用阶跃作用函数的神经元，称为阈值逻辑单元。
（4）线性函数
1）线性作用函数：输出等于输入，即 2）饱和线性作用函数
x0 0 y f ( x) x 0 x 1 1 x 1
y f ( x) x
3）对称饱和线性作用函数
x 1 1 y f ( x) x 1 x 1 1 x 1
• 激活函数 —— 执行对该神经元所获得的网络输入 的变换，也可以称为激励函数、活化函数、响应 函数、作用函数等。
MP 神经元模型是人工神经元模型的基础， 也是神经网络理论的基础。在神经元模型中，激 活函数除了单位阶跃函数之外，还有其它形式。 不同的作用函数，可构成不同的神经元模型。
（1）对称型Sigmoid函数
• 人工神经网络连接权的确定通常有两种 方法
– 根据具体要求，直接计算
– 通过学习得到的,大多数人工神经网络都采用 这种方法

学习是改变各神经元连接权值的有效方法，也是体 现人工神经网络智能特性最主要的标志。离开了学 习，神经网络就失去了其自适应、自组织能力
学习方法是人工神经网络研究中的核心问题
（1）神经网络的学习方式
（1）前馈型神经网络 神经元分层排列，顺序连接。由输入层施加输入信息， 通过中间各层，加权后传递到输出层后输出。每层的神 经元只接受前一层神经元的输入，各神经元之间不存在 反馈。
（2）反馈型神经网络 网络的输出信号通过与输入连接而返回到输入端，从而 形成一个回路。因此每一时刻网络输出不仅取决于当前 的输入，而且还取决于上一时刻的输出。
1.7 算法的改进
（1）BP网络的不足
1）需要较长的训练时间
对于一些复杂的问题，BP算法可能要进行几小时甚至更长时间 的训练，这主要是由学习速率太小所造成的，可采用变化的学 习速率或自适应的学习速率来加以改进。
2）不能完全训练
在网络的训练过程中，当其权值调得过大，可能使得所有的或 大部分神经元的加权总和偏大，这使得激活函数的输入工作在 S 型转移函数的饱和区，导致梯度变化率非常小，从而使得对 网络权值的调节过程几乎停顿下来，通常为了避免这种现象的 发生，一是选取较小的初始权值，二是采用较小的学习速率， 这势必增加网络的训练时间。
wij (n)=e(n)x j (n)
则
率参数
wij (n 1)=wij (n)+wij (n)
1.6 BP网络
误差反向传播网络（Error Back-Propagation Network，BP网络）是Rumelhart等人于1985年提 出的，是一种按误差逆传播算法训练的多层前馈 型网络，是目前应用最广泛的神经网络模型。
z j f ( wij xi j )
n
j 1, 2,
,q
输出层节点的输出为：
yk f ( v jk z j k )
j 1 q
i 1
k 1, 2,
,m
通过上两式，可计算出一个输入模式的传播过程。
（2）反向传播调整过程 1）误差函数定义 1 2 p x , x , , x 输入P个学习样本： 第p个样本输入到网络后得到输出 ykp k 1, 2, , m 采用平方型误差函数，于是得到第p个样本的误差E p：
隐含层各神经元的阈值调整公式为：
p p j (t y ) f (Sk )v jk f (S j )
p 1 k 1 p k p k
P
m
（3）循环记忆训练 为使网络的输出误差趋于极小值，对于BP网络输 入的每一组训练模式，一般要经过数百次甚至上万 次的循环记忆训练，才能使网络记住这一模式。 这种循环记忆训练实际上就是反复前两步的正向 传播输出过程和反向传播调整过程。 （4）学习结果的判别 当每次循环记忆训练结束后，都要进行学习结果 的判别。判别的目的主要是检查输出误差是否已经 小到允许的程度。如果小到了允许的程度，就可以 结束整个学习过程，否则还要进行循环训练。学习 或者说训练的过程是网络全局误差趋向于极小值的 过程。

Hebb学习规则是人工神经网络学习的基本规则，几乎所 有神经网络的学习规则都可以看作Hebb学习规则的变形
2）纠错式学习— Delta(δ)学习规则
首先我们考虑一个简单的情况：设某神经网络的输 出层中只有一个神经元i，给该神经网络加上输入，这样 就产生了输出yi(n)，称该输出为实际输出。
对于所加上的输入，我们期望该神经网络的输出为 d(n),称为期望输出或目标输出（样本对里面包含输入和 期望输出）。实际输出与期望输出之间存在着误差，用 e(n)表示：
3）容易陷入局部极小值
BP 算法采用的是梯度下降法，训练是从某一起始点沿误差 函数的斜面逐渐达到误差的最小值。对于复杂的网络，其误 差函数为多维空间的曲面，因而在训练过程中可能陷入某一 小谷区，而这一小谷区产生的是一个局部极小值。由此点向 各方向变化均使误差增加，以致于使训练无法逃出这一局部 极小值。
1.2 人工神经网络的特点
• • • • 大规模的复杂系统，有大量可供调节的参数； 高度并行的处理机制，具有高速运算的能力； 高度分散的存储方式，具有全息联想的特征； 高度灵活可变的拓扑结构，具有很强的适应能力； 高度冗余的组织方式，具有很好的坚韧性； • 高度的非线性运算，通过训练和学习来获得网络 的权值与结构，具有很强的自学习能力和对环境 的适应能力； • 高度的集体协同计算，模拟处理与数字处理并存。
（5）高斯函数
f ( x) e
( x 2 2 )

反映出高斯函数的宽度
1.4人工神经网络的典型结构
• 目前，神经网络模型的种类比较多，已有近40余 种神经网络模型，其中典型的有BP网络、 Hopfield网络。 • 根据神经元的拓扑结构形式不同，神经网络已有 十余种不用的连接方式，其中前馈型网络和反馈 型网络是最典型的两种结构。
1 ex f ( x) 1 e x
或
1 e x f ( x) , 0 x 1 e
（2）非对称型Sigmoid函数
1 f ( x) 1 ex
或
1 f ( x) , 0 x 1 e
（3）对称型阶跃函数函数
1 , x 0 f ( x) 1 , x 0
1 m p E p (tk ykp )2 2 k 1
p 式中，k
t 为期望输出。对于P个样本，全局误差为：
1 P m p E E p (tk ykp )2 2 p 1 k 1 p 1
P
2）输出层权值和阈值的变化 采用累计误差BP算法调整 v jk，使全局误差E变小，即
1.3 人工神经元
神经元是构成神经网络的最基本单元。 1943年，神经生理学家McCulloch（麦克洛奇）和数学 家Pitts（皮兹）定义了神经元模型M-P模型（世界第一个神 经计算模型）。 ，xn ) f：阶跃函数 X ( x1，x2， 输入向量： W (w1，w2， ，wn ) 权值向量： n 阈值： y f ( wi xi ) i 1 输出： x0 1 其中： f ( x) x0 0 称为激活函数