神经网络导论第二章

隐含层误差项求解
i oi (1 oi )

k
k wik
神经元阈值的修改
如果把层p中处理单元的阈值看成是层p1中处理单元到其一个附加的常数输入连 接权值，也可以照类似的方法进行该单 元域值的修改。
BP学习算法描述（计算累计误差）
6、按下式计算当前学习样本的误差：
Ek
(d
i 1
)
1 , 1 ,
w x
i 1 n i 1
i i
w x
i i
感知机的几何意义
感知机的几何意义在 于它在多维空间上利 用一超平面将两类模 式A和B分开。这时超 平面方程为：
x2 / w2 ( w1 / w2 ) x1
感知机权值调整算法（文字）
ADALINE模型计算能力分析
每个自适应线性 元的功能也主要由各 个权值所确定。 每个自适应线性 元只能实现逻辑空间 上的线性划分，
y x1w1 x2 w2 w0 0 x2 w0 / w2 ( w1 / w2 ) x1
ADALINE模型学习过程举例
网络模型
x0=1 w =0.546 w00=1
ü ú µµµµ
第二节
感知机
感知机模型结构
感知机(Perceptron) 结构如下图所示。它 是一个简单的单层神 经网络模型。输入层 是含有n个处理单元 的神经元组，输出层 只有一个处理单元， 所有处理单元都是线 性阈值单元。
wi xi

y
感知机的计算
y fh (
w x
i 1 n
n
i i
Hale Waihona Puke Xk二值输出 1 , yk 0 qk sgn( yk ) 1 , yk 0
自适应线性元模型数学描述

理想输入 在图中的自适应线性元中有一特殊 的输入dk，即理想输入。 该输入是用来将理想响应信号送入 自适应线性元中，在自适应线性元中通 过比较yk和理想响应dk，并将差值送入最 小均方差(LMS)学习算法机制中来调整权 向量Wk，使得yk和所期望的输出dk相一致。
多层感知机应用举例
函数逼近映射
设计一个神经网络模型具有求sin和cos函 数的功能。 WINNN
ADALINE模型应用举例
数字识别
目的是要求识别0－9这十个数字。 网络模型： 输入5×7＝35个神经元 输出10个神经元。 训练样本 10个数字5×7的点阵。
1、初始化：赋予和一个较小的随机非零值。 2、将一模式送入输入神经元，并给出理想 输出值。 3、计算神经网络模型的实际输出： 4、调节权值: wi (d y ) xi 5、转2，直到学完所给定的所有输入样本。
感知机权值调整算法（图示）
Ei d i y i 1 E n

i 1
XOR问题
第三节
多层感知机和BP 算法
多层感知机简介
多层感知机（Multilayer Perceptron） 是一种在输入层与输出层之间含有一层 或多层隐含结点的具有正向传播机制的 神经网络模型。多层感知机克服了单层 感知机的许多局限，它的性能主要来源 于它的每层结点的非线性特性（节点输 出函数的非线性特性）。如果每个结点 是线性的，那么多层感知机的功能就和 单层感知机一样。
n
2 Ei
E=0.85
E=0.45
E=0.25
E=0.05
样本
感知机的缺陷
Rosenblatt已经证明，如 果两类模式在分布空间中 可以找到一个超平面将它 们分开，那么感知机的学 习过程就一定会收敛。否 则判定边界就会振荡不休， 永远不会稳定，这也正是 单层感知机所无法克服的 缺陷，所以它连最简单的 异或（XOR）问题也解决 不了。
多层感知机的结构
输入层 隐含层 输出层
多层感知机的分类能力
一个单层感知机构成一个半平面判决区 域，一个二层感知机可能构成任意无边 界的空间区域，这些判决区域有时是凸 多边形，有时是无边界的凹区域。凸区 域是多层感知机中第一层各个处理单元 所构成的半平面决定区域（即判决区域 ）相交而成。
各种感知机能力分析
第二章
内容提要


自适应线性元模型
感知机 多层感知机和BP算法
第一节
自适应线性元模型
自适应线性元模型结构
自适应线性元模型数学描述

输入 该模型实际上是一自适应阈值逻辑 单元。图中x0，x1k，x2k，…，xnk为该自 适应线性元在t时刻的外部输入，用向量 表示为: Xk＝（x0，x1k，x2k，…，xnk）T 这个向量称为自适应线性元的输入 信号向量或输入模式向量。

Xk
k Xk 2
其中： k 为当前的误差（即理想输出与 模拟实际输出之间的差值）； 称为学 习速度(Learning Rate)。


ADALINE学习算法实质分析
k dk
T X k Wk

T d k Wk
Xk
k (d k
T X k Wk )

T X k Wk
T
oi 1 exp
1
(
wij o j )
j
BP学习算法描述（权值调整阶段）
5、利用下面公式，从 输出层开始向输入层 方向进行权值调整：
wij (t 1) wij (t ) i o j
权值调整中的误差项求解
输出层误差项求解
实际输出 y i
理想输出 d i
i yi (1 yi )(d i yi )
m
i
yi )
实际输出 y i
2
理想输出 d i
BP学习算法描述（结束条件判断）
7、样本学习完否？没有学习完，转3； 8、计算所有样本的累积误差：
E
E
i 1
p
i
m p
9、判<E否？是，学习过程结束，否则 转3。
多层感知机应用说明
反传（BP）算法广泛使用在神经网络实 际应用领域中，其有效性得到了许多问 题的证明，如XOR问题、语言合成和识别 等。反传算法实际上是使系统朝误差梯 度下降的方向移动，把非线性感知机系 统决策能力和LMS的客观误差函数沿梯度 下降结合了起来。正是这些原因，多层 感知机也得到了日益广泛的应用。
自适应线性元模型数学描述

连接权值 与输入向量Xk相对应有一权向量: Wk=(w0k，w1k，w2k，…，wnk)T 其中每一元素与输入向量Xk中的每 一元素相对应。 w0k为基权，称为门限权，用来调整 自适应线性元的阈值。
自适应线性元模型数学描述

输出
模拟输出
yk
T X k Wk T Wk
各种感知机能力分析
多层感知机性能等价问题
第一层中的处理单元就像一单层感知机 ，所形成的凸区域的边数最多和第一层 结点个数一样多。一个三层感知机能形 成任意复杂的决定区域，也能把表中所 示的那些相互渗透的区域分开。
多层感知机学习算法概述
BP算法的基本过程
初始化阶段
前馈阶段
权值调整阶段 学习精度计算 学习结束判断
Wk Wk (t 1) Wk (t )

Xk
k X k 2
2
k
T X k Wk

T Xk
Xk

Xk
k k
的取值
的选择决定了收敛的稳定性和收敛的 速度。 稳定性要求：0< <2。但是 过 大可能会修正过度，一个比较好的选择 范围是0.1< <1。
E=? E=-2.27 E=2.15 y =4.57 y =0.153 y =?
d=2.3
x1=1.2
ww=-0.045 1 1=0.5
x2=2.7 w2w2=1.1 =-0.126
y x1w1 x2 w2 w0 wi ( / X )xi
2
ADALINE模型的学习曲线
3 ó µµ 0
LMS学习过程（图述）
LMS学习过程（文字说明）
1、提交学习样本； 2、计算神经网络的输出； 3、计算实际输出和理想输出的误差； 4、按照权值修改规则修改神经网络权值； 5、计算学习结束判据； 6、学习结束否？ 7、达到要求学习结束，否则转1。
LMS学习算法权值修改规则
Wk (t 1) Wk (t )
BP学习算法描述（初始化阶段）
1、对所有处理单元的阈值及处理单元之间 的连接权值取一个较小的随机数。 2、设定一个较小的数作为学习期望达到 的最终学习精度。该值作为学习过程的 结束判断条件。
BP学习算法描述（前馈阶段）
3、给定输入样本 X ( x1 , x2 ,，xn ) 和理 想输出 D (d1 , d 2 ,，d m )T 。 4、对于层p的处理单元i，以下式计算层p 中处理单元i的活跃值，也即输出到层 p+1的输出值。
LMS算法的几何解释
Xk Wk (t 1)
Wk

Xk
k X k 2
Wk (t )
ADALINE模型计算能力分析
若ADALINE输入为二值，它可以完成 一定的逻辑功能。 n 若有n个输入，即则有2 个可能的输 入模式。在一般的逻辑实现中，依照所 期望的输出响应，可以将个输入模式划 分成＋和－两类。每一个自适应线性元 模型可以完成某一种逻辑功能，因而我 们也可以把自适应线性元看成是一逻辑 部件。