第三章 前馈神经网络模型

感知器的学习
输入X 第三步 输入 3，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1=-1 W(3)= W(2)+η[d3- o3(2)] X3 =(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T 返回到第一步， 第四步 返回到第一步，继续训练直到dp- op=0，p=1,2,3。
多层感知器的结构
输入层 隐含层 输出层
多层感知器的分类能力
一个单层感知器构成一个 半平面判定区域，一个两 层感知器可以构成任意无 边界的空间区域，这些判 定区域有的是凸多边形， 有的是无边界的凹区域。 凸区域是多层感知器中第 一层各个神经元所构成的 半平面判定区域（即判定 区域）相交而成。
多层感知器性能等价问题
感知器的学习
输入X 第二步 输入 2，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)= W(1)+η[d2- o2(1)] X2 =(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T 由于d 由于 2= o2(1)，所以 ，所以W(2)= W(1)。 。
例一 用感知器实现逻辑“与”功能 用感知器实现逻辑“
感知器结构
x1 x2
○ ○
0.5 0.5
○
0.75 -1
y
wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0
例二 用感知器实现逻辑“或”功能 用感知器实现逻辑“
逻辑“ 逻辑“或”真值表
x1 0 0 1 1
x2 0 1 0 1
y 0 1 1 1
x1 * * * * * * * * * O O O O O O O O x2 O
w1j x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c
* *
感知器的功能
x1 (2)设输入向量 设输入向量X=(x1,x2,x3)T 设输入向量 x2 x3
“异或”的真值表 异或” 异或
x1 0 0 1 1
x2 0 1 0 1
y 0 1 1 0
x1
∗
O
O
∗
x2
感知器的局限性
关键问题就是求
T Wj X
=0
感知器的学习
式中，当实际输出与期望值相同时，权值不需要调整。感 式中，当实际输出与期望值相同时，权值不需要调整。 知器学习规则代表一种有导师学习。 知器学习规则代表一种有导师学习。
第一层中的神经元就 像一单层感知器，所 形成的凸区域的边数 最多和第一层神经元 个数一样多。一个三 层感知机能够形成任 意复杂的判定区域， 也能把那些相互渗透 的区域分开。
例子一
1、用单层感知器实现简单逻辑运算。 (1) y = x1 ∧ x2 （与）等价于y = x1 + x2 − 2，即
w =1; w2 =1;θ = 2 1
感知器模型结构
o1 … oj … om 感知器的模型结构如图所示。感 知器是指只有一层处理单元的感 W1 ○ Wj ○ Wm○ 知器，如果包括输入层在内，应 为两层。图中输入层也称为感知 层，有n个神经元节点，这些节点 ○ ○ ○ 只负责引入外部信息，自身无信 ○ 息处理能力，每个节点接收一个 x1 x2 … xi … xn 输入信号，n个输入信号构成输 入列向量X。输出层也称为处理层，有m个神经元节点， 每个节点均具有信息处理能力，m个节点向外部输出处理 信息，构成输出列向量O。两层之间的连接权值用权值列 向量Wj表示，m个权向量构成单层感知器的权值矩阵W。 3个列向量分别表示为：
感知器的学习
单计算节点感知器， 个输入 给定3对训练样 个输入。 例三 单计算节点感知器，3个输入。给定 对训练样 本对如下： 本对如下： X1 = (-1，1，-2，0)T ， ， ， X2 = (-1，0，1.5，-0.5)T ， ， ， X3 = (-1，-1，1，0.5)T (-1，-1，1， d1 =−1 − d2 = − 1 d3 =1
感知器模型结构
X = (x1,x2,...xi ,...,xn )
O = (o1,o2,...oi ,...,om)
T
T
T
j=1,2,…,m
W j = (w1 j ,w2 j ,...w ,...,w ) ij nj
感知器模型结构
net j =
∑w x
i =1
n
iwk.baidu.com i
o j = sgn(net j − T j ) = sgn(
-1
oj
1 输出： 输出： j = o − 1
w1 j x1 + w2 j x2 − T j > 0 w1 j x1 + w2 j x2 − T j < 0
w1jx1+w2jx2-Tj=0 则由方程 确定了二维平面上的一条分界线。 确定了二维平面上的一条分界线。
感知器的功能
w1j x1+w2j x2 – Tj = 0
感知器的学习规则
感知器学习规则的训练步骤： 感知器学习规则的训练步骤： (1) 对各权值 0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m 对各权值w ┄ ， （m为计算层的节点数）赋予较小的非零随机数； 为计算层的节点数）赋予较小的非零随机数； 为计算层的节点数 (2) 输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)， 输入样本对{X }，其中X )， dp为期望的输出向量（教师信号），上标 代表 为期望的输出向量（教师信号），上标p代表 ），上标 样本对的模式序号，设样本集中的样本总数为 ， 样本对的模式序号，设样本集中的样本总数为P， 则p=1,2,┄,P；
例二 用感知器实现逻辑“或”功能 用感知器实现逻辑“
感知器结构
x1 x2
○
1
1
○
0.5 -1
y
○
wix1+w2x2 -T=0 x1+x2-0.5=0
思考
分界线的方程是什么？ 感知器的模型如何表示？ – 数学表达式？
感知器的局限性
Rosenblatt已经证明，如果两类模式在分布空间中可以找 到一个超平面将它们分开，那么感知器的学习过程就一定 会收敛。否则判定边界就会振荡不休，永远不会稳定，这 也正是单层感知器所无法克服的缺陷，所以它连最简单的 异或（XOR）问题也解决不了。
(2) y = x1 ∨ x2 （或）等价于 y = x1 + x2 −0.5，即
w =1; w2 =1;θ = 0.5 1
(3) y = x （非） 等价于 y = −x + 0.5，即
w = −1;θ = −0.5 1
例子二
∑
i =0
n
wij xi ) = sgn(W T X ) j
感知器的功能
一个最简单的单计算节点感知器具有分类功 能。其分类原理是将分类知识存储于感知器的权 向量（包含了阈值） 向量（包含了阈值）中，由权向量确定的分类判 决界面将输入模式分为两类。 决界面将输入模式分为两类。
感知器的功能
x1 (1)设输入向量 设输入向量X=(x1 ,x2)T 设输入向量 x2
内容提要
感知器 多层感知器 自适应线性元模型 BP算法
第一节 感知器
线性阈值单元
线性阈值单元是前向网络（又称前馈网络）中最 基本的计算单元，它具有n个输入（x1,x2,…,xn）， 一个输出y，n个连接权值（w1,w2,…,wn），且
wi xi ∑Ө y
感知器简介
1958年，美国心理学家Frank Rosenblatt提出一种具 有单层计算单元的神经网络，称为Perceptron，即感知器。 感知器是模拟人的视觉接受环境信息，并由神经冲动进行 信息传递的层次型神经网络。感知器研究中首次提出了自 组织、自学习的思想，而且对所能解决的问题存在着收敛 算法，并能从数学上严格证明，因而对神经网络研究起了 重要推动作用。 感知器的结构与功能都非常简单，以至于在解决实际 问题时很少采用，但由于它在神经网络研究中具有重要意 义，是研究其它网络的基础，而且较易学习和理解，适合 于作为学习神经网络的起点。
第二节 多层感知器
多层感知器简介
多层感知器（Multilayer Perceptron）是一种在输入层与 输出层之间含有一层或多层隐含神经元的具有正向传播 机制的神经网络模型。 多层感知器克服了单层感知器的许多局限， 单层感知器 只能实现线性可分问题和简单布尔函数，多层感知器可 以实现线性不可分问题和任意布尔函数。
第三章
前馈神经网络模型
前馈神经网络：由一层或多层非线性处理单元组 成。相邻层之间通过突触权阵连接起来。由于前 一层的输出作为下一层的输入，因此此类神经网 络为前向神经网络。 在前向神经网络结构中输入输出之间包含着一层 或多层隐含层。 前向神经网络可以看成是一种一组输入模式到一 组输出模式的系统变换，这种变换通过对某一给 定的输入样本相应的输出样本集的训练而得到， 为了实现这一行为，网络的权系数在某种学习规 则下进行自适应学习，也就是有导师指导学习。
感知器的学习规则的训练步骤
1.初始化：权值初始化为一个较小的随机非零值。 2.将一模式送入输入神经元，并给出理想输出值。 3.计算神经网络模型的实际输出： 4.调节权值:
∆wi =η(d − y)xi
5.转2，直到这次迭代完所给定的所有输入样本。 6.计算结束判据。条件符合，结束；否则转2。
则由方程 w1jx1+w2jx2+…+wnj –Tj=0 确定了n维空间上的一个分界平面。 确定了 维空间上的一个分界平面。 维空间上的一个分界平面 (3.6)
(3.5)
例一 用感知器实现逻辑“与”功能 用感知器实现逻辑“
逻辑“ 逻辑“与”真值 表
x1 0 0 1 1
x2 0 1 0 1
y 0 0 0 1
感知器的功能
w1j x1+w2j x2 +w3j x3– Tj = 0
x1 * * * * * * * * O O x3 O O O * * O O x2 O
x1 = a x2 +b x3 +c
*
感知器的功能
(3) 设输入向量 设输入向量X=(x1，x2,…，xn)T
w 输出： 输出： 1jx1+w2jx2+…+wnj –Tj=0
设初始权向量W(0)=(0.5,1,-1,0)T，η=0.1。注意， η=0.1。注意， 设初始权向量 输入向量中第一个分量x 恒等于-1， 输入向量中第一个分量 0恒等于 ，权向量中第一个分 量为阈值，试根据以上学习规则训练该感知器。 量为阈值，试根据以上学习规则训练该感知器。
感知器的学习
输入X 得 解：第一步 输入 1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+η[d1- o1(0)] X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T
-1
oj
1 w1 j x1 + w2 j x2 + w3 j x3 − T j > 0 输出： 输出： o j = − 1 w1 j x1 + w2 j x2 + w3 j x3 − T j = 0
则由方程 w1jx1+w2jx2+w3j –Tj=0 确定了三维空间上的一个分界平面。 确定了三维空间上的一个分界平面。
感知器的学习规则
(3)计算各节点的实际输出 jp(t)=sgn[WjT(t)Xp], j=1,2,... ； 计算各节点的实际输出o ...,m； 计算各节点的实际输出 ... (4)调整各节点对应的权值，Wj(t+1)= Wj(t)+η[djp-ojp(t)]Xp, 调整各节点对应的权值， 调整各节点对应的权值 j=1, 2,┄,m, 其中η为学习率，用于控制调整速度，太 为学习率，用于控制调整速度， 大会影响训练的稳定性，太小则使训练的收敛速度变慢， 大会影响训练的稳定性，太小则使训练的收敛速度变慢， 一般取0＜η≤1； (5)返回到步骤 输入下一对样本，周而复始直到对所有 返回到步骤(2)输入下一对样本 返回到步骤 输入下一对样本， 样本，感知器的实际输出与期望输出相等。 样本，感知器的实际输出与期望输出相等。