典型人工神经网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.1.2 多层感知器模型和学习算法
学习算法
前向传播网络实质上表示的是一种从输入空间到输出空 间的映射。 网络的训练实质上是对突触权阵的调整，以满足当输入 为Xp时其输出应为Yd。 思想：前向计算得到网络的输出, 反向计算得到误差的积 累，由梯度下降法调整权值。
17
版权所有 复制必究 2009
5.1.2 多层感知器模型和学习算法
分类： 含一个隐含层前向传播网络 L+1层前向传播网络
12
版权所有 复制必究 2009
5.1.2 多层感知器模型和学习算法
含一个隐层的感知器模型
x1
nh 1
2 y1
y2 x2
… …
xni
w w 1 …
2
ij
ki
yno
j 1,2, , ni i 1,2, , nh k 1,2, , no
13
x2
x1 ∧ x2 w1x1 w2 x2 0
0
0
0
0
1
0
1
0
0
w10 w2 0 0
w10 w21 0
w1 w2 1
与 逻
1.5
辑
w11 w2 0 0
1
1
1
w11 w21 0
x1
x2
0
0
0
1
1
0
1
1
x1∨ x2 0 1 1 1
w1x1 w2 x2 0
w10 w2 0 0 w10 w21 0 w11 w20 0 w11 w21 0
(1) 实现任意的布尔函数； (2) 在模式识别问题中，它能划分输入空间，生成复 杂的边界； (3) 最后，它能逼近从 Rn到 Rm 的任意连续映射。 说明： (1) 激励函数只要求连续、光滑、单增、上下有界的非线性函数即可 (2) 为简化计算，输出层常采用线性神经元
16
版权所有 复制必究 2009
版权所有 复制必究 2009
第五章 典型人工神经网络
1
感知器
2 径向基函数神经网络
3 Hopfield神经网络
1
第5.1节 感知器
版权所有 复制必究 2009
5.1.1 感知器模型和用途 5.1.2 多层感知器模型和学习算法 5.1.3 多层感知器应用实例
2
第5.1节 感知器
版权所有 复制必究 2009
感知器输入输出函ຫໍສະໝຸດ Baidu为：
神经元输入：
n
Net wi xi
i 1
神经元输出：
y
1 0
Net 0 Net 0
Net wT x 1 Net 0
y 0 Net 0
4
版权所有 复制必究 2009
5.1.1 感知器模型和用途
神经元输入：
Net
n
wi xi
i 1
神经元输出：
1 y 0
Net 0 Net 0
5.1.1 感知器模型和用途 5.1.2 多层感知器模型和学习算法 5.1.3 多层感知器应用实例
3
版权所有 复制必究 2009
5.1.1 感知器模型和用途
1. 结构和数学模型
向量形式：
x1
w1
x2
w2
.
. .
wn
xn
w0 x0 1
y
x x0, x1,L , xn T w w0, w1,L , wn T
学习算法结构图
前向计算 输入
信号 神经网络 网络输出 Yp -
期望 + 输出
Xp
W
Yd
反向计算
权值调整
18
版权所有 复制必究 2009
性能指标
N个 样本
正定的、可微 的凸函数
误差的平 方和
N
N no
J Ep
说明：
(1) 原始感知器模型采用阈值函 数类型的激励函数
y
1
1
e-
Net
(2) 现常用Sigmoid函数作为激 (3) 针对阈值函数讨论其用途 励函数
5
版权所有 复制必究 2009
5.1.1 感知器模型和用途
2. 两种理解方式（用途）
(1) 模式识别器（分类器） 解决只有2类模式的识别 问题
x Rn y 0,1
14
L+1层前向传播网络
1
ni
nh1
x1
x2
L1
nh( L1)
版权所有 复制必究 2009
L
no
y1
y2
… …
xni
yno
wi1j
…
wlLk
Y
L
W
L L1
W
L1 L2
1 W 1X 1
L2 L1 L
15
版权所有 复制必究 2009
5.1.2 多层感知器模型和学习算法 多层感知器模型的功能：
版权所有 复制必究 2009
数学描述
隐含层输出：
oi
ni
wi1j x j
i1
j1
O W 1X 1
输出层输出：
yk
nh
wk2i oi
k2
i1
Y W 2O 2 W 2 W 1 X 1 2
2 W 21 W 1 X 1 2
wT x 0 y=0，x属于第一类 wT x 0 y=1，x属于第二类
只能识别具有线性边界 的识别问题
(2) 逻辑函数 二值逻辑元，实现布尔代数的 某些运算，包括：“与”、 “或”和“非”
P119 图5.1.2
不能实现“异或”
P120 图5.1.3
6
版权所有 复制必究 2009
X0 = 1
单一人工神经元——单层感知机
5.1.1 感知器模型和用途 5.1.2 多层感知器模型和学习算法 5.1.3 多层感知器应用实例
11
版权所有 复制必究 2009
5.1.2 多层感知器模型和学习算法 多层感知器模型结构特点：
结构特征： 在输入层和输出层之间嵌入一层或多层隐含层。 隐含单元既可以与输入输出单元相连，也可以与 其它隐含单元相连。
x2
w1x1 w2 x2 0
x2
x2
x1
and
x1
or
x1
xor
9
单层感知机
版权所有 复制必究 2009
通过适当的选择权重，单层感知机能够实现 and, or, not布尔逻辑。
单层感知机找不到相应的权重来实现XOR逻辑
单层感知机不具备非线性分类能力！
10
第5.1节 感知器
版权所有 复制必究 2009
x1
w0
w1
x2 w2
..
wn xn
n
u w j x j j0
y
y f u
1 0
if if
u0 u0
M-P感知机是一个多输入单输出的模型，虽然结构简 单，但具有一定的计算能力。
通过学习（权重），它能够正确地分类样本（二分类） ，但只能线性分类。
7
分类能力分析
版权所有 复制必究 2009
x1
w1 w2 1
0.5
或 逻 辑
8
x1
0 0 1 1
x2
0 1 0 1
⊕ x1 x2
0 1 1 0
w1x1 w2 x2 0
w1 0 w2 0 0
w10 w21 0 w11 w2 0 0
w11 w21 0
版权所有 复制必究 2009
0
异
或
w2
逻
w1
辑
w1 w2
学习算法
前向传播网络实质上表示的是一种从输入空间到输出空 间的映射。 网络的训练实质上是对突触权阵的调整，以满足当输入 为Xp时其输出应为Yd。 思想：前向计算得到网络的输出, 反向计算得到误差的积 累，由梯度下降法调整权值。
17
版权所有 复制必究 2009
5.1.2 多层感知器模型和学习算法
分类： 含一个隐含层前向传播网络 L+1层前向传播网络
12
版权所有 复制必究 2009
5.1.2 多层感知器模型和学习算法
含一个隐层的感知器模型
x1
nh 1
2 y1
y2 x2
… …
xni
w w 1 …
2
ij
ki
yno
j 1,2, , ni i 1,2, , nh k 1,2, , no
13
x2
x1 ∧ x2 w1x1 w2 x2 0
0
0
0
0
1
0
1
0
0
w10 w2 0 0
w10 w21 0
w1 w2 1
与 逻
1.5
辑
w11 w2 0 0
1
1
1
w11 w21 0
x1
x2
0
0
0
1
1
0
1
1
x1∨ x2 0 1 1 1
w1x1 w2 x2 0
w10 w2 0 0 w10 w21 0 w11 w20 0 w11 w21 0
(1) 实现任意的布尔函数； (2) 在模式识别问题中，它能划分输入空间，生成复 杂的边界； (3) 最后，它能逼近从 Rn到 Rm 的任意连续映射。 说明： (1) 激励函数只要求连续、光滑、单增、上下有界的非线性函数即可 (2) 为简化计算，输出层常采用线性神经元
16
版权所有 复制必究 2009
版权所有 复制必究 2009
第五章 典型人工神经网络
1
感知器
2 径向基函数神经网络
3 Hopfield神经网络
1
第5.1节 感知器
版权所有 复制必究 2009
5.1.1 感知器模型和用途 5.1.2 多层感知器模型和学习算法 5.1.3 多层感知器应用实例
2
第5.1节 感知器
版权所有 复制必究 2009
感知器输入输出函ຫໍສະໝຸດ Baidu为：
神经元输入：
n
Net wi xi
i 1
神经元输出：
y
1 0
Net 0 Net 0
Net wT x 1 Net 0
y 0 Net 0
4
版权所有 复制必究 2009
5.1.1 感知器模型和用途
神经元输入：
Net
n
wi xi
i 1
神经元输出：
1 y 0
Net 0 Net 0
5.1.1 感知器模型和用途 5.1.2 多层感知器模型和学习算法 5.1.3 多层感知器应用实例
3
版权所有 复制必究 2009
5.1.1 感知器模型和用途
1. 结构和数学模型
向量形式：
x1
w1
x2
w2
.
. .
wn
xn
w0 x0 1
y
x x0, x1,L , xn T w w0, w1,L , wn T
学习算法结构图
前向计算 输入
信号 神经网络 网络输出 Yp -
期望 + 输出
Xp
W
Yd
反向计算
权值调整
18
版权所有 复制必究 2009
性能指标
N个 样本
正定的、可微 的凸函数
误差的平 方和
N
N no
J Ep
说明：
(1) 原始感知器模型采用阈值函 数类型的激励函数
y
1
1
e-
Net
(2) 现常用Sigmoid函数作为激 (3) 针对阈值函数讨论其用途 励函数
5
版权所有 复制必究 2009
5.1.1 感知器模型和用途
2. 两种理解方式（用途）
(1) 模式识别器（分类器） 解决只有2类模式的识别 问题
x Rn y 0,1
14
L+1层前向传播网络
1
ni
nh1
x1
x2
L1
nh( L1)
版权所有 复制必究 2009
L
no
y1
y2
… …
xni
yno
wi1j
…
wlLk
Y
L
W
L L1
W
L1 L2
1 W 1X 1
L2 L1 L
15
版权所有 复制必究 2009
5.1.2 多层感知器模型和学习算法 多层感知器模型的功能：
版权所有 复制必究 2009
数学描述
隐含层输出：
oi
ni
wi1j x j
i1
j1
O W 1X 1
输出层输出：
yk
nh
wk2i oi
k2
i1
Y W 2O 2 W 2 W 1 X 1 2
2 W 21 W 1 X 1 2
wT x 0 y=0，x属于第一类 wT x 0 y=1，x属于第二类
只能识别具有线性边界 的识别问题
(2) 逻辑函数 二值逻辑元，实现布尔代数的 某些运算，包括：“与”、 “或”和“非”
P119 图5.1.2
不能实现“异或”
P120 图5.1.3
6
版权所有 复制必究 2009
X0 = 1
单一人工神经元——单层感知机
5.1.1 感知器模型和用途 5.1.2 多层感知器模型和学习算法 5.1.3 多层感知器应用实例
11
版权所有 复制必究 2009
5.1.2 多层感知器模型和学习算法 多层感知器模型结构特点：
结构特征： 在输入层和输出层之间嵌入一层或多层隐含层。 隐含单元既可以与输入输出单元相连，也可以与 其它隐含单元相连。
x2
w1x1 w2 x2 0
x2
x2
x1
and
x1
or
x1
xor
9
单层感知机
版权所有 复制必究 2009
通过适当的选择权重，单层感知机能够实现 and, or, not布尔逻辑。
单层感知机找不到相应的权重来实现XOR逻辑
单层感知机不具备非线性分类能力！
10
第5.1节 感知器
版权所有 复制必究 2009
x1
w0
w1
x2 w2
..
wn xn
n
u w j x j j0
y
y f u
1 0
if if
u0 u0
M-P感知机是一个多输入单输出的模型，虽然结构简 单，但具有一定的计算能力。
通过学习（权重），它能够正确地分类样本（二分类） ，但只能线性分类。
7
分类能力分析
版权所有 复制必究 2009
x1
w1 w2 1
0.5
或 逻 辑
8
x1
0 0 1 1
x2
0 1 0 1
⊕ x1 x2
0 1 1 0
w1x1 w2 x2 0
w1 0 w2 0 0
w10 w21 0 w11 w2 0 0
w11 w21 0
版权所有 复制必究 2009
0
异
或
w2
逻
w1
辑
w1 w2