人工神经网络基础
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人工神经网络
Artificial Neural Networks
2021/8/19
1
第2章 人工神经网络根底
2.1 生物神经网 2.2 人工神经元 2.3 人工神经网络的拓扑特性 2.4 人工神经网络的训练
2021/8/19
2
生物学动机
• 人的思维有逻辑性和直观性两种不同的根本方 式。逻辑性的思维是指根据逻辑规那么进展推 理的过程；它先将信息化成概念，并用符号表 示，然后，根据符号运算按串行模式进展逻辑 推理；这一过程可以写成串行的指令，让计算 机执行。然而，直观性的思维是将分布式存储 的信息综合起来，结果是突然间产生想法或解 决问题的方法。
• 输入向量与其对应的输出向量构成一个“训练对 〞。
• 有导师学习的训练算法的主要步骤包括：
• 1〕 从样本集合中取一个样本〔Ai，Bi〕；
• 2〕 计算出网络的实际输出O；
• 3〕 求D=Bi-O；
• 4〕 根据D调整权矩阵W；
• 5〕 对每个样本重复上述过程，直到对整个样
2021本/8/19集来说，误差不超过规定范围。
• 输入层：被记作第0层。该层负责接收来自 网络外部的信息
x1
o1
x2
o2
……
xn
2021/8/19
输入层
…
…
隐藏层
…… 输出层
… om
25
– 第j层：第j-1层的直接后继层〔j>0〕，它直接 承受第j-1层的输出。
– 输出层：它是网络的最后一层，具有该网络的 最大层号，负责输出网络的计算结果。
– 隐藏层：除输入层和输出层以外的其它各层叫 隐藏层。隐藏层不直接承受外界的信号，也不 直接向外界发送信号
2021/8/19
3
• 这种思维方式的根本之点在于以下两点:1. 信息是通过神经元上的兴奋模式分布储在 网络上;2.信息处理是通过神经元之间同时 相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方 式。这是一个非线性动力学系统，其特色 在于信息的分布式存储和并行协同处理。
虽然单个神经元的构造极其简单，功能有 限的。
2021/8/19
29
循环网
x1
x2
…… xn
输入层
2021/8/19
o1 o2
…
…
隐藏层
…
……
输出层
om
30
循环网
• 如果将输出信号反响到输入端,就可构成一个多层 的循环网络。
• 输入的原始信号被逐步地“加强〞、被“修复〞。
• 大脑的短期记忆特征——看到的东西不是一下子 就从脑海里消失的。
• 稳定：反响信号会引起网络输出的不断变化。我 们希望这种变化逐渐减小，并且最后能消失。当 变化最后消失时，网络到达了平衡状态。如果这 种变化不能消失，那么称该网络是不稳定的。
2021/8/19
31
2.4 人工神经网络的训练
• 人工神经网络最具有吸引力的特点是它的 学习能力。
• 1962年，Rosenblatt给出了人工神经网络著 名的学习定理：人工神经网络可以学会它 可以表达的任何东西。
• 人工神经网络的学习过程就是对它的训练 过程
2021/8/19
32
2.4.1无导师学习
2021/8/19
18
2.3.1 联接模式
• 3、层〔级〕间联接 • 层间〔Inter-field〕联接指不同层中的神经
元之间的联接。这种联接用来实现层间的 信号传递 • 前馈信号 • 反响信号
2021/8/19
19
2.3.2 网络的分层构造 简单单级 网
x1 x2 … xn
w11 w1m
w2m … wn1
θ net
-1 if net≤ θ
-γ
2021/8/19
12
4、S形函数
压缩函数〔Squashing Function〕和逻辑斯 特函数〔Logistic Function〕。
f〔net〕=a+b/(1+exp(-d*net)) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f〔net〕= 1/(1+exp(-d*net))
wnm 输入层
o1
o2
… om
输出层
2021/8/19
20
简单单级网
– W=〔wij〕
– 输出层的第j个神经元的网络输入记为 netj：
– netj=x1w1j+x2w2j+…+xnwnj
– 其中, 1≤ j ≤ m。取
– NET=〔net1，net2，…，netm〕
– NET=XW
– O=F〔NET〕
当两个神经元同时处于激发状态时被加强， 否那么被减弱。
数学表达式表示：
Wij〔t+1〕=Wij〔t〕+αoi〔t〕oj〔t〕
Hebb学习规则是人工神经网络学习的基 本规则，几乎所有神经网络的学习规则 都可以看作Hebb学习规则的变形。
2021/8/19
34
2.4.2 有导师学习
• 有导师学习(Supervised Learning)与有导师训练 (Supervised Training)相对应。
• 人工神经元模拟生物神经元
• 输入：X=〔x1，x2，…，xn〕
• 联接权：W=〔w1，w2，…，wn〕T
• 网络输入： net=∑xiwi
• 向量形式： 2021/8/19 net=XW
9
2.2.2 激活函数(Activation Function)
• 激活函数——执行对该神经元所获得的网 络输入的变换，也可以称为鼓励函数、活 化函数： o=f〔net〕
• 无导师学习(Unsupervised Learning)与无导 师训练(Unsupervised Training)相对应
• 抽取样本集合中蕴含的统计特性，并以神 经元之间的联接权的形式存于网络中。
2021/8/19
33
2.4.1无导师学习
Hebb算法[D. O. Hebb在1961年]的核心：
37
2021/8/19
38
2021/8/19
39
第3章 感知器
• 主要内容：
• 感知器与人工神经网络的早期开展；
• 线性可分问题与线性不可分问题；
• Hebb学习律；
• Delta规那么;
• 感知器的训练算法。
• 重点：感知器的构造、表达能力、学习算法
• 难点：感知器的表达能力
• 6 2021/8/19
2021/8/19
4
生物学动机
• ANN受到生物学的启发，生物的学习系统是由相互连接的 神经元组成的异常复杂的网络。
• ANN由一系列简单的单元相互密集连接构成的，其中每一 个单元有一定数量的实值输入，并产生单一的实数值输出
• 人脑的构成，大约有1011个神经元，平均每一个与其他 104个相连
• 神经元的活性通常被通向其他神经元的连接激活或抑制
函数的饱和值为0和1。 S形函数有较好的增益控制
2021/8/19
13
4、S形函数
o a+b
c=a+b/2
(0,c)
net
a
2021/8/19
14
2.2.3 M-P模型
McCulloch—Pitts（M—P）模型， 也称为处理单元（PE）
x1 w1
x2 w2 …
net=XW-b
∑
f
o=f（net）
o
γ
-θ
θ
net
-γ
2021/8/19
11
3、阈值函数〔Threshold
Function〕阶跃函数
β if net>θ
f〔net〕= β、γ、θ均为-γ非负i实f n数et，≤ θθ为阈值
o
二值形式：
1 if net>θ β
f〔net〕=
双极形式： 0 if net≤ θ
1 if net>θ f〔net〕=
xn wn
b
2021/8/19
15
2021/8/19
16
2.3 人工神经网络的拓扑特性
连接的拓扑表示
ANi
wij
ANj
2021/8/19
17
2.3.1 联接模式
• 1、 层〔级〕内联接 • 层内联接又叫做区域内〔Intra-field〕联接
或侧联接〔Lateral〕。 • 用来加强和完成层内神经元之间的竞争 • 2、 循环联接 • 反响信号。
7
2.2 人工神经元
• 神经元是构成神经网络的最根本单元〔构 件〕。
• 人工神经元模型应该具有生物神经元的六 个根本特性。
联接
联接强度决定信号传递
联接强度是可以随训练
累积效果
“阈值”
抑制 刺激
2021/8/19
8
2.2.1 人工神经元的根本构成
x1 w1
x2 w2 … xn wn
∑ net=XW f
35
Delta规那么
Widrow和Hoff的写法： Wij(t+1)=Wij(t)+α(yj- aj(t))oi(t) 也可以写成：
Wij(t+1)=Wij(t)+∆ Wij(t) ∆ Wij(t)=αδjoi(t) δj=yj- aj(t)
2021/8/19
36
2.4.3 ANN学习规则
2021/8/19
• 1、线性函数〔Liner Function〕 • f〔net〕=k*net+c o
c net
o
2021/8/19
10
2、非线性斜面函数(Ramp Function)
γ
if net≥θ
f〔net〕= k*net
if |net|<θ
-γ
if net≤-θ
γ>0为一常数，被称为饱和值，为该神经元的
最大输出。
2021/8/19
21
单级横向反响网
x1 x2 … xn
2021/8/19
w11 w1m w2m …wn1
输入层
o1
o2
V
… om
输出层
22
单级横向反响网
• V=〔vij〕
• NET=XW+OV
• O=F〔NET〕
• 时间参数——神经元的状态在主时钟的控制下同 步变化
• 考虑X总加在网上的情况
• NET〔t+1〕=X〔t〕W+O〔t〕V
40
第2次课堂测试解答要点
3. 画出有导师学习算法的流程图。 4. 4. 证明：一个激活函数为线性函数的3级非
循环网等价于一个单级网。 5. 要点：一级网与多级网的的数学模型 6.
2021/8/19
41
• 3、六个根本特征：
• 1〕神经元及其联接；
• 2〕神经元之间的联接强度决定信号传递的强弱；
• 3〕神经元之间的联接强度是可以随训练改变的；
• 4〕信号可以是起刺激作用的，也可以是起抑制作用 的；
• 5〕一个神经元承受的信号的累积效果断定该神经元 的状态；
• 2602)1/8每/19 个神经元可以有一个“阈值〞。
W(2)
W(3)
W(h)
o1
x2
o2
……
xn
2021/8/19
输入层
…
…
隐藏层
…… 输出层
… om
27
多级网——h层网络
x1
o1
x2
o2
W(1)
W(2)
W(3)
W(h)
……
…
…
…
……
xn 输入层
2021/8/19
隐藏层
om 输出层
28
多级网
• 非线性激活函数 –F(X)=kX+C –F3(F2(F1(XW(1))W(2))W(3))
轴突：由细胞体伸出的一条最长的突起叫做轴突，用来输出细胞体产生的电 脉冲信号； 树突：一般均较短，但分枝很多，它能接收来自其它神经元的生物电信6 号，
从而与轴突一起实现神经元之间的信息沟通。
2.1 生物神经网
神经元是一种非线性元件．神经元之间的相互作 用主要为兴奋性和抑制性两种。神经元的动作速 度较慢，约几个毫秒。
• O(t+1)=F(NET(t+1))
• O〔0〕=0
• 考虑仅在t=0时加X的情况。
• 稳定性判定
2021/8/19
23
x1
x2
…… xn
输入层
2021/8/19
多级网
o1
o2
…
…
隐藏层
…
……
om 输出层
24
• 层次划分 • 信号只被允许从较低层流向较高层。
• 层号确定层的上下：层号较小者，层次较 低，层号较大者，层次较高。
• 最快的神经元转换时间比计算机慢很多，然而人脑能够以 惊人的速度做出复杂度惊人的决策
• 很多人推测，生物神经系统的信息处理能力一定得益于对 分布在大量神经元上的信息表示的高度并行处理
2021/8/19
5
1、构成
2.1 生物神经网
2、工作过程
2021/8/19
细胞体是神经元的主体：细胞核、细胞质和细胞膜三部分；
x1
o1
x2
o2
……
xn
2021/8/19
输入层
…
…
隐藏层
…… 输出层
… om
26
• 约定 :
• 输出层的层号为该网络的层数：n层网络，或 n级网络。
• 第j-1层到第j层的联接矩阵为第j层联接矩阵，
输出层对应的矩阵叫输出层联接矩阵。今后，
在需要的时候，一般我们用W〔j〕表示第j层
矩阵。 W(1) x1
Artificial Neural Networks
2021/8/19
1
第2章 人工神经网络根底
2.1 生物神经网 2.2 人工神经元 2.3 人工神经网络的拓扑特性 2.4 人工神经网络的训练
2021/8/19
2
生物学动机
• 人的思维有逻辑性和直观性两种不同的根本方 式。逻辑性的思维是指根据逻辑规那么进展推 理的过程；它先将信息化成概念，并用符号表 示，然后，根据符号运算按串行模式进展逻辑 推理；这一过程可以写成串行的指令，让计算 机执行。然而，直观性的思维是将分布式存储 的信息综合起来，结果是突然间产生想法或解 决问题的方法。
• 输入向量与其对应的输出向量构成一个“训练对 〞。
• 有导师学习的训练算法的主要步骤包括：
• 1〕 从样本集合中取一个样本〔Ai，Bi〕；
• 2〕 计算出网络的实际输出O；
• 3〕 求D=Bi-O；
• 4〕 根据D调整权矩阵W；
• 5〕 对每个样本重复上述过程，直到对整个样
2021本/8/19集来说，误差不超过规定范围。
• 输入层：被记作第0层。该层负责接收来自 网络外部的信息
x1
o1
x2
o2
……
xn
2021/8/19
输入层
…
…
隐藏层
…… 输出层
… om
25
– 第j层：第j-1层的直接后继层〔j>0〕，它直接 承受第j-1层的输出。
– 输出层：它是网络的最后一层，具有该网络的 最大层号，负责输出网络的计算结果。
– 隐藏层：除输入层和输出层以外的其它各层叫 隐藏层。隐藏层不直接承受外界的信号，也不 直接向外界发送信号
2021/8/19
3
• 这种思维方式的根本之点在于以下两点:1. 信息是通过神经元上的兴奋模式分布储在 网络上;2.信息处理是通过神经元之间同时 相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方 式。这是一个非线性动力学系统，其特色 在于信息的分布式存储和并行协同处理。
虽然单个神经元的构造极其简单，功能有 限的。
2021/8/19
29
循环网
x1
x2
…… xn
输入层
2021/8/19
o1 o2
…
…
隐藏层
…
……
输出层
om
30
循环网
• 如果将输出信号反响到输入端,就可构成一个多层 的循环网络。
• 输入的原始信号被逐步地“加强〞、被“修复〞。
• 大脑的短期记忆特征——看到的东西不是一下子 就从脑海里消失的。
• 稳定：反响信号会引起网络输出的不断变化。我 们希望这种变化逐渐减小，并且最后能消失。当 变化最后消失时，网络到达了平衡状态。如果这 种变化不能消失，那么称该网络是不稳定的。
2021/8/19
31
2.4 人工神经网络的训练
• 人工神经网络最具有吸引力的特点是它的 学习能力。
• 1962年，Rosenblatt给出了人工神经网络著 名的学习定理：人工神经网络可以学会它 可以表达的任何东西。
• 人工神经网络的学习过程就是对它的训练 过程
2021/8/19
32
2.4.1无导师学习
2021/8/19
18
2.3.1 联接模式
• 3、层〔级〕间联接 • 层间〔Inter-field〕联接指不同层中的神经
元之间的联接。这种联接用来实现层间的 信号传递 • 前馈信号 • 反响信号
2021/8/19
19
2.3.2 网络的分层构造 简单单级 网
x1 x2 … xn
w11 w1m
w2m … wn1
θ net
-1 if net≤ θ
-γ
2021/8/19
12
4、S形函数
压缩函数〔Squashing Function〕和逻辑斯 特函数〔Logistic Function〕。
f〔net〕=a+b/(1+exp(-d*net)) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为： f〔net〕= 1/(1+exp(-d*net))
wnm 输入层
o1
o2
… om
输出层
2021/8/19
20
简单单级网
– W=〔wij〕
– 输出层的第j个神经元的网络输入记为 netj：
– netj=x1w1j+x2w2j+…+xnwnj
– 其中, 1≤ j ≤ m。取
– NET=〔net1，net2，…，netm〕
– NET=XW
– O=F〔NET〕
当两个神经元同时处于激发状态时被加强， 否那么被减弱。
数学表达式表示：
Wij〔t+1〕=Wij〔t〕+αoi〔t〕oj〔t〕
Hebb学习规则是人工神经网络学习的基 本规则，几乎所有神经网络的学习规则 都可以看作Hebb学习规则的变形。
2021/8/19
34
2.4.2 有导师学习
• 有导师学习(Supervised Learning)与有导师训练 (Supervised Training)相对应。
• 人工神经元模拟生物神经元
• 输入：X=〔x1，x2，…，xn〕
• 联接权：W=〔w1，w2，…，wn〕T
• 网络输入： net=∑xiwi
• 向量形式： 2021/8/19 net=XW
9
2.2.2 激活函数(Activation Function)
• 激活函数——执行对该神经元所获得的网 络输入的变换，也可以称为鼓励函数、活 化函数： o=f〔net〕
• 无导师学习(Unsupervised Learning)与无导 师训练(Unsupervised Training)相对应
• 抽取样本集合中蕴含的统计特性，并以神 经元之间的联接权的形式存于网络中。
2021/8/19
33
2.4.1无导师学习
Hebb算法[D. O. Hebb在1961年]的核心：
37
2021/8/19
38
2021/8/19
39
第3章 感知器
• 主要内容：
• 感知器与人工神经网络的早期开展；
• 线性可分问题与线性不可分问题；
• Hebb学习律；
• Delta规那么;
• 感知器的训练算法。
• 重点：感知器的构造、表达能力、学习算法
• 难点：感知器的表达能力
• 6 2021/8/19
2021/8/19
4
生物学动机
• ANN受到生物学的启发，生物的学习系统是由相互连接的 神经元组成的异常复杂的网络。
• ANN由一系列简单的单元相互密集连接构成的，其中每一 个单元有一定数量的实值输入，并产生单一的实数值输出
• 人脑的构成，大约有1011个神经元，平均每一个与其他 104个相连
• 神经元的活性通常被通向其他神经元的连接激活或抑制
函数的饱和值为0和1。 S形函数有较好的增益控制
2021/8/19
13
4、S形函数
o a+b
c=a+b/2
(0,c)
net
a
2021/8/19
14
2.2.3 M-P模型
McCulloch—Pitts（M—P）模型， 也称为处理单元（PE）
x1 w1
x2 w2 …
net=XW-b
∑
f
o=f（net）
o
γ
-θ
θ
net
-γ
2021/8/19
11
3、阈值函数〔Threshold
Function〕阶跃函数
β if net>θ
f〔net〕= β、γ、θ均为-γ非负i实f n数et，≤ θθ为阈值
o
二值形式：
1 if net>θ β
f〔net〕=
双极形式： 0 if net≤ θ
1 if net>θ f〔net〕=
xn wn
b
2021/8/19
15
2021/8/19
16
2.3 人工神经网络的拓扑特性
连接的拓扑表示
ANi
wij
ANj
2021/8/19
17
2.3.1 联接模式
• 1、 层〔级〕内联接 • 层内联接又叫做区域内〔Intra-field〕联接
或侧联接〔Lateral〕。 • 用来加强和完成层内神经元之间的竞争 • 2、 循环联接 • 反响信号。
7
2.2 人工神经元
• 神经元是构成神经网络的最根本单元〔构 件〕。
• 人工神经元模型应该具有生物神经元的六 个根本特性。
联接
联接强度决定信号传递
联接强度是可以随训练
累积效果
“阈值”
抑制 刺激
2021/8/19
8
2.2.1 人工神经元的根本构成
x1 w1
x2 w2 … xn wn
∑ net=XW f
35
Delta规那么
Widrow和Hoff的写法： Wij(t+1)=Wij(t)+α(yj- aj(t))oi(t) 也可以写成：
Wij(t+1)=Wij(t)+∆ Wij(t) ∆ Wij(t)=αδjoi(t) δj=yj- aj(t)
2021/8/19
36
2.4.3 ANN学习规则
2021/8/19
• 1、线性函数〔Liner Function〕 • f〔net〕=k*net+c o
c net
o
2021/8/19
10
2、非线性斜面函数(Ramp Function)
γ
if net≥θ
f〔net〕= k*net
if |net|<θ
-γ
if net≤-θ
γ>0为一常数，被称为饱和值，为该神经元的
最大输出。
2021/8/19
21
单级横向反响网
x1 x2 … xn
2021/8/19
w11 w1m w2m …wn1
输入层
o1
o2
V
… om
输出层
22
单级横向反响网
• V=〔vij〕
• NET=XW+OV
• O=F〔NET〕
• 时间参数——神经元的状态在主时钟的控制下同 步变化
• 考虑X总加在网上的情况
• NET〔t+1〕=X〔t〕W+O〔t〕V
40
第2次课堂测试解答要点
3. 画出有导师学习算法的流程图。 4. 4. 证明：一个激活函数为线性函数的3级非
循环网等价于一个单级网。 5. 要点：一级网与多级网的的数学模型 6.
2021/8/19
41
• 3、六个根本特征：
• 1〕神经元及其联接；
• 2〕神经元之间的联接强度决定信号传递的强弱；
• 3〕神经元之间的联接强度是可以随训练改变的；
• 4〕信号可以是起刺激作用的，也可以是起抑制作用 的；
• 5〕一个神经元承受的信号的累积效果断定该神经元 的状态；
• 2602)1/8每/19 个神经元可以有一个“阈值〞。
W(2)
W(3)
W(h)
o1
x2
o2
……
xn
2021/8/19
输入层
…
…
隐藏层
…… 输出层
… om
27
多级网——h层网络
x1
o1
x2
o2
W(1)
W(2)
W(3)
W(h)
……
…
…
…
……
xn 输入层
2021/8/19
隐藏层
om 输出层
28
多级网
• 非线性激活函数 –F(X)=kX+C –F3(F2(F1(XW(1))W(2))W(3))
轴突：由细胞体伸出的一条最长的突起叫做轴突，用来输出细胞体产生的电 脉冲信号； 树突：一般均较短，但分枝很多，它能接收来自其它神经元的生物电信6 号，
从而与轴突一起实现神经元之间的信息沟通。
2.1 生物神经网
神经元是一种非线性元件．神经元之间的相互作 用主要为兴奋性和抑制性两种。神经元的动作速 度较慢，约几个毫秒。
• O(t+1)=F(NET(t+1))
• O〔0〕=0
• 考虑仅在t=0时加X的情况。
• 稳定性判定
2021/8/19
23
x1
x2
…… xn
输入层
2021/8/19
多级网
o1
o2
…
…
隐藏层
…
……
om 输出层
24
• 层次划分 • 信号只被允许从较低层流向较高层。
• 层号确定层的上下：层号较小者，层次较 低，层号较大者，层次较高。
• 最快的神经元转换时间比计算机慢很多，然而人脑能够以 惊人的速度做出复杂度惊人的决策
• 很多人推测，生物神经系统的信息处理能力一定得益于对 分布在大量神经元上的信息表示的高度并行处理
2021/8/19
5
1、构成
2.1 生物神经网
2、工作过程
2021/8/19
细胞体是神经元的主体：细胞核、细胞质和细胞膜三部分；
x1
o1
x2
o2
……
xn
2021/8/19
输入层
…
…
隐藏层
…… 输出层
… om
26
• 约定 :
• 输出层的层号为该网络的层数：n层网络，或 n级网络。
• 第j-1层到第j层的联接矩阵为第j层联接矩阵，
输出层对应的矩阵叫输出层联接矩阵。今后，
在需要的时候，一般我们用W〔j〕表示第j层
矩阵。 W(1) x1