第四章计算智能(1)-神经网络资料精品PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5
4.1 概述
❖当一个系统只涉及数值（低层）数据，含 有模式识别部分，不应用人工智能意义上 的知识，而且能够呈现出：
（1）计算适应性； （2）计算容错性； （3）接近人的速度； （4）误差率与人相近，
则该系统就是计算智能系统。 ❖当一个智能计算系统以非数值方式加上知
识（精品）值，即成为人工智能系统。
和表示，而输出为
n
y j (t) f ( w ji xi j )
（4.1）
i 1
式中，j为神经元单元的偏置，wji为连接权系
数。 n为输入信号数目，yj为神经元输出，t为
时间，f( )为输出变换函数，如图4.3。
11
4.2 神经计算
f(x)
f(x)
f(x)
1
0 x0
x
1
0
x
1
x
-1
(a)
(b)
6
生理神经元的结构
大多数神经元由一个细胞体(cell body或soma)和突(process) 两部分组成。突分两类， 即轴突(axon)和树突(dendrite)。 轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它 相连接的神经元。树突也是突出部分，但一般较短，且分枝很多， 与其它神经元的轴突相连，以接收来自其它神经元的生物信号。
(c)
图4.3 神经元中的某些变换（激发）函数
(a) 二值函数 (b) S形函数 (c) 双曲正切函数
12
4.2 神经计算
人工神经网络的基本特性和结构
❖人工神经网络是具有下列特性的有向图：
❖ 对于每个节点 i 存在一个状态变量xi ； ❖ 从节点 j 至节点 i ，存在一个连接权系统
数wij； ❖ 对于每个节点 i ，存在一个阈值 i； ❖对于每个节点 i ，定义一个变换函数fi ；对
x1
x1’
V1
x2
x2’
V2
xn
xn’
输入
Vn 输出
图4.4 反馈网络
15
4.2 神经计算
反向传播
❖前馈网络:前馈网 络具有递阶分层 结构，由同层神 经元间不存在互 连的层级组成， 如图4.5。
x1
w11
y1
w1m
x2
输入层
yn 隐层
输出层
图4.5 前馈网络
16
4.2 神经计算
人工神经网络的主要学习算法
7
4.2 神经计算 4.2.1 人工神经网络研究的进展
❖ 1960年威德罗和霍夫率先把神经网络用于自 动控制研究。
❖ 60年代末期至80年代中期，神经网络控制与 整个神经网络研究一样，处于低潮。
❖ 80年代后期以来，随着人工神经网络研究的 复苏和发展，对神经网络控制的研究也十分 活跃。这方面的研究进展主要在神经网络自 适应控制和模糊神经网络控制及其在机器人 控制中的应用上。
8
人工神经网络的特性
❖并行分布处理 ❖非线性映射 ❖通过训练进行学习 ❖适应与集成 ❖硬件实现
4.2 神经计算
9
4.2.2 人工神经网络的结构
-1 X1 W j 1
X2
Wj2 ···
W jn
ቤተ መጻሕፍቲ ባይዱ
Σ ( )
Xn
图4.2 神经元模型
4.2 神经计算
Yi
10
4.2 神经计算
图4.2中的神经元单元由多个输入xi，i=1,2,...,n 和一个输出y组成。中间状态由输入信号的权
有
BP
有
AVQ
有
CPN
有
BM
有
CM
有
AHC
有
ARP
有
SNMF
有
Hebb 律 Hebb 律 误差修正 误差修正 误差修正 误差修正 误差修正 Hebb 律 Hebb/模拟退火 Hebb/模拟退火 误差修正 随机增大 Hebb 律
人工神经网络的典型模型
表 4.2 人工神经网络的典型模型
模型名称 AG SG
ART-I DH CH BAM AM
ABAM CABAM
FCM LM DR LAM
有师或无师 无 无 无 无 无 无 无 无 无 无 有 有 有
学习规则 Hebb 律 Hebb 律 竞争律 Hebb 律 Hebb/竞争律 Hebb/竞争律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律
❖有师学习算法：能够根据期望的和实际 的网络输出（对应于给定输入）间的差 来调整神经元间连接的强度或权。
❖无师学习算法：不需要知道期望输出。 ❖强化学习算法：采用一个“评论员”来
评价与给定输入相对应的神经网络输出 的优度（质量因数）。强化学习算法的 一个例子是遗传算法（GA）。
17
4.2 神经计算
于最一般的情况，此函数取
❖ f i ( wij x j
) 形式。
i
j
13
神经网络模型的基本组成
神经网络结构
连接矩阵 连接模式
多层、单层 反馈、前馈
w11 w1n
W
wn1 wnn
14
4.2 神经计算
❖递归（反馈）网络: 在递归网络中，多 个神经元互连以组 织一个互连神经网 络，如图4.4。
第四章 计算智能(1)
神经计算
4.1 概述
❖信息科学与生命科学的相互交叉、相互 渗透和相互促进是现代科学技术发展的 一个显著特点。
❖计算智能涉及神经网络、模糊逻辑、进 化计算和人工生命等领域，它的研究和 发展正反映了当代科学技术多学科交叉 与集成的重要发展趋势。
2
4.1 概述
什么是计算智能
❖把神经网络（NN）归类于人工智能（AI）可 能不大合适，而归类于计算智能（CI）更能 说明问题实质。进化计算、人工生命和模糊 逻辑系统的某些课题，也都归类于计算智能。
❖计算智能取决于制造者（manufacturers）提 供的数值数据，不依赖于知识；另一方面， 人工智能应用知识精品（knowledge tidbits）。 人工神经网络应当称为计算神经网络。
3
4.1 概述
计算智能与人工智能的区别和关系
输入
复杂性
输入
人类知识
BNN
(＋)传感输入
BPR
BI
B－生物的
知识
(＋)传感数据 ANN APR
AI
A－符号的
计算 (＋)传感器 CNN CPR CI
C－数值的
复杂性
4
4.1 概述
❖A－Artificial，表示人工的（非生物的）； B－Biological，表示物理的＋化学的＋ （？）＝生物的； C－Computational，表示数学＋计算机
❖计算智能是一种智力方式的低层认知，它 与人工智能的区别只是认知层次从中层下 降至低层而已。中层系统含有知识（精 品），低层系统则没有。
正向或反向传播 反向 反向 反向 反向 反向 反向 反向 反向 反向 反向 正向 正向 正向
应用领域 数据分类 信息处理 模式分类 语音处理 组合优化 图象处理 模式存储 信号处理 组合优化 组合优化 过程监控 过程预测，控制 系统控制
18
续前表：
OLAM
有
FAM
有
BSB
有
Perceptron
有
Adaline/Madaline
4.1 概述
❖当一个系统只涉及数值（低层）数据，含 有模式识别部分，不应用人工智能意义上 的知识，而且能够呈现出：
（1）计算适应性； （2）计算容错性； （3）接近人的速度； （4）误差率与人相近，
则该系统就是计算智能系统。 ❖当一个智能计算系统以非数值方式加上知
识（精品）值，即成为人工智能系统。
和表示，而输出为
n
y j (t) f ( w ji xi j )
（4.1）
i 1
式中，j为神经元单元的偏置，wji为连接权系
数。 n为输入信号数目，yj为神经元输出，t为
时间，f( )为输出变换函数，如图4.3。
11
4.2 神经计算
f(x)
f(x)
f(x)
1
0 x0
x
1
0
x
1
x
-1
(a)
(b)
6
生理神经元的结构
大多数神经元由一个细胞体(cell body或soma)和突(process) 两部分组成。突分两类， 即轴突(axon)和树突(dendrite)。 轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它 相连接的神经元。树突也是突出部分，但一般较短，且分枝很多， 与其它神经元的轴突相连，以接收来自其它神经元的生物信号。
(c)
图4.3 神经元中的某些变换（激发）函数
(a) 二值函数 (b) S形函数 (c) 双曲正切函数
12
4.2 神经计算
人工神经网络的基本特性和结构
❖人工神经网络是具有下列特性的有向图：
❖ 对于每个节点 i 存在一个状态变量xi ； ❖ 从节点 j 至节点 i ，存在一个连接权系统
数wij； ❖ 对于每个节点 i ，存在一个阈值 i； ❖对于每个节点 i ，定义一个变换函数fi ；对
x1
x1’
V1
x2
x2’
V2
xn
xn’
输入
Vn 输出
图4.4 反馈网络
15
4.2 神经计算
反向传播
❖前馈网络:前馈网 络具有递阶分层 结构，由同层神 经元间不存在互 连的层级组成， 如图4.5。
x1
w11
y1
w1m
x2
输入层
yn 隐层
输出层
图4.5 前馈网络
16
4.2 神经计算
人工神经网络的主要学习算法
7
4.2 神经计算 4.2.1 人工神经网络研究的进展
❖ 1960年威德罗和霍夫率先把神经网络用于自 动控制研究。
❖ 60年代末期至80年代中期，神经网络控制与 整个神经网络研究一样，处于低潮。
❖ 80年代后期以来，随着人工神经网络研究的 复苏和发展，对神经网络控制的研究也十分 活跃。这方面的研究进展主要在神经网络自 适应控制和模糊神经网络控制及其在机器人 控制中的应用上。
8
人工神经网络的特性
❖并行分布处理 ❖非线性映射 ❖通过训练进行学习 ❖适应与集成 ❖硬件实现
4.2 神经计算
9
4.2.2 人工神经网络的结构
-1 X1 W j 1
X2
Wj2 ···
W jn
ቤተ መጻሕፍቲ ባይዱ
Σ ( )
Xn
图4.2 神经元模型
4.2 神经计算
Yi
10
4.2 神经计算
图4.2中的神经元单元由多个输入xi，i=1,2,...,n 和一个输出y组成。中间状态由输入信号的权
有
BP
有
AVQ
有
CPN
有
BM
有
CM
有
AHC
有
ARP
有
SNMF
有
Hebb 律 Hebb 律 误差修正 误差修正 误差修正 误差修正 误差修正 Hebb 律 Hebb/模拟退火 Hebb/模拟退火 误差修正 随机增大 Hebb 律
人工神经网络的典型模型
表 4.2 人工神经网络的典型模型
模型名称 AG SG
ART-I DH CH BAM AM
ABAM CABAM
FCM LM DR LAM
有师或无师 无 无 无 无 无 无 无 无 无 无 有 有 有
学习规则 Hebb 律 Hebb 律 竞争律 Hebb 律 Hebb/竞争律 Hebb/竞争律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律
❖有师学习算法：能够根据期望的和实际 的网络输出（对应于给定输入）间的差 来调整神经元间连接的强度或权。
❖无师学习算法：不需要知道期望输出。 ❖强化学习算法：采用一个“评论员”来
评价与给定输入相对应的神经网络输出 的优度（质量因数）。强化学习算法的 一个例子是遗传算法（GA）。
17
4.2 神经计算
于最一般的情况，此函数取
❖ f i ( wij x j
) 形式。
i
j
13
神经网络模型的基本组成
神经网络结构
连接矩阵 连接模式
多层、单层 反馈、前馈
w11 w1n
W
wn1 wnn
14
4.2 神经计算
❖递归（反馈）网络: 在递归网络中，多 个神经元互连以组 织一个互连神经网 络，如图4.4。
第四章 计算智能(1)
神经计算
4.1 概述
❖信息科学与生命科学的相互交叉、相互 渗透和相互促进是现代科学技术发展的 一个显著特点。
❖计算智能涉及神经网络、模糊逻辑、进 化计算和人工生命等领域，它的研究和 发展正反映了当代科学技术多学科交叉 与集成的重要发展趋势。
2
4.1 概述
什么是计算智能
❖把神经网络（NN）归类于人工智能（AI）可 能不大合适，而归类于计算智能（CI）更能 说明问题实质。进化计算、人工生命和模糊 逻辑系统的某些课题，也都归类于计算智能。
❖计算智能取决于制造者（manufacturers）提 供的数值数据，不依赖于知识；另一方面， 人工智能应用知识精品（knowledge tidbits）。 人工神经网络应当称为计算神经网络。
3
4.1 概述
计算智能与人工智能的区别和关系
输入
复杂性
输入
人类知识
BNN
(＋)传感输入
BPR
BI
B－生物的
知识
(＋)传感数据 ANN APR
AI
A－符号的
计算 (＋)传感器 CNN CPR CI
C－数值的
复杂性
4
4.1 概述
❖A－Artificial，表示人工的（非生物的）； B－Biological，表示物理的＋化学的＋ （？）＝生物的； C－Computational，表示数学＋计算机
❖计算智能是一种智力方式的低层认知，它 与人工智能的区别只是认知层次从中层下 降至低层而已。中层系统含有知识（精 品），低层系统则没有。
正向或反向传播 反向 反向 反向 反向 反向 反向 反向 反向 反向 反向 正向 正向 正向
应用领域 数据分类 信息处理 模式分类 语音处理 组合优化 图象处理 模式存储 信号处理 组合优化 组合优化 过程监控 过程预测，控制 系统控制
18
续前表：
OLAM
有
FAM
有
BSB
有
Perceptron
有
Adaline/Madaline