人工智能及其应用蔡自兴第四版
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 j j j k j k j
2
J (W ) [d j (k ) y j (k )] f ' [ S j (k )] yh (k ) j (k ) yh (k ) Whj k k Whj J (W ) j ( k ) yh ( k ) Whj k
BP网络的训练步骤：
• • • • • 用小随机数初始化网络各层权值； 样本数据输入； 误差计算； 权值变化量计算； 权值调整
17
4.2 神经计算
4.2.3 人工神经网络的典型模型
表 4.2 模型名称 AG SG ART-I DH CH BAM AM ABAM CABAM FCM LM DR LAM 有师或无师 无 无 无 无 无 无 无 无 无 无 有 有 有 人工神经网络的典型模型 学习规则 Hebb 律 Hebb 律 竞争律 Hebb 律 Hebb/竞争律 Hebb/竞争律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 正向或反向传播 反向 反向 反向 反向 反向 反向 反向 反向 反向 反向 正向 正向 正向 应用领域 数据分类 信息处理 模式分类 语音处理 组合优化 图象处理 模式存储 信号处理 组合优化 组合优化 过程监控 过程预测，控制 系统控制
4.1 概述
计算智能与人工智能的 区别和关系
输入 复杂性 层次 人类知识 (＋)传感输入
知识 (＋)传感数据 计算 (＋)传感器
BNN
BPR
BI
B－生物的
复 杂 性
ANN
APR
AI
A－符号的
CNN
CPR
CI
C－数值的
5
4.1 概述
上图由贝兹德克于1994年提出，表示ABC与 神经网络（NN）、模式识别（PR）和智能 （I）之间的关系 A－Artificial，表示人工的（非生物的）； B－Biological， 表示物理的＋化学的＋（？）＝生物的； C－Computational，表示数学＋计算机 计算智能是一种智力方式的低层认知，它与 人工智能的区别只是认知层次从中层下降至 低层而已。中层系统含有知识（精品），低 层系统则没有。
19
4.2 神经计算
4.2.4 基于神经网络的知识表示 与推理
1.基于神经网络的知识表示 在这里，知识并不像在产生式系统 中那样独立地表示为每一条规则，而是 将某一问题的若干知识在同一网络中表 示。 例如，在有些神经网络系统中，知识 是用神经网络所对应的有向权图的邻接 矩阵及阈值向量表示的。
20
– 对于每个节点 i 存在一个状态变量xi ；
– 从节点 j 至节点 i ，存在一个连接权系统数 wji；
– 对于每个节点 i ，存在一个阈值 i；
– 对于每个节点 i ，定义一个变换函数fi ；对 于最一般的情况，此函数取
f i ( w ij x j i )
j
形式。
13
4.2 神经计算
其中 j (k ) e j (k ) f ' [ S j (k )]
– 输入层到隐层的权值调整（梯度法）：
J (W ) [d j (k ) y j (k )] f ' [ S j (k )] Whj f ' [ S h (k )] xi (k ) h (k ) xi (k ) Wih k, j k J (W ) ' Wih h (k ) xi (k ) 其中 h (k ) f [Sh (k )] Whj j (k ) Wih k j
16
4.2 神经计算
BP算法
BP算法的权值调整方法：
– 令输出结点家j的误差为 e (k ) d (k ) y (k ) 则k个训练样本的误差
j j j
平方和为性能指标 J (W ) 1 [e (k )] 1 [d (k ) y (k )] 2 2 – 隐层到输出层的权值调整（梯度法）：
– 把已知数据输入网络输入层的各个节点。 – 利用特性函数分别计算网络中各层的输出。 – 用阈值函数对输出层的输出进行判定，从而得
到输出结果。
24
4.3 模糊计算
4.3.1 模糊集合、模糊逻辑及其运算
定义4.1 模糊集合(Fuzzy Sets)
论域U到[0,1]区间的任一映射 F ， 即 F :U [0,1] ，都确定U的一个模糊子集F； 称为F的隶属函数或隶属度。在论域U中， 可把模糊子集表示为元素u与其隶属函数 F (u) 的序偶集合，记为： F {(u, F (u)) | u U } (4.7)
4.2 神经计算
w1m
yn
输入层
隐层
图4.5 前馈网络
输出层
15
4.2 神经计算
3.人工神经网络的主要学习算 法
有师学习算法：能够根据期望输出和实 际网络输出（对应于给定输入）间的差 别来调整神经元间连接的强度（权）。 无师学习算法：不需要知道期望输出。 强化学习算法：采用一个“评论员”来 评价与给定输入相对应的神经网络输出 的优度（质量因数）。强化学习算法的 一个例子是遗传算法（GA）。
U 表示为： V ((u,v ), R (u,v )) | u U ,v V
(4.14)
18
4.2 神经计算
续前表：
OLAM FAM BSB Perceptron Adaline/Madaline BP AVQ CPN BM CM AHC ARP SNMF 有 有 有 有 有 有 有 有 有 有 有 有 有 Hebb 律 Hebb 律 误差修正 误差修正 误差修正 误差修正 误差修正 Hebb 律 Hebb/模拟退火 Hebb/模拟退火 误差修正 随机增大 Hebb 律 正向 正向 正向 正向 反向 反向 反向 反向 反向 反向 反向 反向 反向 信号处理 知识处理 实时分类 线性分类，预测 分类，噪声抑制 分类 数据自组织 自组织映射 组合优化 组合优化 控制 模式匹配，控制 语音/图象处理
图4.2中的神经元单元由多个输入xi， i=1,2,...,n和一个输出y组成。中间状态由输入 信号的权和表示，而输出为
y j (t ) f ( w ji xi j )
i 1 n
（4.1）
式中，j为神经元单元的偏置（阈值），wji为
连接权系数。 n为输入信号数目，yj为神经元
输出，t为时间，f( )为输出变换函数，如图
例1：表示“异或”问题的两层感知器模 型
x3 x1
―异或”逻辑问题真值表
0
1 -1
1
1
x1
2
y
x2 0 0 1 1
y 0 1 1 0
0 1 0 1
x2
1
0
-1
-1.5 x4
1
21
例2：基于B-P网络的医疗诊断系统
– 该医疗诊断系统只考虑 6 种症状、2 种疾病、3种
治疗方案 • 症状：对每一症状采集三种信息 — 有（1）、 无（-1）、没有记录（0） • 疾病：对每一疾病采集三种信息 — 有（1）、 无（-1）、没有记录（0） • 治疗方案：对每一治疗方案采集两种信息 — 是、 否
人工智能
第四章 计算智能(1) Computational Intelligence 神经计算 模糊计算
4.1 概述
信息科学与生命科学的相互交叉、相互 渗透和相互促进是现代科学技术发展的 一个显著特点。 计算智能涉及神经网络、模糊逻辑、进 化计算和人工生命等领域，它的研究和 发展正反映了当代科学技术多学科交叉 与集成的重要发展趋势。
递归（反馈）网络: 在递归网络中，多 个神经元互连以组 织一个互连神经网 x1 络，如图4.4。
x2
x1’ V1
x2’ V2
xn 输入
xn’ Vn
输出
图4.4 反馈网络
14
前馈（多层）网络:前馈网络具 有递阶分层结构，由同层神经 元间不存在互连的层级组成， 如图4.5。 反向传播
x1 x2 w11 y1
6
4.1 概述
定义1：当一个系统只涉及数值（低层） 数据，含有模式识别部分，不应用人工 智能意义上的知识，而且能够呈现出：
（1）计算适应性； （2）计算容错性； （3）接近人的速度； （4）误差率与人相近，
则该系统就是计算智能系统。 定义2：当一个智能计算系统以非数值 方式加上知识（精品）值，即成为人工 智能系统。
4.3。
11
4.2 神经计算
f(x) 1 0 x0 (a) x
f(x)
1
f(x) 1
0 x
-1 (c)
x
(b)
图4.3 神经元中的某些变换（激发）函数
(a) 二值函数 (b) S形函数 (c) 双曲正切函数
12
4.2 神经计算
2.人工神经网络的基本特性和 结构
人工神经网络是具有下列特性的有向图：
3
4.1 概述
什么是计算智能
把神经网络（NN）归类于人工智能 （AI）可能不大合适，而归类于计算智 能（CI）更能说明问题实质。进化计算、 人工生命和模糊逻辑系统的某些课题， 也都归类于计算智能。 计算智能取决于制造者（manufacturers） 提供的数值数据，不依赖于知识；另一 方面，人工智能应用知识精品 （knowledge tidbits）。人工神经网络应 当称为计算神经网络。 4
min A ( u), B ( u) (4.11) A的补（逻辑非）记为 A ，其传递函数定义为： (4.12) A ( u) 1 A ( u )
27
4.3 模糊计算
定义4.4 直积（笛卡儿乘积，代数积）
若 A1, A2 ,..., An 分别为论域 U1 , U 2 ,, U n 中的模 糊集合，则这些集合的直积是乘积空间 中一个模糊集合，其隶属函数为： U1 U 2 U n
A1 An ( u1 , u2 ,, un ) min A1 (u1 ),, An ( un )
A1 ( u1 ) A2 ( u2 ) An ( un )
(4.13)
定义4.5 模糊关系
若U，V是两个非空模糊集合，则其直积 U×V中的模糊子集R称为从U到V的模糊关系，
– 每个病人的信息构成一个训练样例，用一批训练样
例对网络进行训练（B-P算法），假设得到的是如 图所示的神经网络 • x1 - x6 为症状（输入） • x7,x8 为疾病名 • x9,x10,x11 为治疗方案（输出） 22
23
4.2 神经计算
2.基于神经网络的推理
基于神经网络的推理是通过网络计算实现 的。把用户提供的初始证据用作网络的输 入，通过网络计算最终得到输出结果。 一般来说，正向网络推理的步骤如下：
25
F
4.3 模糊计算
定义4.2 模糊支集模糊单点
若某模糊集是论域U中所有满足 F (u) 0 的元素u构成的集合，则称该集合为模 糊集F的支集。 当u满足 F 1.0 ，称为模糊单点。
26
4.3 模糊计算
定义4.3 模糊集的运算
设A和B为论域U中的两个模糊集，其隶属函数分别 为 B 和 A，则对于所有 u U，存在下列运算： – A与B的并（逻辑或）记为 A B ，其隶属函数定 义为： A B ( u) A ( u) B ( u) max A ( u), B ( u) (4.10) – A与B的交（逻辑与）记为 A B ，其隶属函数定 义为： A B ( u) A ( u) B ( u)
8
4.2 神经计算
人工神经网络的特性
并行分布处理 非线性映射 通过训练进行学习 适应与集成 硬件实现
9
4.2 神经计算
4.2.2 人工神经网络的结构
1.神经元及 其特性
X1 X2 -1
W j1 Wj2 · · · W jn
Σ ( )
Yi
Xn
图4.2 神经元模型
10
4.2 神经计算
7
4.2 神经计百度文库 4.2.1 人工神经网络研究的进展
1943年麦卡洛克和皮茨提出神经网络模型 （称为MP模型）的概念。 20世纪60年代威德罗和霍夫提出自适应线性 元件。 60年代末期至80年代中期，整个神经网络研 究处于低潮。 80年代后期以来，人工神经网络研究得到复 苏和发展，在模式识别、图象处理、自动控 制等领域得到广泛应用。
2
J (W ) [d j (k ) y j (k )] f ' [ S j (k )] yh (k ) j (k ) yh (k ) Whj k k Whj J (W ) j ( k ) yh ( k ) Whj k
BP网络的训练步骤：
• • • • • 用小随机数初始化网络各层权值； 样本数据输入； 误差计算； 权值变化量计算； 权值调整
17
4.2 神经计算
4.2.3 人工神经网络的典型模型
表 4.2 模型名称 AG SG ART-I DH CH BAM AM ABAM CABAM FCM LM DR LAM 有师或无师 无 无 无 无 无 无 无 无 无 无 有 有 有 人工神经网络的典型模型 学习规则 Hebb 律 Hebb 律 竞争律 Hebb 律 Hebb/竞争律 Hebb/竞争律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 Hebb 律 正向或反向传播 反向 反向 反向 反向 反向 反向 反向 反向 反向 反向 正向 正向 正向 应用领域 数据分类 信息处理 模式分类 语音处理 组合优化 图象处理 模式存储 信号处理 组合优化 组合优化 过程监控 过程预测，控制 系统控制
4.1 概述
计算智能与人工智能的 区别和关系
输入 复杂性 层次 人类知识 (＋)传感输入
知识 (＋)传感数据 计算 (＋)传感器
BNN
BPR
BI
B－生物的
复 杂 性
ANN
APR
AI
A－符号的
CNN
CPR
CI
C－数值的
5
4.1 概述
上图由贝兹德克于1994年提出，表示ABC与 神经网络（NN）、模式识别（PR）和智能 （I）之间的关系 A－Artificial，表示人工的（非生物的）； B－Biological， 表示物理的＋化学的＋（？）＝生物的； C－Computational，表示数学＋计算机 计算智能是一种智力方式的低层认知，它与 人工智能的区别只是认知层次从中层下降至 低层而已。中层系统含有知识（精品），低 层系统则没有。
19
4.2 神经计算
4.2.4 基于神经网络的知识表示 与推理
1.基于神经网络的知识表示 在这里，知识并不像在产生式系统 中那样独立地表示为每一条规则，而是 将某一问题的若干知识在同一网络中表 示。 例如，在有些神经网络系统中，知识 是用神经网络所对应的有向权图的邻接 矩阵及阈值向量表示的。
20
– 对于每个节点 i 存在一个状态变量xi ；
– 从节点 j 至节点 i ，存在一个连接权系统数 wji；
– 对于每个节点 i ，存在一个阈值 i；
– 对于每个节点 i ，定义一个变换函数fi ；对 于最一般的情况，此函数取
f i ( w ij x j i )
j
形式。
13
4.2 神经计算
其中 j (k ) e j (k ) f ' [ S j (k )]
– 输入层到隐层的权值调整（梯度法）：
J (W ) [d j (k ) y j (k )] f ' [ S j (k )] Whj f ' [ S h (k )] xi (k ) h (k ) xi (k ) Wih k, j k J (W ) ' Wih h (k ) xi (k ) 其中 h (k ) f [Sh (k )] Whj j (k ) Wih k j
16
4.2 神经计算
BP算法
BP算法的权值调整方法：
– 令输出结点家j的误差为 e (k ) d (k ) y (k ) 则k个训练样本的误差
j j j
平方和为性能指标 J (W ) 1 [e (k )] 1 [d (k ) y (k )] 2 2 – 隐层到输出层的权值调整（梯度法）：
– 把已知数据输入网络输入层的各个节点。 – 利用特性函数分别计算网络中各层的输出。 – 用阈值函数对输出层的输出进行判定，从而得
到输出结果。
24
4.3 模糊计算
4.3.1 模糊集合、模糊逻辑及其运算
定义4.1 模糊集合(Fuzzy Sets)
论域U到[0,1]区间的任一映射 F ， 即 F :U [0,1] ，都确定U的一个模糊子集F； 称为F的隶属函数或隶属度。在论域U中， 可把模糊子集表示为元素u与其隶属函数 F (u) 的序偶集合，记为： F {(u, F (u)) | u U } (4.7)
4.2 神经计算
w1m
yn
输入层
隐层
图4.5 前馈网络
输出层
15
4.2 神经计算
3.人工神经网络的主要学习算 法
有师学习算法：能够根据期望输出和实 际网络输出（对应于给定输入）间的差 别来调整神经元间连接的强度（权）。 无师学习算法：不需要知道期望输出。 强化学习算法：采用一个“评论员”来 评价与给定输入相对应的神经网络输出 的优度（质量因数）。强化学习算法的 一个例子是遗传算法（GA）。
U 表示为： V ((u,v ), R (u,v )) | u U ,v V
(4.14)
18
4.2 神经计算
续前表：
OLAM FAM BSB Perceptron Adaline/Madaline BP AVQ CPN BM CM AHC ARP SNMF 有 有 有 有 有 有 有 有 有 有 有 有 有 Hebb 律 Hebb 律 误差修正 误差修正 误差修正 误差修正 误差修正 Hebb 律 Hebb/模拟退火 Hebb/模拟退火 误差修正 随机增大 Hebb 律 正向 正向 正向 正向 反向 反向 反向 反向 反向 反向 反向 反向 反向 信号处理 知识处理 实时分类 线性分类，预测 分类，噪声抑制 分类 数据自组织 自组织映射 组合优化 组合优化 控制 模式匹配，控制 语音/图象处理
图4.2中的神经元单元由多个输入xi， i=1,2,...,n和一个输出y组成。中间状态由输入 信号的权和表示，而输出为
y j (t ) f ( w ji xi j )
i 1 n
（4.1）
式中，j为神经元单元的偏置（阈值），wji为
连接权系数。 n为输入信号数目，yj为神经元
输出，t为时间，f( )为输出变换函数，如图
例1：表示“异或”问题的两层感知器模 型
x3 x1
―异或”逻辑问题真值表
0
1 -1
1
1
x1
2
y
x2 0 0 1 1
y 0 1 1 0
0 1 0 1
x2
1
0
-1
-1.5 x4
1
21
例2：基于B-P网络的医疗诊断系统
– 该医疗诊断系统只考虑 6 种症状、2 种疾病、3种
治疗方案 • 症状：对每一症状采集三种信息 — 有（1）、 无（-1）、没有记录（0） • 疾病：对每一疾病采集三种信息 — 有（1）、 无（-1）、没有记录（0） • 治疗方案：对每一治疗方案采集两种信息 — 是、 否
人工智能
第四章 计算智能(1) Computational Intelligence 神经计算 模糊计算
4.1 概述
信息科学与生命科学的相互交叉、相互 渗透和相互促进是现代科学技术发展的 一个显著特点。 计算智能涉及神经网络、模糊逻辑、进 化计算和人工生命等领域，它的研究和 发展正反映了当代科学技术多学科交叉 与集成的重要发展趋势。
递归（反馈）网络: 在递归网络中，多 个神经元互连以组 织一个互连神经网 x1 络，如图4.4。
x2
x1’ V1
x2’ V2
xn 输入
xn’ Vn
输出
图4.4 反馈网络
14
前馈（多层）网络:前馈网络具 有递阶分层结构，由同层神经 元间不存在互连的层级组成， 如图4.5。 反向传播
x1 x2 w11 y1
6
4.1 概述
定义1：当一个系统只涉及数值（低层） 数据，含有模式识别部分，不应用人工 智能意义上的知识，而且能够呈现出：
（1）计算适应性； （2）计算容错性； （3）接近人的速度； （4）误差率与人相近，
则该系统就是计算智能系统。 定义2：当一个智能计算系统以非数值 方式加上知识（精品）值，即成为人工 智能系统。
4.3。
11
4.2 神经计算
f(x) 1 0 x0 (a) x
f(x)
1
f(x) 1
0 x
-1 (c)
x
(b)
图4.3 神经元中的某些变换（激发）函数
(a) 二值函数 (b) S形函数 (c) 双曲正切函数
12
4.2 神经计算
2.人工神经网络的基本特性和 结构
人工神经网络是具有下列特性的有向图：
3
4.1 概述
什么是计算智能
把神经网络（NN）归类于人工智能 （AI）可能不大合适，而归类于计算智 能（CI）更能说明问题实质。进化计算、 人工生命和模糊逻辑系统的某些课题， 也都归类于计算智能。 计算智能取决于制造者（manufacturers） 提供的数值数据，不依赖于知识；另一 方面，人工智能应用知识精品 （knowledge tidbits）。人工神经网络应 当称为计算神经网络。 4
min A ( u), B ( u) (4.11) A的补（逻辑非）记为 A ，其传递函数定义为： (4.12) A ( u) 1 A ( u )
27
4.3 模糊计算
定义4.4 直积（笛卡儿乘积，代数积）
若 A1, A2 ,..., An 分别为论域 U1 , U 2 ,, U n 中的模 糊集合，则这些集合的直积是乘积空间 中一个模糊集合，其隶属函数为： U1 U 2 U n
A1 An ( u1 , u2 ,, un ) min A1 (u1 ),, An ( un )
A1 ( u1 ) A2 ( u2 ) An ( un )
(4.13)
定义4.5 模糊关系
若U，V是两个非空模糊集合，则其直积 U×V中的模糊子集R称为从U到V的模糊关系，
– 每个病人的信息构成一个训练样例，用一批训练样
例对网络进行训练（B-P算法），假设得到的是如 图所示的神经网络 • x1 - x6 为症状（输入） • x7,x8 为疾病名 • x9,x10,x11 为治疗方案（输出） 22
23
4.2 神经计算
2.基于神经网络的推理
基于神经网络的推理是通过网络计算实现 的。把用户提供的初始证据用作网络的输 入，通过网络计算最终得到输出结果。 一般来说，正向网络推理的步骤如下：
25
F
4.3 模糊计算
定义4.2 模糊支集模糊单点
若某模糊集是论域U中所有满足 F (u) 0 的元素u构成的集合，则称该集合为模 糊集F的支集。 当u满足 F 1.0 ，称为模糊单点。
26
4.3 模糊计算
定义4.3 模糊集的运算
设A和B为论域U中的两个模糊集，其隶属函数分别 为 B 和 A，则对于所有 u U，存在下列运算： – A与B的并（逻辑或）记为 A B ，其隶属函数定 义为： A B ( u) A ( u) B ( u) max A ( u), B ( u) (4.10) – A与B的交（逻辑与）记为 A B ，其隶属函数定 义为： A B ( u) A ( u) B ( u)
8
4.2 神经计算
人工神经网络的特性
并行分布处理 非线性映射 通过训练进行学习 适应与集成 硬件实现
9
4.2 神经计算
4.2.2 人工神经网络的结构
1.神经元及 其特性
X1 X2 -1
W j1 Wj2 · · · W jn
Σ ( )
Yi
Xn
图4.2 神经元模型
10
4.2 神经计算
7
4.2 神经计百度文库 4.2.1 人工神经网络研究的进展
1943年麦卡洛克和皮茨提出神经网络模型 （称为MP模型）的概念。 20世纪60年代威德罗和霍夫提出自适应线性 元件。 60年代末期至80年代中期，整个神经网络研 究处于低潮。 80年代后期以来，人工神经网络研究得到复 苏和发展，在模式识别、图象处理、自动控 制等领域得到广泛应用。