第五讲-人工神经网络评价方法ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第k-1层
第k层
.
25
隐藏层权的调整
p 1 k fk 1 (np ) e w ( p 1 p 1 k w p 22 k . .w .pm m )k v h po p 1 k ( 1 o p 1 k )w ( p 11 k w p 22 k . .w .pm m )o k p 2 k
.
21
基本BP算法
神经元 激活函数 网络输入：netj=x1w1+x2w2+......+xnwn
输出
1 o f (net) 1 enet f (net) o(1o)
net=0时，o取值0.5，net落在(-0.6,0.6)之间，o的变化率较大，收敛 比较快，应把net控制在这个范围内。
.
22
.
1
主要内容
1. 人工神经网络基础知识 2. BP网络及BP算法 3. 实例演示
.
2
一、人工神经网络的概念
人工神经网络是一个并行、分布处理结构，它由处理单元 及连接的无向信号通道互联而成。这些处理单元具有局部 内存，并可以完成局部操作。
每一个处理单元有一个单一的输出联接，这个输出可以根 据需要被分成希望个数的许多并行联接，且这些并行联接 的输出相同的信号及相应的处理单元的信号，信号的大小 不因分支的多少而变化。
f (net ) k net
net≥θ -θ <net< θ
net≤-θ
f
(net)
net>θ net≤θ
.
8
几种典型的激活函数
4.S型函数
f(ne) t a
b
1ex pd(ne)t
其中，当a=0，b=1时为函数最简单形式，饱和值为： 0，1
.
9
联接模式
层内联接：
本层内的神经元到本层内的神经元的联接，用来加 强和完成层内神经元的竞争。
循环联接：
神经元到自身的联接
层间联接：
不同层间中的神经元的联接，实现信号的传递
.
10
分层结构
单级网
简单单级网： 下面以简单单级网为例，说明神经网络的分层 结构，其余形式据此可理解。 网络输入向量：Ｘ＝（ｘ1，x2，．．．，xn） 网络输出向量：O＝（o1，o2，．．．，on） 输入层的神经元不对信号做任何处理，只起 到扇出作用
Wij(t 1) Wij(t)Wij(t)
Wij(t) joi (t) j yi oi (t)
.
18
异或问题
异或运算
g x, y
0
1
x=y 其他
.
19
BP算法基本概念
BP算法：
在于利用输出层的误差来估计输出层的直接前导层的 误差，再用这一误差估计更前一层的误差，这就形成 了将输出端表现出的误差沿着与输入信号传送的方向 逐级向网络的输入端传递的过程。
BP网络：
使用BP算法进行学习的多级非循环网络。
.
20
利用BP网络进行评价的优点
它主要根据所提供的数据,通过学习和训练,找出输入与 输出之间的内在联系,从而求取问题的解。而不是依据 对问题的经验知识和规则,因而具有自适应功能,这对于 弱化权重确定中人为的因素是十分有益的。 能够处理那些有噪声或不完全的数据,具有泛化功能和 很强的容错能力。 由于实际综合评估往往是非常复杂的,各个因素之间互 相影响,呈现出复杂的非线性关系,人工神经网络为处理 这类非线性问题提供了强有力的工具
输出层权的源自文库整
w pq w pq w pq w pq q o q
q fn(neqt)(yq oq)
fn(neqt) oq(1oq)
wpq oq(1oq)(yq oq)op
.
24
隐藏层权的调整
vhp, δpk-1
wp1,δ1k wp2,δ2k
ANq
ANh
第k-2层
ANp wpm,δmk
处理单元的输出信号可以是任何需要的数学模型，每个处 理单元中进行的操作必须是完全局部的。也就是说，它必 须仅仅依赖于经过输入连接到达处理单元的所有输入信号 的当前值和存储在处理单元局部内存中的值。
.
3
人工神经网络的八个要素
一组处理单元 处理单元的激活状态 输出函数 联接模式 传递规则 激活规则 学习规则 样本集合
.
11
简单单级网的网络图
x1 x2
......
xn 输入层
输出层
.
o1 o2
on
12
简单单级网
权矩阵：W=(wij) 输出层第j个元素的网络输入为netj netj=x1w1j+x2w2j+......+xnwnj NET=(net1, net2,....., netm) NET=XW O=F(NET)
.
13
分层结构
单级横向反馈网 多极网
层次划分 非线性激活函数
循环网
.
14
人工神经网络的训练
训练：将由样本向量构成的样本集合输入 到人工神经网络的过程中，按照一定方式 调整神经元之间的联接权，使得网络在接 受输入时可以给出适当的输出。
.
15
无导师学习
不需要目标，训练集中只含有输入向量， 训练算法致力于修改权矩阵，使网络对相 似输入可以给出相似的输出。
.
16
有导师学习
在训练中，要求用户在给出输入向量的同时，给 出对应的输出向量，二者构成一个训练对。 主要步骤：
从样本集合中取一个样本(Ai,Bi) 计算出实际输出O 求D=Bi-O 根据D调整权矩阵W 每个样本重复这个过程，直到误差不超过规定范围
.
17
Delta规则
Wij(t 1) Wij(t)(yi oj (t))oi(t)
neti=∑xiwi 网络输入
net=XW
输入向量 联接权向量
.
6
激活函数
希望人工神经元有一个更一般的变换函数，用来执行 该神经元所获得的网络输入的变换，这就是激活函数。
o=f(net) 几种典型的激活函数：
.
7
几种典型的激活函数
1.线性函数： f(n)etkne ct
2.非线性斜面函数：
3.阶跃函数：
.
4
模型图
w1i
w2i …
wni
Neti=∑xjwji
ai=Fi(ai,neti)
oi=f(ai)
.
5
人工神经元
基本构成
对每一个神经元来说都会接受一组输入信号，每个输入信 号都对应一个权，所有输入的加权和决定该神经元的激活 状态。
设：Ｘ＝（ｘ1，x2，．．．，xn） W=(w1，ｗ２，．．．，ｗｎ)
网络的拓扑结构
输入向量、输出向量的维数及隐藏层层数，隐 藏层神经元数由问题决定。
多数情况下，BP网络选用二级网络
训练过程
向前传播阶段:从样本集中取一个样本(Xp,Yp),将 Xp输入网络；计算相应的实际输出Op 向后传播阶段：计算实际输出与相应的理想输 出的差；按最小化误差的方式调整权矩阵
.
23
误差传播分析
第k层
.
25
隐藏层权的调整
p 1 k fk 1 (np ) e w ( p 1 p 1 k w p 22 k . .w .pm m )k v h po p 1 k ( 1 o p 1 k )w ( p 11 k w p 22 k . .w .pm m )o k p 2 k
.
21
基本BP算法
神经元 激活函数 网络输入：netj=x1w1+x2w2+......+xnwn
输出
1 o f (net) 1 enet f (net) o(1o)
net=0时，o取值0.5，net落在(-0.6,0.6)之间，o的变化率较大，收敛 比较快，应把net控制在这个范围内。
.
22
.
1
主要内容
1. 人工神经网络基础知识 2. BP网络及BP算法 3. 实例演示
.
2
一、人工神经网络的概念
人工神经网络是一个并行、分布处理结构，它由处理单元 及连接的无向信号通道互联而成。这些处理单元具有局部 内存，并可以完成局部操作。
每一个处理单元有一个单一的输出联接，这个输出可以根 据需要被分成希望个数的许多并行联接，且这些并行联接 的输出相同的信号及相应的处理单元的信号，信号的大小 不因分支的多少而变化。
f (net ) k net
net≥θ -θ <net< θ
net≤-θ
f
(net)
net>θ net≤θ
.
8
几种典型的激活函数
4.S型函数
f(ne) t a
b
1ex pd(ne)t
其中，当a=0，b=1时为函数最简单形式，饱和值为： 0，1
.
9
联接模式
层内联接：
本层内的神经元到本层内的神经元的联接，用来加 强和完成层内神经元的竞争。
循环联接：
神经元到自身的联接
层间联接：
不同层间中的神经元的联接，实现信号的传递
.
10
分层结构
单级网
简单单级网： 下面以简单单级网为例，说明神经网络的分层 结构，其余形式据此可理解。 网络输入向量：Ｘ＝（ｘ1，x2，．．．，xn） 网络输出向量：O＝（o1，o2，．．．，on） 输入层的神经元不对信号做任何处理，只起 到扇出作用
Wij(t 1) Wij(t)Wij(t)
Wij(t) joi (t) j yi oi (t)
.
18
异或问题
异或运算
g x, y
0
1
x=y 其他
.
19
BP算法基本概念
BP算法：
在于利用输出层的误差来估计输出层的直接前导层的 误差，再用这一误差估计更前一层的误差，这就形成 了将输出端表现出的误差沿着与输入信号传送的方向 逐级向网络的输入端传递的过程。
BP网络：
使用BP算法进行学习的多级非循环网络。
.
20
利用BP网络进行评价的优点
它主要根据所提供的数据,通过学习和训练,找出输入与 输出之间的内在联系,从而求取问题的解。而不是依据 对问题的经验知识和规则,因而具有自适应功能,这对于 弱化权重确定中人为的因素是十分有益的。 能够处理那些有噪声或不完全的数据,具有泛化功能和 很强的容错能力。 由于实际综合评估往往是非常复杂的,各个因素之间互 相影响,呈现出复杂的非线性关系,人工神经网络为处理 这类非线性问题提供了强有力的工具
输出层权的源自文库整
w pq w pq w pq w pq q o q
q fn(neqt)(yq oq)
fn(neqt) oq(1oq)
wpq oq(1oq)(yq oq)op
.
24
隐藏层权的调整
vhp, δpk-1
wp1,δ1k wp2,δ2k
ANq
ANh
第k-2层
ANp wpm,δmk
处理单元的输出信号可以是任何需要的数学模型，每个处 理单元中进行的操作必须是完全局部的。也就是说，它必 须仅仅依赖于经过输入连接到达处理单元的所有输入信号 的当前值和存储在处理单元局部内存中的值。
.
3
人工神经网络的八个要素
一组处理单元 处理单元的激活状态 输出函数 联接模式 传递规则 激活规则 学习规则 样本集合
.
11
简单单级网的网络图
x1 x2
......
xn 输入层
输出层
.
o1 o2
on
12
简单单级网
权矩阵：W=(wij) 输出层第j个元素的网络输入为netj netj=x1w1j+x2w2j+......+xnwnj NET=(net1, net2,....., netm) NET=XW O=F(NET)
.
13
分层结构
单级横向反馈网 多极网
层次划分 非线性激活函数
循环网
.
14
人工神经网络的训练
训练：将由样本向量构成的样本集合输入 到人工神经网络的过程中，按照一定方式 调整神经元之间的联接权，使得网络在接 受输入时可以给出适当的输出。
.
15
无导师学习
不需要目标，训练集中只含有输入向量， 训练算法致力于修改权矩阵，使网络对相 似输入可以给出相似的输出。
.
16
有导师学习
在训练中，要求用户在给出输入向量的同时，给 出对应的输出向量，二者构成一个训练对。 主要步骤：
从样本集合中取一个样本(Ai,Bi) 计算出实际输出O 求D=Bi-O 根据D调整权矩阵W 每个样本重复这个过程，直到误差不超过规定范围
.
17
Delta规则
Wij(t 1) Wij(t)(yi oj (t))oi(t)
neti=∑xiwi 网络输入
net=XW
输入向量 联接权向量
.
6
激活函数
希望人工神经元有一个更一般的变换函数，用来执行 该神经元所获得的网络输入的变换，这就是激活函数。
o=f(net) 几种典型的激活函数：
.
7
几种典型的激活函数
1.线性函数： f(n)etkne ct
2.非线性斜面函数：
3.阶跃函数：
.
4
模型图
w1i
w2i …
wni
Neti=∑xjwji
ai=Fi(ai,neti)
oi=f(ai)
.
5
人工神经元
基本构成
对每一个神经元来说都会接受一组输入信号，每个输入信 号都对应一个权，所有输入的加权和决定该神经元的激活 状态。
设：Ｘ＝（ｘ1，x2，．．．，xn） W=(w1，ｗ２，．．．，ｗｎ)
网络的拓扑结构
输入向量、输出向量的维数及隐藏层层数，隐 藏层神经元数由问题决定。
多数情况下，BP网络选用二级网络
训练过程
向前传播阶段:从样本集中取一个样本(Xp,Yp),将 Xp输入网络；计算相应的实际输出Op 向后传播阶段：计算实际输出与相应的理想输 出的差；按最小化误差的方式调整权矩阵
.
23
误差传播分析