BP人工神经网络的基本原理、模型与实例
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x1
1
3
x3
1
初始输入、权重和偏倚值
x2
0
w14 w15 w24 w25 w34 w35 w46 w56
0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2
θ4
0.4
θ5
-0.2
θ6
-0.1
小练习：请你算一算，各节点的净输入和净输出分别是多少？
8.1人工神经网络的基本概念
x1 1
8.2 误差反向传播(BP)神经网络
8.2 误差反向传播(BP)神经网络
x1 1
w14 w15
w24 w25 w34 w35
Err4= -0.0087
0.332
4 θ4 5
x2
0.1311• w46 0.525
w46
Err6= 0.1311
1-0.474
2
6
θ6
w56
x3
单元 j 6 4 5
3
w14 w15
w24 w25 w34 w35
-0.7 0.332
4 θ4
0.1 0.525
w46 -0.105
x2
2
6
w56 θ6
0.474
5 θ5
净输入和输出的计算 净输入 Ij
x3
单元 j 4 5 6
3
净输出 Oj 1/(1+e0.7)=0.332 1/(1+e-0.1)=0.525 1/(1+e0.105)=0.474
-0.1+(0.9) (0.1311)(-1)=-0.218 -0.2+(0.9) (-0.0065)(-1)=-0.194 0.4+(0.9) (-0.0087)(-1)=0.408
参考资料
1.
2.
(美)韩家炜, (美)坎伯(Kamber, M. ),等. 数据挖掘 : 概 念与技术, 第3版[M]. 机械工业出版社, 2012. 张兴会. 数据仓库与数据挖掘技术[M]. 清华大学出版社, 2011.
8.1人工神经网络的基本概念
神经网络运算的难点之一：
如何高效地确定各个连接权值W与激活阈值θ
自动确定权值与阈值的过程称为神经网络学习（训练）。
8.1人工神经网络的基本概念
神经网络的学习方式：
监督学习 非监督学习 激励学习
8.2 误差反向传播(BP)神经网络
反向传播算法分二步进行，即正向传播和反向传播。
第 8章 人工神经网络方法
2016年4月27日
本讲大纲：
人工神经网络的基本概念
误差反向传播(BP)神经网络
8.1人工神经网络的基本概念
从数学和物理方法以及信息处理的角度，对人脑神经 网络进行抽象，并建立某种简化模型，称为人工神经网络。
应用领域： 模式识别 系统辨识 预测预估 数据挖掘 经济学 ……
f (· )
8.1人工神经网络的基本概念
当输入增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f (· )
x1 x2 w1 w1x1 +w2x2-θ -1
小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经 元的净输入和输出分别是多少？ x1 1 x2 0 w1 0.2 w2 0.4 θ 0.4
0.408
θ5
-0.194
θ6
-0.218
小练习：若将各权值与阈值换成以上各值，各节点的净输入和净输出分别是多 少？
8.1人工神经网络的基本概念
x1 1
与0.474相比 更接近“1”了
w14 w15
w24 w25 w34 w35
-0.522 0.6276
4 θ4
0.082 0.4795
w46 -0.1842
1．正向传播
输入的样本从输入层经过隐单元一层一层进行处理， 通过所有的隐层之后，则传向输出层；在逐层处理的过程 中，每一层神经元的状态只对下一层神经元的状态产生影 响。在输出层把现行输出和期望输出进行比较，如果现行 输出不等于期望输出，则进入反向传播过程。
2．反向wk.baidu.com播
反向传播时，把误差信号按原来正向传播的通路反向 传回，并对每个隐层的各个神经元的权系数进行修改，以 望误差信号趋向最小。
8.1人工神经网络的基本概念
人工神经网络在本质上是由许多小的非线性函数组成 的大的非线性函数，反映的是输入变量到输出变量间的复 杂映射关系。先给出单个人工神经网络的一般模型描述：
8.1人工神经网络的基本概念
先来看一个单一输入的神经元模型 输入变量：x1 连接权重：w1 激活函数：f (· )
x1 w1 w1x1 f (· )
小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经 元的净输入和输出分别是多少？ x1 1 x2 0 w1 0.2 w2 0.4 θ 0.4
w2
f (· )
8.1人工神经网络的基本概念
x1 1
w14 w15
w24 w25 w34 w35
4 θ4 5 θ5
w46
x2
2
6
w56 θ6
x3
Err5= 0.1311•w56 θ -0.0065 5 每个节点输入端误差Errj的计算 计算误差 Errj 0.1311 -0.0087 -0.0065
[0.474•(1-0.474)]•(1-0.474) [0.332•(1-0.332)]•(0.1311)•(-0.3) [0.525•(1-0.525)]•(0.1311)•(-0.2)
w2
f (· )
8.1人工神经网络的基本概念
x1
x2 ...... xm
w1 w2 f (· ) ...... wm -1
8.1人工神经网络的基本概念
当多个神经元组合起来时，人工神经网络的总体结构如下：
x1 x2 ...... xm
∑f ∑f
...... ...... ...... ......
x2
2
6
w56 θ6
0.5459
5 θ5
净输入和输出的计算 净输入 Ij
x3
单元 j 4 5 6
3
净输出 Oj 1/(1+e-0.522)=0.6276 1/(1+e-0.1)=0.4795 1/(1+e-0.1842)=0.5459
0.192+0-0.306-0.408=-0.522 -0.306+0+0.194+0.194=0.082 -(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.1842
-0.3+(0.9) (-0.0065)(1)=-0.306
0.4+(0.9) (-0.0087)(0)=0.4 0.1+(0.9) (-0.0065)(0)=0.1 -0.5+(0.9) (-0.0087)(1)=-0.508
w35
θ6 θ5 θ4
0.2+(0.9) (-0.0065)(1)=0.194
8.2 误差反向传播(BP)神经网络
权重和偏倚更新的计算 权重或偏差 w46 w56 w14 新值 -0.3+(0.9)(0.1311)(0.332)=-0.261 -0.2+(0.9) (0.1311)(0.525)=-0.138 0.2+(0.9) (-0.0087)(1)=0.192
w15
w24 w25 w34
8.1人工神经网络的基本概念
8.1人工神经网络的基本概念
单极sigmoid函数
8.1人工神经网络的基本概念
双曲函数
8.1人工神经网络的基本概念
增加激活阈值后的神经元模型 输入变量：x1 连接权重：w1 激活函数：f (· )
x1 w1 w1x1-θ -1
小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神 经元的净输入和输出分别是多少？ x1 1 w1 0.2 θ 0.4
0.2+0-0.5-0.4=-0.7 -0.3+0+0.2+0.2=0.1 -(0.3)(0.332)-(0.2)(0.525)+0.1=-0.105
8.1人工神经网络的基本概念
思考：
如果想要让神经网络的期望输出尽可能接近“1”这 个数值，请问应该调整网络的哪些参数？
8.1人工神经网络的基本概念
x1 1
w14 w15
w24 w25 w34 w35
4 θ4 5 θ5
w46
x2
2
6
w56 θ6
x3
x1
1
3
x3
1
初始输入、权重和偏倚值
x2
0
w14 w15 w24 w25 w34 w35 w46 w56
0.192 -0.306 0.4 0.1 -0.508 0.194 -0.261 -0.138
θ4
∑f
∑f
y1 y2 ...... ......
∑f
∑f
∑f
...... ...... -1
......
∑f ∑f
yn
-1
输入层
-1 隐 藏 层
-1 输出层
8.1人工神经网络的基本概念
当层数增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f (· )
x1 x2 w1 w1x1 +w2x2-θ -1
1
3
x3
1
初始输入、权重和偏倚值
x2
0
w14 w15 w24 w25 w34 w35 w46 w56
0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2
θ4
0.4
θ5
-0.2
θ6
-0.1
小练习：请你算一算，各节点的净输入和净输出分别是多少？
8.1人工神经网络的基本概念
x1 1
8.2 误差反向传播(BP)神经网络
8.2 误差反向传播(BP)神经网络
x1 1
w14 w15
w24 w25 w34 w35
Err4= -0.0087
0.332
4 θ4 5
x2
0.1311• w46 0.525
w46
Err6= 0.1311
1-0.474
2
6
θ6
w56
x3
单元 j 6 4 5
3
w14 w15
w24 w25 w34 w35
-0.7 0.332
4 θ4
0.1 0.525
w46 -0.105
x2
2
6
w56 θ6
0.474
5 θ5
净输入和输出的计算 净输入 Ij
x3
单元 j 4 5 6
3
净输出 Oj 1/(1+e0.7)=0.332 1/(1+e-0.1)=0.525 1/(1+e0.105)=0.474
-0.1+(0.9) (0.1311)(-1)=-0.218 -0.2+(0.9) (-0.0065)(-1)=-0.194 0.4+(0.9) (-0.0087)(-1)=0.408
参考资料
1.
2.
(美)韩家炜, (美)坎伯(Kamber, M. ),等. 数据挖掘 : 概 念与技术, 第3版[M]. 机械工业出版社, 2012. 张兴会. 数据仓库与数据挖掘技术[M]. 清华大学出版社, 2011.
8.1人工神经网络的基本概念
神经网络运算的难点之一：
如何高效地确定各个连接权值W与激活阈值θ
自动确定权值与阈值的过程称为神经网络学习（训练）。
8.1人工神经网络的基本概念
神经网络的学习方式：
监督学习 非监督学习 激励学习
8.2 误差反向传播(BP)神经网络
反向传播算法分二步进行，即正向传播和反向传播。
第 8章 人工神经网络方法
2016年4月27日
本讲大纲：
人工神经网络的基本概念
误差反向传播(BP)神经网络
8.1人工神经网络的基本概念
从数学和物理方法以及信息处理的角度，对人脑神经 网络进行抽象，并建立某种简化模型，称为人工神经网络。
应用领域： 模式识别 系统辨识 预测预估 数据挖掘 经济学 ……
f (· )
8.1人工神经网络的基本概念
当输入增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f (· )
x1 x2 w1 w1x1 +w2x2-θ -1
小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经 元的净输入和输出分别是多少？ x1 1 x2 0 w1 0.2 w2 0.4 θ 0.4
0.408
θ5
-0.194
θ6
-0.218
小练习：若将各权值与阈值换成以上各值，各节点的净输入和净输出分别是多 少？
8.1人工神经网络的基本概念
x1 1
与0.474相比 更接近“1”了
w14 w15
w24 w25 w34 w35
-0.522 0.6276
4 θ4
0.082 0.4795
w46 -0.1842
1．正向传播
输入的样本从输入层经过隐单元一层一层进行处理， 通过所有的隐层之后，则传向输出层；在逐层处理的过程 中，每一层神经元的状态只对下一层神经元的状态产生影 响。在输出层把现行输出和期望输出进行比较，如果现行 输出不等于期望输出，则进入反向传播过程。
2．反向wk.baidu.com播
反向传播时，把误差信号按原来正向传播的通路反向 传回，并对每个隐层的各个神经元的权系数进行修改，以 望误差信号趋向最小。
8.1人工神经网络的基本概念
人工神经网络在本质上是由许多小的非线性函数组成 的大的非线性函数，反映的是输入变量到输出变量间的复 杂映射关系。先给出单个人工神经网络的一般模型描述：
8.1人工神经网络的基本概念
先来看一个单一输入的神经元模型 输入变量：x1 连接权重：w1 激活函数：f (· )
x1 w1 w1x1 f (· )
小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经 元的净输入和输出分别是多少？ x1 1 x2 0 w1 0.2 w2 0.4 θ 0.4
w2
f (· )
8.1人工神经网络的基本概念
x1 1
w14 w15
w24 w25 w34 w35
4 θ4 5 θ5
w46
x2
2
6
w56 θ6
x3
Err5= 0.1311•w56 θ -0.0065 5 每个节点输入端误差Errj的计算 计算误差 Errj 0.1311 -0.0087 -0.0065
[0.474•(1-0.474)]•(1-0.474) [0.332•(1-0.332)]•(0.1311)•(-0.3) [0.525•(1-0.525)]•(0.1311)•(-0.2)
w2
f (· )
8.1人工神经网络的基本概念
x1
x2 ...... xm
w1 w2 f (· ) ...... wm -1
8.1人工神经网络的基本概念
当多个神经元组合起来时，人工神经网络的总体结构如下：
x1 x2 ...... xm
∑f ∑f
...... ...... ...... ......
x2
2
6
w56 θ6
0.5459
5 θ5
净输入和输出的计算 净输入 Ij
x3
单元 j 4 5 6
3
净输出 Oj 1/(1+e-0.522)=0.6276 1/(1+e-0.1)=0.4795 1/(1+e-0.1842)=0.5459
0.192+0-0.306-0.408=-0.522 -0.306+0+0.194+0.194=0.082 -(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.1842
-0.3+(0.9) (-0.0065)(1)=-0.306
0.4+(0.9) (-0.0087)(0)=0.4 0.1+(0.9) (-0.0065)(0)=0.1 -0.5+(0.9) (-0.0087)(1)=-0.508
w35
θ6 θ5 θ4
0.2+(0.9) (-0.0065)(1)=0.194
8.2 误差反向传播(BP)神经网络
权重和偏倚更新的计算 权重或偏差 w46 w56 w14 新值 -0.3+(0.9)(0.1311)(0.332)=-0.261 -0.2+(0.9) (0.1311)(0.525)=-0.138 0.2+(0.9) (-0.0087)(1)=0.192
w15
w24 w25 w34
8.1人工神经网络的基本概念
8.1人工神经网络的基本概念
单极sigmoid函数
8.1人工神经网络的基本概念
双曲函数
8.1人工神经网络的基本概念
增加激活阈值后的神经元模型 输入变量：x1 连接权重：w1 激活函数：f (· )
x1 w1 w1x1-θ -1
小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神 经元的净输入和输出分别是多少？ x1 1 w1 0.2 θ 0.4
0.2+0-0.5-0.4=-0.7 -0.3+0+0.2+0.2=0.1 -(0.3)(0.332)-(0.2)(0.525)+0.1=-0.105
8.1人工神经网络的基本概念
思考：
如果想要让神经网络的期望输出尽可能接近“1”这 个数值，请问应该调整网络的哪些参数？
8.1人工神经网络的基本概念
x1 1
w14 w15
w24 w25 w34 w35
4 θ4 5 θ5
w46
x2
2
6
w56 θ6
x3
x1
1
3
x3
1
初始输入、权重和偏倚值
x2
0
w14 w15 w24 w25 w34 w35 w46 w56
0.192 -0.306 0.4 0.1 -0.508 0.194 -0.261 -0.138
θ4
∑f
∑f
y1 y2 ...... ......
∑f
∑f
∑f
...... ...... -1
......
∑f ∑f
yn
-1
输入层
-1 隐 藏 层
-1 输出层
8.1人工神经网络的基本概念
当层数增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f (· )
x1 x2 w1 w1x1 +w2x2-θ -1