BP神经网络算法解读
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
计算输出值： 实际值：
O5 x5 0.577 T5 0
BP神经网络的一个实际应用
• 首先计算输出节点的数据误差。
输出值：O5 x5 0.577 实际值： T5
0
Errj O j (1 Oj )(Tj Oj )
输出层节点j的误差：
Err5 0.1408
BP神经网络的一个实际应用
• 调整各节点的偏倚：
偏倚更新公式：
j (l )Errj
j j j
3 4 5 0.2
Err3 Err4 0.0035
5 0.0281
3 0.0014
4 0.0014
5 0.1719
4 0.1986
Err w
k k
jk
Err3 Err4 0.0035
BP神经网络的一个实际应用
• 调整各节点的权重：
权重更新公式： l为学习率，取 值0.4
wij (l ) Errj Oi
wij wij wij
w35 w45 0.031 w13 w14 0 w23 w24 0.000112
• 将隐藏层数据导入输出层神经节点内进行运算：
I j wij xi j
x j f (I j )
1 1 e
I j
I 5 0.3104
i
x5 0.577
wij是权重，0.1 θj是偏倚，0.2 f(x)是激活函数 x3=x4=0.552
BP神经网络的一个实际应用
• 由于计算输出值与真实值之间存在误差，所以需要对 神经网络的参数进行调整。
谢谢
• 接下来计算隐藏节点的数据误差。
输出层节点5的误差： Err5
0.1408
隐藏层节点3的输出： O3 隐藏层节点4的输出： O4
权重均为0.1
x3 0.552
x4 0.552
其中，wjk是 该节点到下层 节点的权重， Errk是节点k 的误差。
隐藏层节点j的误差： Errj O j (1 O j )
BP神经网络算法
脑神经网络
脑神经元
思维活动
脑神经网络的一个功能
去哪吃饭？
经验→决策
人工神经网络的功能
历史数据
Baidu Nhomakorabea
预测
分类
BP神经网络
1985年，Rumelhart和McClelland提出了误差后向 传播（Back Propagation)学习算法，BP神经网络 是目前应用最广泛的神经网络模型之一。
David Rumelhart
J. McClelland
BP神经网络的结构
BP神经网络结构
神经节点
BP神经网络的一个实际应用
BP神经网络的一个实际应用
红色数据为 学习数据
蓝色数据为 验证数据
BP神经网络的一个实际应用
• 设计神经网络模型：
其中蓝色节点为神经节点
BP神经网络的一个实际应用
• 将第一年的数据进行归一化处理：
x xmin y xmax xmin
x是处理前的值 y是处理后的值 xmin是样本最小值 xmax是样本最大值
BP神经网络的一个实际应用
•初始化BP神经网络参数： 1.权重值w均为0.1 2.偏倚值θ均为0.2 3.学习率l为0.4 初始化的参数一般为[-1,1]之间随机产生的小 数。
BP神经网络的一个实际应用
• 将输入层数据导入隐藏层第一个神经节点内进行运算：
I j wij xi j
x j f (I j )
1 1 e
I j
I 3 0.208
i
x3 0.552
wij是权重，0.1 θj是偏倚，0.2 f(x)是激活函数 x1=0 x2=0.08
BP神经网络的一个实际应用
BP神经网络的一个实际应用
• 验证神经网络的准确性
如果误差在允许的范围之内就可以进行预测了
总结
BP神经网络的学习过程：
正向传播：
输入层 隐藏层 输出层
误差的反向传播：
隐藏层 输出层
BP算法是一种有监督式的学习算法，其主要思想是：输入学习 样本，使用反向传播算法对网络的权值和偏差进行反复的调整训 练，使输出的向量与期望向量尽可能地接近，当网络输出层的误 差平方和小于指定的误差时训练完成，保存网络的权值和偏差。
O1 0 O2 0.08
O3 O4 0.552
Err3 Err4 0.0035
Err5 0.1408
BP神经网络的一个实际应用
• 这样就得到了调整后的权重：
w35 w45 0.069 w13 w14 0.1
w23 w24 0.999888
BP神经网络的一个实际应用
• 将输入层数据导入隐藏层第二个神经节点内进行运算：
I j wij xi j
x j f (I j )
1 1 e
I j
I 4 0.208
i
x4 0.552
wij是权重，0.1 θj是偏倚，0.2 f(x)是激活函数 x1=0 x2=0.08
BP神经网络的一个实际应用
Err5 0.1408
3 0.1986
BP神经网络的一个实际应用
• 将参数更新之后就可以继续处理第二年的数据， 直到八年的数据全部输入运算完毕，这就是神 经网络的一个训练周期。
BP神经网络的一个实际应用
• 循环的终止
在每个训练周期之间我们要对输出数据和真 实数据之间的误差进行分析，如果误差值在我们 允许的范围之内，那么神经网络的训练就可以停 止了。 另外一种让训练停下来的办法就是预设一个 值，如果当前训练的周期数超过这个值，那么训 练就必须停止。
O5 x5 0.577 T5 0
BP神经网络的一个实际应用
• 首先计算输出节点的数据误差。
输出值：O5 x5 0.577 实际值： T5
0
Errj O j (1 Oj )(Tj Oj )
输出层节点j的误差：
Err5 0.1408
BP神经网络的一个实际应用
• 调整各节点的偏倚：
偏倚更新公式：
j (l )Errj
j j j
3 4 5 0.2
Err3 Err4 0.0035
5 0.0281
3 0.0014
4 0.0014
5 0.1719
4 0.1986
Err w
k k
jk
Err3 Err4 0.0035
BP神经网络的一个实际应用
• 调整各节点的权重：
权重更新公式： l为学习率，取 值0.4
wij (l ) Errj Oi
wij wij wij
w35 w45 0.031 w13 w14 0 w23 w24 0.000112
• 将隐藏层数据导入输出层神经节点内进行运算：
I j wij xi j
x j f (I j )
1 1 e
I j
I 5 0.3104
i
x5 0.577
wij是权重，0.1 θj是偏倚，0.2 f(x)是激活函数 x3=x4=0.552
BP神经网络的一个实际应用
• 由于计算输出值与真实值之间存在误差，所以需要对 神经网络的参数进行调整。
谢谢
• 接下来计算隐藏节点的数据误差。
输出层节点5的误差： Err5
0.1408
隐藏层节点3的输出： O3 隐藏层节点4的输出： O4
权重均为0.1
x3 0.552
x4 0.552
其中，wjk是 该节点到下层 节点的权重， Errk是节点k 的误差。
隐藏层节点j的误差： Errj O j (1 O j )
BP神经网络算法
脑神经网络
脑神经元
思维活动
脑神经网络的一个功能
去哪吃饭？
经验→决策
人工神经网络的功能
历史数据
Baidu Nhomakorabea
预测
分类
BP神经网络
1985年，Rumelhart和McClelland提出了误差后向 传播（Back Propagation)学习算法，BP神经网络 是目前应用最广泛的神经网络模型之一。
David Rumelhart
J. McClelland
BP神经网络的结构
BP神经网络结构
神经节点
BP神经网络的一个实际应用
BP神经网络的一个实际应用
红色数据为 学习数据
蓝色数据为 验证数据
BP神经网络的一个实际应用
• 设计神经网络模型：
其中蓝色节点为神经节点
BP神经网络的一个实际应用
• 将第一年的数据进行归一化处理：
x xmin y xmax xmin
x是处理前的值 y是处理后的值 xmin是样本最小值 xmax是样本最大值
BP神经网络的一个实际应用
•初始化BP神经网络参数： 1.权重值w均为0.1 2.偏倚值θ均为0.2 3.学习率l为0.4 初始化的参数一般为[-1,1]之间随机产生的小 数。
BP神经网络的一个实际应用
• 将输入层数据导入隐藏层第一个神经节点内进行运算：
I j wij xi j
x j f (I j )
1 1 e
I j
I 3 0.208
i
x3 0.552
wij是权重，0.1 θj是偏倚，0.2 f(x)是激活函数 x1=0 x2=0.08
BP神经网络的一个实际应用
BP神经网络的一个实际应用
• 验证神经网络的准确性
如果误差在允许的范围之内就可以进行预测了
总结
BP神经网络的学习过程：
正向传播：
输入层 隐藏层 输出层
误差的反向传播：
隐藏层 输出层
BP算法是一种有监督式的学习算法，其主要思想是：输入学习 样本，使用反向传播算法对网络的权值和偏差进行反复的调整训 练，使输出的向量与期望向量尽可能地接近，当网络输出层的误 差平方和小于指定的误差时训练完成，保存网络的权值和偏差。
O1 0 O2 0.08
O3 O4 0.552
Err3 Err4 0.0035
Err5 0.1408
BP神经网络的一个实际应用
• 这样就得到了调整后的权重：
w35 w45 0.069 w13 w14 0.1
w23 w24 0.999888
BP神经网络的一个实际应用
• 将输入层数据导入隐藏层第二个神经节点内进行运算：
I j wij xi j
x j f (I j )
1 1 e
I j
I 4 0.208
i
x4 0.552
wij是权重，0.1 θj是偏倚，0.2 f(x)是激活函数 x1=0 x2=0.08
BP神经网络的一个实际应用
Err5 0.1408
3 0.1986
BP神经网络的一个实际应用
• 将参数更新之后就可以继续处理第二年的数据， 直到八年的数据全部输入运算完毕，这就是神 经网络的一个训练周期。
BP神经网络的一个实际应用
• 循环的终止
在每个训练周期之间我们要对输出数据和真 实数据之间的误差进行分析，如果误差值在我们 允许的范围之内，那么神经网络的训练就可以停 止了。 另外一种让训练停下来的办法就是预设一个 值，如果当前训练的周期数超过这个值，那么训 练就必须停止。