《BP神经网络》演示PPT
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
0 1 用于控制修正速度
第6页
BP神经网络
• BP网络是一种具有三层或三层以上神经元的神经网络， 包括输入层、中间层（隐层）和输出层。上下层之间实 现全连接，而每层神经元之间无连接。
• 当一对学习样本提供给网络后，神经元的激活值从输入 层经各中间层向输出层传播，在输出层的各神经元获得 网络的输入响应。
对输入模式Xp，若输出层中第k个神经元的期望输出为 dpk，实际输出为ypk。输出层的输出方差 ：
E p
1 2
k
(d pk y pk )2
第10页
BP神经网络
若输入N个模式，网络的系统均方差为：
E 1 2N
p
k
(d pk
y pk )2
1 N
Ep
p
当输入Xp时，wjk的修正增量：
Δ p w jk
输出单元的修正增量：
p jk pk ypj
对于与输出层相邻的隐层中的神经元j 和该隐层前低一层 中的神经元i ：
pj y pj (1 y pj ) pk w jk
k
Δ p wij pj y pj
输出层中神经元输出的误差反向传播到前面各层，对各 层之间的权值进行修正。
第12页
谢谢
n维输入向量X
x1
w1
x2
w2
互连强度
输出函数
接收的信息
(其它神经元的输 出)
┇
┇
百度文库
xn
wn
∑ f
y
输出
作比较 的阈值
第3页
神经网络控制
神经元的动作：
n
net wi xi i 1
(xi , wi R)
y f (net)
状态转移函数 f：也称作用函数，非线性。 常用的 状态转移函数有A.阶跃函数 B.准线型函数C.Sigmoid函数D.双曲正切函数
E p
w jk
其中， E p E p netk
w jk
netk w jk
由 netk wjk y j 式得到：
j
netk w jk w jk
w jk y pj y pj
j
第11页
BP神经网络
令 pk E p netk ， 可得
输出单元的误差：
pk (d pk y pk ) y pk (1 y pk )
设：某层任一神经元j的 输入为netj，输出为yj； 相邻低一层中任一 神经元i的输出为yi。
net j wij yi
i
y j f (net j )
wij：神经元i与j之间的连接权； f(∙)：神经元的输出函数。
y1
…
yM
…
j
…
i
…
…
x1
x2
…
xn
第8页
BP神经网络
S型输出函数：
yj
1
yj
f
第13页
14
神经网络控制
第1页
神经网络控制
什么是人工神经网络？ T.Koholen的定义：“人工神经网络是由 具有适应性的简 单单元组成的广泛并行互连的网络，它的组织能够模拟生 物神经系统对真实世界物体所作出的交互反应。”
第2页
神经网络控制
神经元模型
神经网络模型是由大量的处理单元（神经元）互相连接而 成的网络。神经元一般表现为一个多输入、单输出的非线 性器件，通用的结构模型如图所示。
• 按照减少目标输出与实际输出之间误差的方向，从输出 层反向经过各中间层回到输入层，从而逐层修正各连接 权值。这种算法成为“BP算法”。
• 由于误差反向传播，BP网络传递函数必须可微，常用的 有Sigmoid型函数、正切函数和线性函数。
第7页
BP神经网络
两个 正向传播阶段：逐层状态更新 阶段 反向传播阶段：误差
第4页
神经网络控制
神经网络的学习算法 1.有监督 能够根据期望和实际的网络输出间的差值来调整神经元间 链接的强度或权 2.无监督 无监督学习算法不需要知道期望输出 3.增强学习 是有监督学习的特例，不需要教师给出目标输出
第5页
神经网络基本理论
感知器模型 类似于神经网络中单个神经元 修正权值
Wi (t 1) Wi (t) [d Y (t)]xi ,i1,2,,n1
(net
j
)
1
1 e (net j
j
)
h0
0.5
0
θj
θj：神经元阈值； h0：修改输出函数形状的参数。
设：输出层中第k个神经元的实际输出为yk，输入为netk； 与输出层相邻的隐层中任一神经元j的输出为yj。
netk wjk y j
j
yk f (netk )
netj
第9页
BP神经网络
BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中 的最速下降方法，按误差函数的负梯度方向修改权系数。
第6页
BP神经网络
• BP网络是一种具有三层或三层以上神经元的神经网络， 包括输入层、中间层（隐层）和输出层。上下层之间实 现全连接，而每层神经元之间无连接。
• 当一对学习样本提供给网络后，神经元的激活值从输入 层经各中间层向输出层传播，在输出层的各神经元获得 网络的输入响应。
对输入模式Xp，若输出层中第k个神经元的期望输出为 dpk，实际输出为ypk。输出层的输出方差 ：
E p
1 2
k
(d pk y pk )2
第10页
BP神经网络
若输入N个模式，网络的系统均方差为：
E 1 2N
p
k
(d pk
y pk )2
1 N
Ep
p
当输入Xp时，wjk的修正增量：
Δ p w jk
输出单元的修正增量：
p jk pk ypj
对于与输出层相邻的隐层中的神经元j 和该隐层前低一层 中的神经元i ：
pj y pj (1 y pj ) pk w jk
k
Δ p wij pj y pj
输出层中神经元输出的误差反向传播到前面各层，对各 层之间的权值进行修正。
第12页
谢谢
n维输入向量X
x1
w1
x2
w2
互连强度
输出函数
接收的信息
(其它神经元的输 出)
┇
┇
百度文库
xn
wn
∑ f
y
输出
作比较 的阈值
第3页
神经网络控制
神经元的动作：
n
net wi xi i 1
(xi , wi R)
y f (net)
状态转移函数 f：也称作用函数，非线性。 常用的 状态转移函数有A.阶跃函数 B.准线型函数C.Sigmoid函数D.双曲正切函数
E p
w jk
其中， E p E p netk
w jk
netk w jk
由 netk wjk y j 式得到：
j
netk w jk w jk
w jk y pj y pj
j
第11页
BP神经网络
令 pk E p netk ， 可得
输出单元的误差：
pk (d pk y pk ) y pk (1 y pk )
设：某层任一神经元j的 输入为netj，输出为yj； 相邻低一层中任一 神经元i的输出为yi。
net j wij yi
i
y j f (net j )
wij：神经元i与j之间的连接权； f(∙)：神经元的输出函数。
y1
…
yM
…
j
…
i
…
…
x1
x2
…
xn
第8页
BP神经网络
S型输出函数：
yj
1
yj
f
第13页
14
神经网络控制
第1页
神经网络控制
什么是人工神经网络？ T.Koholen的定义：“人工神经网络是由 具有适应性的简 单单元组成的广泛并行互连的网络，它的组织能够模拟生 物神经系统对真实世界物体所作出的交互反应。”
第2页
神经网络控制
神经元模型
神经网络模型是由大量的处理单元（神经元）互相连接而 成的网络。神经元一般表现为一个多输入、单输出的非线 性器件，通用的结构模型如图所示。
• 按照减少目标输出与实际输出之间误差的方向，从输出 层反向经过各中间层回到输入层，从而逐层修正各连接 权值。这种算法成为“BP算法”。
• 由于误差反向传播，BP网络传递函数必须可微，常用的 有Sigmoid型函数、正切函数和线性函数。
第7页
BP神经网络
两个 正向传播阶段：逐层状态更新 阶段 反向传播阶段：误差
第4页
神经网络控制
神经网络的学习算法 1.有监督 能够根据期望和实际的网络输出间的差值来调整神经元间 链接的强度或权 2.无监督 无监督学习算法不需要知道期望输出 3.增强学习 是有监督学习的特例，不需要教师给出目标输出
第5页
神经网络基本理论
感知器模型 类似于神经网络中单个神经元 修正权值
Wi (t 1) Wi (t) [d Y (t)]xi ,i1,2,,n1
(net
j
)
1
1 e (net j
j
)
h0
0.5
0
θj
θj：神经元阈值； h0：修改输出函数形状的参数。
设：输出层中第k个神经元的实际输出为yk，输入为netk； 与输出层相邻的隐层中任一神经元j的输出为yj。
netk wjk y j
j
yk f (netk )
netj
第9页
BP神经网络
BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中 的最速下降方法，按误差函数的负梯度方向修改权系数。