BP神经网络讲座数模PPT教案
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
21
学习方法
②无导师学习
无导师学习也称无监督学习。在学习过程中，需要不断地给网 络提供动态输入信息（学习样本），而不提供理想的输出，网络根 据特有的学习规则，在输入信息流中发现任何可能存在的模式和规 律，同时能根据网络的功能和输入调整权值。
③灌输式学习
灌输式学习是指将网络设计成记忆特别的例子，以后当给定有 关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的 权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权 值一旦设计好，即一次性“灌输给神经网络不再变动，因此网络对 权值的”“学习”是“死记硬背”式的，而不是训练式的。
个节点，输入层与隐藏层之间的权值为vki ，隐藏层与输出层的权 值为wjk，隐藏层的激活函数为f1（·），输出层的激活函数为 f2（·），则隐藏层节点的输出为
zk
=f1
n
vki
xi
，k=1, 2，...，q
i=0
31
BP神经网络算法
输出层节点的输出为：
q
oj =f2 w jkzk
，j=1, 2，...，m
19
学习方法
学习方法
按照广泛采用的分类方法，可以将神经网络的学习方法归为三 类：
有导师 学习
无导师 学习
灌输式 学习
20
学习方法 ①有导师学习
有导师学习又称为有监督学习，在学习时需要给出导师信号 或称为期望输出。神经网络对外部环境是未知的，但可以将导师看 做对外部环境的了解，由输入-输出样本集合来表示。导师信号或 期望响应代表了神经网络执行情况的最佳效果，即对于网络输入调 整权值，使得网络输出逼近导师信号或期望输出。
29
BP神经网络算法
BP神经元的结构模型，如下图：
注：BP网络的激活函数f（·）要求是可微的，所以不能用二值函 数，常用S型的对数、正切函数或线性函数。
30
BP神经网络算法
BP算法 BP算法由数据流的正向传播和误差信号的反向传播两个过程构
成。
1）正向传播
设BP网络的输入层有n个节点，隐藏层有q个节点，输出层有m
E=
1 2
K
2
（yk -o（ k n）)
k=1
其中， Ok=f（netk）为实际输出；yk代表理想输出；W是网络的所有权值组
成权矩阵W=（wij）；K为输出个数。
使用梯度下降法调整权值W，使误差准则函数最小，得到W的修
正Delta规则为：
wij n+1 =wij n j oi
注：Delta学习规则只适用于线性可分函数，无法用于多层网络Βιβλιοθήκη WT jX=max
i1,2,...,K
WiT X
只有获胜的神经元才有权调整其权向量Wj，调整量为：
Wj = X Wj
其中，η为学习参数（0＜η≤1）
27
2.3学习规则 5.概率式学习
从统计学、分子热力学和概率论中关于系统稳态能量的标准出 发，进行神经网络学习的方式称为概率是学习。神经网络处于某一 状态的概率主要取决于在此状态下的能量，能量越低，概率越大。 概率式学习的典型代表是玻尔兹曼（Boltzmann）机学习规则。这 是基于模拟退火的统计优化算法。
w（ij n+1）=w（ij n）+ηo（i n）o（j n）
=w（ij n） w（ij n）
其中，η是正常数，它决定了在学习过程中从一个步骤到另一个步骤的学习 速率，称为学习效率
24
2.3学习规则
2.Delta（δ）学习规则
Delta学习规则是最常用的学习规则，其要点是通过改变神经 元之间的连接权来减小系统实际输出与理想输出的误差。假设n时 刻输出误差准则函数如下：
神经网络基本模型
电脉冲
输 入
树 突
细胞体 形成 轴突
突
输
触
出
信息处理
传输
图 12.2 生物神经元功能模型
神经元模型
从神经元的特性和功能可以知道，神经元相当于一个多输入单 输出的信息处理单元，而且，它对信息的处理是非线性的，人工神 经元的模型如图所示：
神经元的n个输 对应的连接权值 入
阈值 激活函数
BP神经网络讲座数模
会计学
1
一.什么是人工神经网络
人工神经网络(ANN)具有自学习、自组织、 较好的容错性和优良的非线性逼近能力。
在实际应用中，80%～90%的人工神经网络 模型是采用误差反传算法或其变化形式的 网络模型。
二.ANN能干什么？
数学近似映射
(函数逼近)
拟合 预测 分类
三.神经网络模型和网络结构
④神经元的输出和响应是个输入值的综合作用的结果。
⑤兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋 状态，产生神经冲动；当膜电位低12于阈值时，细胞进入抑制状态。
激活函数
神经元的描述有多种，其区别在于采用了不同的激活函数，不 同的激活函数决定神经元的不同输出特性，常用的激活函数有如下 几种类型：
程，也叫模拟（simulate）。
一、神经元模型
大脑可视作为1000多亿神经元组成的神经网络
• 图1 神经元的解剖图
神经元的信息传递和处理是一种电化学活 动．树突由于电化学作用接受外界的刺激；通 过胞体内的活动体现为轴突电位，当轴突电位 达到一定的值则形成神经脉冲或动作电位；再 通过轴突末梢传递给其它的神经元．从控制论 的观点来看；这一过程可以看作一个多输入单 输出非线性系统的动态过程
分段线性激活函数的定义为：
1，若x 0 f (x) x，若 1 x 1
1，若x 0
17
激活函数
4.概率型激活函数
概率型激活函数的神经元模型输入和输出的关系是不确定的， 需要一种随机函数来描述输出状态为1或为0的概率，设神经元输出 （状态）为1的概率为：
P（1）=
1
1 e
x
/T
（其中，T为温度函数）
k=0
至此，BP网络完成了n维空间向量对m维空间的近似映射。
BP神经网络算法
2）反向传播 BP算法的实质是求取误差函数的最小值问题，这种算法采用的
是非线性规划中的最速下降法，按误差函数的负梯度方向修改权值。
设训练样本总数为P，用X1，X2，...，Xp来表示。第P个样本输入所
得采到 用实理际想输输出出和和理实想际输输出出分值别差记的为平方o和pj 和 为y误pj差 j函=1数, 2，，.于..，是m得到第P
net= wi xi
输出
9
上面的神经元模型可以用一个数学表达式进行抽象与概括，从 而得到神经元的数学模型：
n
o f wjxj
j 1
神经元的网络输入记为net，即
n
net= wj x j j 1
10
有时为了方便起见，常把-Ɵ也看成是恒等于1的输入X0 的权值 ，这时上面的数学模型可以写成：
1.阈值型
2.S型
3.分段线性
4.概率型
13
激活函数 1.阈值型激活函数
阈值型激活函数是最简单的，前面提到的M-P模型就属于这一类 。其输出状态取二值（1、0或+1、-1），分别代表神经元的兴奋和 抑制。 当f（x）取0或1时，
1，若x 0 f (x) 0，若x 0
14
激活函数
当f（x）取1或-1时，f（x）为下图所示的sgn（符号）函数
wij
wij
wij
k
wikipk aipj
p wij
1
Ep wij
a1 piipj
piipj
wij
P p1
1
Ep wij
P
piipj
p1
35
BP神经网络算法
BP网络学习算法的具体步骤如下：
Step1 从训练样本集中取某一样本，把它的输入信息输入到网络中。 Step2 由网络正向计算出各层节点的输出。 Step3 计算网络的实际输出和期望输出的误差。 Step4 从输出层开始反向计算到第一个隐藏层，按一定的原则向减 少误差方向调整整个网络的各个连接权值。 Step5 对训练样本集中的每一个样本重复上述步骤，直到对整个网 络训练样本集的误差达到要求为止。
Ep Ep opi wij opi wij
其中, Ep 1
opj 2 opi
(t pk opk )2 (tpi opi ) pi
k
令 Netpi wijipi , opi aNetpi b
j
因而
Ep wij
piaipj
a ipi pj
则
opi a Netpi a
25
2.3学习规则 3.LMS学习规则
LMS学习规则又称为最小均方差规则，其学习规则为：
wij = yi o j oi
注：LMS学习规则可以看成是Delta学习规则的一个特殊情况。
该学习规则具有学习速度快和精度高的特点，权值可以初始化 为任何值。
26
2.3学习规则
4.胜者为王学习规则
胜者为王（Winner-Take-All）学习规则是一种竞争学习规则， 用于无导师学习。一般将网络的某一层确定为竞争层，对于一个特 定的输入X，竞争层的K个神经元均有输出响应，其中响应值最大的 神经元j*为竞争中获胜的神经元，即
神经元模型 连接方式 学习方式 网络结构
四、建立和应用神经网络的步骤
（1）网络结构的确定 包含网络的拓扑结构和每个神经元相应函数的选取；
（2）权值和阈值的确定 通过学习得到，为有指导的学习，也就是利用已知的
一组正确的输入、输出数据，调整权和阈值使得网络输出 与理想输出偏差尽量小；
（3）工作阶段 用带有确定权重和阈值的神经网络解决实际问题的过
1， 若x 0 sgn（x）= f (x) -1，若x 0
15
激活函数
2.S型激活函数
神经元的状态与输入级之间的关系是在（0,1）内连续取值的单 调可微函数，称为S型函数。
单极性S型函数：
f
(x)
1
1 e
x
双极性S型函数：
f
(x)
2 1 ex
1=
1 1
ex ex
16
激活函数 3.分段线性激活函数
22
学习规则
学习规则
在神经网络的学习中，各神经元的连接权值需按一定的规则调
整，这种权值调整规则称为学习规则。下面介绍几种常见的学习规
则。
1.Hebb学习规则
2.Delta（δ）学习规则
3.LMS学习规则
4.胜者为王学习规则
5.Kohonen学习规则
6.概率式学习规则
2.3学习规则
1.Hebb学习规则
当神经元i与神经元j同时处于兴奋状态时，在神经网络中表现 为连接权增加 。根据该假设定义权值调整的方法，称为Hebb学习 规则。Hebb学习规则的数学描述：
假设oi（n）和oj（n）是神经元i和j在时刻n的状态反应，Wij （n）表示时刻n时，连接神经元i和神经元j的权值，△Wij（n）表 示从时刻n到时刻n+1时连接神经元i和神经元j权值的改变量，则
18
学习机理
学习机理
人工神经网络信息处理可以用数学过程来说明，这个过程可以 分为两个阶段：执行阶段和学习阶段。
学习是智能的基本特征之一，人工神经网络最具有吸引力的特 点是它能从环境中学习的能力，并通过改变权值达到预期的目的。 神经网络通过施加于它的权值和阈值调节的交互过程来学习它的环 境，人工神经网络具有近似于与人类的学习能力，是其关键的方面 之一。
n
o f wjxj
j0
其中， W0=-Ɵ ； x0=1
11
神经元的模型具有以下特点：
①神经元是一个多输入、单输出单元。
②它具有非线性的输入、输出特性。
③它具有可塑性，反应在新突触的产生和现有的神经突触的调整上 ，其塑性变化的部分主要是权值w的变化，这相当于生物神经元的 突出部分的变化，对于激发状态，w取正直，对于抑制状态，w取负 值。
个样本的误差：
Ep
=
1 2
m j=1
y
p j
o
p j
2
33
BP神经网络算法
则P个样本的总误差为：
1 p m
E= 2 p=1 j=1
y
p j
opj
2p
= Ep
p=1
网络误差是各层权值的函数，按照最速下降法，可得 输出层各神经元的权值和第n次输出层权值的迭代公式分别为：
w jk = jzk
28
BP神经网络算法
BP神经网络
BP神经网络（Back Propagation Neural Network），即误差后 向传播神经网络，是一种按误差逆向传播算法训练的多层前馈网络 ，是目前应用最广泛的网络模型之一。
BP网络能学习和储存大量输入-输出模式的映射关系，而无需 事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速 下降法，通过后向传播来不断调整网络权值和阈值，使网络的误差 平方和最小。BP神经网络模型拓扑结构中出了有输入层、输出层外， 还至少有一层隐藏层，每一层的神经元输出均传送到下一层，而每 层内神经元之间无连接。
wjk n=wjk n-1 wjk n=wjk n-1 j nzk
34
BP神经网络算法
隐藏层各神经元的权值和第n次隐藏层权值的迭代公式分别为：
vki =k xi
vki n=vki n-1 vki n=vki n-1 k n xi
求解的过程
按梯度法公式 :
p wij
1
Ep wij
复合求导 :
学习方法
②无导师学习
无导师学习也称无监督学习。在学习过程中，需要不断地给网 络提供动态输入信息（学习样本），而不提供理想的输出，网络根 据特有的学习规则，在输入信息流中发现任何可能存在的模式和规 律，同时能根据网络的功能和输入调整权值。
③灌输式学习
灌输式学习是指将网络设计成记忆特别的例子，以后当给定有 关该例子的输入信息时，例子便被回忆起来。灌输式学习中网络的 权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权 值一旦设计好，即一次性“灌输给神经网络不再变动，因此网络对 权值的”“学习”是“死记硬背”式的，而不是训练式的。
个节点，输入层与隐藏层之间的权值为vki ，隐藏层与输出层的权 值为wjk，隐藏层的激活函数为f1（·），输出层的激活函数为 f2（·），则隐藏层节点的输出为
zk
=f1
n
vki
xi
，k=1, 2，...，q
i=0
31
BP神经网络算法
输出层节点的输出为：
q
oj =f2 w jkzk
，j=1, 2，...，m
19
学习方法
学习方法
按照广泛采用的分类方法，可以将神经网络的学习方法归为三 类：
有导师 学习
无导师 学习
灌输式 学习
20
学习方法 ①有导师学习
有导师学习又称为有监督学习，在学习时需要给出导师信号 或称为期望输出。神经网络对外部环境是未知的，但可以将导师看 做对外部环境的了解，由输入-输出样本集合来表示。导师信号或 期望响应代表了神经网络执行情况的最佳效果，即对于网络输入调 整权值，使得网络输出逼近导师信号或期望输出。
29
BP神经网络算法
BP神经元的结构模型，如下图：
注：BP网络的激活函数f（·）要求是可微的，所以不能用二值函 数，常用S型的对数、正切函数或线性函数。
30
BP神经网络算法
BP算法 BP算法由数据流的正向传播和误差信号的反向传播两个过程构
成。
1）正向传播
设BP网络的输入层有n个节点，隐藏层有q个节点，输出层有m
E=
1 2
K
2
（yk -o（ k n）)
k=1
其中， Ok=f（netk）为实际输出；yk代表理想输出；W是网络的所有权值组
成权矩阵W=（wij）；K为输出个数。
使用梯度下降法调整权值W，使误差准则函数最小，得到W的修
正Delta规则为：
wij n+1 =wij n j oi
注：Delta学习规则只适用于线性可分函数，无法用于多层网络Βιβλιοθήκη WT jX=max
i1,2,...,K
WiT X
只有获胜的神经元才有权调整其权向量Wj，调整量为：
Wj = X Wj
其中，η为学习参数（0＜η≤1）
27
2.3学习规则 5.概率式学习
从统计学、分子热力学和概率论中关于系统稳态能量的标准出 发，进行神经网络学习的方式称为概率是学习。神经网络处于某一 状态的概率主要取决于在此状态下的能量，能量越低，概率越大。 概率式学习的典型代表是玻尔兹曼（Boltzmann）机学习规则。这 是基于模拟退火的统计优化算法。
w（ij n+1）=w（ij n）+ηo（i n）o（j n）
=w（ij n） w（ij n）
其中，η是正常数，它决定了在学习过程中从一个步骤到另一个步骤的学习 速率，称为学习效率
24
2.3学习规则
2.Delta（δ）学习规则
Delta学习规则是最常用的学习规则，其要点是通过改变神经 元之间的连接权来减小系统实际输出与理想输出的误差。假设n时 刻输出误差准则函数如下：
神经网络基本模型
电脉冲
输 入
树 突
细胞体 形成 轴突
突
输
触
出
信息处理
传输
图 12.2 生物神经元功能模型
神经元模型
从神经元的特性和功能可以知道，神经元相当于一个多输入单 输出的信息处理单元，而且，它对信息的处理是非线性的，人工神 经元的模型如图所示：
神经元的n个输 对应的连接权值 入
阈值 激活函数
BP神经网络讲座数模
会计学
1
一.什么是人工神经网络
人工神经网络(ANN)具有自学习、自组织、 较好的容错性和优良的非线性逼近能力。
在实际应用中，80%～90%的人工神经网络 模型是采用误差反传算法或其变化形式的 网络模型。
二.ANN能干什么？
数学近似映射
(函数逼近)
拟合 预测 分类
三.神经网络模型和网络结构
④神经元的输出和响应是个输入值的综合作用的结果。
⑤兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋 状态，产生神经冲动；当膜电位低12于阈值时，细胞进入抑制状态。
激活函数
神经元的描述有多种，其区别在于采用了不同的激活函数，不 同的激活函数决定神经元的不同输出特性，常用的激活函数有如下 几种类型：
程，也叫模拟（simulate）。
一、神经元模型
大脑可视作为1000多亿神经元组成的神经网络
• 图1 神经元的解剖图
神经元的信息传递和处理是一种电化学活 动．树突由于电化学作用接受外界的刺激；通 过胞体内的活动体现为轴突电位，当轴突电位 达到一定的值则形成神经脉冲或动作电位；再 通过轴突末梢传递给其它的神经元．从控制论 的观点来看；这一过程可以看作一个多输入单 输出非线性系统的动态过程
分段线性激活函数的定义为：
1，若x 0 f (x) x，若 1 x 1
1，若x 0
17
激活函数
4.概率型激活函数
概率型激活函数的神经元模型输入和输出的关系是不确定的， 需要一种随机函数来描述输出状态为1或为0的概率，设神经元输出 （状态）为1的概率为：
P（1）=
1
1 e
x
/T
（其中，T为温度函数）
k=0
至此，BP网络完成了n维空间向量对m维空间的近似映射。
BP神经网络算法
2）反向传播 BP算法的实质是求取误差函数的最小值问题，这种算法采用的
是非线性规划中的最速下降法，按误差函数的负梯度方向修改权值。
设训练样本总数为P，用X1，X2，...，Xp来表示。第P个样本输入所
得采到 用实理际想输输出出和和理实想际输输出出分值别差记的为平方o和pj 和 为y误pj差 j函=1数, 2，，.于..，是m得到第P
net= wi xi
输出
9
上面的神经元模型可以用一个数学表达式进行抽象与概括，从 而得到神经元的数学模型：
n
o f wjxj
j 1
神经元的网络输入记为net，即
n
net= wj x j j 1
10
有时为了方便起见，常把-Ɵ也看成是恒等于1的输入X0 的权值 ，这时上面的数学模型可以写成：
1.阈值型
2.S型
3.分段线性
4.概率型
13
激活函数 1.阈值型激活函数
阈值型激活函数是最简单的，前面提到的M-P模型就属于这一类 。其输出状态取二值（1、0或+1、-1），分别代表神经元的兴奋和 抑制。 当f（x）取0或1时，
1，若x 0 f (x) 0，若x 0
14
激活函数
当f（x）取1或-1时，f（x）为下图所示的sgn（符号）函数
wij
wij
wij
k
wikipk aipj
p wij
1
Ep wij
a1 piipj
piipj
wij
P p1
1
Ep wij
P
piipj
p1
35
BP神经网络算法
BP网络学习算法的具体步骤如下：
Step1 从训练样本集中取某一样本，把它的输入信息输入到网络中。 Step2 由网络正向计算出各层节点的输出。 Step3 计算网络的实际输出和期望输出的误差。 Step4 从输出层开始反向计算到第一个隐藏层，按一定的原则向减 少误差方向调整整个网络的各个连接权值。 Step5 对训练样本集中的每一个样本重复上述步骤，直到对整个网 络训练样本集的误差达到要求为止。
Ep Ep opi wij opi wij
其中, Ep 1
opj 2 opi
(t pk opk )2 (tpi opi ) pi
k
令 Netpi wijipi , opi aNetpi b
j
因而
Ep wij
piaipj
a ipi pj
则
opi a Netpi a
25
2.3学习规则 3.LMS学习规则
LMS学习规则又称为最小均方差规则，其学习规则为：
wij = yi o j oi
注：LMS学习规则可以看成是Delta学习规则的一个特殊情况。
该学习规则具有学习速度快和精度高的特点，权值可以初始化 为任何值。
26
2.3学习规则
4.胜者为王学习规则
胜者为王（Winner-Take-All）学习规则是一种竞争学习规则， 用于无导师学习。一般将网络的某一层确定为竞争层，对于一个特 定的输入X，竞争层的K个神经元均有输出响应，其中响应值最大的 神经元j*为竞争中获胜的神经元，即
神经元模型 连接方式 学习方式 网络结构
四、建立和应用神经网络的步骤
（1）网络结构的确定 包含网络的拓扑结构和每个神经元相应函数的选取；
（2）权值和阈值的确定 通过学习得到，为有指导的学习，也就是利用已知的
一组正确的输入、输出数据，调整权和阈值使得网络输出 与理想输出偏差尽量小；
（3）工作阶段 用带有确定权重和阈值的神经网络解决实际问题的过
1， 若x 0 sgn（x）= f (x) -1，若x 0
15
激活函数
2.S型激活函数
神经元的状态与输入级之间的关系是在（0,1）内连续取值的单 调可微函数，称为S型函数。
单极性S型函数：
f
(x)
1
1 e
x
双极性S型函数：
f
(x)
2 1 ex
1=
1 1
ex ex
16
激活函数 3.分段线性激活函数
22
学习规则
学习规则
在神经网络的学习中，各神经元的连接权值需按一定的规则调
整，这种权值调整规则称为学习规则。下面介绍几种常见的学习规
则。
1.Hebb学习规则
2.Delta（δ）学习规则
3.LMS学习规则
4.胜者为王学习规则
5.Kohonen学习规则
6.概率式学习规则
2.3学习规则
1.Hebb学习规则
当神经元i与神经元j同时处于兴奋状态时，在神经网络中表现 为连接权增加 。根据该假设定义权值调整的方法，称为Hebb学习 规则。Hebb学习规则的数学描述：
假设oi（n）和oj（n）是神经元i和j在时刻n的状态反应，Wij （n）表示时刻n时，连接神经元i和神经元j的权值，△Wij（n）表 示从时刻n到时刻n+1时连接神经元i和神经元j权值的改变量，则
18
学习机理
学习机理
人工神经网络信息处理可以用数学过程来说明，这个过程可以 分为两个阶段：执行阶段和学习阶段。
学习是智能的基本特征之一，人工神经网络最具有吸引力的特 点是它能从环境中学习的能力，并通过改变权值达到预期的目的。 神经网络通过施加于它的权值和阈值调节的交互过程来学习它的环 境，人工神经网络具有近似于与人类的学习能力，是其关键的方面 之一。
n
o f wjxj
j0
其中， W0=-Ɵ ； x0=1
11
神经元的模型具有以下特点：
①神经元是一个多输入、单输出单元。
②它具有非线性的输入、输出特性。
③它具有可塑性，反应在新突触的产生和现有的神经突触的调整上 ，其塑性变化的部分主要是权值w的变化，这相当于生物神经元的 突出部分的变化，对于激发状态，w取正直，对于抑制状态，w取负 值。
个样本的误差：
Ep
=
1 2
m j=1
y
p j
o
p j
2
33
BP神经网络算法
则P个样本的总误差为：
1 p m
E= 2 p=1 j=1
y
p j
opj
2p
= Ep
p=1
网络误差是各层权值的函数，按照最速下降法，可得 输出层各神经元的权值和第n次输出层权值的迭代公式分别为：
w jk = jzk
28
BP神经网络算法
BP神经网络
BP神经网络（Back Propagation Neural Network），即误差后 向传播神经网络，是一种按误差逆向传播算法训练的多层前馈网络 ，是目前应用最广泛的网络模型之一。
BP网络能学习和储存大量输入-输出模式的映射关系，而无需 事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速 下降法，通过后向传播来不断调整网络权值和阈值，使网络的误差 平方和最小。BP神经网络模型拓扑结构中出了有输入层、输出层外， 还至少有一层隐藏层，每一层的神经元输出均传送到下一层，而每 层内神经元之间无连接。
wjk n=wjk n-1 wjk n=wjk n-1 j nzk
34
BP神经网络算法
隐藏层各神经元的权值和第n次隐藏层权值的迭代公式分别为：
vki =k xi
vki n=vki n-1 vki n=vki n-1 k n xi
求解的过程
按梯度法公式 :
p wij
1
Ep wij
复合求导 :