BP神经网络与实例修改
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
o1
第27页，共43页。
BP网络的标准学习算法
第六步，利用输出层各神经元的 o ( k ) 和 隐含层各神经元的输出来修正连接权值
。 w ho (k )
who(k)
e
who
o(k)hoh(k)
wN1 ho
whNo
o(k)hoh(k)
第28页，共43页。
BP网络的标准学习算法
第七步，利用隐含层各神经元的 h ( k ) 和 输入层各神经元的输入修正连接权。
容错能力
➢输入样本中带有较大的误差甚至个别错误对网络的输入输出规 律影响很小。
第33页，共43页。
BP神经网络的应用实例
例1：
基于人工神经网络的BaTiO3陶瓷配方研究
清华大学材料科学与工程系新型陶瓷与精细工艺国家重点实验室,郭栋,王永力等人应用神经网 络算法对BaTiO3的配方的研究。该成果发表在硅酸盐学报上。
y2
z2
-
2
T2
xN1
-
wih
yN2
whj
zN3 N3
BP算法是由两部分组成：信息的正向传递与误差的反向传播。
TN 3
第10页，共43页。
神经网络的学习
X1：衣服
W1
X2：身高
W2
X3：面部特征
W3
减小权值
0
识 别
系 统
1
增加权值
m
y f ( wixi )
i1
第11页，共43页。
学习本质
学习的过程：
如果脉波讯号是经过兴奋神经突 触（excitatory synapse），则 会增加脉波讯号的速率；相反的 ，如果脉波讯号是经过抑制神经 突触（inhibitory synapse）， 则会减少脉波讯号的速率。因此 ，脉波讯号的速率是不仅取决于 输入脉波讯号的速率，还取决于 神经突触的强度。
而神经突触的强度可视为神经网 路储存信息之所在，神经网路的 学习即在调整神经突触的强度。
wih(k)weihhihe(k)hiw h(ihk)h(k)xi(k) wiN h1wiN hh(k)xi(k)
第29页，共43页。
BP网络的标准学习算法
第八步，判断网络误差是否满足要求。当误差达到预设 精度或学习次数大于设定的最大次数，则结束算法。否 则，选取下一个学习样本及对应的期望输出，返回到第 三步，进入下一轮学习。
人工神经网络目的与意义
争取构造出尽可能与人脑具有相似功 能的计算机，即ANN计算机。研究仿照脑 神经系统的人工神经网络，将在模式识别 、组合优化和决策判断等方面取得传统计 算机所难以达到的效果。
第1页，共43页。
神经元
当神经细胞透过神经突触与树突从其 它神经元输入脉波讯号后，经过细胞 体处理，产生一个新的脉波讯号。如 果脉波讯号够强，将产生一个约千分 之一秒100 毫伏的脉波讯号。这个讯 号再经过轴突传送到它的神经突触， 成为其它神经细胞的输入脉波讯号。
David
Rumelhart
J. McClelland
BP算法基本原理
➢利用输出后的误差来估计输出层的直接前导层的误差，再用这个 误差估计更前一层的误差，如此一层一层的反传下去，就获得了 所有其他各层的误差估计。
第9页，共43页。
BP神经网络模型
三层BP网络
输入层
x1
隐含层
输出层
-
y1
z1
1
T1
x2
第4页，共43页。
第5页，共43页。
神经网络研究的发展
(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即
MP模型。1958年，F.Rosenblatt等研制出了感知机。
(2)低潮(70-80年代初):
1969年，MIT学者M.Minsky和S.Papert编写了影响巨大的《Perceptron》一 书，指出单层的感知机只能用于线性问题求解。
➢输出
1 yf(net)1enet
第17页，共43页。
BP网络的标准学习算法
➢输入层与中间层的连接权值: w i h
➢隐含层与输出层的连接权值: w h o
➢隐含层各神经元的阈值: b h ➢输出层各神经元的阈值: b o ➢样本数据个数: k1,2, m ➢激活函数: f ( )
➢误差函数：e12oq1(do(k)yoo(k))2
，计算误差函数e对输出层的各神经元的
偏导数 o ( k ) e。12oq1(do(k)yoo(k))2
e e y io w ho y io w ho
p
(
yio(k) who
h
whohoh(k)bo)
who
hoh(k)
e
yio
(12oq1(do(k)yoo(k)))2 yio
(do(k)yoo(k))yoo
(k)
(do(k)yoo(k))f(yio(k)) o(k)
第25页，共43页。
BP网络的标准学习算法
第五步，利用隐含层到输出层的连接权
值、输出层的 o (和k ) 隐含层的输出计算误差 函数对隐含层各神经元的偏导数 。 h ( k )
e who
e yio
yio who
o(k)hoh(k)
e e hih(k) wih hih (k) wih
who
w
e
h
o
<0,
此时Δwho>0
第32页，共43页。
BP神经网络的特点
非线性映射能力
➢能学习和存贮大量输入-输出模式映射关系，而无需事先了 解描述这种映射关系的数学方程。只要能提供足够多的样本
模式对供网络进行学习训练，它便能完成由n维输入空间到m维 输出空间的非线性映射。
泛化能力
➢当向网络输入训练时未曾见过的非样本数据时，网络也能完成 由输入空间向输出空间的正确映射。这种能力称为泛化能力。
第18页，共43页。
BP神经网络概述
第19页，共43页。
BP神经网络概述
第20页，共43页。
BP神经网络概述
第21页，共43页。
BP神经网络概述
第22页，共43页。
BP网络的标准学习算法
第一步，网络初始化 ➢给各连接权值分别赋一个区间（-1，1 ）内的随机数，设定误差函数e，给定 计算精度值 和最大学习次数M。
➢ 神经网络在外界输入样本的刺激下不断改变网络的 连接权值,以使网络的输出不断地接近期望的输出。
学习的本质： ➢ 对各连接权值的动态调整
第12页，共43页。
BP网络的标准学习算法-算法思想
核心思想： ➢ 将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的所有单 元－－－各层单元的误差信 号
因陶瓷的性能对配方中各变量极为敏感, 且掺杂剂之间有时存在复杂的交互作用,新型 介电陶瓷材料的研制或原有材料的改进一般都要进行 “ 炒菜式” 、“试凑法”的实验摸索
过程。
正确了解不同掺杂剂的作用规律及相互影响一直是本领域研究的一个难点。
第34页，共43页。
基于人工神经网络的BaTiO3陶瓷配方研究
第6页，共43页。
人工神经元数学模型
第7页，共43页。
m
y f ( wixi ) i1
其中x＝（x1，…xm）T 输入向量，y为输 出 ，，f（wXi是）权是系激数活（函连数接。强度），θ为阈值
第8页，共43页。
BP神经网络
Rumelhart，McClelland于1985年提出了BP网络的误差反向传播 BP(Back Propagation)学习算法
其中BaTiO3 固定而其它5 个掺杂剂参数为输入变量。 以室温损耗d f, 室温介电常数25 和- 55~125 温度范围内相对于室温的最大容温变
化率绝对值K作为输出量。
该实验输入有5 个神经元而输出层有 3 个神经元.
第35页，共43页。
以实验结果作为对ANN的训练数据
第36页，共43页。
初始化：输入层和中间层的连接权值； 中间层和输出层之间的连接权值； 学习速率为 0.15 ； 初始权值范围在- 0. 3 到 0. 3 之间；
最大叠代次数和均方根误差为 5000 次和 0. 01。
第37页，共43页。
对配方中各组分对所需指标的影响规律采用 ANN 模型进行了分析, 这对于 获得介电陶瓷多性能指标的优化配方具有重要的指导作用, 表明人工神经网络 技术在陶瓷这种多成分多相的复杂材料的研究中具有广阔的应用前景.
第30页，共43页。
BP网络的标准学习算法
BP算法直观解释
e
➢ 当误差对权值的偏
导数大于零时，权值
调整量为负，实际输
出大于期望输出，
权值向减少方向调整，
使得实际输出与期望
who
输出的差减少。
w
e
h
o
>0，此时Δwho<0
第31页，共43页。
BP网络的标准学习算法
BP算法直观解释
e
➢当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。
,hip
,h op
yiyi1,yi2, ,yiq
yoyo 1,yo 2, ,yo q
dod1,d2, ,dq
第16页，共43页。
BP神经网络模型
激活函数
➢必须处处可导
➢一般都使用S型函数
f (x) 11ex ,
0f(x)1;
使用S型激活函数时BP网络输入与输出关系
➢输入 n e t x 1 w 1 x 2 w 2 ... x n w n
修正各单元权 值
第13页，共43页。
学习类型
有监督或称有导师的学习，这时利用 给定的样本标准进行分类或模仿；
无监督学习或称无为导师学习，这时 ，只规定学习方式或某些规则，则具 体的学习内容随系统所处环境 （即输 入信号情况）而异，系统可以自动发 现环境特征和规律性，具有更近似人
。 脑的功能
有导师的学习 无导师的学习
i 1
h o h ( k ) f ( h ih ( k ) ) h 1 ,2 , ,p
输出层：
p
yio(k) w hohoh(k) bo o1 ,2, q
h 1
y o o (k ) f(y io (k )) o 1 ,2 , q
第24页，共43页。
BP网络的标准学习算法
第四步，利用网络期望输出和实际输出
第2页，共43页。
空间整合、时间整合
空间整合：同一时刻 来自不同神经元的输 入信号，作用于神经 元的不同突触，形成 的突触电位将会代数 相加。
时间整合：神经元对 不同时刻通过同一个 突触输入的神经脉冲 有代数求和功能。
第3页，共43页。
阈值电位
神经元对其他神经元的激励呈现 非线性响应，如果膜电位高于阈 值电位，则该神经元进入兴奋状 态，产生一个尖峰脉冲，如果小 于，则进入抑制状态，此时没有 脉冲输出。
(3)第二次热潮
1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性 动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所 不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办 了多种ANN国际刊物。1990年12月，北京召开首届学术会议。
n
hih (k )
wih
(
i1
wih xi (k) wih
bh )
xi (k)
第26页，共43页。
BP网络的标准学习算法
e
(1 2
q o 1
(do (k )
yoo (k ))2 )
hoh (k )
hih (k )
hoh (k )
hih (k )
(1 2
Βιβλιοθήκη Baidu
q o 1
(do (k )
f(
yio (k )))2 )
第二步,随机选取第 k 个输入样本及对应 期望输出
x(k ) x 1 (k ),x 2 (k ), ,x n (k )
d o(k )d 1 (k ),d 2 (k ), ,d q (k )
第23页，共43页。
BP网络的标准学习算法
第三步，计算隐含层、输出层各神经元的输入和输出
隐含层： n
h ih(k) w ihxi(k)b h h1 ,2 , ,p
hoh (k )
hoh (k )
hih (k )
(1 2
q o 1
((do (k)
p
f(
h 1
whohoh (k )
bo )2 ))
hoh (k )
hoh (k )
hih (k )
q
(do(k)yoo(k))f(yio(k))who
o1
hoh(k) hih(k)
q
( o(k)who)f(hih(k)) h(k)
第14页，共43页。
BP网络的标准学习算法-学习过程
正向传播： ➢ 输入样本－－－输入层－－－各隐层－－－输出层
判断是否转入反向传播阶段：
➢ 若输出层的实际输出与期望的输出（教师信号）不符
误差反传
➢ 误差以某种形式在各层表示－－－－修正各层单元的权 值
网络输出的误差减少到可接受的程度
进行到预先设定的学习次数为止
第15页，共43页。
BP网络的标准学习算法
网络结构
➢输入层有n个神经元，隐含层有p个神经元,
输出层有q个神经元
变量定义
x ➢输入向量;
➢隐含层输入向量；
➢隐含层输出向量;
➢输出层输入向量;
➢输出层输出向量;
➢期望输出向量;
x1,x2, ,xn
h ho i h h o i1 1,,h h o i2 2,,
第27页，共43页。
BP网络的标准学习算法
第六步，利用输出层各神经元的 o ( k ) 和 隐含层各神经元的输出来修正连接权值
。 w ho (k )
who(k)
e
who
o(k)hoh(k)
wN1 ho
whNo
o(k)hoh(k)
第28页，共43页。
BP网络的标准学习算法
第七步，利用隐含层各神经元的 h ( k ) 和 输入层各神经元的输入修正连接权。
容错能力
➢输入样本中带有较大的误差甚至个别错误对网络的输入输出规 律影响很小。
第33页，共43页。
BP神经网络的应用实例
例1：
基于人工神经网络的BaTiO3陶瓷配方研究
清华大学材料科学与工程系新型陶瓷与精细工艺国家重点实验室,郭栋,王永力等人应用神经网 络算法对BaTiO3的配方的研究。该成果发表在硅酸盐学报上。
y2
z2
-
2
T2
xN1
-
wih
yN2
whj
zN3 N3
BP算法是由两部分组成：信息的正向传递与误差的反向传播。
TN 3
第10页，共43页。
神经网络的学习
X1：衣服
W1
X2：身高
W2
X3：面部特征
W3
减小权值
0
识 别
系 统
1
增加权值
m
y f ( wixi )
i1
第11页，共43页。
学习本质
学习的过程：
如果脉波讯号是经过兴奋神经突 触（excitatory synapse），则 会增加脉波讯号的速率；相反的 ，如果脉波讯号是经过抑制神经 突触（inhibitory synapse）， 则会减少脉波讯号的速率。因此 ，脉波讯号的速率是不仅取决于 输入脉波讯号的速率，还取决于 神经突触的强度。
而神经突触的强度可视为神经网 路储存信息之所在，神经网路的 学习即在调整神经突触的强度。
wih(k)weihhihe(k)hiw h(ihk)h(k)xi(k) wiN h1wiN hh(k)xi(k)
第29页，共43页。
BP网络的标准学习算法
第八步，判断网络误差是否满足要求。当误差达到预设 精度或学习次数大于设定的最大次数，则结束算法。否 则，选取下一个学习样本及对应的期望输出，返回到第 三步，进入下一轮学习。
人工神经网络目的与意义
争取构造出尽可能与人脑具有相似功 能的计算机，即ANN计算机。研究仿照脑 神经系统的人工神经网络，将在模式识别 、组合优化和决策判断等方面取得传统计 算机所难以达到的效果。
第1页，共43页。
神经元
当神经细胞透过神经突触与树突从其 它神经元输入脉波讯号后，经过细胞 体处理，产生一个新的脉波讯号。如 果脉波讯号够强，将产生一个约千分 之一秒100 毫伏的脉波讯号。这个讯 号再经过轴突传送到它的神经突触， 成为其它神经细胞的输入脉波讯号。
David
Rumelhart
J. McClelland
BP算法基本原理
➢利用输出后的误差来估计输出层的直接前导层的误差，再用这个 误差估计更前一层的误差，如此一层一层的反传下去，就获得了 所有其他各层的误差估计。
第9页，共43页。
BP神经网络模型
三层BP网络
输入层
x1
隐含层
输出层
-
y1
z1
1
T1
x2
第4页，共43页。
第5页，共43页。
神经网络研究的发展
(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即
MP模型。1958年，F.Rosenblatt等研制出了感知机。
(2)低潮(70-80年代初):
1969年，MIT学者M.Minsky和S.Papert编写了影响巨大的《Perceptron》一 书，指出单层的感知机只能用于线性问题求解。
➢输出
1 yf(net)1enet
第17页，共43页。
BP网络的标准学习算法
➢输入层与中间层的连接权值: w i h
➢隐含层与输出层的连接权值: w h o
➢隐含层各神经元的阈值: b h ➢输出层各神经元的阈值: b o ➢样本数据个数: k1,2, m ➢激活函数: f ( )
➢误差函数：e12oq1(do(k)yoo(k))2
，计算误差函数e对输出层的各神经元的
偏导数 o ( k ) e。12oq1(do(k)yoo(k))2
e e y io w ho y io w ho
p
(
yio(k) who
h
whohoh(k)bo)
who
hoh(k)
e
yio
(12oq1(do(k)yoo(k)))2 yio
(do(k)yoo(k))yoo
(k)
(do(k)yoo(k))f(yio(k)) o(k)
第25页，共43页。
BP网络的标准学习算法
第五步，利用隐含层到输出层的连接权
值、输出层的 o (和k ) 隐含层的输出计算误差 函数对隐含层各神经元的偏导数 。 h ( k )
e who
e yio
yio who
o(k)hoh(k)
e e hih(k) wih hih (k) wih
who
w
e
h
o
<0,
此时Δwho>0
第32页，共43页。
BP神经网络的特点
非线性映射能力
➢能学习和存贮大量输入-输出模式映射关系，而无需事先了 解描述这种映射关系的数学方程。只要能提供足够多的样本
模式对供网络进行学习训练，它便能完成由n维输入空间到m维 输出空间的非线性映射。
泛化能力
➢当向网络输入训练时未曾见过的非样本数据时，网络也能完成 由输入空间向输出空间的正确映射。这种能力称为泛化能力。
第18页，共43页。
BP神经网络概述
第19页，共43页。
BP神经网络概述
第20页，共43页。
BP神经网络概述
第21页，共43页。
BP神经网络概述
第22页，共43页。
BP网络的标准学习算法
第一步，网络初始化 ➢给各连接权值分别赋一个区间（-1，1 ）内的随机数，设定误差函数e，给定 计算精度值 和最大学习次数M。
➢ 神经网络在外界输入样本的刺激下不断改变网络的 连接权值,以使网络的输出不断地接近期望的输出。
学习的本质： ➢ 对各连接权值的动态调整
第12页，共43页。
BP网络的标准学习算法-算法思想
核心思想： ➢ 将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的所有单 元－－－各层单元的误差信 号
因陶瓷的性能对配方中各变量极为敏感, 且掺杂剂之间有时存在复杂的交互作用,新型 介电陶瓷材料的研制或原有材料的改进一般都要进行 “ 炒菜式” 、“试凑法”的实验摸索
过程。
正确了解不同掺杂剂的作用规律及相互影响一直是本领域研究的一个难点。
第34页，共43页。
基于人工神经网络的BaTiO3陶瓷配方研究
第6页，共43页。
人工神经元数学模型
第7页，共43页。
m
y f ( wixi ) i1
其中x＝（x1，…xm）T 输入向量，y为输 出 ，，f（wXi是）权是系激数活（函连数接。强度），θ为阈值
第8页，共43页。
BP神经网络
Rumelhart，McClelland于1985年提出了BP网络的误差反向传播 BP(Back Propagation)学习算法
其中BaTiO3 固定而其它5 个掺杂剂参数为输入变量。 以室温损耗d f, 室温介电常数25 和- 55~125 温度范围内相对于室温的最大容温变
化率绝对值K作为输出量。
该实验输入有5 个神经元而输出层有 3 个神经元.
第35页，共43页。
以实验结果作为对ANN的训练数据
第36页，共43页。
初始化：输入层和中间层的连接权值； 中间层和输出层之间的连接权值； 学习速率为 0.15 ； 初始权值范围在- 0. 3 到 0. 3 之间；
最大叠代次数和均方根误差为 5000 次和 0. 01。
第37页，共43页。
对配方中各组分对所需指标的影响规律采用 ANN 模型进行了分析, 这对于 获得介电陶瓷多性能指标的优化配方具有重要的指导作用, 表明人工神经网络 技术在陶瓷这种多成分多相的复杂材料的研究中具有广阔的应用前景.
第30页，共43页。
BP网络的标准学习算法
BP算法直观解释
e
➢ 当误差对权值的偏
导数大于零时，权值
调整量为负，实际输
出大于期望输出，
权值向减少方向调整，
使得实际输出与期望
who
输出的差减少。
w
e
h
o
>0，此时Δwho<0
第31页，共43页。
BP网络的标准学习算法
BP算法直观解释
e
➢当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。
,hip
,h op
yiyi1,yi2, ,yiq
yoyo 1,yo 2, ,yo q
dod1,d2, ,dq
第16页，共43页。
BP神经网络模型
激活函数
➢必须处处可导
➢一般都使用S型函数
f (x) 11ex ,
0f(x)1;
使用S型激活函数时BP网络输入与输出关系
➢输入 n e t x 1 w 1 x 2 w 2 ... x n w n
修正各单元权 值
第13页，共43页。
学习类型
有监督或称有导师的学习，这时利用 给定的样本标准进行分类或模仿；
无监督学习或称无为导师学习，这时 ，只规定学习方式或某些规则，则具 体的学习内容随系统所处环境 （即输 入信号情况）而异，系统可以自动发 现环境特征和规律性，具有更近似人
。 脑的功能
有导师的学习 无导师的学习
i 1
h o h ( k ) f ( h ih ( k ) ) h 1 ,2 , ,p
输出层：
p
yio(k) w hohoh(k) bo o1 ,2, q
h 1
y o o (k ) f(y io (k )) o 1 ,2 , q
第24页，共43页。
BP网络的标准学习算法
第四步，利用网络期望输出和实际输出
第2页，共43页。
空间整合、时间整合
空间整合：同一时刻 来自不同神经元的输 入信号，作用于神经 元的不同突触，形成 的突触电位将会代数 相加。
时间整合：神经元对 不同时刻通过同一个 突触输入的神经脉冲 有代数求和功能。
第3页，共43页。
阈值电位
神经元对其他神经元的激励呈现 非线性响应，如果膜电位高于阈 值电位，则该神经元进入兴奋状 态，产生一个尖峰脉冲，如果小 于，则进入抑制状态，此时没有 脉冲输出。
(3)第二次热潮
1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性 动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所 不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办 了多种ANN国际刊物。1990年12月，北京召开首届学术会议。
n
hih (k )
wih
(
i1
wih xi (k) wih
bh )
xi (k)
第26页，共43页。
BP网络的标准学习算法
e
(1 2
q o 1
(do (k )
yoo (k ))2 )
hoh (k )
hih (k )
hoh (k )
hih (k )
(1 2
Βιβλιοθήκη Baidu
q o 1
(do (k )
f(
yio (k )))2 )
第二步,随机选取第 k 个输入样本及对应 期望输出
x(k ) x 1 (k ),x 2 (k ), ,x n (k )
d o(k )d 1 (k ),d 2 (k ), ,d q (k )
第23页，共43页。
BP网络的标准学习算法
第三步，计算隐含层、输出层各神经元的输入和输出
隐含层： n
h ih(k) w ihxi(k)b h h1 ,2 , ,p
hoh (k )
hoh (k )
hih (k )
(1 2
q o 1
((do (k)
p
f(
h 1
whohoh (k )
bo )2 ))
hoh (k )
hoh (k )
hih (k )
q
(do(k)yoo(k))f(yio(k))who
o1
hoh(k) hih(k)
q
( o(k)who)f(hih(k)) h(k)
第14页，共43页。
BP网络的标准学习算法-学习过程
正向传播： ➢ 输入样本－－－输入层－－－各隐层－－－输出层
判断是否转入反向传播阶段：
➢ 若输出层的实际输出与期望的输出（教师信号）不符
误差反传
➢ 误差以某种形式在各层表示－－－－修正各层单元的权 值
网络输出的误差减少到可接受的程度
进行到预先设定的学习次数为止
第15页，共43页。
BP网络的标准学习算法
网络结构
➢输入层有n个神经元，隐含层有p个神经元,
输出层有q个神经元
变量定义
x ➢输入向量;
➢隐含层输入向量；
➢隐含层输出向量;
➢输出层输入向量;
➢输出层输出向量;
➢期望输出向量;
x1,x2, ,xn
h ho i h h o i1 1,,h h o i2 2,,