第3章神经网络控制
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
凸域
任意复杂 形状域
3.2.2 BP网络
多层前馈网，变换函数采用S型函数，连续， 可微，Yi=0~1，权的调整采用反向传播算法
变换关系：
nq1
s(q) i
w x (q) (q1) ij j
j0
( x0( q 1)
1,
w(q i0
)
i(q)，与书上不同)
x(q) i
f
(si(q)
)
1
1 e si(q)
第一高潮期（1950~1968） •50年代、60年代的代表性工作是Rosenblatt（罗森布拉特） 的感知机(perceptron)和Widrow（威德罗）的自适应性元件 Adaline.可用电子线路模拟。 •人们乐观地认为几乎已经找到了智能的关键。许多部门都 开始大批地投入此项研究，希望尽快占领制高点。
3.2 前馈神经网络
典型结构：一个输入层+若干隐层+一个输出层。如图3.4(a) (孙 P127)
3.2.1 感知器网络
1. 单(计算)层感知器网络
y1
y2
yn
yj
…
θ1
θ2
θn
θj
w11
w12
x1
x2
w1n
xn
单层感知器网络
wj1
wjn
wj2
…
x1
x2
xn
单个神经元的感知器
1. 单层感知器网络（续）
( p 1, 2,, P).
训练好以后，对不是样本集中的输入，也能给出合适的输出。 称为泛化（Generalization）功能。类似于插值。
训练即调整连接权，其目标是使拟合误差的代价函数E最小.
E
1 2
P p1
nQ i1
(d pi
x(Q) pi
)2
P
Ep
p1
Ep
1 2
nQ i1
(d pi
输入层（第0层，n0个神经元） + 中间层 + 输出层（第Q层，nQ个神经元）
其输入输出变换关系：
层q=1,2,...,Q
神经元编号i=1,2,...,nq (第q层神经元个数）
输入变量编号j=1,2,...,nq-1(第q-1层神经元个数，即输入量个数）
nq1
s(q) i
w(q ij
)
x(q1) j
（1）比例函数（线性） y f (s) s
1 s0
（（（（2345））））*饱*阶符双和跃号极函函函性数数数S（型（硬函对极数称限（硬）双极曲限正）切y）ff(x(s))11ee1xx
s ,
0
0
（6）*单极性S型（ 对数S形）(Sigmoid， S形函数)
f
(x)
1
1 ex
,
0
f (x) 1.0
(
w (q1) (q1)
pk
ki
)
x(q) pi
(1
x(q) pi
)“误差”由q+1层反向递推q层
k 1
(Q) pi
(d pi
x(Q) pi
)
x(Q) pi
(1
x(Q) pi
)其中x ( Q ) 事先已正向运行计算得到 pi
q Q, Q 1,,1
i 1, 2,, nq ; j 0,1, 2,, nq1
s
x2 w2
Σ
轴突（输出端）
f(·)
y
xn wn
输入 权
静输入 变换函数, 输出
w0 阈值
非线性
1
人工神经元模型
3.1.1 神经元模型（续）
输入输出关系：
n
n
S wi xi w0 wi xi
i 1
i0
y f (s)
(x0 1, w0 )
3.1.1 神经元模型（续）
常见的变换函数（转移函数）（见孙p126,图3.3）：
1. 单层感知器网络（续）
根据感知器的变换关系,可知分界线的方程为（令s=0）：
w1x1 w2 x2 0
这是一条直线（对n个输入是n维空间上的超平面）。它说明， 只有那些线性可分模式才能用单层感知器来加以区分。 而图3.8 (孙P131)所示的是异或关系，它是线性不可分的。 用单层感知器不能将其正确分类。
x(Q) pi
)2
这是一个求最小值的问题，或优化问题。优化计算的方法很 多。比较典型的是一阶梯度法，又称最速下降法。
一阶梯度法寻优的关键是：计算优化目标函数(E)对寻优参数 （wij）的一阶导数，然后按下式调整寻优参数：
wij
(k
1)
wij
(k)
E wij
E
wij (k)
(
E wij
), (
任一神经元的输入输出变换关系：
n
n
S j wji xi j wji xi
i 1
i0
1 y j f (s j ) 1,
sj 0 sj 0
(x0 1, wj0 j )
若有P个样本Xp(p=1,2, ···,P),经过感知器的输出yj只有两种 可能，即1和-1，说明它将输入模式分成了两类。P个点分属 于n维空间的两个不同的部分。 以二维空间为例（2输入，单神经元），如图3.7所示(孙 P130)。
（3）修正权 wi(k+1)= wi(k) +α(dp-yp) xpi，i=0,1,2,…,n
学习率0<α<=1,用于控制修正速度。
（4）选另外一组样本，k增1，重复（2）~（4），直到wi(k+1) 对一切样本均稳定不变（即dp=yp）为止。
该算法收敛的充要条件：输入样本线性可分.
2. 多层感知器网络
P2 P3 Q2(P1,P3) Q3(P4)
x (0) 2 L1
1 P1
L1
:
w(1) 11
x(0) 1
w(1) 12
x(0) 2
(1) 1
0
L2
先设计第一层的权，使分界线为L1和L2， 对
1
x (0) 1
应L1，P2的输出为1，P1、P3、P4的输出为-
-1
P4
1；对应L2，P1、P2、P3的输出为1，P4的输
出为-1。再设计第二层的权，使分界线为L3，
x (1) 2 1
L3 Q1(P2)
Байду номын сангаас
Q2的输出为1，Q1、Q3的输出为-1。从而将 Q2(P1,P3)与Q1(P1),Q3(P4)区分开来。
一个最简单的单计算节点感知器具有分
x 1
(1)
1
-1
类功能。其分类原理是将分类知识存储于感 知器的权向量（包含了阈值）中，由权向量 确定的分类判决界面将输入模式分为两类。
三重循环：
第q层,q=1,2,...,Q(最大层数）
第i个神经元，i=1,2,...,nq (第q层神经元个数） 当前层输入向量的第j个分量，j=0,1,2,...,nq-1(第q-1层神经元个数）
训练：用P组样本对网络进行训练，
X
0 p
[
x0p1
,
x
0 p
2
,
,
x
0 p
,n0
]T
,
d
p
[d p1, d p2,, d p,nQ ]T ,
•人工神经网络是一个并行和分布式的信息处理网络结构。
•人工神经网络是一个具有如下特征的有向图： (1) 对于每个结点（j）有一个状态变量xj; (2) 结点i到j有一个连接权系数wji; (3) 对于每个结点有一个阈值θj; (4) 对于每个结点定义一个变换函数，最常见的情形为：
f ( wji xi j )
3.1.4 神经网络的发展概况（续）
第一低潮期（1969~1982） • 1969年，Minsky（明斯基）和Papert（帕泊特）合作发表了 Perceptron（感知机）一书，得出了消极悲观的论点(“异或”运 算不可表示)，反响很大； •加上数字计算机正处于全盛时期并在人工智能领域取得显著成 就，70年代人工神经网络的研究处于低潮。
0
阶跃函数
f (x)
f (x)
1.0
0.5
x
x
0
单极性S形函数，μ越大越弯
1.0
0
x
-1.0
双极性S形函数（双曲正切）
3.1.2 人工神经网络
人工神经网络从结构及实现机理和功能两方面对生物神经 网络进行模拟
…
…
…
…
（a)典型的前馈型网络
(b)典型的反馈型网络
3.1.2 人工神经网络(续)
•人工神经网络Artificial Neural Networks（ANN）是对人 类大脑系统的一阶特性的一种描述，是一个数学模型，可 以用电子线路来实现，也可以用计算机程序来模拟，是人 工智能研究的一种方法。
0)
即按负梯度方向寻优。
w(k) w(k+1)
wij
BP网络权的学习算法：迭代法。
w( q ) ij
(m
1)
w(q) ij
(m)
D(q) ij
(m),
0
P
D ( q ) ij
x (q) (q1)
pi pj
p 1
(
P p 1
E p wi(jq )
E wi(jq) )
nq1
(q) pi
（续）
学习算法（对单个元，也适用于单层感知器，因各单元可独立 计算 ）：
（1）给定权初值wi(0)（较小的随机非零值，包括阈值
w0= -θ，阈值并入权W中),学习次数k=0
（2）输入一个样本Xp和dp，计算输出（f为符号函数）
n
y p f ( wi xpi ) i0
(设取xp0 1, X p的第0个分量总为1）
传统分类能力
ANN 分类能力
1. 单层感知器网络（3）
•单层感知器的学习算法 问题描述：已知输入输出样本Xp和dp（p=1,2,…,P），这里 Xp和dp表示第p组输入向量（n+1维，包括阈值输入项1）和 希望的输出。问题是，如何设计感知器网络的连接权 wi(i=1,2,…,n)和θ，以使该网络能实现正确的分类。即如何 根据样本对连接权和阈值进行自学习和调整。
,
j0
(
x(q1) 0
1,
w(q) i0
i(q)）,
（阈值及负号在权中考虑的好处是可以随权一起调整，此处与书上不同)
x(q) i
f
(si(q) )
1 1
siq 0 siq 0
每一层相当于一个单层感知器网络，如对q层，它形成一个nq-1维的超平面，对该层 的输入模式进行线性分类。多层组合最终可实现较复杂的分类。
定理：假定隐层结点数可以根据需要自由设置，那么用三层 的阈值网络可以实现任意的二值逻辑函数。（与、或、非、 异或、析取、蕴含）
与、或、非用二层（输入也算一层）即可实现。
具 有 不 同 感知器结构 隐 层 数 无隐层 的 感 知 器 单隐层 的 分 类 能 双隐层 力 对 比
异或问题
复杂问题
判决域形状 判决域 半平面
第3章 神经网络控制
•几种典型的神经网络模型
前馈(BP)、反馈(Hopfield)型等
•它们在系统建模及控制中的应用
3.1 概述
3.1.1 神经元模型
接受器通过突触实现神经元之间的信息传递 轴突末梢
传导信息 生物神经元
3.1.1 神经元模型（续）
另一神经元的 轴突（输出端）
突触（连接）
x1
w1
树突 细胞体
3.1.4 神经网络的发展概况（续）
应用研究与再认识期（第二低潮期?）（1991~） •开发现有模型的应用，并在应用中根据实际运行情况对模型、 算法加以改造，以提高网络的训练速度和运行的准确度。 •希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 •进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
例：异或的实现过程.
真值表
x2 x1 Y 000 011 101 110
0用-1代替后
x2 x1 Y -1 -1 -1,P3 -1 1 1,P4 1 -1 1,P2 1 1 -1,P1
w1(2) x1(1)
w11(1) x1(0)
x(2)
w12(1)
w2(2)
x2(1)
x2(0)
实现异或的多层感知器 网络
i
3.1.3 生物神经网络系统与计算机处理信息 的比较（自己看一下孙P128）
神经网络的基本特征与功能
结构特征： 能力特征： 功能：
并行式处理 自学习
联想记忆
分布式存储 自组织
非线性映射
容错性
自适应性
分类与识别
优化计算
知识处理
3.1.4 神经网络的发展概况
萌芽期（20世纪40年代） • 1943年，心理学家McCulloch（麦克卡洛克）和数学家 Pitts（匹兹）提出了著名的阈值加权和模型，即M-P模型， 发表于《Bulletin of Mathematical Biophysics》。 • 1949年，心理学家Hebb（赫布）提出神经元之间突触联 系是可变的假说, 提出神经元连接强度的修改规则—— Hebb学习律。
3.1.4 神经网络的发展概况（续）
第二热潮期（1983~1990） • 80年代后，传统的Von Neumann数字计算机在模拟视听觉的人 工智能方面遇到了物理上不可逾越的极限。与此同时，神经网 络研究取得了突破性进展，神经网络的热潮再次掀起。 • 1982、1984， Hopfield（赫普菲尔德）发表了两篇文章，提出 了反馈互连网（即Hopfield网），可求解联想记忆和优化问题。 较好地解决了著名的TSP问题（旅行商最优路径问题）。 • 1986，Rumelhart（鲁梅哈特）和Mcclelland（麦克科莱兰）等 人提出多层前馈网的反向传播算法（Back Propagation)(即BP网 络或BP算法），解决了感知机所不能解决的问题。 • 1987年，美国召开了第一届国际神经网络会议。 • 1989年10月，国内首次神经网络大会于在香山举行（100人）。 • 1990年12月，国内首届神经网络大会在北京举行。
任意复杂 形状域
3.2.2 BP网络
多层前馈网，变换函数采用S型函数，连续， 可微，Yi=0~1，权的调整采用反向传播算法
变换关系：
nq1
s(q) i
w x (q) (q1) ij j
j0
( x0( q 1)
1,
w(q i0
)
i(q)，与书上不同)
x(q) i
f
(si(q)
)
1
1 e si(q)
第一高潮期（1950~1968） •50年代、60年代的代表性工作是Rosenblatt（罗森布拉特） 的感知机(perceptron)和Widrow（威德罗）的自适应性元件 Adaline.可用电子线路模拟。 •人们乐观地认为几乎已经找到了智能的关键。许多部门都 开始大批地投入此项研究，希望尽快占领制高点。
3.2 前馈神经网络
典型结构：一个输入层+若干隐层+一个输出层。如图3.4(a) (孙 P127)
3.2.1 感知器网络
1. 单(计算)层感知器网络
y1
y2
yn
yj
…
θ1
θ2
θn
θj
w11
w12
x1
x2
w1n
xn
单层感知器网络
wj1
wjn
wj2
…
x1
x2
xn
单个神经元的感知器
1. 单层感知器网络（续）
( p 1, 2,, P).
训练好以后，对不是样本集中的输入，也能给出合适的输出。 称为泛化（Generalization）功能。类似于插值。
训练即调整连接权，其目标是使拟合误差的代价函数E最小.
E
1 2
P p1
nQ i1
(d pi
x(Q) pi
)2
P
Ep
p1
Ep
1 2
nQ i1
(d pi
输入层（第0层，n0个神经元） + 中间层 + 输出层（第Q层，nQ个神经元）
其输入输出变换关系：
层q=1,2,...,Q
神经元编号i=1,2,...,nq (第q层神经元个数）
输入变量编号j=1,2,...,nq-1(第q-1层神经元个数，即输入量个数）
nq1
s(q) i
w(q ij
)
x(q1) j
（1）比例函数（线性） y f (s) s
1 s0
（（（（2345））））*饱*阶符双和跃号极函函函性数数数S（型（硬函对极数称限（硬）双极曲限正）切y）ff(x(s))11ee1xx
s ,
0
0
（6）*单极性S型（ 对数S形）(Sigmoid， S形函数)
f
(x)
1
1 ex
,
0
f (x) 1.0
(
w (q1) (q1)
pk
ki
)
x(q) pi
(1
x(q) pi
)“误差”由q+1层反向递推q层
k 1
(Q) pi
(d pi
x(Q) pi
)
x(Q) pi
(1
x(Q) pi
)其中x ( Q ) 事先已正向运行计算得到 pi
q Q, Q 1,,1
i 1, 2,, nq ; j 0,1, 2,, nq1
s
x2 w2
Σ
轴突（输出端）
f(·)
y
xn wn
输入 权
静输入 变换函数, 输出
w0 阈值
非线性
1
人工神经元模型
3.1.1 神经元模型（续）
输入输出关系：
n
n
S wi xi w0 wi xi
i 1
i0
y f (s)
(x0 1, w0 )
3.1.1 神经元模型（续）
常见的变换函数（转移函数）（见孙p126,图3.3）：
1. 单层感知器网络（续）
根据感知器的变换关系,可知分界线的方程为（令s=0）：
w1x1 w2 x2 0
这是一条直线（对n个输入是n维空间上的超平面）。它说明， 只有那些线性可分模式才能用单层感知器来加以区分。 而图3.8 (孙P131)所示的是异或关系，它是线性不可分的。 用单层感知器不能将其正确分类。
x(Q) pi
)2
这是一个求最小值的问题，或优化问题。优化计算的方法很 多。比较典型的是一阶梯度法，又称最速下降法。
一阶梯度法寻优的关键是：计算优化目标函数(E)对寻优参数 （wij）的一阶导数，然后按下式调整寻优参数：
wij
(k
1)
wij
(k)
E wij
E
wij (k)
(
E wij
), (
任一神经元的输入输出变换关系：
n
n
S j wji xi j wji xi
i 1
i0
1 y j f (s j ) 1,
sj 0 sj 0
(x0 1, wj0 j )
若有P个样本Xp(p=1,2, ···,P),经过感知器的输出yj只有两种 可能，即1和-1，说明它将输入模式分成了两类。P个点分属 于n维空间的两个不同的部分。 以二维空间为例（2输入，单神经元），如图3.7所示(孙 P130)。
（3）修正权 wi(k+1)= wi(k) +α(dp-yp) xpi，i=0,1,2,…,n
学习率0<α<=1,用于控制修正速度。
（4）选另外一组样本，k增1，重复（2）~（4），直到wi(k+1) 对一切样本均稳定不变（即dp=yp）为止。
该算法收敛的充要条件：输入样本线性可分.
2. 多层感知器网络
P2 P3 Q2(P1,P3) Q3(P4)
x (0) 2 L1
1 P1
L1
:
w(1) 11
x(0) 1
w(1) 12
x(0) 2
(1) 1
0
L2
先设计第一层的权，使分界线为L1和L2， 对
1
x (0) 1
应L1，P2的输出为1，P1、P3、P4的输出为-
-1
P4
1；对应L2，P1、P2、P3的输出为1，P4的输
出为-1。再设计第二层的权，使分界线为L3，
x (1) 2 1
L3 Q1(P2)
Байду номын сангаас
Q2的输出为1，Q1、Q3的输出为-1。从而将 Q2(P1,P3)与Q1(P1),Q3(P4)区分开来。
一个最简单的单计算节点感知器具有分
x 1
(1)
1
-1
类功能。其分类原理是将分类知识存储于感 知器的权向量（包含了阈值）中，由权向量 确定的分类判决界面将输入模式分为两类。
三重循环：
第q层,q=1,2,...,Q(最大层数）
第i个神经元，i=1,2,...,nq (第q层神经元个数） 当前层输入向量的第j个分量，j=0,1,2,...,nq-1(第q-1层神经元个数）
训练：用P组样本对网络进行训练，
X
0 p
[
x0p1
,
x
0 p
2
,
,
x
0 p
,n0
]T
,
d
p
[d p1, d p2,, d p,nQ ]T ,
•人工神经网络是一个并行和分布式的信息处理网络结构。
•人工神经网络是一个具有如下特征的有向图： (1) 对于每个结点（j）有一个状态变量xj; (2) 结点i到j有一个连接权系数wji; (3) 对于每个结点有一个阈值θj; (4) 对于每个结点定义一个变换函数，最常见的情形为：
f ( wji xi j )
3.1.4 神经网络的发展概况（续）
第一低潮期（1969~1982） • 1969年，Minsky（明斯基）和Papert（帕泊特）合作发表了 Perceptron（感知机）一书，得出了消极悲观的论点(“异或”运 算不可表示)，反响很大； •加上数字计算机正处于全盛时期并在人工智能领域取得显著成 就，70年代人工神经网络的研究处于低潮。
0
阶跃函数
f (x)
f (x)
1.0
0.5
x
x
0
单极性S形函数，μ越大越弯
1.0
0
x
-1.0
双极性S形函数（双曲正切）
3.1.2 人工神经网络
人工神经网络从结构及实现机理和功能两方面对生物神经 网络进行模拟
…
…
…
…
（a)典型的前馈型网络
(b)典型的反馈型网络
3.1.2 人工神经网络(续)
•人工神经网络Artificial Neural Networks（ANN）是对人 类大脑系统的一阶特性的一种描述，是一个数学模型，可 以用电子线路来实现，也可以用计算机程序来模拟，是人 工智能研究的一种方法。
0)
即按负梯度方向寻优。
w(k) w(k+1)
wij
BP网络权的学习算法：迭代法。
w( q ) ij
(m
1)
w(q) ij
(m)
D(q) ij
(m),
0
P
D ( q ) ij
x (q) (q1)
pi pj
p 1
(
P p 1
E p wi(jq )
E wi(jq) )
nq1
(q) pi
（续）
学习算法（对单个元，也适用于单层感知器，因各单元可独立 计算 ）：
（1）给定权初值wi(0)（较小的随机非零值，包括阈值
w0= -θ，阈值并入权W中),学习次数k=0
（2）输入一个样本Xp和dp，计算输出（f为符号函数）
n
y p f ( wi xpi ) i0
(设取xp0 1, X p的第0个分量总为1）
传统分类能力
ANN 分类能力
1. 单层感知器网络（3）
•单层感知器的学习算法 问题描述：已知输入输出样本Xp和dp（p=1,2,…,P），这里 Xp和dp表示第p组输入向量（n+1维，包括阈值输入项1）和 希望的输出。问题是，如何设计感知器网络的连接权 wi(i=1,2,…,n)和θ，以使该网络能实现正确的分类。即如何 根据样本对连接权和阈值进行自学习和调整。
,
j0
(
x(q1) 0
1,
w(q) i0
i(q)）,
（阈值及负号在权中考虑的好处是可以随权一起调整，此处与书上不同)
x(q) i
f
(si(q) )
1 1
siq 0 siq 0
每一层相当于一个单层感知器网络，如对q层，它形成一个nq-1维的超平面，对该层 的输入模式进行线性分类。多层组合最终可实现较复杂的分类。
定理：假定隐层结点数可以根据需要自由设置，那么用三层 的阈值网络可以实现任意的二值逻辑函数。（与、或、非、 异或、析取、蕴含）
与、或、非用二层（输入也算一层）即可实现。
具 有 不 同 感知器结构 隐 层 数 无隐层 的 感 知 器 单隐层 的 分 类 能 双隐层 力 对 比
异或问题
复杂问题
判决域形状 判决域 半平面
第3章 神经网络控制
•几种典型的神经网络模型
前馈(BP)、反馈(Hopfield)型等
•它们在系统建模及控制中的应用
3.1 概述
3.1.1 神经元模型
接受器通过突触实现神经元之间的信息传递 轴突末梢
传导信息 生物神经元
3.1.1 神经元模型（续）
另一神经元的 轴突（输出端）
突触（连接）
x1
w1
树突 细胞体
3.1.4 神经网络的发展概况（续）
应用研究与再认识期（第二低潮期?）（1991~） •开发现有模型的应用，并在应用中根据实际运行情况对模型、 算法加以改造，以提高网络的训练速度和运行的准确度。 •希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 •进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
例：异或的实现过程.
真值表
x2 x1 Y 000 011 101 110
0用-1代替后
x2 x1 Y -1 -1 -1,P3 -1 1 1,P4 1 -1 1,P2 1 1 -1,P1
w1(2) x1(1)
w11(1) x1(0)
x(2)
w12(1)
w2(2)
x2(1)
x2(0)
实现异或的多层感知器 网络
i
3.1.3 生物神经网络系统与计算机处理信息 的比较（自己看一下孙P128）
神经网络的基本特征与功能
结构特征： 能力特征： 功能：
并行式处理 自学习
联想记忆
分布式存储 自组织
非线性映射
容错性
自适应性
分类与识别
优化计算
知识处理
3.1.4 神经网络的发展概况
萌芽期（20世纪40年代） • 1943年，心理学家McCulloch（麦克卡洛克）和数学家 Pitts（匹兹）提出了著名的阈值加权和模型，即M-P模型， 发表于《Bulletin of Mathematical Biophysics》。 • 1949年，心理学家Hebb（赫布）提出神经元之间突触联 系是可变的假说, 提出神经元连接强度的修改规则—— Hebb学习律。
3.1.4 神经网络的发展概况（续）
第二热潮期（1983~1990） • 80年代后，传统的Von Neumann数字计算机在模拟视听觉的人 工智能方面遇到了物理上不可逾越的极限。与此同时，神经网 络研究取得了突破性进展，神经网络的热潮再次掀起。 • 1982、1984， Hopfield（赫普菲尔德）发表了两篇文章，提出 了反馈互连网（即Hopfield网），可求解联想记忆和优化问题。 较好地解决了著名的TSP问题（旅行商最优路径问题）。 • 1986，Rumelhart（鲁梅哈特）和Mcclelland（麦克科莱兰）等 人提出多层前馈网的反向传播算法（Back Propagation)(即BP网 络或BP算法），解决了感知机所不能解决的问题。 • 1987年，美国召开了第一届国际神经网络会议。 • 1989年10月，国内首次神经网络大会于在香山举行（100人）。 • 1990年12月，国内首届神经网络大会在北京举行。