人工智能导论 第8章 人工神经网络及其应用(导论)1-47

x1
y
m 1
x2
y
m 2
x p1
y
m pm
35
8.2.2 BP学习算法
2. 学习算法
当yik
1 1 euik
时
x
d y wikj1
k k1 ij
d
m i
yim (1
yim)(
ym i
y) i
— —输出层连接权调整公式
d y y w d k i
k
i (1
k pk 1
i)
k 1 k1 li l
9
8.1 神经元与神经网络
1. 生物神经元的结构 2. 神经元数学模型 3. 神经网络的结构与工作方式
10
8.1.2 神经元数学模型
2. 人工神经元模型
1943年，麦克洛奇和皮兹提出M －P模型。
u1
（权重/突触）
wi1 （细胞体）
（神经冲动）
…
f ()
yi
un
win
激励函数
i （阈值）
-1
29
8.2 BP神经网络及其学习算法
1. BP神经网络的结构 2. BP学习算法 3. BP算法的实现
30
8.2.2 BP学习算法
▪ 两个问题：
（1）是否存在一个BP神经网络能够逼近给定的样本或者函数。
（ 2）如何调整BP神经网络的连接权，使网络的输入与输出与 给定的样本相同。
1986年，鲁梅尔哈特（D. Rumelhart）等提出BP学习算法。
A {aij}NN
U u1 uM T
B {bik }N M
1 N T
V v1
T
vN
Y y1 yN T
13
8.1.2 神经元数学模型
▪ 线性环节的传递函数：Xi (s) H(s)Vi (s)
H(s)：1； 1 ； 1 ；eTs 及其组合等。
s Ts 1
14
8.1.2 神经元数学模型
（双曲正切S形函数）
16
8.1.2 神经元数学模型
工作过程:
从各输入端接收输入信号 uj ( j = 1, 2, …, n )
根据连接权值求出所有输入的加权和
n
n
n
xi wiju j i wiju j bi wiju j
j 1
j 1
j0
(wi0 1,u0 i或wi0 1, u0 bi）
8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用 8.4 Hopfield神经网络及其改进 8.5 Hopfield神经网络的应用
5
8.1 神经元与神经网络
1. 生物神经元的结构 2. 神经元数学模型 3. 神经网络结构与工作方式
6
8.1.1 Th物神经元的结构
人脑构造: 皮 层 （cortex） 中脑（midbrain） 脑干（brainstem） 小脑（cerebellum）
d y wikj1
k k1 ij
d y y u m
i (
m
i
)
si
fm
(
m)
i
——输出层连接权调整公式
d u d k
i
f k (
k
i)
w k 1 k
l
li
l
——隐层连接权调整公式
34
8.2.2 BP学习算法
2. 学习算法
正向传播：输入信息由输入层传至隐层，最终在输出层输出。 反向传播：修改各层神经元的权值，使误差信号最小。
k 1, 2 ,..., m
28
8.2.1 BP神经网络的结构
3. 工作过程
第一阶段或网络训练阶段： N 组输入输出样本：xi=[xi1, xi2,…, xip1]T di=[di1, di2,…,dipm]T i=1, 2,…, N 对网络的连接权进行学习和调整，以使该网络实现给定样本
的输入输出映射关系。 第二阶段或称工作阶段：把实验数据或实际数据输入到网络， 网络在误差范围内预测计算出结果。
1. 生物神经元的结构 2. 神经元的数学模型 3. 神经网络的结构与工作方式
19
8.1.3 神经网络的结构与工作方式
决定人工神经网络性能的三大要素：
神经元的特性。 神经元之间相互连接的形式——拓扑结构。 构与工作方式
1. 神经网络的结构
2. 输入输出变换关系
k-1
k
1
y1k 1
wik1
wik2
i
2
y2k 1
. . .
wk ipk 1
pk-1
yk 1 pk 1
uik
pk 1
wikj
y
k j
1
i
pk 1
wikj
y
k 1 j
j 1
j0
yik ( y0k 1 i , wki0 1)
y
k i
f
( uik
)
1
1
e
s
k i
i 1, 2 ,..., p k
3 正向传播：计算各层节点的输出：
32
8.2.2 BP学习算法
先求
u J
y y wk1
u u u ij
J
k i
k i
wk1 ij
J
k i
wk1
ij
(
j
wk 1 ij
k1
J
)
j
k i
k1 j
y u 记
d
k i
J
u
k i
J
y
k i
yk i
u
k i
J
k
fk (
i
k)
i
（1）对输出层的神经元
y y J J m
y y k m
12
8.1.2 神经元数学模型
yi (t ) ：第 i个神经元的输出。 uk (t)(k 1, 2,, M )：外部输入。
i ：第i 个i神经元的阈值。 aij ,bik ：权值。
▪ 加权求和：
N
M
vi(t ) a ij y j (t ) bik u k (t ) i
j 1
k 1
其矩阵形式：V (t) AY (t) BU (t)
l 1
— —隐层连接权调整公式
36
8.2 BP神经网络及其学习算法
8.2.1 BP神经网络的结构 8.2.2 BP学习算法 8.2.3 BP算法的实现
37
8.2.3 BP算法的实现
1. BP算法的设计
1 隐层数及隐层神经元数的确定：目前尚无理论指导。 2初始权值的设置：一般以一个均值为0的随机分布 设 置网络的初始权值。 3训练数据预处理：线性的特征比例变换，将所有的 特 征变换到[0，1]或者[-1，1]区间内，使得在每个训练集 上，每个特征的均值为0，并且具有相同的方差。 4后处理过程：当应用神经网络进行分类操作时，通 常 将输出值编码成所谓的名义变量，具体的值对应类别 标号。
神经网络方法： 隐式的 知识表示方法
3
第8章 人工神经网络及其应用
8.1 神经元与神经网络 8.2 BP神经网络及其学习算法 8.3 BP神经网络的应用 8.4 Hopfield神经网络及其改进 8.5 Hopfield神经网络的应用
4
第8章 人工神经网络及其应用
✓ 8.1 神经元与神经网络
1. 生物神经元结构
树突 （输入）
轴突（输出） 突触
细胞体
神经细胞利用电-化学过程交换信号 8
8.1.1 Th物神经元的结构
工作状态： 兴奋状态：细胞膜电位 > 动作电位的阈值 → 神经冲动 抑制状态：细胞膜电位 < 动作电位的阈值 学习与遗忘：由于神经元结构的可塑性，突触的传递作
用可增强和减弱 。
非线性激励函数（传输函数、输出变换函数）
y x
yy==hhaardrdlilmim(x(s))
1 0
x 0 x 0
Hard-Limit Transfer Function
（硬极限函数或阶跃函数）
yy sx
y=hardlims(x)
1 1
x 0 x 0
Symmetric Hard-Limit Trans. Funct.
25
8.2 BP神经网络及其学习算法
1. BP神经网络的结构 2. BP学习算法 3. BP算法的实现
26
8.2.1 BP神经网络的结构
1. BP 网络结构
y1m
ym 2
x1
m
y1m
yp
x2
m
ym
2
xp1
X [x x x ]T
12
p1
y
m pm
Y [ y1m
ym ym ]T
2
pm
27
8.2.1 BP神经网络的结构
人脑由一千多亿（1011亿－ 1014 亿）个神经细胞（神经元） 交织在一起的网状结构组成，其中大脑皮层约140亿个神经元， 小脑皮层约1000亿个神经元。 神经元约有1000种类型，每个神经元大约与103－ 104个其他神 经元相连接，形成极为错综复杂而又灵活多变的神经网络。
7
8.1.1 Th物神经元的结构
（1）前馈型（ 前向型）
21
8.1.3 神经网络的结构与工作方式
1. 神经网络的结构
（2）反馈型
（ Hopfield神经网络）
22
8.1.3 神经网络的结构与工作方式
2. 神经网络的工作方式
同步（并行）方式：任一时刻神经网络中所有神经元同时调 整状态。
异步（串行）方式：任一时刻只有一个神经元调整状态，而 其它神经元的状态保持不变。
本章着重介绍最基本、最典型、应用最广泛的BP神 经网络和Hopfield神经网络及其在模式识别、联想 记忆、软测量、智能计算、组合优化问题求解等方 面的应用。
2
第8章 人工神经网络及其应用
神经网络（neural networks，NN）
▪生物神经网络( natural neural network, NNN): 由中枢神经系 统（脑和脊髓）及周围神经系统（感觉神经、运动神经等） 所 构成的错综复杂的神经网络，其中最重要的是脑神经系统。 ▪人工神经网络(artificial neural networks, ANN): 模拟人脑神经 系统的结构和功能，运用大量简单处理单元经广泛连接而组 成 的人工网络系统。
Introduction of Artificial Intelligence
第 8 章 人工神经网络及其应用
教材：
王万良《人工智能导论》（第4版） 高等教育出版社，2017. 7
第8章 人工神经网络及其应用
人工神经网络是对人脑或生物神经网络若干基本特 性的抽象和模拟。为机器学习等许多问题的研究提 供了一条新的思路，目前已经在模式识别、机器视 觉、联想记忆、自动控制、信号处理、软测量、决 策分析、智能计算、组合优化问题求解、数据挖掘 等方面获得成功应用。
23
第8章 人工神经网络及其应用
8.1 神经元与神经网络
✓ 8.2 BP神经网络及其学习算法
8.3 BP神经网络的应用 8.4 Hopfield神经网络及其改进 8.5 Hopfield神经网络的应用
24
8.2 BP神经网络及其学习算法
1. BP神经网络 的结构 2. BP学习算法 3. BP算法的实现
i
si
i
i
m
d y y u i (
m
i
)
si
fm
(
m)
i
y u uy d （2）对隐单元层，则有
J k
k 1
J k 1
lk
l l
l
w k1 k
l
li
i
i
u d dk i
f k
(
k
i)
w k1 k
l
li
l
d y wikj1
k k1 ij
33
8.2.2 BP学习算法
2. 学习算法
（对称硬极限函数）
15
8.1.2 神经元数学模型
非线性激励函数（传输函数、输出变换函数）
x
1
y = logsig(x) =
1 ex
1
Log-Sigmoid Transfer Function
（对数- S 形函数或S型函数）
x
y = tansig(x) = ex ex ex ex
1
Tan-Sigmoid Transfer Function
人工神经元 i 的模型图
n
n
yi f ( wiju j i ) f ( wiju j )
j 1
j0
(u0 1, wi0 i )
1
8.1.2 神经元数学模型
一般模型：
N
M
vi aij y j bik uk i
j 1
k 1
H (s) Xi (s) Vi (s)
H (s) :1, 1 1 eTs s Ts 1
38
8.2.3 BP算法的实现
2. BP算法的计算机实现流程
（1）初始化：对所有连接权和阈值赋以随机任意小值；
wk (t )， k (t )，(k 1,..., m;
ij
i
i 1,...,
p; k
j 1,...,
pk 1 ; t 0)
2 从 N 组输入输出样本中取一组样本：x=[x1, x2,…, xp1]T, d=[d1, d2,…,dpm]T, 把输入信息x=[x1, x2,…, xp1]T输入到BP网络中
31
8.2.2 BP学习算法
1. 基本思想
目标函数：
y d 1 pm
J
(
m
)2
2 j 1
j
j
约束条件：
uk i
w y k 1 k 1 ij j
j
yik
f (uk ) ki
i 1, 2 ,..., p k
k 1, 2 ,..., m
连接权值的修正量：
wikj 1
J wk 1
ij
j 1,2,..., pk1
用非线性激励函数进行转换，得到输出
n
yi f (xi ) f ( wiju j )
j0
17
8.1.2 神经元数学模型
N
M
vi aij y j bik uk i
j 1
k 1
H (s) Xi (s) Vi (s)
H (s) :1, 1 1 eTs s Ts 1
18
8.1 神经元与神经网络