神经网络讲解与实例

设：输出层中第k个神经元的实际输出为yk，输入为netk；
与输出层相邻的隐层中任一神经元j的输出为yj。
netk w jk y j
j
Page 19
yk f (netk )
对输入模式Xp，若输出层中第k个神经元的期望输出为
dpk，实际输出为ypk。输出层的输出方差 ：
E p
1 2
k
(d pk y pk )2
第三步：依次计算每层神经元的实际输出，直到输出层。
第四步：从输出层开始修正每个权值，直到第一隐层。
wij (t 1) wij (t) j y i 0 1
若j是输出层神经元，则： j y j (1 y j )(d j y j )
若j是隐层神经元，则： j y j (1 y j ) k w jk
W j [w1 j , w2 j , , w(n1) j ]T
X [x1, x2 , , xn , 1]T
有
Page 13
n1
y j f (
wij xi )
f
(W
T j
X
)
i 1
M类问题判决规则( 神经元的输出函数) 为
yj
f
(W
T j
X
)
1, 1,
若X j 若X j
1 j M
n
输出为 y j f ( wij xi j )
i 1
θj：第j个神经元的阈值；
yi
wij：输入模式第i个分量与
输出层第j个神经元间的连接权。
x1
w1j
x2 w2j
┇┇
xi
wij
┇
┇
wnj
j yj
输出单元对所有输入数值加权求和，经阈值型输出函数
产生一组输出模式。
令 j w(n1) j 。取
连接的权值：两个互连的神经元之间相互作用的强弱。
Page 7
神经元的动作：
n
net wi xi i 1
y f (net)
(xi , wi R)
输出函数 f：也称作用函数，非线性。
y
y
y
1
1
1
0θ
net
（a）
阈值型
net 0
（b）
S型
0
net
（c）
伪线性型
f 为阈值型函数时：y sgn n wi xi
第三阶段：复兴期，从1982年到1986年。 Hopfield的两篇论文提出新的神经网络模型； 《并行分布处理》出版，提出反向传播算法。
第四个阶段：1987年至今，趋于平稳。 回顾性综述文章“神经网络与人工智能” 。
Page 3
人工神经网络的基本特点
（1）可处理非线性 （2）并行结构．对神经网络中的每一个神经元来说；其
i
y j f (net j )
wij：神经元i与j之间的连接权； f(∙)：神经元的输出函数。
Page 18
y1
…
yM
…
j
…
i
…
…
x1
x2
…
xn
S型输出函数：
yj
1
0.5
netj
0
θj
1 y j f (net j ) 1 e(net j j ) h0 θj：神经元阈值； h0：修改输出函数形状的参数。
j
Page 20
令 pk Ep netk ，可得
输出单元的误差： pk (d pk y pk ) y pk (1 y pk )
输出单元的修正增量：pjk pk ypj
对于与输出层相邻的隐层中的神经元j和该隐层前低一层 中的神经元i ：
pj y pj (1 y pj ) pk w jk
人工神经网络 (Artificial Neural Netwroks -----ANN)
1
1.1 人工神经网络发展概况
人工神经网络(Artificial Neural Networks，ANN)： 简 称神经网络。
模拟人脑神经细胞的工作特点： * 单元间的广泛连接； * 并行分布式的信息存贮与处理； * 自适应的学习能力等。
dj，yj(t)：第j个神经元的期望输出与实际输出； xi(t)：第j个神经元的第i个输入。 （4）返回 (2) ，直到对所有训练模式网络输出均能满足要求。 神经网络的学习体现在：权值变化；网络结构变化。
Page 11
1.3 前馈神经网络
1.3.1 感知器 感知器（Perceptron）：F．Rosenblatt于1957年提出。
k
第五步：转到第二步，循环至权值稳定为止。
Page 22
改进的权值修正： wij (t 1) wij (t) j yi [wij (t) wij (t 1)]
α：平滑因子，0<α<1。 —— 收敛快、权值平滑变化
BP算法存在问题： * 存在局部极小值问题； * 算法收敛速度慢； * 隐层单元数目的选取无一般指导原则； * 新加入的学习样本影响已学完样本的学习结果。
运算都是同样的．这样的结构最便于计算机并行处理． （3）具有学习和记忆能力．一个神经网络可以通过训练
学习判别事物；学习某一种规律或规则．神经网络可以 用于联想记忆． （4）对数据的可容性大．在神经网络中可以同时使用量化 数据和质量数据（如好、中、差、及格、不及格等）．
（5）神经网络可以用大规模集成电路来实现．如美国用 256 个神经元组成的神经网络组成硬件用于识别手写体的邮政编 码．
若输入N个模式，网络的系统均方差为：
E 1
2N
p
k
(d pk y pk )2
1 N
Ep
p
当输入Xp时，wjk的修正增量：Δ p w jk
E p w jk
其中， E p E p netk
w jk
netk w jk
由 netk
j
w
jk
y
j
式得到：
netk w jk
w jk
w jk y pj y pj
优点： (1) 较强的容错性; (2) 很强的自适应学习能力； (3) 可将识别和若干预处理融为一体进行；
Page 2
(4) 并行工作方式； (5) 对信息采用分布式记忆，具有鲁棒性。
四个发展阶段： 第一阶段：启蒙期，始于1943年。 形式神经元的数学模型提出。
第二阶段：低潮期，始于1969年。 《感知器》(Perceptions)一书出版，指出局限性 。
经验证明，当η随k的增加而减小时，算法一定收敛。
Page 15
1.3.2 BP网络
目前，在人工神经网络的实际应用中，绝大部分的神经 网络模型是采用BP网络和它的变化形式，它也是前馈网络 的核心部分，并体现了人工神经网络最精华的部分。
BP网络主要用于 1）函数逼近：用输入向量和相应的输出向量训练一个网 络逼近一个函数。 2）模式识别：用一个特定的输出向量将它与输入向量联 系起来。 3）分类：把输入向量 以所定义的合适方式进行分类。 4）数据压缩：减少输出向量维数以便于传输或存储。
m
wjk k Oj
wjk (t 1) wjk (t) wjk
输入一个下一个训练样本p
Page 25
开始 连接权及阀值初始化
学习模式对提供给网络 计算中间层各单元的输入、输出 计算输出层各单元的输入、输出 计算输出层各单元的一般化误差
计算中间层各单元的一般化误差
调整中间层至输出层之间的连接 权及输出层各单元的输出阀值
Page 23
开始
初始化：给出训练 样本集，对阈值及 各连接权值赋初值
输入一个 训练样本p
前向传播，计算各 层节点的输出：
net j wijoi
i
Oj f (net j )
计算样ຫໍສະໝຸດ Baidup
的误差ep
ep
1 2
k
( yˆk yk )2
Page 24
e满足要求？
Y
N
计算输出层各节点的δk，并调节 相应的连接权值
第j个神经元的实际输出为
y j (k)
f
[W
T j
(k
)
X
k
]
1 j M
第四步：修正权值。
W j (k 1) W j (k ) [d j y j (k )] X k
dj：第j个神经元的期望输出。
1, d j 1,
Xk j Xk j
1 j M
第五步：转到第二步。
当全部学习样本都能正确分类时，学习过程结束。
y1
…
yM
…
…
x1
x2
…
xn
感知器结构示意图
结构特点：
* 双层（输入层、输出层）； * 两层单元之间为全互连； * 连接权值可调。
* 输出层神经元个数等于类 别数（两类问题时输出层 为一个神经元）。
Page 12
设输入模式向量，X [x1, x2 , , xn ]T ，共M类。
输出层第j个神经元对应第j个模式类，
典型的权值修正方法： Hebb学习规则、δ误差修正学习
1．Hebb学习规则 如果神经网络中某一神经元与另一直接与其相连的神经
元同时处于兴奋状态，那么这两个神经元之间的连接强度应 该加强。
Page 9
x1
w1j
x2 w2j
┇┇
i yi
xi
wij
j yj
┇
┇
┇
wnj
xn
神经元间的连接
wij (t 1) wij (t) [ y j (t) yi (t)] wij(t+1)：修正一次后的某一权值； η：学习因子，表示学习速率的比例常数； yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。
k
Δ p wij pj y pj
输出层中神经元输出的误差反向传播到前面各层，对各 层之间的权值进行修正。
Page 21
BP算法建模步骤：
第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。 第二步：输入样本，指定输出层各神经元的希望输出值。
1, d j 1,
X j X j
j 1, 2, , M
神经元被激发 进入兴奋状态
产生输出脉冲
Page 6
由突触传递给其它神经元
1.2.2 人工神经元及神经网络 人工神经元：生物神经元的简化模拟。
n维输入向量X
接收的信息
(其它神经元的输 出)
x1
w1
x2
w2
┇
┇
xn
wn
互连强度/权值 输出函数
∑ f
y
输出
作比较 的阈值
图8.2 人工神经元模型
人工神经元间的互连：信息传递路径轴突-突触-树突的简化；
f '(netk ) Yk (1 Yk ) k ( yˆk yk ) f '(netk ) wjk k Oj wjk (t 1) wjk (t) wjk
所有e满足要求？ N
Y
结束
反向传播，计算隐层各节点的 δk，并调节相应的连接权值
f '(netk ) Ok (1 Ok )
k f '(netk ) mwkm
调整输入层至中间层之间的连接 权及中间层各单元的输出阀值
i1
设 wn1 ，点积形式： y sgn(W T X )
式中，W [w1, , wn , wn1]T X [x1, , xn , 1]T
Page 8
1.2.3 神经网络的学习 学习： 神经网络的最重要特征之一。
实质： 同一个训练集的样本输入输出模式反复作用于网络，网
络按照一定的训练规则自动调节神经元之间的连接强度或拓 扑结构，使实际输出满足期望的要求或者趋于稳定。
Page 16
BP网络：采用BP算法（Back-Propagation Training Algorithm）
的多层感知器。
误差反向传播算法
认识最清楚、应用最广泛。
性能优势：识别、分类 1．多层感知器
输出层
y1
…
yM
…
针对感知器学习 …
算法的局限性：模式 第 二 隐
类必须线性可分。
层
…
结构：
第一隐 层
* 正确判决的关键： 输出层每个神经元必须有一组合适的权值。
* 感知器采用监督学习算法得到权值；
* 权值更新方法：δ学习规则。
算法描述
第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。 第二步：输入新的模式向量。
第三步：计算神经元的实际输出。
Page 14
设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为 W j (k) [w1 j , w2 j , , w(n1) j ]T
Page 4
1.2 神经网络基本概念
1.2.1 生物神经元 1．生物神经元的结构
细胞体、树突、轴突和突触。
来自其它神经元轴突的神经末梢
Page 5
树突 细胞体 细胞核
轴突
突触 神经末梢
2．生物神经元的工作机制 兴奋和抑制两种状态。
抑制状态的神经元 由树突和细胞体 接收传来的兴奋电位
输入兴奋总 量超过阈值
前馈网络；
输入层
…
中间层为一层或多层处理单元；
x1
x2
…
xn
只允许一层连接权可调。
Page 17
2．BP算法
两个 正向传播阶段：逐层状态更新 阶段 反向传播阶段：误差
BP算法的学习过程
设：某层任一神经元j的 输入为netj，输出为yj； 相邻低一层中任一 神经元i的输出为yi。
net j wij yi
由 yi (t) xi (t) 有： wij (t 1) wij (t) [ y j (t)xi (t)]
Page 10
2. δ学习规则 （1）选择一组初始权值wij(1)； （2）计算某一输入模式对应的实际输出与期望输出的误差； （3）更新权值，阈值可视为输入恒为（－1）的一个权值；
wij (t 1) wij (t) [d j y j (t)]xi (t) 式中，η：学习因子；