数据挖掘 神经网络

9.3 BP算法
9.3.1 引例 9.3.2 反向传播算法（BP算法） 9.3.3 算法举例 9.3.4 BP算法描述
2012-10-28
17
一般而言, ANN与经典计算方法相比并非优越, 只有当常规 方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤 其对问题的机理不甚了解或不能用数学模型表示的系统,如故障 诊断、特征提取和预测等问题,ANN往往是最有利的工具。另 一方面, ANN对处理大量原始数据而不能用规则或公式描述的
第9章 神经网络
2012-10-28
1
第9章 神经网络
9.1 引例 9.2 人工神经网络 9.2.2 神经元模型 9.3 BP算法 9.4 工具包应用
2012-10-28
2
9.1 引例
y
x
1

2
2 x2
x1 x 3
2

2
x1 x 2 x 2 x 3
2
2
x1 x 2 x 3 x1 x 2 x 3
解法一： • 把翼长作纵坐标，触角长作横坐标；那么每个 蚊子的翼长和触角决定了坐标平面的一个点.其 中 6个蚊子属于 APf类；用黑点“·”表示；9个 蚊子属 Af类；用小圆圈“。”表示． • 得到的结果见下图1
2012-10-28 • 图1飞蠓的触角长和翼长 20
2012-10-28
21

思路：作一直线将两类飞蠓分开
9.2.1 人工神经网络概述 9.2.2 神经元模型 9.2.3 网络结构
2012-10-28
4
9.2.1 人工神经网络概述



第一个阶段可称之为启蒙阶段，这是神经 网络理论研究的奠基阶段 第二阶段是低潮期。《Percep2trons》一 书，指出简单的线性感知器的功能是有限 的，它无法解决线性不可分的两类样本的 分类问题 第三个阶段为神经网络的复兴时期，这是 神经网络理论研究的主要发展时期
• 翼长 • 1.64 • 1.82 • 1.90 • 1.70 • 1.82 • 1.82 • 2.08
触角长 1.38 1.38 1.38 1.40 1.48 1.54 1.56
类别 Af Af Af Af Af Af Af
19
2012-10-28

问：如果抓到三只新的蚊子，它们的触 角长和翼长分别为(l.24,1.80); (l.28， 1.84)；（1.40，2.04）．问它们应分别 属于哪一个种类？
y f ( w i xi )
i 1
• θ 为阈值，f（X）是激发函数；它可以 是线性函数，也可以是非线性函数．
2012-10-28 11
例如，若记
z
i 1 取激发函数为符号函数

m
wi xi
1, sgn( x ) 0,
1, y f (z) 0,
2012-10-28
33
在上述假定下网络的输入输出关系可以表示 为：
u 1 (i ) a1 (i ) u 2 (i ) a (i ) 2 u L (i ) a L (i )
w
j 1
N0
1
( i , j ) a 0 ( j ) 1 ( i ), 1 i N1,
( p)
L (i ) (t

( p) l '
( i ) a L ( i )) f ( u L ( i ))
( p) ' ( p)
（11） （12）
35
(i ) f (u l
( p)
( i ))
j 1
N l 1
( p) l 1
( j ) w l 1
( p 1 )
( j, i)
x 0, x 0.
1, sgn( x ) 0, x 0, x 0.

m
wi xi , wi xi ,
则

,
i 1 m
i 1
S型激发函数：
f (x)
2012-10-28
1 1 e
x
0 f ( x ) 1;
12
9.2.3 网络结构
输入层 隐层 输出层 x1 h1 y1 x2 . . . hk yn . . .
则每个训练循环中按梯度下降时；其权重迭代公式为 ( p) ( p 1 ) ( p) ( p) wl (i , j ) wl ( i , j ) l a l 1 ( j ), （ 10 ）
l 1,..., L ,
wl
( p)
(i , j )
( p)
表示第-1层第个元对第层第个元输入的第 次迭代时的权重
f ( u L ( i )),
• 其中表示第k层第i个元的阈值.
2012-10-28 34
定理2 对于具有多个隐层的前馈神经网络；设激发函数为S 函数；且指标函数取 P （8） E E p
p 1
其中 E
p

1 2

N
L
(t
( p)
(i ) a L
( p)
( i ))
2
（9）
i 1
. . .
xm


根据节点层数，可分为单层网络和多层网络 根据有无反馈，可分为前馈网络和反馈网络
2012-10-28
13
单层网络
2012-10-28
14
人工神经网络模型
(a)简单的前向神经网络 (b)具有反馈的前向神经网络 (c) 具有层内互联的神经网络
2012-10-28 15
一般而言, ANN与经典计算方法相比并非优
2012-10-28
a k (i )
表第k层第i个元的输出
32
假设：
（3）设层与层间的神经元都有信息交换（否则， 可设它们之间的权重为零）；但同一层的神经元 之间无信息传输． (4) 设信息传输的方向是从输入层到输出层方向； 因此称为前向网络．没有反向传播信息．
（5） a 0 ( j ) 表示输入的第j个分量．
pi
称为学习的速率
29
2012-10-28
注：由（1） 式，第i个神经元的输出可表示为
o
pi

f ( w ij i pj )
j 1
m
ipm= -1 , wim= (第i个神经元的阈值)
特别当f是线性函数时
o pi a ( w ij i pj ) b
j 1 m
（5）
（6）
2012-10-28
神经网络研究的两个方面 • 从生理上、解剖学上进行研究 • 从工程技术上、算法上进行研究
2012-10-28
7
9.2.2 神经元模型

神经元的数学模型
神经元的数学模型
2012-10-28 8
2012-10-28
9
2012-10-28
10

其中x＝（x1，…xm）T 输入向量，y为 输出，wi是权系数；输入与输出具有如 下关系： m
2012-10-28 24

再如，如下的情形已经不能用分类直线 的办法：
• 新思路：将问题看作一个系统，飞蠓的数据作为 输入，飞蠓的类型作为输出，研究输入与输出的 关系。
2012-10-28 25
cl
k
c
k j
cq
k
W11
c1 Wp1 … W1j cj Wpj Wij Wi1
… …
W1q cq
输出层LC
2012-10-28
1 l L 1.
BP算法
问题, 表现出极大的灵活性和自适应性。
2012-10-28
18
9.3.1 引例
• 1981年生物学家格若根（W． Grogan）和维什（W．Wirth）发现了两 类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角 长，数据如下： • • • • • • • • • 翼长 1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74 触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
min

n
(t
pi
o
pi
)
2
i 1
（p=1,…,P）
（2）
• Delta学习规则: 记 w ij 表示递推一次的修改量，则有
w ij w ij w ij
w ij
（3）
(t
p 1
P
pi
o
pi
)i pj

p 1
P
pi
i pj
（4）

pi

t
pi
o
2
y C 0 C 1 x1 C 2 x 2 C 3 x 3


对于由第1式给出的系统，可以产生一系列 的数据 假设第1式我们并不知道，但是我们可以用 第2式给出的多元线性回归找到近似规律， 但这种方式并没有很好的精度 人工神经网络可以逼近任意非线性规律
3
2012-10-28
9.2 人工神经网络
Wiq Wpq
W V1p bp Vhp V np
b1 Vn1 V11 Vh1
…
V1i bi Vni Vhi
隐含层LB
V
输入层LA
a1
…
k 1
ah
…
an
a
a
k h
a
k n
2012-10-28
基本BP网络的拓扑结构
26
9.3.2反向传播算法（B-P算法） Back propagation algorithm
• 例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)， 过A B两点作一条直线： • y＝ 1.47x - 0.017 • 其中X表示触角长；y表示翼长． • 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
越, 只有当常规方法解决不了或效果不佳时ANN
方法才能显示出其优越性。 尤其对问题的机理不甚了解或不能用数学模 型表示的系统,如故障诊断、特征提取和预测等问 题,ANN往往是最有利的工具. ANN对处理大量原始数据而不能用规则或公 式描述的问题, 表现出极大的灵活性和自适应性。
2012-10-28 16
算法的目的：根据实际的输入与输出数据，计算模型的参 数（权系数）
1．简单网络的B-P算法
2012-10-28
27
假设有P个训练样本，即有P个输入输出对 （Ip, Tp）,p=1,…,P, 其中 T 输入向量为 : I p ( i p 1 ,..., i pm )

目标输出向量为（实际上的）:
f ( u 1 ( i )),
w
j 1
N1
2
( i , j ) a 1 ( j ) 2 ( i ), 1 i N2,
f ( u 2 ( i )), .......... .......... .......... .........
N L 1
ຫໍສະໝຸດ Baidu
（7）

w
j 1
L
( i , j ) a L 1 ( j ) L 1 ( i ), 1 i NL,
2012-10-28
22

分类结果：(1.24，1.80)，(1.28，1.84)属于 Af类；(1.40，2.04）属于 Apf类．
分类直线图
2012-10-28 23
•缺陷：根据什么原则确定分类直线？
• 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线 变为 y=1.39x+0.071 分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 • 哪一分类直线才是正确的呢？ • 因此如何来确定这个判别直线是一个值得研究的 问题．一般地讲，应该充分利用已知的数据信息 来确定判别直线．
T
p

(t
p1
,...,
t
pn
)
T
网络输出向量为 （理论上的）
O
p
( o p 1 ,..., o pn )
T
2012-10-28
28
记wij为从输入向量的第j (j=1,…,m) 个分量到输出 向量的第i (i=1,…,n)个分量的权重。通常理论值与实际 值有一误差，网络学习则是指不断地把与比较，并根 据极小原则修改参数wij，使误差平方和达最小：
5
2012-10-28
神经元与神经网络

大脑可视作为1000多亿神经元组成的神 经网络
•
2012-10-28
图3 神经元的解剖图
6

神经元的信息传递和处理是一种电化学 活动．树突由于电化学作用接受外界的 刺激；通过胞体内的活动体现为轴突电 位，当轴突电位达到一定的值则形成神 经脉冲或动作电位；再通过轴突末梢传 递给其它的神经元．从控制论的观点来 看；这一过程可以看作一个多输入单输 出非线性系统的动态过程
30
2012-10-28
31
2．多层前馈网络
假设：
图7 多层前馈网络
（l）输入层不计在层数之内，它有N0个神经元．设网络 共有L层；输出层为第L层；第 k层有Nk个神经元． (2) 设
u
k
( i ) 表示第k层第i神经元所接收的信息
wk(i,j) 表示从第k-1层第j个元到第k层第i个元的权重，