计算智能神经网络计算

eh (k)
j (k)hj
j
BP网络的训练步骤
1)用均匀分布随机将各权值设定为一个小的随机数
2)从训练数据对中,将一个输入数据加在输入端。
3)计算输出层的实际输出y(k)
4)计算输出层的误差
j
(k
)
e
j
(k
)
f
S
p3
p1
2x1 2x2 1 0
22 1 1
1 1.5
p2
1.5
p2
p4
0.5
0.5
1.5
p1
p3
22 1 1
1 1.5
x1 x2 1.5 0
p1
2x1 2x2 1 0
1
+
1
1.5
x1
22 1 1
1 1
x2 1 1.5
-1.5
0
p1
0
,
t1
0
0
p2
1
,
t2
1
1
p3
前馈连接。
输入信号 的加权和
各加权表示为加权矩阵
11 12 L W 21 22 L
M M
n1 n2 L
1m
2m
M
nm
11 12 L
S
XW
(x1, x2,L
,
xn
)
21
M
22
M
L
n1 n2 L
1m
2
m
M
nm
输出向量 y f (S) ( f (s1), f (s2 ),L , f (sm ))
中间层
h (k) d j (k) yj (k) f S j (k)hj f Sh (k)
j
h (k) f Sh (k)eh (k)
eh (k)
j (k)hj
j
输出层 中间层
j
(k
)
e
j
(k
)
f
S
j
(k
)
ej (k) d j (k) y j (k)
h (k) f Sh (k)eh (k)
0 0 1 1
p1
0
,
t1
0
p2
1
,
t2
1
p3
0
,
t3
1
p4
1
,
t4
0
p2
p4
p1
p3
p2
p4
p1
p3
0
p1
0
,
t1
0
p2
1.5
p2
0.5
0.5
p1
0 1 1
p2
1
,
t2
1
p3
0
,
t3
1
p4
1
,
t4
0
p4
x1 x2 1.5 0
1.5
J () J () y j (k) S j (k) yh (k) Sh (k)
hj k y j (k) S j (k) yh (k) Sh (k) hi
J () J () y j (k) S j (k) yh (k) Sh (k)
ih k, j y j (k) S j (k) yh (k) Sh (k) hi
d j (k) y j (k) f S j (k)yh (k) k
j (k) d j (k) y j (k) f S j (k)
ej (k) f S j (k)
J ()
hj
k
j (k) yh (k)
J ()
hj
k
j (k) yh (k)
中间层到输出层权值的调整量为
多层网络
❖ 一般大而复杂的网络能提供更强的计算能力。 ❖ 多层网络,只要将单层网络进行级联就可以了,即一
层的输出作为下一层的输入。
❖ 在多层网络中,层间的转移函数应是非线性的,否则 多层网络的计算能力并不比单层网络的强。
❖ 因为在线性转移函数的情况下,两层网络的输出是第 一层的输出作为第二层的输入,通过第二个加权矩阵 得到网络输出。
d j (k) y j (k) f S j (k)hj (k) f Sh (k) xi (k) k, j
h (k) d j (k) y j (k) f S j (k)hj f Sh (k) j
f Sh (k) j (k)hj
j
J ()
i h
k
h (k)xi (k)
输入到中间层权值的调整量为
神经网络计算
❖ 单个处理单元可以执行简单的图形检测功能, 但更强的识别处理能力却来自多个结点“连 成”的网络,即人工神经网络
单层网络
❖ 最简单的网络是把一组几个结点形成一层, 输入信 号可表示为行向量， 其中每一分量通过加权连接到 各结点。每一结点均可产生一个输入的加权和。
❖ 实际的人工神经网络和生物神经网络中有些连接可 能不存在,为了更一般化, 采用了全连接,并且都是
Y ( XW1)W2 X (W1W2 ) XW
回归型网络
❖ 凡包含反馈连接的网络均称为回归型网络,或称反馈
网络。横向反馈连接和纵横连接。
感知器网络模型
❖ 输出只有两种状态, 实际上是输入模式的分类 器,判决输入模式属于两类中的哪一类( A 或B 类)
一个三层的感知器网络可以产生任意复杂的判决域。
hj
J () hj
k
j (k) yh (k)
由输入到中间层权值的调整
J () 1
2k
[ej (k)]2
j
1
2k
[d j (k) y j (k)]2
j
y j (k) f (S j (k))
S
j (k) yh (k
)
h
f
yh (k)hj
(Sh (k))
Sh
(k
)
i
xi (k)ih
ej (k) d j (k) y j (k)
f
h
hj Fra Baidu bibliotekf
i
xi
(k
)ih
J() 1
2k
j
[e j
(k )]2
1 2
k
[d j (k) y j (k)]2
j
y j (k) f (S j (k))
S
j (k) yh (k
)
h
f
yh (k)hj
(Sh (k))
ih
J () hi
k
k (k)xi (k)
中间层到输出层权值的调整量为 hj j (k) yh (k)
k
输入到中间层权值的调整量为 hi k (k)xi (k)
k
任意层间权值调整的一般式 pq q (k) yp (k)
k
输出层
j
(k
)
e
j
(k
)
f
S
j
(k
)
ej (k) d j (k) y j (k)
0
,
t3
1
1
p4
1
,
t4
0
p2
p4
p1
p3
Back-propagation神经网络模型
Sh (k ) xi (k )ih S j (k) yh (k)hj
i
h
yh (k) f (Sh (k))
f
i
xi
(k
)ih
h
hj
f
i
xi
(k
)ih
y j (k) f (S j (k))
Sh
(k
)
i
xi (k)ih
J () 1
2k
j
[e j
(k )]2
1 2
k
[d j (k) y j (k)]2
j
中间层到 输出层权
y j (k) f (S j (k))
值调整
S
j
(k
)
h
yh (k)hj
J () J () y j (k) S j (k)
hj k y j (k ) S j (k ) hj