最优化理论与方法-神经网络

④第 l 层（ l >0）第 j 个（ j >0）神经元的
输入定义为 ，输出定义 Nl1
x
l j
y l 1,l ij
l 1 i
为
y
l j
f (xlj )
，其i中0 f (•)为隐单元激励函数，
常采用Sigmoid函数，即 f (x) [1 exp( x)] 。 1
输入单元一般采用线性激励函数 f (x) x ， 阈值单元的输出始终为1；
n
T ji v j
j 1
ui Ri
Ii
1 2
n
(Tij
j 1
T ji )v j
n
T ji v j
j 1
ui Ri
Ii
1 2
n
(Tij
j 1
T ji )v j
Ci
dui dt
n
(Tij
j 1
T ji )v j
Ci
g
1'
(vi
)
dvi dt
于是，当 Tij T ji
时，
人工神经网络与神经网络优化算法
1982年，美国加州工学院物理学家Hopfield提 出了离散的神经网络模型，标志着神经网络的研 究又进入了一个新高潮。1984年，Hopfield又 提出连续神经网络模型，开拓了计算机应用神经 网络的新途径。
1986年，Rumelhart和Meclelland提出多层网 络的误差反传(back propagation)学习算法， 简称BP算法。BP算法是目前最为重要、应用最 广的人工神经网络算法之一。
前向神经网络
(1)多层前向网络 一个M层的多层前向网络可描述为： ①网络包含一个输入层（定义为第0层）和
M-1个隐层，最后一个隐层称为输出层； ②第层包含 N个l 神经元和一个阈值单元
（定义为每层的第0单元），输出层不含阈 值单元；
③第 l 1层第 i个单元到第个单元的权值表为
； l1,l ij
),
m1
l M 1 l M 2,,1
其中， 为学习率。
实质上，BP算法是一种梯度下降算法，算法 性能依赖于初始条件，学习过程易于陷入 局部极小。数值仿真结果表明，BP算法的 学习速度、精度、初值鲁棒性和网络推广 性能都较差，不能满足应用的需要。实用 中按照需要适当改进。
Hopfield 网络
最早的研究可以追溯到20世纪40年代。1943年， 心理学家McCulloch和数学家Pitts合作提出了形 式神经元的数学模型。这一模型一般被简称M-P 神经网络模型，至今仍在应用，可以说，人工神 经网络的研究时代，就由此开始了。
1949年，心理学家Hebb提出神经系统的学习规 则，为神经网络的学习算法奠定了基础。现在， 这个规则被称为Hebb规则，许多人工神经网络 的学习还遵循这一规则。
1 9 5 7 年 ， F.Rosenblatt 提 出 “ 感 知 器”(Perceptron)模型，第一次把神经网络的研 究从纯理论的探讨付诸工程实践，掀起了人工神 经网络研究的第一次高潮。
20世纪60年代以后，数字计算机的发展达到全 盛时期，人们误以为数字计算机可以解决人工智 能、专家系统、模式识别问题，而放松了对“感 知器”的研究。于是，从20世纪60年代末期起， 人工神经网络的研究进入了低潮。
容和电阻，
n
1/ Ri 1/ Qi T ji
。
j 1
定义能量函数
E 1 n
2 i1
n
n
n
Tij vi v j I i vi
j 1
i 1
i 1
vi 0
g
1 (v)dv
/
Ri
则其变化量
dE n E dvi
dt i1 vi dt
其中，
E
vi
1 2
n
Tij v j
j 1
1 2
j
式中，xi (i 1,2,, n)是从其它神经元传来的
输入信号； j 是阈值； ij 表示从神经元 i
到神经元 j 的连接权值；f (•) 为传递函数。
x1 x2
ω1j
ω2j
.
∑f
.
yj
. xn
ωnj
θj
x0=1
图13-1
人工神经网络是由大量的神经元互连而成的网络， 按其拓扑结构来分，可以分成两大类：层次网络 模型和互连网络模型。层次网络模型是神经元分 成若干层顺序连接，在输入层上加上输入信息， 通过中间各层，加权后传递到输出层后输出，其 中有的在同一层中的各神经元相互之间有连接， 有的从输出层到输入层有反馈；互连网络模型中， 任意两个神经元之间都有相互连接的关系，在连 接中，有的神经元之间是双向的，有的是单向的， 按实际情况决定。
l1,l ij
(k
1)
l1,l ij
(k
)
E
/
l1,l ij
(k)
P
l 1,l ij
(k)Biblioteka l j,p(k
)
y l1 i, p
(k
)
p1
l j,p
(k)
f
[
y
l j,
p
(k
)
t
Nl 1
'
[
x
l j,
p
(k
)]
j,p
]
f
'
[
x
l j
,
p
(k )],
l 1 m, p
(k
)
l 1 jm
(k
第十三章 人工神经网络
人工神经网络是近年来得到迅速发展的一 个前沿课题。神经网络由于其大规模并行 处理、容错性、自组织和自适应能力和联 想功能强等特点，已成为解决很多问题的 有力工具。本节首先对神经网络作简单介 绍，然后介绍几种常用的神经网络，包括 前向神经网络、Hopfield网络。
人工神经网络发展简史
自20世纪80年代中期以来，世界上许多国 家掀起了神经网络的研究热潮，可以说神 经网络已成为国际上的一个研究热点。
人工神经元模型与人工神经网络模型
人工神经元是一个多输入、单输出的非线 性元件，如图13-1所示。
其输入、输出关系可描述为
X
j
n i 1
x
ij i
j
y f (X )
j
⑤ 目标函数通常采用：
E
P
Ep
p1
1 2
P NM 1
(
y
M 1 j, p
p1 j1
t j,p )2
其中P为样本数，t j, p 为第p个样本的第j个输
出分量。
⑵ BP算法
BP算法是前向神经网络经典的有监督学习算 法，它的提出，对前向神经网络的发展起 过历史性的推动作用。对于上述的M层的 人工神经网络，BP算法可由下列迭代式描 述，具体推导可参见神经网络的相关书目。
(1) 离散型Hopfield 网络
离散型Hopfield 网络的输出为二值型，网络 采用全连接结构。令 v1,v2 ,,vn 为各神经元 的输出，1i ,2i ,ni为各神经元与第 i 个神
经元的连接权值， i 为第 i 神经元的阈值，
则有
vi
n
f ( ji v j
j 1 ji
i)
f
(ui
1982年，Hopfield开创性地在物理学、神经生物 学和计算机科学等领域架起了桥梁，提出了 Hopfield 反馈神经网络模型(HNN)，证明在高 强度连接下的神经网络依靠集体协同作用能自发 产生计算行为。Hopfield 网络是典型的全连接 网络，通过在网络中引入能量函数以构造动力学 系统，并使网络的平衡态与能量函数的极小解相 对应，从而将求解能量函数极小解的过程转化为 网络向平衡态的演化过程。
dE
dt
n
i1
Ci
g
1'
(vi
)
dvi dt
2
0
且当 dvi 0 时 dE 0 。
dt
dt
因此，随时间的增长，神经网络在状态空间 中的轨迹总是向能量函数减小的方向变化， 且网络的稳定点就是能量函数的极小点。
连续型Hopfield 网络广泛用于联想记忆和优 化计算问题。
连续型Hopfield 网络的动态方程可简化描述 如下：
Ci
dui dt
n
T
i 1
jiv j
ui Ri
Ii
vi g(ui )
其中，ui , vi分别为第 i神经元的输入和输出，
g(•)
具有连续且单调增性质的神经元激励函数，Tij
为第i神经元到j第神经元的连接权，I i 为施
加在第i神经元的偏置，Ci 0和 Qi 为相应的电
)
1, 1,
ui 0 ui 0
能量函数定义为
E
1 2
n i1
n
ij vi v j
j 1
n
i vi
i1
ji
则其变化量为
E
n i1
E vi
vi
n i1
vi (
n
ji v j
j1
j)
0
ji
也就是说，能量函数总是随神经元状态的变 化而下降的。
(2) 连续型Hopfield 网络