第三章 神经网络3.4,3.5

3.4几种典型的神经网络

神经网络除了前向型网络外，还有反馈型、随机型和自组织竞争型等类型，本节主要介绍这三种神经网络，以及多神经网络集成。

3.4.1 反馈型神经网络

反馈型神经网络又称为递归网络或回归网络，它是一种反馈动力学系统，比前向神经网络具有更强的计算能力。其中Hopfield 神经网络是其典型代表，也是得到最充分研究和应用的神经网络之一，它是由美国物理学家J.J.Hopfield 于1982年首先提出的，主要用于模拟生物神经网络的记忆机理。由于网络的运行是一个非线性的动力系统，所以比较复杂。因此Hopfield 为这类网络引入了一种稳定过程，即提出了神经网络能量函数（也称李雅普诺夫函数）的概念，使网络的运行稳定判断有了可靠而简便的依据。

Hopfield 神经网络已在联想记忆和优化计算中得到成功应用，并拓宽了神经网络的应用范围。另外，Hopfield 网络还有一个显著的优点，就是它与电子电路存在明显的对应关系，使得该网络易于理解和便于实现。

Hopfield 网络有离散型[1]（DHNN ）和连续型[2]（CHNN ）两种实用形式。离散型Hopfield 网络的结构比较简单，在实际工程中的应用比较广泛，因此本节重点介绍离散型Hopfield 网络，并作仿真分析。 1、离散Hopfield 神经网络模型

离散Hopfield 神经网络是一种单层反馈型非线性网络，每一个结点的输出均反馈到其他结点的输入，其工作原理如图3.4.1所示。

设有n 个神经元，()n v v v V ,,,21L 为神经网络的状态矢量，i v 为第i 个神经元的输出，输出取值为0

或者为1的二值状态。对任一神经元n v v v i ,,,,21L 为第i 个神经元的输入，它们对该神经元的影响程度用连接权in i i w w w ,,,21L 表示i θ为其阈值，则有：

图3.4.1 离散Hopfield 神经网络的工作原理图

⎩⎨

⎧>>=0

1i i i Net Net v （3.4.1）

式中，∑≠=−=

n

i

j j i j

ij

i v

w Net ,1θ，称为单元i 的状态。

Hopfield 网络是对称网络，故ji ij w w =。当0=ii w 时，称为无自反馈的离散Hopfield 网络；反之，称为有自反馈的离散Hopfield 网络。

Hopfield 网络有两种工作方式：

（1）异步方式：在任一时刻t ，只有某一个神经元按式（3.4.1）发生变化，而其余1−n 神经元的状态保持不变。

（2）同步方式：在任一时刻t ，有部分神经元按式（3.4.1）变化（部分同步）或所有神经元按式（3.4.1）变化（全并行方式）。

反馈神经网络的一个重要特点就是它具有稳定状态。

定义3.4.1 若神经网络从t = 0的任意一个初始状态)0(V 开始，存在一个有限的时刻，从该时刻后，神经网络状态不再发生变化，即：

()0)(>Δ=Δ+t t V t t V （3.4.2）

则称网络是稳定的。

Hopfield 神经网络是多个神经元相互结合的网络，它有两个最基本的最重要的约束条件： （1）神经元之间的相互结合强度是对称的，即ji ij w w =；

（2）各神经元之间状态完全动态地异步变化。

基于这两个约束条件，我们来考察一下网络的状态变化规律，并给出计算机仿真。

()t u i 是：

()()∑≠−=i

j i j ij i t v w t u θ （3.4.3）

这时，用符号函数作用于()t u i ，就得到1+t 时刻第i 个神经元的输出值()1+t v i 。因此，在这种模型中，

当某神经元输入端所接受的信号强度超过()t u i 的某个阈值i θ时，该神经元将触发成兴奋状态，基于上述讨论，Hopfield 神经网络模型状态的变化规则为：

（1）在网络中随机地选择一个神经元。

（2）求所选神经元()N i i ≤≤1的输入总合：()()∑≠−=i

j i

j

ij

i t v w t u θ

。

（3）根据()t u i 的值大小，更新神经元i 的状态：

()()

()().

01;

110=+=+≥t v else

t v t u if i i i

（4）神经元i 以外的神经元j 的状态不变化：()()t v t v j i =+1。

（5）转向（1）。

上面变化规则的第（1）步是随机地选择一个神经元，第（4）步是所选神经元以外的神经元状态不变化，这样的操作不断反复，从而实现了Hopfield 网络状态的异步变化[3]。

例：数字识别

为了验证Hopfield 网络的性能，本节将其应用于印刷体数字识别中，以求实现正确识别的目的。由于篇幅有限，我们只举阿拉伯数字1和2为例。

假设网络由10个初始稳态值0-9构成，即可以记忆10种数字。每个稳态由1010×的矩阵构成，该矩阵用于模拟阿拉伯数字点阵。所谓数字点阵，就是将数字划分成许多小方块，每一个小方块都对应着一部分数字。这里

图3.4.2 数字1的数字点阵 图3.4.3 受噪声污染的数字1的数字点阵

由此得出数字1和2的点阵表示形式分别为：

One=[-1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1];

Two=[1 1 1 1 1 1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; -1 -1 -1 -1 -1 -1 1 1 -1 -1; -1 -1 -1 -1 -1 -1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 -1 -1 -1 -1 -1 -1 -1 -1; 1 1 -1 -1 -1 -1 -1 -1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1];

利用这两个向量构建一个训练样本T=[One; Two]’，并由此构造一个Hopfield 网络用以识别受到噪声污染的其他数字样本。所谓噪声实际上就是数字点阵中的某些位发生畸变，如由原来的1畸变为-1，或者相反，如图3.4.3所示即为受到噪声污染的数字1 的点阵形式。

这里给出一个受到噪声污染的数字样本2的点阵如下：

Two2=[1 1 1 -1 1 1 -1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; -1 1 -1 1 -1 -1 1 1 -1 -1; -1 -1 1 -1 1 -1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 -1 -1 -1 -1 -1 -1 -1 -1; 1 1 -1 -1 -1 -1 -1 -1 -1 -1; 1 1 1 -1 1 1 1 1 -1 -1; 1 1 -1 1 1 1 1 1 -1 -1];

将上述待测样本输入已构建好的Hopfield 网络，网络输出结果与训练样本数字2的正常点阵一致，说明此网络对于识别受噪声污染的数字样本是有效的，且识别效果显著。由此，可将Hopfield 神经网络推广到其他识别领