动态神经网络综述

动态神经网络综述

摘要

动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。

关键词：动态神经网络，模型，功能，算法，应用

Abstract

Dynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network, and dynamic neural network's function, basic algorithm, application and promotion.

Keywords: DNN, Models , Function , Algorithm , Application

1、绪论

人工神经网络（Artificial Neural Networks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。

神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。

本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。

2、DNN网络的基本模型和算法

根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。

反馈网络(Recurrent Network),又称自联想记忆网络,如下图所示:

图2-1 反馈网络模型

反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。

反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：

第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；

第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。

反馈网络根据信号的时间域的性质的分类为

如果激活函数f(·)是一个二值型的阶跃函数,则称此网络为离散型反馈网络,主要用于联想记忆;

如果f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络,主要用于优化计算。

2.1、Hopfield神经网络

1982年,美国加州工学院J.Hopfield提出了可用作联想存储器和优化计算的反馈网络,这个网络称为Hopfield神经网络(HNN)模型,也称Hopfield模型.Hopfield网络是全反馈网络的突出代表,如图2-2所示,是一种单层对称全反馈的结构。Hopfield神经网络的结构特点是：每一个神经元的输出信号通过其它神经元后，反馈到自己的输入端。Hopfield网络具有从初始状态朝着能量减小的方向变化,最终收敛到稳定状态的能力,因此Hopfield网络可以实现优化计算，联想记忆等功能[4]。

图2-2 Hopfiled网络结构图

Hopfield 神经网络是一种互连型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分议程描述（离散型）或微分方程（连续型）来描述。系统的稳定性可用所谓的“能量函数”进行分析。在满足条件的情况下，某种“能量函数”的能量在网络运行过程中不断地减少，最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统的状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点（吸引子）、极限环、混沌、状态发散[5]。

f⋅是一个二值型的硬函数，则称此网在Hopfield网络中，如果其传输函数()

f⋅是一个连续单调上升的有界函数，络为离散型Hopfield网络；如果传输函数()

则称此网络为连续型Hopfield网络。

2.1.1、离散Hopfield神经网络

Hopfield最早提出的网络是神经元的输出为0-1二值的NN,所以,也称离散的HNN (简称为DHNN)。

在DHNN网络中,神经元所输出的离散值1和0分别表示神经元处于兴奋和抑制状态。各神经元通过赋有权重的连接来互联。

2.1.1.1、 网络结构

以三个神经元组成的DHNN 来说一下，其结构如下：

1 3 2

图2-2 三个神经元组成的HNN

在图中,第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能;而第一层是实际神经元,故而执行对输入信息和权系数乘积求累加和,并由非线性函数f 处理后产生输出信息。

f 是一个简单的阈值函数,如果神经元的输入信息的综合大于阈值θ,那么,神经元的输出就取值为1;小于阈值θ,则神经元的输出就取值为0。

对于二值神经元,它的计算公式如下

j n 1i i j i,j x y w

u +=∑=

其中x j 为外部输入,并且有

y j =1,当u j ≥θj 时

y j =0,当u j <θj 时

对于DHNN,其网络状态是输出神经元信息的集合。

对于一个输出层是n 个神经元的网络,则其t 时刻的状态为一个n 维向量:

y (t)=[y 1(t),y 2(t),...,y n (t)]τ

因为y i (t)可以取值为1或0,故n 维向量y (t),即网络状态,有2n 种状态.

对于一个由n 个神经元组成的DHNN,则有n ⨯n 权系数矩阵w ={w ij |i=1,2,...,n; j=1,2,...,n},同时,有n 维阈值向量θ=[θ1,θ2,...,θn ]τ。一般而言,w 和θ可以确定一个唯一的DHNN.

当w i,j 在i=j 时等于0,则说明一个神经元的输出并不会反馈到它自己的输

入。这时,DHNN 称为无自反馈网络.

当w i,j 在i=j 时不等于0,则说明—个神经元的输出会反馈到它自己的输入。

这时,DHNN 称为有自反馈的网络.

2.1.1.2、 工作方式

DHNN 有二种不同的工作方式:串行(异步)方式和并行(同步)方式.

1、串行(异步)方式