混沌神经网络研究进展与展望_董军

第26卷第5期1997年10月

　信息与控制

Infor mation and Contr ol

V ol.26,N o.5

　Oct.,1997混沌神经网络研究进展与展望

董　军　胡上序

(浙江大学　杭州　310027)

摘　要　概述了混沌动力学的特性,回顾了近年来混沌神经元模型及混沌神经网络的研究进展,在此基础上,介绍了两种混沌神经网络模型,分析了其构成和特点.已有研究结果表明,混沌神

经网络在联想记忆和组合优化等方面有着比现有网络更好的性能.最后,指出了混沌神经网络的

应用与研究方向.

关键词　混沌,人工神经元,混沌神经网络,联想记忆,组合优化

1　引言

在过去的十年里,人工神经元网络的研究与应用是计算机与人工智能、认知科学、神经生理学、非线性动力学等相关专业的热点.它吸引了为数众多的科技工作者,提出或用及的网络类型有百种,涉及模式识别、决策优化、联想记忆、自适应控制和计算机视觉等等难以胜数的方面,有关神经网络算法、性能及应用的论文大量出现.然而,由于目前人类对真实神经系统只了解非常有限的一部分,对于自身脑结构及其活动机理的认识还十分肤浅,当今的神经网络模型实际上是极为简略和粗糙,并且是带有某种“先验”的.譬如,Boltzmann机引入随机扰动来避免局部最小,有其卓越之处,然而缺乏必要的脑生理学基础.毫无疑问,人工神经元网络的完善与发展有待于神经生理学、神经解剖学的研究给出更加详细的信息和证据.

近年来,人们发现,脑中存在着混沌现象[1,2],混沌理论可用来理解脑中某些不规则的活动[3],从而,混沌动力学为人们研究神经网络提供了新的契机,用神经网络研究或产生混沌以及构造混沌神经网络成为摆在人们面前的又一新课题.因为从生理本质角度出发(这里并不是单纯提倡纯粹意义上的生理模拟,因为人类认识自然和社会的规律并非是一种“照抄照搬”的过程,只是应该有客观的依据和明确的目的)是研究神经网络的根本手段.为此,本文对当今混沌神经网络的研究作一简要回顾,疏漏之处在所难免,恳望指正.

2　混沌动力学简介

神经网络是高度非线性动力学系统.动力学系统一般可定义为由确定的微分方程或差分方程描述的一个系统在时间轴上的状态演变,若刻划系统的函数对自变量的依赖关系高于一次,则此动力学系统为非线性动力学系统[4].动力学系统中的吸引子(Attractor)是一个十分重要的概念,当某一时刻系统状态确定后,其后的状态将按动力学方程转移,靠近某一稳定状态,这样的状态便是吸引子.吸引子有许多种,包括点吸引子,周期吸引子,奇异吸引子(混沌是其典型例子).通常,神经网络有多个吸引子,吸引子对应的初值集合叫做吸引域.神经网络研究的关键是吸引域[5].

严格说来,混沌现象是不含外加随机因素的完全确定性的系统所表现出的内秉随机行 1996-06-21收稿

为[6].是界于规则和随机之间的一种行为.对于混沌性质的判别,从数学上讲至今没有统一的定义,比较常用的有Li-Yorke,Devaney,M arotto 意义下的混沌3种.在实际上为了刻划混沌动力学性质往往用到Lyapunov 指数和熵[7,8].

设离散动力系统(X ,f ),初值为x 0,生成轨道为{x n },n ∈Z .考虑沿x 0的某个切线方向上的无穷小扰动y 0,则y 0随时间的演化服从于

y n +1=Df (x n )y n

(1)显然y 0/ y 0 给出了在x 0处所引起扰动方向,而 y n / y 0 表示扰动是放大或缩小.由(1)式得y n =Df n (x 0)y 0

(2)其中Df n (x 0)=Df (x n -1)Df (x n -2)…Df (x 0).这样就可定义在初值x 0下,沿着y 0/ y 0 方向的

Lyapunov 指数为

L E (x 0,u 0)=lim n →∞1n ln( y n / y 0 )=lim n →∞1n ln(Df n (x 0)u 0)(3)其中u 0= y 0 / y 0 .正的Lyapunov 指数表征存在混沌行为.

1963年Lorenz 在分析气侯数据时发现:初值十分接近的两条曲线的最终结果会相差很大,从而获得了混沌的第一个例子;1975年Li-Yorke 的论文“周期三意味着混沌”使“混沌”一词首次出现在科技文献中.混沌可由简单的确定性规则产生,其运动状态可容易地由控制参数改变,并可使初值的微小差别加以扩大,表面上的非周期背后隐藏着有序性,混沌表明了长期预测是不可能的.混沌的研究始于数学和物理,现已扩及工程、信息和社会科学领域.

目前,混沌的应用可分为综合混沌(Sy nthetic Chaos)和分析混沌(Analy tic Chaos)两方面[9].前者利用人工产生的混沌从混沌动力学系统中获得可能的功能,如人工神经网络的联想记忆,逃离局部最小,机器人的路径规划等,它们都利用了简单的确定性规则;后者分析由复杂的人工和自然系统中获得的混沌信号并寻找隐藏的确定性规则,如时间序列数据的非线性确定性预测,系统的诊断和控制等.

混沌吸引子是混沌系统研究的主要对象,不管系统初态如何,最终行为都取决于吸引子.神经网络理论研究中引入混沌学思想有助于揭示人类形象思维等方面的奥秘,进而为合理利用神经网络的混沌行为指明方向[10].

3　混沌神经元模型及混沌神经网络的研究情况

混沌是一种非线性的动力学行为,而Ho pfield 结构正是神经网络与非线性动力学行为的良好结合,因而它可以作为研究混沌神经网络的基础网型[11,17];而BP 算法可用来观察、学习混沌动力学系统[12],用被破坏的输入数据集重构二维混沌系统的吸引子,得到相应的几何信息[13].

混沌神经网络的研究起于并基于混沌神经元的研究[3,14～22],混沌神经元是构造混沌神经

网络的基本单位,对于单个神经元的混沌特性的了解可为混沌神经网络提供必要前提和认识基础.混沌神经元的研究中,振荡子(Oscillator )是一种典型的研究对象[17～19,32],因为振荡子或它们的组合可表现出丰富的混沌动力学行为.对于在动力系统平衡点不满足Lipschitz 条件所引起的极限(Terminal)混沌的现象的研究显示:神经元活动的混沌态与高级认识过程有关[14];还有用谱和维数分析混沌神经元模型[15],并用f ( )谱量化混沌神经元模型的多分形(M ulti-fractal)结构[16].混沌神经网络的框架或模型也已提出[18～24],并涉及联想记忆、组合优

3615期

董　军等:混沌神经网络研究进展与展望