神经计算技术的发展和展望

神经计算技术的发展和展望

摘要神经计算技术是国际上近年来理论技术快速发展和应用领域迅速扩大的一门学科。本文介绍神经计算技术的研究方向、主要研究内容、发展过程及主要成就，简要分析和评述神经计算技术近年来的发展趋势，展望其未来发展并提出了若干建议。

关键词神经计算，人工神经网络，进化计算，遗传算法，模糊神经网络，学习算法。

1. 引言

目前的技术发展趋势表明，21世纪是一个智能科技进步的世纪，智能技术将深入渗透到社会生活的方方面面，是体现一个国家综合国力的重要标志性技术，它将成为提高一大批，特别是信息产业、生物和生命技术产业产品国际竞争力和产出能力的强大内在动力。相当一部分人认为，它将同20世纪集成电路和计算机技术一样成为21世纪的又一次新技术革命的基石。作为智能技术的重要分支，神经计算技术将成为智能技术的主流，基于神经计算原理的超高性能计算机——神经计算机也将成为现实，并广泛地应用于科学研究的各个领域，甚至进入家庭。

使机器具有智能是当今科技追求的最高目标之一，人类社会工程科学进步的历史反映在社会生产工具的发展史中。古代人类的第一代生产工具只利用材料而没有动力和智能，如石刀、镰刀等，扩展了人的体质功能；近代人类的第二代社会生产工具运用材料、动力而没有智能，如蒸气机、机床等，扩展了人的体力功能；现代社会人类正在发展第三代社会生产工具。它是材料、动力和智能共同支持的智能工具，如智能机器人，将扩展人的智力功能。

实现智能的最有效理论方法是神经计算技术。神经计算技术是人们为模仿生物智能而发展起来的一门学科技术，众所周知，自然界数十亿年的进化选择，创造了人脑这种代表自然界漫长演化过程的最高智能产物，从神经元细胞系统作为出发点，模仿人脑或高级动物大脑智能而发展起来的一门新兴学科技术——神经计算技术，必然是解决智能问题的最好选择。

神经计算技术自从40年代诞生以来，引发了生理学家、认知学家、工程学家和数理学家的共同兴趣，并广泛地展开交叉合作，参与人数之多，渗透领域之广，给智能科学的研究者以相当大的信心，一些发达国家将其列入国家重点科技发展计划，如日本的“Real World Computing”计划花巨资打算花20年或更长的时间发展这一学科，以每年投巨资1000亿日元（约8亿美元）的支持强度，提出研究脑、保护脑、并最终仿造脑的发展目标。

神经计算技术是一项综合性的高新技术，它涉及计算机、微电子、材料、精密仪器、能源、交通、通信、生物、化学、医学等领域，是一个学科交叉性很强的研究领域，从其技术本质和国内外近些年的发展看，发展前景方兴未艾。

—24 —

2. 神经计算技术的基本概念

我们认为，神经计算技术是指以高级动物的神经系统，特别是人脑的智能活动为模仿对象，研究神经智能系统的工作机理、组织机构和计算机制等，并在工程上让机器实现要人脑认知思维功能才能完成的工作，以解决实际中大量智能应用问题的一门学科。其最高的目标是实现人类的智能，就目前来说，限于人们对神经计算的认识水平，目标应该是部分地实现类似人的某些智能功能，如记忆、联想、学习、推理、模式识别、智能控制、进化、语言理解等。

人脑在组织结构上分左右半球，它们之间通过神经元广泛地联接，现代神经科学研究的结果表明左脑主逻辑思维，右脑主形象思维，所以神经计算技术实质上是研究如何用机器实现逻辑思维和形象思维两方面智能功能的技术。另外人脑是一个不断进化的产物，在进化过程中有遗传和变异特征。从这些方面看，我们常见的学术研究领域，如人工神经网络、人工智能、机器智能、模糊与软计算、生物智能、进化计算、基因（遗传）算法均属神经计算技术的研究范畴。

神经计算有许多与人脑相似的计算特点，并不断利用脑科学的研究新成果，使得其更好地向人脑功能逼近。现在看来，神经计算已具备以下的特点：

1）大规模并行处理；2）分布式信息存储和处理；3）记忆和处理合二为一；4）有很强的容错能力；5）有自学习功能和自适应能力；6）类似生物系统的进化功能等。

3. 神经计算技术的主要研究内容

神经计算技术的研究内容所涉及的面很宽，限于篇幅，这里仅介绍我们所熟悉的几个主要研究领域并只作简要介绍：

3.1 人工神经网络

人工神经网络是神经计算的最重要主要的组成内容，它侧重于模仿和实现动物脑系统中局部网络的组织形式和计算功能。基本问题是功能网络结构与学习方法两个方面，扩展问题包括神经网络的物理实现和工程应用。

在功能网络结构基本问题方面，主要有神经元模型，以及针对联想记忆、函数逼近、预测估计、控制、优化、图象视觉、模式识别等功能的网络拓扑结构。

神经元是构成神经网络的基本细胞单位，早在1943年，心理学家M. McCulloch和数学家W. Pitts合作提出了神经元最早的数学模型，即著名的M－P模型，开创了神经计算科学理论和技术研究的时代。目前，大部分神经网络中的神经元都离不开这一模型框架。当然这一早期模型有一定的局限性，后来的研究者提出了各种各样的神经元模型，如模糊神经元、震荡神经元、激活函数可训练的神经元，还有著名生理学家A. L. Hodgkin与A. F. Huxley建立的H －H神经元模型。

网络拓扑类型

按网络拓扑结构分类，人工神经网络主要有前向传递型多层网络、反馈型网络、邻域互联型网络和混合型网络四类。前向传递型多层网络研究最早并且应用最为广泛，根据学习训

—25 —

练方法，又分为有监督学习的BP网络、RBF网络、SVM、时间延迟型前馈网络、有前向跨接的前向网络、高阶多项式网络、联想记忆网络等和无监督学习的自组织映射网络等。

在单层或多层前向传递型网络中，若某一层的输出反馈到其自身或更前面的层，则构成了反馈型网络。最著名的如Hopfield网络，双向联想记忆网络。高度复杂的非线性使反馈型网络比前向多层网络分析和学习都困难得多，一般将其看作一种复杂的动力学系统，可能具有混沌等复杂特性。主要计算原理是利用其动力学状态的平衡点（吸引子）或有规律的状态变化来实现记忆、优化控制等功能。

邻域互联网络同前述两种类型的网络不同，该拓扑型网络中神经元的排列无明显的分层特性，神经元在二维或三维的空间网格上排列，其中任一神经元只与其某个邻域的若干神经元互联，而与邻域以外的神经元无任何联接。这种拓扑结构神经网络的典型代表有细胞神经网络（Cellular Neural Networks）和震荡相关神经网络。这类网络主要是模仿动物视觉系统的工作原理，学习算法以自组织无监督学习为主。

混合神经网络是由上述三种类型网络作为系统构成部件，按一定的联接拓扑构成的一种复杂的混合网络，如德国著名的协同论创始人H. Haken的协同神经网络，日本学者K. Fukushima的神经认知机等。

学习算法

学习能力是人脑区别于现行V on Neumann计算机的一个重要特征，是大脑智能活动不可缺少的环节。在所有的神经网络计算技术中，学习机制与学习算法是必须关注和深入研究的课题。

神经网络学习是通过自动调整网络参数达到某种目的的自适应过程。根据学习时有无教师（即有输出结果的样本）示教，可分为有监督和无监督学习两大类。有监督学习一般通过缩小实际输出与期望输出之间的误差实现的，著名的有前向多层网络的BP学习算法，Widrow-Hoff规则， 规则等。无监督学习是将神经网络看作一个动力系统，该动力系统在输入样本数据的刺激下，按照某种动力学规则运转，会表现一定的动力学或统计学特性，如能量减少、统计独立或不相关，学习达到稳定状态后所表现出的稳定特性对应用十分有用，可以解决某些应用问题，如T. Kohenon的自组织特征映射（SOFM）学习有良好的聚类分析、特征维数压缩的作用。

根据学习过程有无目标函数，又可分为基于目标函数优化的学习和无目标函数的学习两大类学习算法。目标函数为某种准则，如误差、信息熵，统计独立/不相关的指标函数等，通过优化目标函数，使其极小或极大而达到学习目的。常用的目标函数有均方误差、信息熵，Kullback距离等。这类学习算法用途十分广泛，典型的作用有独立分量分析（ICA）、主分量分析（PCA）、条件概率密度估计、模式分类器训练、预测器训练，函数逼近，模型辨识等。

无目标函数的学习是按某种学习规则，如著名的Hebb规则，使神经网络在学习稳定后达到某种特性。像联想/联想记忆网络学习算法、Hopfield网络学习算法，震荡相关神经网络学习算法等均属于这类方法。

需要指出的是，有的有监督学习并不属于基于目标函数优化的学习，如联想记忆网络的学习遵从Hebb规则；而有些无监督学习却属于这类学习，如独立分量分析。

3.2 遗传算法和进化计算

生物的智能与其在地球上30亿年的进化发展分不开。过去一百多年生物界已经开始认识和探索生物进化的规则和过程，并取得了至少两个划时代的成果。19世纪中叶，达尔文（C. R.

—26 —