神经网络原理与应用

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
–智能型模型:这是最抽象层次,试图模拟人 脑信息处理的过程和策略。如感知,思维等 过程。
• 近年来,神经网络受到了国内外科技人 员的广泛关注,得到了大量的研究,归 纳起来,研究主要包括三个方面:
▪ 理论 ▪ 应用 ▪ 实现
其特点和具体的研究课题简介如下:
1.理论研究:
其特点是NN的数学理论相对比较薄弱, 因此容易提出一些新方法和新思想,这方 面的研究课题主要包括:
• 受到各国政府、科学家和企业家的重视,各 门学科联合研究,提出重、 德国欧洲防御、俄罗斯高技术发展计划,中 国863计划等。
• 86.4,召开第一届ANN国际会议,87.6,召开第 一届IEEE NN国际会议,同年国际NN学会成立, 88年元月,NN杂志创刊。88年后NN国际学会 与IEEE联合每年一次国际会议,90年3月IEEE NN会刊问世。
• 4)无导师监督学习规则:这种规则是网 络通过向外界客观事物学习,自发地完 成权值修正,希望通过修正权值,以使 网络能客观反映事物的真实分布,学习 过程是通过竞争而自适应地进行的,从 而使不同节点有选择地接收或响应输入 空间中的具有不同特性的激励。

四.ANN的分类及研究方向
目前神经网络模型已有近百种,不同的 模型从不同的侧面模拟人脑的某些特征, 因此可以完成不同的功能。如果说要将神 经网络进行分类的话,可以从以下几个方 面进行分类:
• 在人工神经网络中,信息的存储与处理 是合二为一的,即信息的存储体现在神 经元连接的权值分布之中,并以大规模 并行分布方式处理。
• 神经网络的信息处理过程可以分为两个 阶段,一个是学习期,此时各神经元的 状态不变,而各连接权值通过学习进行 修正,这个过程相对较慢,权值的调整 过程即为学习过程,最终的权值分布即 为长期记忆。
a)模型的研究:
﹡比如人脑的生理结构、思维机制、神 经元的生物特性(时空特性)、不应期、 电化学性质等完善的人工模拟,如高阶非 线性模型,多维局域连接模型等。
﹡神经网络计算模型及学习算法等研究。 比如提出一些新的网络结构,不同的神 经元模型和非线性特性及新的学习方法 (混沌神经元,模糊神经元,随机逻辑 神经元,高斯型非线性特性,负阻型非 线性特性,随机算法,模拟退化算法, 强化学习算法,遗传算法等)
神经网络是由大量的神经元以不同的 方式连接而成的大规模复杂系统,不同的 网络模型可能具有不同的连接方式,常用 的连接方式有:
• 1)不含反馈的前向网络: 这种网络中的神经元分层排列,每层
神经元只接收前一层神经元的输入。 感知器和BP网络,径向基函数网络等
均是这种类型。
• 2)从输出层到输入层有反馈的前向网络: 如:ART网络(自适应共振理论网络)
•从第一台数字计算机问世(1946年),
计算机系统几经更新换代,经历了由电 子管、晶体管、LSI、VLSI,到后来的 奔腾4、双核技术等发展阶段。
•近年来,软件方面也在不断升级更新, 计算机性能越来越优越,应用也越来越 广泛。
•尽管如此,但计算机系统并非万能,它 存在着自身的局限性和物理极限(小型 化),其特点是串行运算,输入输出存 在线性的和确定性的关系。
• 除此之外,还有一些其它科学背景的支 撑,如70年代产生的新三论:协同论, 突变论与耗散结构论以及近年来广泛研 究的混沌动力学理论等,都揭示了复杂 系统如何通过微观元件的集体协同作用 ,使系统结构在宏观上达到从无序到有 序,功能由简单到复杂的非线性动力学 过程。这种过程类似于生物系统的进化 过程和智能系统的学习过程。因此,对 NN的研究给予了不可或缺的启示。
–神经元层次模型:研究单个神经元特性及 对输入响应机理。如 Adaline
–组合式模型:由数种不同特性的神经元组 成,它们相互补充,相互协作,完成某些 特定的功能。如模式识别等。
–网络层次模型:由许多相同的神经元互联而 成,从整体上研究网络的集体特性。如HNN等。
–神经系统层次模型:由多个不同性质的网络 组成的复杂系统,模拟生物神经系统更复杂 或更抽象的性质。如概念形成。
HNN和Boltzman机等网络均属于这种。
• 4.神经网络的工作方式及学习规则 在传统的数字计算机中,计算与存储
是完全独立的两个部分,即计算机在计算 之前要从存储器中取出待处理的数据,然 后计算,最后又将结果存入存储器,这样 存储器与计算器之间的通道就构成了计算 机的瓶颈,从而大大限制了它的运算能力。
• 1.按网络的性能可分为: 连续型与离散型 确定性与随机性网络
• 2.按网络结构可分为: 反馈网络,存在稳定性问题 前向网络,不存在稳定性问题,只有 算法的收敛性
• 3.按学习方式可分为: 有导师学习网络 无教师学习网络
• 4.按连接突触性质可分为: 一阶线性关联网络 高阶非线性关联网络
• 5.按网络模型所模拟人脑神经系统的功 能层次可分为:
b)神经网络基本理论研究
﹡非线性内在机制--自适应、自组织、协 同作用、突变、奇怪吸引子与混沌、分维、 耗散结构、随机非线性动力学等。
﹡神经网络基本性能:稳定性、收敛性、 容错性、鲁棒性、动力学复杂性等。
• 2.人工神经元模型及常用的非线性函数 人工神经元模型是对生物神经元的模
拟和近似,所以类似于生物神经元,其结 构模型由下图示:
i
• 它是一个多输入单输出的非线性器件,其中 X1,…Xn为外界输入信号,可以是来自其它神经
元 经的 神输 经出 元信 处号 理,后的Wi为输连出接信权号值,,神经 i 为元阈对值外,界Yi输为
• NN模型有几十种甚至上百种,都是由许多简 单的、相同的神经元组成的,不同模型的区 别在于反映神经元非线性特性的激励函数、 神经元之间的连接方式和所采用的学习规则 不同。这是决定NN特性的三个基本要素。
• 为了对三要素分别介绍,我们首先看一下生 物神经元的结构和机理。
• 1. 生物神经元模型 生物神经元由细胞核、轴突、树突和突触等 组成。 生物神经元的功能: ①时空整合功能 ②兴奋和抑制状态 ③突触延时和不应期 ④学习、遗忘和疲劳
• 而另一阶段则是工作期,此时神经网络 已经训练好,连接权值保持不变,即通 过信息的不断传递,使各神经元状态发 生变化,从而使网络最终达到一个稳定 平衡态,这就像人脑寻找记忆的过程, 这一过程相对较快,各神经元的状态也 称之为短期记忆。
• 不同网络的学习规则有所不同,学习规 则即为权值调整的一种算法,有的网络 学习或权值调整是在网络信息处理过程 中自发地完成的,而有的网络则需要从 例子中进行学习,常用的学习规则有如 下几种:
⑤运算、存储合而为一←→运算、存储分离
二.ANN研究简史
• ANN研究简史可追溯到四十年代初,但由于 种种原因,起始阶段发展不快,并曾一度 陷入低谷。
• 近几十年,科学技术的不断发展,为ANN发 展奠定了基础,使得ANN异军突起,空前活 跃,成为研究热点。
• 1943年,MP模型(McCulloch和Pitts) • 1944年,Hebb学习规则(条件反射规则) • 1957年,Rosenblatt提出:感知器
• NN的问世标志着认知科学、计算机科学 及人工智能的发展又处于一个新的转折 点,它的应用和发展,不但会推动神经 动力学本身,而且将影响新一代计算机 的设计原理,可能为新一代计算机和人 工智能开辟一条崭新的途径,并为信息 科学带来革命性的变化。
三.神经网络原理简介
• 神经网络是模拟人脑的一种信息处理系统, 它只是一种抽象、简化的模拟。
• 3)层内有相互接合的前向网络,通过层内 相互接合可达到同层中神经元之间的侧向 抑制和兴奋机制。 如:SOFM网络(自组织特征映射网络)
• 4)全互联网络(相互结合型网络) 网络中各神经元之间都有可能连接, 在这种网络中信号要在神经元之间反复往 返多次传递,网络状态不断变化,直到某 时刻才达到某种平衡状态。
神经网络与模式识别研究室
• 那么,什么是神经网络?它与传统数字计算 机的区别在于,它是模拟人脑的一种信息处 理系统,具有许多特点,功能强大。
• ANN与数字计算机比较: ①并行处理←→串行处理
②鲁棒性、容错性←→确定性、精确性
③自学习能力←→专家经验的知识库,无更新
④大规模自适应非线性动力系统←→线性确 定性系统
• 因此要进一步提高性能,就必须要求在器 件、原理及思路上有所突破,要充分体现 并行运算、非线性、不确定性关系等特点。
• 以非线性大规模并行处理为特点的人工神 经网络,突破了传统线性处理为基础的数 字计算机的局限,受到各学科领域的广泛 关注,将为计算机技术的发展带来一场革 命,并促使以神经计算机为基础的高技术 群的诞生和发展。
• b)线性或分段线性型:
f (x) kx
1 f (x) kx
0
x0 x 0 x x0 x0
f(x)
+1
0
x
-1
x0
• c)Sigmoidal函数型:
f (x) 1

1exp(x)
f(x)1(1th( x))
2
x0
f(x) +1
0
x
-1
这类曲线可连续取值,反映了神经元 的饱和特性。
• 3.神经网络的连接方式
入信号进行处理。可分为三步:
1)加权求和
2)阈值比较
3)非线性处理
所以整个过程可由如下公式描述:
n
yi f( XjWj i)
j
• 对于不同的神经网络模型,其中神经元 的非线性激励函数f(.)可能取不同的形 式,常用的非线性函数有如下三种类型:
• a)阈值型:
f(x)10
x0 x0
• 这是最早提出的二值离散神经元模型。
神经网络原理与应用
第一章 绪论
一.概述 二.神经网络(ANN)研究简史 三.神经网络(ANN)原理简介 四.ANN的分类及研究方向
一.概述
• 近几十年,人工神经网络的研究和应用, 引起了国内外学术界的广泛重视,并在许 多领域取得了显著成果。
• 对于电子技术和信号处理专业的学生和科 技人员,对神经网络理论进行必要的学习 和掌握,甚至可能的话,在实际中加以应 用,是非常有意义的。
人工智能较快发展。
• 1982年,加州工学院 Hopfield提出:HNN 模型,在网络中引入能量函数概念,作为 稳定性判据,给出RC电路模型,推动了NN 发展,使ANN用于联想记忆和优化计算。
• 之后,ANN研究进入空前活跃期,Hinton 等提出Boltzman机,采用多层网络学习方 法,在学习过程中借用统计物理学的方法, 引入模拟退火技术。
• Rumelhart等提出:并行分布处理理论, 发展了BP算法。
• Kosko提出:双向联想记忆网络 • 1988年,加州大学蔡少堂和复旦大学杨 • 林提出:细胞神经网络。
• 近年来,ANN研究更加火热,提出了各种新的 网络模型,并结合模糊理论、小波理论、混 沌理论、分形理论等技术,应用也更加广泛。
• 1)相关规则:仅根据连接间的激活水平 改变权值,比如Hebb规则为:
W ijS iSj
0
与条件反射学说相一致,即外界激励越 强,神经元越兴奋,连接权值越增强。
• 2)纠错规则:依赖于输出节点的外部反 馈信息改变权值,相等于梯度下降法, 通过改变权值不断纠正错误,从而达到 最终所期望的输出。所以需要有一个指 导信号或参考信号,这种规则又称为有 导师监督学习规则。
(perceptron) • 1962年,自适应线性元件(Adaline) • 1969年,Minsky和Papert证明了感知器
的局限性,发表《perceptron》 论文
• 1966-1982年,陷入低谷,期间:
• 维纳学生Grossberg(美科学院院士) 提出:自适应共振理论
• Kohonen提出:自组织特征映射网络 • Amari(甘利俊一)从事数学理论研究 • Anderson提出:盒中脑(BSB)模型 • Webos提出:BP 理论(1974年) • 在这期间,数字计算机跨越三代,传统
• ANN研究热潮出现,除了神经科学研究 本身的突破和进展外,更重要的是由于 计算机科学和人工智能发展的需要以及 VLSI技术,生物技术,超导技术和光学 技术等领域迅速发展,为ANN技术发展 提供了技术上的可能性。
• ANN研究涉及到计算机科学、控制论、 信息科学、微电子学、心理学、认知科 学、物理学与数学等学科。
相关文档
最新文档