神经网络原理与应用.

一．概述
• 近几十年，人工神经网络的研究和应用， 引起了国内外学术界的广泛重视，并在许 多领域取得了显著成果。
• 对于电子技术和信号处理专业的学生和科 技人员，对神经网络理论进行必要的学习 和掌握，甚至可能的话，在实际中加以应 用，是非常有意义的。
2018/9/27 神经网络与模式识别研究室
3
•从第一台数字计算机问世（1946年）， 计算机系统几经更新换代，经历了由电 子管、晶体管、LSI、VLSI，到后来的 奔腾4、双核技术等发展阶段。 •近年来，软件方面也在不断升级更新， 计算机性能越来越优越，应用也越来越 广泛。 •尽管如此，但计算机系统并非万能，它 存在着自身的局限性和物理极限（小型 化），其特点是串行运算，输入输出存 在线性的和确定性的关系。
2018/9/27 神经网络与模式识别研究室
8
• 1966-1982年，陷入低谷,期间：
• 维纳学生Grossberg（美科学院院士） 提出：自适应共振理论 • Kohonen提出：自组织特征映射网络 • Amari（甘利俊一）从事数学理论研究 • Anderson提出：盒中脑（BSB）模型 • Webos提出：BP 理论（1974年） • 在这期间，数字计算机跨越三代，传统 人工智能较快发展。
2018/9/27
神经网络与模式识别研究室
10
• Rumelhart等提出：并行分布处理理论， 发展了BP算法。 • Kosko提出：双向联想记忆网络 • 1988年，加州大学蔡少堂和复旦大学杨 • 林提出：细胞神经网络。
2018/9/27
神经网络与模式识别研究室
11
• 近年来，ANN研究更加火热，提出了各种新的 网络模型，并结合模糊理论、小波理论、混 沌理论、分形理论等技术，应用也更加广泛。 • 受到各国政府、科学家和企业家的重视，各 门学科联合研究，提出重大研究计划，如： 美国DARPA计划、日本HFSP计划、法国尤里卡、 德国欧洲防御、俄罗斯高技术发展计划，中 国863计划等。 • 86.4,召开第一届ANN国际会议,87.6,召开第 一届IEEE NN国际会议，同年国际NN学会成立， 88年元月，NN杂志创刊。88年后NN国际学会 与IEEE联合每年一次国际会议，90年3月IEEE NN会刊问世。
神经网络与模式识别研究室
30
• 不同网络的学习规则有所不同，学习规 则即为权值调整的一种算法，有的网络 学习或权值调整是在网络信息处理过程 中自发地完成的，而有的网络则需要从 例子中进行学习，常用的学习规则有如 下几种：
2018/9/27
神经网络与模式识别研究室
31
• 1)相关规则：仅根据连接间的激活水平 改变权值，比如Hebb规则为：
或
1 x f ( x) (1 th( )) 2 x0
f(x) +1
0
x
-1
这类曲线可连续取值，反映了神经元 的饱和特性。
神经网络与模式识别研究室
2018/9/27
22
• 3.神经网络的连接方式
神经网络是由大量的神经元以不同的 方式连接而成的大规模复杂系统，不同的 网络模型可能具有不同的连接方式，常用 的连接方式有：
2018/9/27 神经网络与模式识别研究室
16
• 1. 生物神经元模型 生物神经元由细胞核、轴突、树突和突触等 组成。 生物神经元的功能： ①时空整合功能 ②兴奋和抑制状态 ③突触延时和不应期 ④学习、遗忘和疲劳
2018/9/27
神经网络与模式识别研究室
17
• 2.人工神经元模型及常用的非线性函数 人工神经元模型是对生物神经元的模 拟和近似，所以类似于生物神经元，其结 构模型由下图示：
2018/9/27 神经网络与模式识别研究室
29
• 而另一阶段则是工作期，此时神经网络 已经训练好，连接权值保持不变，即通 过信息的不断传递，使各神经元状态发 生变化，从而使网络最终达到一个稳定 平衡态，这就像人脑寻找记忆的过程， 这一过程相对较快，各神经元的状态也 称之为短期记忆。
2018/9/27
28
• 在人工神经网络中，信息的存储与处理 是合二为一的，即信息的存储体现在神 经元连接的权值分布之中，并以大规模 并行分布方式处理。 • 神经网络的信息处理过程可以分为两个 阶段，一个是学习期，此时各神经元的 状态不变，而各连接权值通过学习进行 修正，这个过程相对较慢，权值的调整 过程即为学习过程，最终的权值分布即 为长期记忆。
• 因此要进一步提高性能，就必须要求在器 件、原理及思路上有所突破，要充分体现 并行运算、非线性、不确定性关系等特点。 • 以非线性大规模并行处理为特点的人工神 经网络，突破了传统线性处理为基础的数 字计算机的局限，受到各学科领域的广泛 关注，将为计算机技术的发展带来一场革 命，并促使以神经计算机为基础的高技术 群的诞生和发展。
yi f ( X jW j i )
j
2018/9/27 神经网络与模式识别研究室
n
19
• 对于不同的神经网络模型，其中神经元 的非线性激励函数f(.)可能取不同的形 式，常用的非线性函数有如下三种类型： • a)阈值型:
1 f ( x) 0
2018/9/27
x0 x0
• 这是最早提出的二值离散神经元模型。
2018/9/27 神经网络与模式识别研究室
14
• NN的问世标志着认知科学、计算机科学 及人工智能的发展又处于一个新的转折 点，它的应用和发展，不但会推动神经 动力学本身，而且将影响新一代计算机 的设计原理，可能为新一代计算机和人 工智能开辟一条崭新的途径，并为信息 科学带来革命性的变化。
2018/9/27
神经网络与模式识别研究室
15
三．神经网络原理简介
• 神经网络是模拟人脑的一种信息处理系统， 它只是一种抽象、简化的模拟。 • NN模型有几十种甚至上百种，都是由许多简 单的、相同的神经元组成的，不同模型的区 别在于反映神经元非线性特性的激励函数、 神经元之间的连接方式和所采用的学习规则 不同。这是决定NN特性的三个基本要素。 • 为了对三要素分别介绍，我们首先看一下生 物神经元的结构和机理。
• 3)层内有相互接合的前向网络，通过层内 相互接合可达到同层中神经元之间的侧向 抑制和兴奋机制。 如：SOFM网络（自组织特征映射网络）
2018/9/27
神经网络与模式识别研究室
26
• 4)全互联网络（相互结合型网络） 网络中各神经元之间都有可能连接， 在这种网络中信号要在神经元之间反复往 返多次传递，网络状态不断变化，直到某 时刻才达到某种平衡状态。 HNN和Boltzman机等网络均属于这种。
2018/9/27
神经网络与模式识别研究室
23
• 1)不含反馈的前向网络： 这种网络中的神经元分层排列，每层 神经元只接收前一层神经元的输入。 感知器和BP网络，径向基函数网络等 均是这种类型。
2018/9/27
神经网络与模式识别研究室
24
• 2)从输出层到输入层有反馈的前向网络： 如：ART网络（自适应共振理论网络）
Wij Si S j
0
与条件反射学说相一致，即外界激励越 强，神经元越兴奋，连接权值越增强。
2018/9/27
神经网络与模式识别研究室
32
• 2)纠错规则：依赖于输出节点的外部反 馈信息改变权值，相等于梯度下降法， 通过改变权值不断纠正错误，从而达到 最终所期望的输出。所以需要有一个指 导信号或参考信号，这种规则又称为有 导师监督学习规则。
2018/9/27 神经网络与模式识别研究室
12
• ANN研究热潮出现，除了神经科学研究 本身的突破和进展外，更重要的是由于 计算机科学和人工智能发展的需要以及 VLSI技术，生物技术，超导技术和光学 技术等领域迅速发展，为ANN技术发展 提供了技术上的可能性。 • ANN研究涉及到计算机科学、控制论、 信息科学、微电子学、心理学、认知科 学、物理学与数学等学科。
7
• 1943年，MP模型(McCulloch和Pitts) • 1944年，Hebb学习规则(条件反射规则) • 1957年，Rosenblatt提出：感知器 (perceptron) • 1962年，自适应线性元件（Adaline） • 1969年，Minsky和Papert证明了感知器 的局限性，发表《perceptron》 论文
神经网络原理与应用
Artificial Neural Networks and Applications
孙光民教授
北京工业大学电子工程系
Tel: 67391526; E-mail: gmsun@bjut.edu.cn
第一章 绪论
一．概述 二．神经网络(ANN)研究简史 三．神经网络(ANN)原理简介 四．ANN的分类及研究方向
2018/9/27
神经网络与模式识别研究室
33
• 4)无导师监督学习规则：这种规则是网 络通过向外界客观事物学习，自发地完 成权值修正，希望通过修正权值，以使 网络能客观反映事物的真实分布，学习 过程是通过竞争而自适应地进行的，从 而使不同节点有选择地接收或响应输入 空间中的具有不同特性的激励。 。
• 4.神经网络的工作方式及学习规则 在传统的数字计算机中，计算与存储 是完全独立的两个部分，即计算机在计算 之前要从存储器中取出待处理的数据，然 后计算，最后又将结果存入存储器，这样 存储器与计算器之间的通道就构成了计算 机的瓶颈，从而大大限制了它的运算能力。
2018/9/27
神经网络与模式识别研究室
神经网络与模式识别研究室
20
• b)线性或分段线性型：
f(x)
+1
f ( x) kx
1 f ( x) kx 0
2018/9/27
0
-1
x
x0 x 0 x x0 x0
神经网络与模式识别研究室
x0
21Байду номын сангаас
• c)Sigmoidal函数型：
1 f ( x) 1 exp( x)
2018/9/27 神经网络与模式识别研究室
34
四．ANN的分类及研究方向
目前神经网络模型已有近百种，不同的 模型从不同的侧面模拟人脑的某些特征， 因此可以完成不同的功能。如果说要将神 经网络进行分类的话，可以从以下几个方 面进行分类：
2018/9/27 神经网络与模式识别研究室
6
二．ANN研究简史
• ANN研究简史可追溯到四十年代初，但由于 种种原因，起始阶段发展不快，并曾一度 陷入低谷。 • 近几十年，科学技术的不断发展，为ANN发 展奠定了基础，使得ANN异军突起，空前活 跃，成为研究热点。
2018/9/27 神经网络与模式识别研究室
2018/9/27 神经网络与模式识别研究室
9
• 1982年，加州工学院 Hopfield提出：HNN 模型，在网络中引入能量函数概念，作为 稳定性判据，给出RC电路模型，推动了NN 发展，使ANN用于联想记忆和优化计算。 • 之后，ANN研究进入空前活跃期，Hinton 等提出Boltzman机，采用多层网络学习方 法，在学习过程中借用统计物理学的方法, 引入模拟退火技术。
2018/9/27 神经网络与模式识别研究室
13
• 除此之外，还有一些其它科学背景的支 撑，如70年代产生的新三论：协同论， 突变论与耗散结构论以及近年来广泛研 究的混沌动力学理论等，都揭示了复杂 系统如何通过微观元件的集体协同作用 ，使系统结构在宏观上达到从无序到有 序，功能由简单到复杂的非线性动力学 过程。这种过程类似于生物系统的进化 过程和智能系统的学习过程。因此，对 NN的研究给予了不可或缺的启示。
i
2018/9/27
神经网络与模式识别研究室
18
• 它是一个多输入单输出的非线性器件，其中 X1,…Xn为外界输入信号，可以是来自其它神经 元的输出信号，Wi为连接权值， 为阈值,Yi为 i 经神经元处理后的输出信号，神经元对外界输 入信号进行处理。可分为三步： 1）加权求和 2）阈值比较 3）非线性处理 所以整个过程可由如下公式描述：
2018/9/27 神经网络与模式识别研究室
5
•
那么，什么是神经网络？它与传统数字计算 机的区别在于，它是模拟人脑的一种信息处 理系统，具有许多特点，功能强大。 • ANN与数字计算机比较: ①并行处理←→串行处理 ②鲁棒性、容错性←→确定性、精确性 ③自学习能力←→专家经验的知识库,无更新 ④大规模自适应非线性动力系统←→线性确 定性系统 ⑤运算、存储合而为一←→运算、存储分离