人工神经网络

反馈型局部连接网络：特例，每个神经元的输出只与 其周围的神经元相连，形成反馈网络。
27/65
基本原理 －网络分类

分类



前向型（前馈型）； 反馈型； 自组织竞争； 随机网络 其它
28/65
具体来讲，神经网络至少可以实现如下功能：

数学上的映射逼近。通过一组映射样本 (x 1 ， y 1 )(x 2 ， y 2 ) ，…，(x n ， y n ) ，网络以自组织方式寻找输入与输出之 间的映射关系：yi=f(xi)。 数据聚类、压缩。通过自组织方式对所选输入模式聚类。
第3讲 人工神经网络
欧阳柳波
1
人工神经网络的进展

初创阶段（二十世纪四十年代至六十年代）:



1943年，美国心理学家W. S. Mcculloch和数理逻辑学家 和数理 逻辑学家W. Pitts 提出了神经元的数学模型，即MP （ Mcculloch-Pitts ）模型 以数学逻辑为研究手段，探讨了客观事件在神经网络的形式问 题 1960年，威德罗和霍夫率先把神经网络用于自动控制研究。

32/65
基本原理－优缺点

评价

优点： 并行性；分布存储；容错性；学习能力 缺点： 不适合高精度计算；学习问题没有根本解决， 慢；目前没有完整的设计方法，经验参数太多。

33/65
神经网络学习

学习(亦称训练)是神经网络的最重要特征之一。神经网络
能够通过学习,改变其内部状态,使输入—输出呈现出某种规

平稳发展阶段（二十世纪九十年代以后）

和相关学科交叉融合
3/65
ANN 人工神经网络

概述
基本原理
前向型神经网络 自组织竞争神经网络 神经网络的应用 与人工智能原理的结合 BP神经网络
4/65
概述

什么叫人工神经网络

采用物理可实现的系统来模仿人脑神经细胞的结构 和功能的系统。
M. Minsky和S. Papert于1969 年出版《Perceptron Perceptron》

过渡阶段（二十世纪六十年代初至七十年代）



从理论上证明了以单层感知机为代表的网络系统在某些能力方 面的局限性。 60年代末期至 80年代中期，神经网络控制与神经网络进入低潮
2/65
人工神经网络的进展(续)


人工智能研究人脑的推理、学习、思考、规划等思维活 动，解决需人类专家才能处理的复杂问题。 神经网络企图阐明人脑结构及其功能，以及一些相关学 习、联想记忆的基本规则（联想、概括、并行搜索、学 习和灵活性）
6/65

例如：

人工智能专家系统是制造一个专家，几十年难以培养的 专家。 神经网络是制造一个婴儿，一个幼儿，一个可以学习， 不断完善，从一些自然知识中汲取智慧的生命成长过程。 成年人和婴儿 学习过程不一样

高潮阶段（二十世纪八十年代）

1982和1984年，美国加州理工学院的生物物理学J. J. Hopfield在美 国科学院院刊发表的两 篇文章，有力地推动了人工神经网络的研究 与应用，并引发了研究神经网络的一次热潮。

80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网
络控制的研究也十分活跃。研究进展主要在神经网络自适应控制和 模糊神经网络控制及其在机器人控制中的应用上。
y1 y2 yn
x1
x2
xn
25/65
基本原理－网络模型

互连前向网络：外部看还是一个前向网络，内部有很多 自组织网络在层内互连着。 同一层内单元的相互连接使它们之间有彼此牵制作用。
y1 y2 yn
x1
x2
xn
26/65
基本原理－网络模型

广泛互连网络：所有计算单元之间都有连接，即网络 中任意两个神经元之间都可以或可能是可达的。如： Hopfield网络 、波尔茨曼机模型
23/65
ຫໍສະໝຸດ Baidu
基本原理－网络模型

分层前向网络：每层只与前层相联接 网络由若干层神经元组成，一般有输入层、中间层（又 称隐层，可有一层或多层）和输出层，各层顺序连接； 且信息严格地按照从输入层进，经过中间层，从输出 层出的方向流动。 y y y
1 2 n
x1
x2
xn
24/65
基本原理－网络模型

反馈前向网络：输出层上存在一个反馈回路，将信号反 馈到输入层。而网络本身还是前向型的。 反馈的结果形成封闭环路，具有反馈的单元称为隐单元， 其输出称为内部输出。
网络的连接权值，以获得期望的输出的过程。所以，学习 规则就是权值修正规则。 2.学习方法分类 从不同角度考虑，神经网络的学习方法有不同的分类。 表9.1列出了常见的几种分类情况。
35/65
神经网络学习
表1 神经网络学习方法的常见分类
36/65
ANN 人工神经网络

概述
基本原理
细胞膜
来自其他细胞
轴突
神经末梢
13/65

神经元由细胞体、树突和轴突组成。细胞体是神经元的主体,它
由细胞核、细胞质和细胞膜三部分构成.从细胞体向外延伸出许 多突起,其中大部分突起呈树状,称为树突.树突起感受作用,接受 来自其他神经元的传递信号.

由细胞体伸出的一条最长的突起,用来传出细胞体产生的输出信
律性。

网络学习一般是利用一组称为样本的数据 , 作为网络的输 入 (和输出 ),网络按照一定的训练规则 (又称学习规则或学 习算法)自动调节神经元之间的连接强度或拓扑结构 ,当网
络的实际输出满足期望的要求 ,或者趋于稳定时 ,则认为学
习成功。
34/65
神经网络学习
1.学习规则
权值修正学派认为：神经网络的学习过程就是不断调整
前向型神经网络 BP神经网络 自组织竞争神经网络 神经网络的应用 与人工智能原理的结合
37/65
前向型神经网络

概述



最初称之为感知器。应用最广泛的一种人 工神经网络模型，最要原因是有 BP 学习 方法。 前向网络结构是分层的，信息只能从下一 层单元传递到相应的上一层单元。上层单 元与下层所有单元相联接 特性函数可以是线性阈值的。
研究内容 知识表示方法 知识储存方式
信息传递方式 信息处理方式
8/65
ANN 人工神经网络

概述
基本原理
前向型神经网络 自组织竞争神经网络 神经网络的应用 与人工智能原理的结合 BP神经网络
9/65
基本原理
10/65
11/65
12/65
树突 细胞质 细胞核 突触
生物神经元
30/65
基本原理－基本属性

基本属性：


非线性： 自然界的普遍特性 大脑的智慧就是一种非线性现象 人工神经元处于激活或抑制两种不同的状态，在数学上表现 为一种非线性。 非局域性： 一个神经网络通常由多个神经元广泛连接而成 一个系统的整体行为不仅取决于单个神经元的特征，而且可 能主要由单元之间的相互作用、相互连接所决定 通过单元之间的大量连接模拟大脑的非局域性 联想记忆是非局域性的典型例子。
31/65
基本原理－ 基本属性

非定常性 人工神经网络具有自适应、自组织、自学习能力 神经网络不但处理的信息有各种各样，而且在处理信息的同 时，非线性动力系统本身也在不断变化 经常采用迭代过程描写动力系统的演化过程。 非凸性：系统演化的多样性


一个系统的演化方向，在一定条件下，将取决于某个特定的 状态函数，如能量函数，它的极值相应于系统比较稳定的状 态 非凸性是指这种函数有多个极值，故系统具有多个较稳定的 平衡态，这将导致系统演化的多样性。

同样是模仿人脑，但所考虑的角度不同。

7/65
概述
研究目的 人工智能 人脑推理、学习、思考、规划等 思维活动，解决需人类专家才能 处理的复杂问题。 推理方法、知识表示、机器学习 神经网络 阐明有关人脑结构及其功能 以及相关学习、联想记忆的 基本规律。 生物的生理机制、信息的存 储、传递、处理方式 人懂→机器懂→人懂 图像等→机器→图像等 知识库中有事实和规则，随时添 在网的结构之中，一条出问 加而增大，一条出了毛病有可能 题不会触大错，网络结构不 出错。 会随知识增加变化很大 符号 脉冲形式，以频率表示 树、网等，一条一条执行，并行 原理上是并行结构，与生物 处理较难 信息处理机制一致
2. S型
1 0
A0 A0
这类函数的输入－输出特性多采用指数、对数或 双曲正切等S型函数表示。例如
1 y f ( A) 1 e A
S型特性函数反映了神经元的非线性输出特性。
20/65
3.分段线性型 神经元的输入－输出特性满足一定的区间线性关系,
0 y KA 1
A0 0 A Ak Ak A
信号的影响要持续一段时间(毫秒级),因此,神经元的整合 功能是一种时空整合。当神经元的时空整合产生的膜电位 超过阈值电位时,神经元处于兴奋状态,产生兴奋性电脉冲, 并经轴突输出;否则,无电脉冲产生,处于抑制状态。
15/65
图2 一种简化神经元结构
16/65
人工神经元模型

每一个细胞处于两种状态。 突触联接有强度。 多输入单输出。 实质上传播的是脉冲信号，信号的强弱与脉冲频率 成正比。
x1 x2 θ xn si 图3 人工神经元的结构模型
17/65
ui yi
i
一般地,人工神经元的结构模型如图3所示。 它是一个多输入单输出的非线性阈值器件。其中
x2，…xn表示神经元的n个输入信号量；

x1，
w1，w2，…，wn表示对应输入的权值,它表示各信号源 神经元与该神经元的连接强度； U表示神经元的输入总和,它相应于生物神经细胞的膜电 位,称为激活函数;y为神经元的输出;θ 表示神经元的阈值。
号,称之为轴突;轴突末端形成许多细的分枝,叫做神经末梢;每一
条神经末梢可以与其他神经元形成功能性接触,该接触部位称为 突触。所谓功能性接触是指非永久性接触,它是神经元之间信息 传递的奥秘之处。
14/65

一个神经元把来自不同树突的兴奋性或抑制性输入信号
(突触后膜电位)累加求和的过程，称为整合。考虑到输入

为什么要研究神经网络


用计算机代替人的脑力劳动。 计算机速度为纳秒级，人脑细胞反应时间是毫秒级。 而计算机不如人。 长期以来人类的梦想，机器既能超越人的计算能力， 又有类似于人的识别、分析、联想等能力。
5/65
概述

人工智能与神经网络


共同之处：研究怎样使用计算机来模仿人脑工作过程，学 习——实践——再学习——再实践 。 不同之处：

18/65
于是，人工神经元的输入输出关系可描述为：
y f (U ) U i xi
i 1 n
函数y=f ( U) 称为特性函数 (亦称作用、传递、激活、活 化、转移函数)。特性函数可以看作是神经元的数学模型。
19/65
常见的特性函数有以下几种: 1. 阈值型
y f ( A)
21/65
式中，K、Ak均表示常量。
人工神经元模型

以上三种特性函数的图像依次如下图中的 (a)、(b)、(c) 所示 神经细胞的输出对输入的反映。 典型的特性函数是非线性的。
f(u)
1 1
f(u)
1
f(u)
0 (a)
u
0 (b)
u
0 (c)
u
22/65
基本原理－网络结构

人脑神经网络： 人脑中约有１４０亿个神经细胞 根据 Stubbz 的估计这些细胞被安排在约１０００ 个主要模块内，每个模块上有上百个神经网络， 每个网络约有１０万个神经细胞。 如果将多个神经元按某种的拓扑结构连接起来，就 构成了神经网络。 根据连接的拓扑结构不同，神经网络可分为四大类： 分层前向网络、反馈前向网络、互连前向网络、广 泛互连网络。
38/65
前向型神经网络

单层感知器
x1 w1
Σ
xn wn
θ
Y
39/65
前向型神经网络

基本原理和结构极其简单


在实际应用中很少出现 采用阶跃函数作为特性函数 ２维空间可以明显表现其分类功能，但Minsky 等揭示的致命弱点也一目了然。 关键是学习算法及网络设计方法
其中
u j 0 1 f (u j ) 1 u j 0
联想记忆。实现模式完善、恢复，相关模式的相互回忆等。 优化计算和组合优化问题求解。利用神经网络的渐进稳定 态，特别是反馈网络的稳定平衡态，进行优化计算或求解 组合优化问题的近似最优解。
29/65



模式分类。现有的大多数神经网络模型都有这种分类能力。 概率密度函数的估计。根据给定的概率密度函数，通过自 组织网络来响应在空间Rn中服从这一概率分布的一组向量 样本X1，X2，…，Xk。