哈工大模式识别课程9人工神经网络

30
多层感知器
出路：多个感知器结点结合，引入隐节点，如下面的结构可实现XOR：
zk y1 AND NOT y 2 =(x1 OR x 2 ) AND NOT (x1 and x 2 ) =x1 XOR x 2
31
多层感知器
问题：如何求多层感知器的权值？
32
多层前馈神经网络及BP学习算法
特性：可以实现任意复杂的非线性映射关系用于分类： 两层网（一个隐层）可实现空间内任意的凸形成区域的划分。 三层网（两个隐层）可实现任意形状（连续或不连续）区域划分。
12
神经网络概述
• 发展史
–1986年美国的一个平行计算研究小组提出 了前项反馈神经网络的Back Propagation （BP）学习算法。成为当今应用最广泛的 方法之一。该方法克服了感知器非线性不 可分类问题，给神经网络研究带来了新的 希望。 n
y j f ( wij xi j )
29
异或(XOR)问题
• 考虑这样一个感知机，其输入为X1，X2；权值为 W1 ， W2 ； 阀值是t。为了学习这个函数，这个神经网络必须 找到这样一组值，它满足如下的不等式方程： W1*1 ＋ W2*1 < t， 真值表的第一行； W1*1 ＋ 0 > t， 真值表的第二行； 0 ＋ W2*1 > t, 真值表的第三行； 0 ＋ 0 < t 或t为正数， 最后一行。 这组关于W1 ，W2和 t 的不等式方程组没有解，这就证明 了感知机不能解决异或问题。 • 待识别的类别不是线性可分，这是异或问题不能用感知 机来解决的原因
第9章 人工神经网络
哈尔滨工业大学
1
1.引言 2.前馈神经网络 3.反馈神经网络
4.自组织映射神经网络
2
1.引言
3
【引言】
自然神经网络的基本构成与特点
神经元（neuron）： 细胞体（cell）、树突（dentrite）、轴突（axon）、突触（synapses）
神经元的作用：加工、传递 信息（电脉冲信号） 神经系统，神经网：大量神 经元的复杂连接 通过大量简单单元的广泛、 复杂的连接而实现各种智能活动。
4
神经网络概述
• 什么是神经网络？ – 个神经网络是一个由简单处理元构成的规模宏大的并行 分布处理器，具有存储经验知识和使之可用的特性。 – 神经网络从两个方面上模拟大脑： • 神经网络获取的知识是从外界环境中学习得来的。 • 内部神经元的连接强度，即突触权值，用于储存获 取的知识。 – 学习算法是用于完成学习过程的程序，其功能是以有序 的方式改变系统权值以获得想要的设计目标。突触权值 的修改提供了神经网络的一种设计方法。
11
神经网络概述
• 发展史
§1982年John J. Hopfield（物理学家）提出了全 联接网络，离散的神经网络模型。——全新的 具有完整理论基础的神经网络模型。基本思想 是对于一个给定的神经网络，对于一个能量函 数，这个能量函数是正比于每一个神经元的活 动值和神经元之间的联接权。而活动值的改变 算法是向能量函数减少的方向进行，一直达到 一个极小值为止。证明了网络可达到稳定的离 散和连续两种情况。３年后AT&T等做出了半导 体芯片。——神经网络复兴时期开始
28
感知器 Perceptron
• 例子2 异或XOR，异或的真值表如下：
X1 1 1 0 0 X2 1 0 1 0 输出 0 1 1 0
X1 1 1 0 0 X2 1 0 1 0 输出 0 1 1 0 (0,0) (1,0) X2 X1 (0,1) (1,1)
在二维空间中没有可分离点集 { (0，0)，（1，1）}和{(0，1)，（1，0）}的直线
5
神经网络概述
六个基本特征： – 1）神经元及其联接； – 2）神经元之间的联接强度决定信号传递的强弱； – 3）神经元之间的联接强度是可以随训练改变的； – 4）信号可以是起刺激作用的，也可以是起抑制作 用的； – 5）一个神经元接受的信号的累积效果决定该神经 元的状态； – 6) 每个神经元可以有一个“阈值”
22
感知器
• 连接权wij： wij>0，称为正连接，表示神经元uj对ui有激活 作用 wij<0，称为负连接，表示神经元uj对ui有抑制 作用 • 神经网络的各种学习算法的不同特点反映在调 整权值的原则、方法、步骤和迭代过程的参数 选择上。
23
感知器
激励函数：通常选取下列函数之一：
24
感知器
教师
t(n)
期望输出
环境
输入
实际输出
神经网络
a(n) p(n) 误差信号 e(n)
比较
17
非监督学习与再励学习
非监督学习：不存在教师，网络根 据外部数据的统计规律来调节系统 参数，以使网络输出能反映数据的 某种特性。
输入 环境 神经网络
输出
再励学习：外部环境对网络输出只 给出评价信息而非正确答案，网络 通过强化受奖励的动作来改善自身 的性能。
1 y 0
x x
i i
MP模型的意义： –M-P模型能完成一定的逻辑运算 –第一个采用集体并行计算结构来描述人工神经元和网 络工作。 –为进一步的研究提供了依据 （可以完成布尔逻辑计算 ）
8
神经网络概述
• 发展史 – 1949年Donala U.Hebb（心理学家）论著《The Organization of Behavior（行为自组织）》，提出突触联 系强度可变的假设，认为学习的过程最终发生在神经元之 间的突触部位，突触的联系强度随着突触前后神经元的活 动而变化。 ——赫布规则 多用于自组织网络的学习。即：若两个神经元输出兴奋，则 它们之间的连接权加强，反之减少。
15
神经网络的学习方法

神经网络的学习：从环境中获取知识并改进自身性能，主要 指调节网络参数使网络达到某种度量，又称为网络的训练 学习方式： 监督学习 非监督学习 再励学习 学习规则(learning rule)： Hebb学习算法 误差纠正学习算法 竞争学习算法


16
监督学习

对训练样本集中的每一组输入能提供一组目标输出。 网络根据目标输出与实际输出误差信号来调节网络参数。
14
神经网络概述
• 发展史 再认识与应用研究(1991~) – 问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题 – 研究： 1）开发现有模型的应用，并在应用中根据实际运行情况对模 型、算法加以改造，以提高网络的训练速度和运行的准确 度。 2）充分发挥两种技术各自的优势是一个有效方法 3）希望在理论上寻找新的突破，建立新的专用/通用模型和算 法。 4）进一步对生物神经系统进行研究，不断地丰富对人脑的认 识。
i 1
f (u j )
1 1 e
u j
13
神经网络概述
• 发展史 – 1990年汉森(L.K. Hansen)和萨拉蒙(P. Salamon)提 出了神经网络集成(neural network ensemble)方法 。 –他们证明，可以简单地通过训练多个神经网络并 将其结果进行拟合，显著地提高神经网络系统的泛 化能力。神经网络集成可以定义为用有限个神经网 络对同一个问题进行学习，集成在某输入示例下的 输出由构成集成的各神经网络在该示例下的输出共 同决定。
wij wij Si S j
赫布规则意义（提出了变化的概念） – 提出了一个神经网络里信息是储藏在突触连接的权中 – 连接权的学习律是正比于两个被连接神经细胞的活动状态 值的乘积 – 假设权是对称的 – 细胞的互相连接的结构是他们权的改变创造出来的
9
神经网络概述
• 发展史
–1957年Frank Rosenblatt定义了一个神经网络结 构，称为感知器(Perceptron) 。 规则学习 意义：第一次把神经网络研究从纯理论的探讨推 向工程实现，在IBM704计算机上进行了模拟， 证明了该模型有能力通过调整权的学习达到正确 分类的结果。掀起了神经网络研究高潮。
7
神经网络概述
• 发展史 –1943年McCulloch（心理学家）和Pitts（数理逻辑学 家）发表文章，提出M-P模型。描述了一个简单的人 工神经元模型的活动是服从二值（兴奋和抑制）变化 的。总结了神经元的基本生理特性，提出了神经元的 数学描述和网络的结构方法。——标志神经计算时代 的开始 输出表达式
34
前馈神经网络及BP学习算法
• BP模型学习算法的基本思想为： (1)从训练样例中取出一样例，把输入信息输入到 网络中； (2)由网络分别计算各层节点的输出； (3)计算网络的实际输出和期望输出的误差； (4)从输出层反向计算到第一隐层，根据一定原则 向减小误差方向调整网络的各个连接权值； (5)对训练样例集中的每一个样例重复以上步骤， 直到对整个训练样集的误差达到要求为止。
人工神经网络的训练:
– 人工神经网络最具有吸引力的特点是它的学习能力 。 – 人工神经网络的学习过程就是对它的训练过程 – 人工神经网络中的权矩阵又被称为网络的长期存储 （Long Term Memory，简记为LTM）。 网络在正 常工作阶段，神经元的状态表示的模式为短期存储 （Short Term Memory，简记为STM）.
33
前馈神经网络及BP学习算法
• Rumelhart，McClelland于1985年提出了BP网络的误差 反向后传BP(Back Propagation)学习算法
David Rumelhart
J. McClelland
• BP算法基本原理
– 利用输出后的误差来估计输出层的直接前导层的误差，再用这个 误差估计更前一层的误差，如此一层一层的反传下去，就获得了 所有其他各层的误差估计。 BP网络的学习算法是算法的推广和 发展，是一种有监督的学习。
6
神经网络概述
• 非线性： 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。 人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现 为一种非线性。 • 非局域性： 一个神经网络通常由多个神经元广泛联接而成。一个系统的整体行为 不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用 、相互联接所决定。通过单元之间的大量联接模拟大脑的非局域性。 • 非定常性： 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理 的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也 在不断变化。经常采用迭代过程描写动力系统的演化过程。 • 非凸性： 一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数 ，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这 种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统 演化的多样性。
19
2.前馈神经网络
20
感知器
• 基本神经元：
人工神经网络中的神经元通常简化为一个多输入单输 出的非线性阈值器件：
21
感知器
神经元的工作过程： xi(i=1,2,…,n)是输入，wi为该神经元与各输入 间的连接权值，为阈值，y为输出 (1)从各输入端接收输入信号xi 。 (2)根据各连接权值wi ,求出所有输入的加权和： ＝ni=1wi xi － (3)利用某一特征函数f进行变换，得到输出y： y= f()＝f(ni=1wi xi － )
25
感知器 Perceptron
Rosenblatt 于1950s末提出。
权值：
其中，d(t) 是向量x(t) 的正确输出。
26
感知器 Perceptron
问题：感知器只能解决一阶谓词逻辑问题，不能解决高阶问题。
27
感知器 PercepHale Waihona Puke Baiduron
• 例子1 构建一个神经元，它能够计算逻辑操作： AND
环境
输入 神经网络
评价信息
18
基本概念 三个要素： ������ 神经元的计算特性（传递函数） ������ 网络的结构（连接形式） ������ 学习规则
三要素的不同形成了各种各样的神经网模型，基本 可分为三大类： ������ 前馈网络 以MLP 为代表 ������ 反馈网络 以Hopfield 网为代表 ������ 自组织网络（竞争学习网络）以SOM 为代表
y j f ( wij xi j )
i 1
n
1 f (u j ) 0
uj 0 uj 0
10
神经网络概述
• 发展史
-1969M.Minsky和S. Papert发表了《 Perceptrons》的论著，指出感知器仅能解 决一阶谓词逻辑，只能做线性划分。对于 非线性或其他分类会遇到很大困难。一个 简单的XOR问题的例子就证明了这一点。 ——神经网络研究一度达到低潮。原因还 有：计算机不够发达、VLSI还没出现、而 人工智能和专家系统正处于发展高潮。