模式识别 第11章 人工神经网络以及在模式识别中的应用

T
在第二次实验时会涉及；
11.4 前馈神经网络的类型与拓扑结构
11.4.1 前馈神经网络的拓扑结构
x
1
双层前馈网 （感知器）
x
2
y1
ym
x
d
前馈神 经网络 多层前馈网 （多层感知器，MLP）
（输入层）
（隐层）
（误差反传网，BP）
…
…
…
… …
（输出层）
（输入层） （隐层）
11.4.2 前馈神经网络的类型
轴突（Axon） 胞体(Soma) 胞体(Soma) 突触（Synapse） 胞体：是神经细胞的本体，用于普通细胞的生存；
枝蔓(树突)：含有大量分支，用于接受其它神经元的信号；
轴突： 用于输出信号，可与多个神经元联结；
突触：神经元联结的特殊部位，用于控制下一神经元的兴奋。
11.2.2 生物神经元的工作机制
b
T
w b, w1, w2 ,, wd
1, x ,, x , x （4）当net很大时近似于阶梯函数； x
(1)

i
d

T
例题：
11.3.2 人工神经元的学习规则
学习规则是为了求取连接权值 wi ；
Hebb规则： 如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴 奋状态，那么这两个神经元间的连接强度（权值）应增强。
这种模拟粗略而简单，无论是在规模上还是功能上都与人脑差 得太远，但这并不妨碍它在一些实际工程应用领域显示出威力。
11.1.2 人工神经网络研究的必要性（续）
人工神经网络与传统的人工智能技术思路迥然不同：
相异点 基本实现方 式 传统的人工智能技术 串行处理；由程序实现 控制 人工神经网络 并行处理；对样本数据进行多目标学习 ；通过人工神经元之间的相互作用实现 控制
11.1.3 人工神经网络的研究历史（续）
第五阶段：再认识与应用研究期（1991年~ ）
当前人工神经网络存在的主要问题： （1）局部极小问题； （2）模型选择问题； （3）计算速度和准确度问题； 当前人工神经网络的研究任务：
（1）希望在理论上寻找新突破，建立新的专用/通用网络和算法；
（2）开发现有网络应用，并在应用中根据实际运行情况对网络加以 改造，以提高网络的训练速度和运行的准确度。 （3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
已经得到证明,如果输入样本线性可分,无论感知器的初始权向 量如何取值,经过有限次调整后,总能稳定到一个权向量,该权向 量确定的超平面能将两类样本正确分开.
能够将样本正确分类的权向量并不唯一,一般初始权向量不同, 训练过程和所得到的结果也不同,但都可满足误差为零的要求.
例. 单计算节点感知器有3个 输入,现给定3对训练样本: X1=[-1 1 -2 0]T d1=-1; X2=[-1 0 1.5 -0.5]T d2=-1;
(3)计算各节点的实际输出yjp(t)=sgn[WjT(t)Xp], j=1,2, … , m. (4)调整各节点对应的权值
Wj(t+1)=Wj(t)+η[djp-yjp(t)]Xp j=1,2, … ,m
η—学习率,一般取0< η≤1,用于调整控制速度,太大影响训练稳 定性,太小使训练的收敛性变慢. (5)返回到步骤(2),输入下一对样本,周而复始直到所有样本使 感知器的实际输出与期望输出相等(dp-yp=0,p=1,2, … ,P).
11.1.4 人工神经网络的研究范围
有监督学习（有教师学习）：预先已知训练样本集合中每个样本的类别标号
无监督学习（无教师学习）：预先不知道训练样本集合中每个样本的类别标号 误差 反传网 径向基 函数网 RBF
网络模型
感知器
自组织 映射 SOM
Hopfiel d网
——
自适应 共振网
波尔茨 曼机 BM
神经元i
wij ej y j x
i
神经元j
误差修正规则的定量描述： 令第 j 个神经元的期望输出为 e j ，实际输出为 y j ，则第 j 个输 入结点与第 i 个神经元间的权值修正量为：
wij ej y j x
i
11.3.3 用人工神经元进行两类样本分类
d
连接权值：
wi
f
y f w x f net
T
激活函数： 激活阈值：
b
T
当 net
y 1 y 1
当 net
w b, w1, w2 ,, wd
1, x ,, x , x x
(1)

i
源自文库
d

T
11.3.1 人工神经元的基本概念（续）
11.4 前馈神经网络的类型与拓扑结构
11.5 前馈神经网络的反向传播算法 11.6 径向基函数网络 11.7 神经网络在模式识别中的应用
11.1 人工神经网络的发展历程
11.1.1 人类大脑的优势
人脑是由极大量的的“生物神经元”经过复杂的相互连接而成的一 种非线性并行信息处理系统。
尽管单个生物神经元的反应速度比构成计算机的基本单元——逻辑 门——慢五六个数量级，但人脑中神经元数目巨大且连接复杂，因此对 有些问题的处理速度比计算机还快。 人类大脑具有智能，即具有感知、学习、理解、联想、决策等能力。
第11章 人工神经网络以及在模 式识别中的应用
Chapter 11: Artificial neural networks and its application in pattern recognition
本章主要内容
11.1 人工神经网络的发展历程
11.2 生物神经元的机理
11.3 人工神经元的基本概念及学习算法
基 本 开 发 方 设计规则、框架、程序 定义人工神经网络的结构原型，通过样 法 ；用样本数据进行调试 本数据，依据基本的学习算法完成学习 （由人根据已知的环境 ——自动从样本数据中抽取内涵（自动 去构造一个模型） 适应应用环境）
适应领域
模拟对象
精确计算：符号处理 ， 非精确计算：模拟处理，感觉，大规模 数值计算 数据并行处理
11.3.1 人工神经元的基本概念（续）
输入： 输出：
x x , , x , x
(1)

i
d

T
x
1
w1
x 2
i y f wi x b i 1
d
w2 wn
y
x
T
d
w b, w1, w2 ,, wd
1, x ,, x , x x
第二阶段：第一高潮期（1950~1968年）
1957年Rosenblatt提出了感知器，首次把神经网络的理论研究付诸 工程实践，引起了人们的极大关注。
人们乐观地认为几乎已经找到了智能的关键。许多部门都开始 大批地投入此项研究，希望尽快占领制高点。
11.1.3 人工神经网络的研究历史（续）
第三阶段：反思期（1969~1982年）
(1)
连接权值：
T
wi
f

i
d

激活函数：
输出： y f wT x
激活阈值：
b
11.3.1 人工神经元的基本概念（续）
激活函数：对神经元输入的一种变换；
y f wT x f net
（1） 线性函数 y=k*net+c
x
1
w1
x 2
w2 wn
y
X3=[-1 -1 1 0.5]T d3=1. 设初始权向量 W(0)=[0.5 1 -1 0]T η=0.1
左脑（逻辑思维） 右脑（形象思维）
11.1.3 人工神经网络的研究历史
第一阶段：萌芽期（20世纪40年代）
1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈 值加权模型，简称M-P模型，成为人工神经网络研究的开端。 1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变 的假说——Hebb学习律，为神经网络奠定了基础。
wij ui u j
神经元i 神经元j
Hebb规则的定量描述：
假设第i和第j个神经元的状态分别为 u i 和 u j ，则两个神经 元间的权值修正量为 wij ui u j 为学习因子.
11.3.2 人工神经元的学习规则(续)
误差修正规则： 使网络中某一神经元的实际输出在均方意义上最逼近于期望输出。
神经元A
神经元B
神经元A
神经元B
（抑制状态）
（兴奋状态）
一个神经元有“兴奋”和“抑制”两种 状态； 平时处于“抑制”状态的神经元，其树突和胞体接收其它神经元 传来的兴奋电位； 如果输入兴奋总量超过某个阈值，神经元就会被激发进入兴奋状 态，并发出输出脉冲； 神经元之间的联接强度取决于“兴奋”程度的强弱；
11.3 人工神经元的基本概念及学习算法
11.3.1 人工神经元的基本概念
枝蔓 枝蔓（ Dendrite ） 轴突（Axon ） 胞体(Soma)
x
1
w1
胞体(Soma)
x 2
w2 wn
轴突 胞体
y
突触（Synapse） 生物神经元
x
d
人工神经元
人工神经元:
是构成人工神经网络的最基本单元,是对生物神经元 的模拟，它具备生物神经元的部分特征。
x
1
g x wT x
w1
w1 类
y
w2 类
x
x 2
w2 wn
g x 0 g x 0
x
d
测试样本 x 训练： 根据前面所讲的规 则，对神经元进行 训练，得到最佳的 权值 w 。 测试：
d i y sgn w x sgn wi x b i 1
x
d
y
连接权值： 激活函数： 激活阈值：
wi
f
o c o
b
T
net
w b, w1, w2 ,, wd
1, x ,, x , x x
(1)

i
d

T
11.3.1 人工神经元的基本概念（续）
（2） 阶梯函数 y
x
1
w1
x 2
w2 wn
y

net
x
英文缩写
——
BP 1986 有监督
ART
1987
提出时间
1957
1988
1982 无监督
1982
1984
学习方式 拓扑结构
有监督
有监督
无监督
无监督
有监督
前向
前向
确定型
前向
前向
反馈
反馈
反馈
活动方式
确定型
确定型
确定型
确定型
确定型
随机型
11.2 生物神经元的机理
11.2.1 生物神经元的构成
枝蔓（Dendrite）
双层前馈网（感知器）不能解决异或问题。 （1）在第4章已经讲过感知器；
x2 1
x1
（2）1969年Minsky出版《感知器》一 书，对感知器提出了严厉的批评；
多层前馈网能解决异或问题。
-1
0 -1
1
异或问题
(经典的线性不可分问题)
感知器的学习算法 感知器采用感知器学习规则进行训练,用t表示学习步的序号,权 值看作t的函数. t =0对应学习开始前的初始状态(此时权值为初 始值),训练过程如下: (1)对各初始权值w0j(0),w1j(0),…wnj(0),j=1,2…m(m为计算层 的节点数)赋予较小的非零随机数; (2)输入样本对{Xp,dp},其中Xp=[-1 x1p x2p … xnp]T,dp为期望输 出向量(教师信号),下标p代表样本对的模式序号,设样本集中 的样本总数为P,则p=1,2, … ,P;
（3） Sigmoid函数 y
x 2 x
1
w1 w2 wn
net
x
d
y
y f wT x f net
1 1 e net
连接权值： 激活函数： 激活阈值：
wi
f
优点： （1）非线性，单调增函数； （2）无限次可微函数； （3）当net很小时近似于线性函数；
感知：获取外界信息，是智能的基础；
学习：取得经验与积累知识，是人类不断发展的基本能力；
理解：分析与解决问题，是智能的高级形式；
11.1.2 人工神经网络研究的必要性
计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、 识别、联想、决策和适应环境等人脑具备的能力。
计算机能否象人脑那样工作 ？人工神经网络做了一个有益的尝试。 人工神经网络是对人类大脑功能的一种模拟；
1969年Minsky出版《感知器》一书，对感知器提出了严厉的批评， 认为它连最简单的线性不可分问题——异或问题都解决不了； 早期的人工智能研究取得了很大成就，掩盖了神经网络研究的重 要性；
第四阶段：第二高潮期（1983~1990年）
1982年，J. Hopfield提出了循环网络的概念； 1986年提出了多层感知器的反向传播算法，较好地解决了 多层网络的学习问题。 1990年12月在北京举行了国内首届神经网络大会；