第6章 人工神经网络初学教程

n
∑ y = f ( wi xi −θ ) i =1
作为分类器，感知器的输出通常 采用阶跃函数
⎧
⎪1,
y
=
⎪ ⎨
⎪⎪⎩0,
n
∑ wi xi −θ > 0
i =1 n
∑ wi xi −θ ≤ 0
i =1
感知器的连接权定义为可变的， 这样被赋予了学习的特性。
27
简单感知器模型
逻辑运算
感知器的计算公式 y = f (w1x1 + w2 x2 −θ )
6
历史回顾
在神经网络发展遇到危机时，仍有一些学者在坚持。Grossberg等 提出了自适应共振理论，Kohonen提出了自组织映射，Fukushima提 出了认知机网络模型理论等。
进入上世纪80年代，首先是基于“知识库”的专家系统的研究与运 用，在许多方面取得了较大成功。但实际应用情况表明，专家系统并 不像人们所希望的那样高明，特别是在处理视觉、听觉、形象思维、 联想记忆以及运动控制等方面，传统的计算机和人工智能技术面临重 重困难。模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处 理等传统的方法来解决复杂的问题，会产生计算量的组合爆炸。
与信息存贮合二为一
信息处理的系统性
能接受和处理模糊的、模拟的、随机的信息
求满意解而不是精确解
系统的恰当退化和冗余备份（鲁棒性和容错性）
13
人工神经网络研究与应用的主要内容
z 人工神经网络模型的研究
神经网络原型研究；神经元的生物特性的模拟等
z 神经网络的基本理论研究
神经网络的非线性特性、稳定性、收敛性、鲁棒性等
20
人工神经网络的互连模式
全互连网络：每个神经元的输出都和其他神经元相连，从而形成 了动态的反馈关系，如Hopfield网络。这种网络结构具有关于能量 函数的自寻优能力。 局部互连网络：每个神经元只和他周围若干层的神经元发生互连 关系，形成局部反馈，从整体上看，是一种网格状结构，如 Elman网络。
50年代末期，Rosenblatt提出感知机（Perceptron），首先从工 程角度，研究了用于信息处理的神经网络模型。感知机具有神经网 络的一些基本性质，如分布存贮、并行处理、可学习性、连续计算
等。
在20世纪60年代掀起了神经网络研究的第一次高潮
5
历史回顾
1969年，美国著名人工智能专家Minsky和Papert对Rosenblatt 的工作进行了深入的研究， 出版了有较大影响的《Perceptron》一 书，指出感知机的功能和处理能力的局限性，甚至连XOR（异或） 这样的问题也不能解决，同时指出如果在感知机中引入隐含神经 元，增加神经网络的层次，可以提高神经网络的处理能力，但是无 法给出相应的网络学习算法。 Minsky和Papert的观点是悲观的。
4
历史回顾
1943年，美国McCulloch与Pitts从信息处理的角度，合作提出了 第一个神经计算模型——二元神经元模型，简称MP模型。
1949年，心理学家D.O.Hebb对大脑神经细胞、学习与条件反射 作了大胆地假设，提出了著名的Hebb学习规则，即由神经元之间结 合强度的改变来实现神经学习的方法。此基本思想至今在神经网络 的研究中发挥着重要作用。
把阈值 θi 看成一个特殊的权值，则改写为
其中
n
∑ υi = f ( w ji v j ) j=0
w0i = −θ i v0 = 1
24
MP模型
为用连续型的函数表的神经元的非线性变换能力，常采用S函数：
f
(ui
)
=
1
+
1 e −ui
MP模型在发表时并没有给出一个学习算法来调整神经元之间的连 接权。但是我们可以采用一些常见的算法来调整，比如Hebb学习 规则。 Hebb学习规则：神经网络具有学习功能，这种学习归结为神经元 连接权的变化。调整 wij 的原则为，若第i个和第j个神经元同时处 于兴奋状态，则它们之间的连接权应加强，即
④ 更新权值(阈值可视为输入恒为1的一个权值):
Δwi (t +1) = wi (t +1) − wi (t) = η[d − y(t)]xi 学习步长
⑤ 返回② ，重复，直到对所有训练样本模型，网络输出均 能满足要求。
29
简单感知器无法实现“异或”问题
异或XOR
⎧w1 + w2 −θ ≤ 0 ⎪⎪ 0 + 0 −θ ≤ 0
⎪⎩ 0,
xi ≥ x2 x1 ≤ xi < x2
xi < x1
16
x1 x2
神经元的结构模型
神经元的输出转换函数 （3）Sigmoid型，反应了神经元的饱和特性
f
(xi
)
=
1+
1 exp(− x i
/
c)
广泛使用
17
人工神经网络的互连模式
前向网络 神经元分层排列，组成输入层、隐含层（可以有若干层）和输出 层。每一层的神经元只接受前一层神经元的输入。输入模式经过 各层的顺次变换后，在输出层输出。各神经元之间不存在反馈。 感知器和误差反向传播算法中使用的网络都属于这种类型。
9
研究意义
Feigenbaum在《Manual of Artificaial Intelligence》中指出：人工 智能的定义是“人工智能是计算机科学中的一部分，它关心智能计算 机系统的设计，这类系统显示人类行为中与智能有关的一些特征”。
传统的计算机在智能信息处理中有难以逾越的局限性，有必要进 一步分析人脑神经系统信息处理和存贮的机理特征。
∑ ⎪⎨⎧τ
dui dt
= −ui (t) +
wij x j (t) −θ i
⎪⎩
yi (t) = f [ui (t)]
15
神经元的结构模型
神经元的输出转换函数 （1）阈值型，为阶跃函数
⎧1, f (xi ) = ⎩⎨0,
xi ≥ 0 xi < 0
（2）分段线性函数
⎧ 1, f (xi ) = ⎪⎨axi + b,
z 神经网络智能信息处理系统的应用
认知与人工智能、优Biblioteka Baidu与控制、信号处理、多传感器数据融合等
z 神经网络的软件模拟和硬件实现
软件模拟、神经芯片等
z 神经网络计算机的实现
14
神经元的结构模型
人工神经元模型是生物神经元的抽象和模拟，是神经网络的最基本 处理单元，一般是多输入-单输出的非线性器件。
ui
神经元模型常用一阶微分方程来描述（模拟生物神经网络突触膜电 位随时间变化的规律），即
12
人脑信息处理的机制与特性
从宏观上讲，人脑的信息处理过程有如下特点;
z 人脑对信息可以进行学习和记忆 z 人脑对信息有归纳整理的功能 z 人脑可以接受多种类型的信息 z 人脑具有多种思维的能力
从信息系统研究的观点出发，人脑的信息处理过程有如下特点;
并行分布处理的工作模式
可塑性和自组织性 信息处理
1984年，Hinton等人对Hopfield模型引入模拟退火方法，提出了 Boltzmann机模型。
1986年，Rumelhart提出了反向传播学习方法（BP算法），解决 了多层前向神经网络的学习问题，证明了多层前向网络具有很强的学 习能力。
8
历史回顾
上世纪90年代初，Edelman提出了Darwinism模型。 遗传算法等进化计算成为研究热点。 1990年Takagi综述性地讨论了神经网络与模糊逻辑的结合，模糊 神经网络迅速发展。 现已应用于模式识别、自动控制、信号处理、决策辅助方面。神 经计算机的研究也取得了一些进展。 已有相应的神经网络学术会议和神经网络学术刊物。
BP神经网络、径向基函数网络等模型均属于前向网络类型。
18
人工神经网络的互连模式
输出反馈的前向网络 输出层对输入层有信息反馈，即每一个输入节点都有可能接受来 自外部的输入和来自输出神经元的反馈，这种模式可用来存储某 种模式序列，如神经认知机即属于此类。
19
人工神经网络的互连模式
层内有互连的前向网络 通过层内神经元的相互结合，可以实现同一层内神经元之间的横 向抑制或兴奋机制。这样可以限制每层能同时动作的神经元数， 或者把每层内的神经元分成若干组，让每组作为一个整体来运作。 许多自组织神经网络大多具有这样的结构，如ART网络等。
人类早已成功使用机器完成繁重和重复的体力工作，但人们一 直没有放弃让机器具有人类思维能力的努力。 电子计算机的出现，使其有了某些实现的可能性，特别是人工 智能技术的发展，使得人们又向思维机器的研究方向迈进了一 步。 人工神经网络技术又为我们进一步怎样模拟人类智能以及了解 人脑思维的奥秘开辟了一条新的途径。
Δwij = aui u j
学习速率
25
延时MP模型
延时MP模型可表示为：
n
∑ υi (t) = f ( w ji v j (t −τ ji ) −θi ) j =1
其中 τ ji 为突触延时。
26
简单感知器模型
简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监 督学习来逐步增加模式划分的功能，达到所谓学习的目的。
因此，具有并行分布处理的神经网络理论又重新受到人们的重 视，对神经网络的研究又开始复兴，掀起了第二次研究高潮。
7
历史回顾
1982年，美国加州理工学院物理学家Hopfield提出了HNN神经网 络模型，对神经网络理论的发展产生了深远的影响。他引入了“能量 函数”的概念，使得网络稳定性研究有了明确的判决。HNN的电子电 路物理实现为神经计算机的研究奠定了基础，并应用于一些计算复杂 度为NP完全型的问题，如著名的“巡回推销员问题（TSP）”。
数据处理方法及应用
人工神经网络
¾ 人工神经网络概述 ¾ 人工神经网络基本模型 ¾ BP神经网络 ¾ 径向基函数神经网络模型 ¾ Matlab神经网络应用介绍
参考资料：
杨建刚 编著. 人工神经网络实用教程，浙江大学出版社，2000
闻新 周露 王丹力 熊晓英 编著. MATLAB 神经网络应用设计，科学出版
上世纪60年代以来集成电路和微电子技术日新月异的发展，使 得电子计算机的计算速度飞速提高，给人工智能从实验室走向实用 带来了希望。这些技术进步给人们造成这样的认识：以为串行信息 处理及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时 掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。
认识上的局限性使对神经网络的研究进入了低潮
目前，神经网络的研究使得对多年来困扰计算机科学和符号处理 的一些难题可以得到比较令人满意的解答，尤其在时空信息存贮、并 行搜索、自组织联系记忆、时空数据统计描述的自组织等方面，有独 特的能力。
神经网络的深入发展，必将带动其他学科的发展。
10
生物神经元及其联接
人工神经网络是对生物神经系统的模拟。它的信息处理功能是由 网络单元（神经元）的输入输出特性（激活特性）、网络的拓扑结构 （神经元的连接方式）、连接权大小（突触联系强度）和神经元的阈 值（可视为特殊的连接权）等决定。
社，2002
讲课：钟伟民，研究生楼912，64251250-811，wmzhong@ecust.edu.cn
1
人工神经网络
主要阐述人工神经网络的研究与发展概述，重点介绍 一些人工神经网络的基本模型以及BP、Hopfiled网络模 型，让同学们了解人工神经网络的基本概念，构造以及应 用。
2
概述
人工神经网络研究与发展
11
生物神经元及其联接
生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。 人脑大约有1011-1013个左右的神经细胞（神经元）。 每个神经元都是独立的，均有自己的核和自己的分界线或原生质膜。 神经元之间的相互连接从而让信息传递的部位被称为突触（Synapase）。 当神经细胞受到外界一定强度信号的刺激时，会引起兴奋，并出现一次可 传导的动作电位（即神经冲动）。 单个神经元可以从别的细胞接受多个输入，由于输入分布于不同的部位， 对神经元影响的比例（权重）是不相同的。 多个神经元以突触联接形成了一个神经网络。
（1）逻辑“与” （2）逻辑“或” （3）逻辑“非”
w1 = w2 = 1,θ = 1.5
w1 = w2 = 1,θ = 0.5
w1 = −1, w2 = 0,θ = −1
28
误差学习算法
δ 学习规则
① 选择一组初始权值 wi (0)。
② 计算某一输入模式对应的实际输出与期望输出的误差 δ 。 ③ 如果 δ 小于给定值，结束，否则继续。
21
人工神经网络基本模型
MP模型
MP模型属于一种阈值原件模型，由美国Mc Culloch和Pitts提出 的，是大多数神经网络模型的基础。
ui
23
MP模型
有：
n
∑ ui = w ji v j −θi j =1
υi = f (ui ) MP模型中，采用阶跃函数
υi
=
⎧1, ⎩⎨0,
ui ≥ 0 ui < 0