湘潭大学 人工智能课件 神经网络系统

重点讨论
1. 感知器（Perceptron）模型
2. 反向传播（BP）模型 3. 反馈网络（Hopfield）模型
感知器模型
单层 感知器(1/7)
感知器是美国学者罗森勃拉特（Rosenblatt）于1957年为研究
大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经 网络模型，其拓扑结构是一种分层前向网络。
反思期 ：Minsky的质疑
1969年Minsky和Papert在《感知机》一书中指出感知机的 缺陷，使得神经网络的研究从兴起期进入了停滞期。 芬兰学者科霍恩（Kohonen）提出了自组织映射理论 (SOM)，美国学者格罗斯伯格（Grossberg）提出了自适应 谐振理论，这些研究成果对神经网络以后的发展产生了重 要影响。
人工神经网络的发展
人工神经网络的发展
成熟期：平稳发展，应用广泛
与其他领域的结合： – 与进化计算结合 – 与模糊逻辑结合 – …… 实际应用： – 计算机视觉 – 自然语言理解 – 优化计算 – 智能控制
人工神经网络的发展
人工神经网络的特性
并行分布处理：并行结构，耐故障； 非线性映射：任意非线性映射能力； 通过训练进行学习：通过数据记录进行训练，能处理 由数学模型或描述规则难以处理的问题；
人工神经网络的发展
人工神经网络的发展
第二高潮期 ：Hopfield网络, 反向传播(BP)算法
1982年，Hopfield提出Hopfield模型。1984年， Hopfield 设计研制了Hopfield网的电路。较好地解决了著名的TSP 问题，引起了较大的轰动。 1985年，Hinton(辛顿)、Sejnowsky、Rumelhart(鲁姆尔 哈特)等人在Hopfield网络中引入随机机制，提出 Boltzmann(波尔兹曼)机。 1986年， Rumelhart, Hinton提出多层感知机与反向传播 (BP) 学习算法，该方法克服了感知器非线性不可分类问 题，给神经网络研究带来了新的希望。 国内首届神经网络大会1990年12月在北京举行。
在实际应用中，该矩阵是通过大量的训练示例学习而形成的。
前馈网络
多层前馈网络(3/3)
多层前馈网络是指那种除拥有输入、输出层外，还 至少含有一个、或更多个隐含层的前馈网络。
x1 X2
… …
y1
…
Ym
Xn
作用：通过对输入层信 号的加权处理，将其转 移成更能被输出层接受 的形式。
输入层
权值
隐含层
权值
输出层
人工神经元是仿照生物神经元提出的，神经元可 以有N个输入：
x1 , x2 ,, xN
每个输入端与神经元之间有一定的联接权值： w1 , w2 ,, wN
神经元总的输入为对每个输入的加权求和，同时 减去阈值θ。u代表神经元的活跃值，即神经元状 态： N u wi xi
i 1
人工神经网络拓扑结构
人工神经网络实例（一个前馈网络的例子）：
ANi
wij
ANj
神经网络
人工神经网络
人工神经网络的概念 人工神经网络一种对人工神经元进行互联所形 成的网络，它是对生物神经网络的模拟。反映的是 神经元的饱和特性。 人工神经网络的分类
前馈网络 按拓扑结构 递归(反馈)网络 按学习方法 有导师指导
神经网络
生物神经网络
生物神经网络的六个基本特征：
1.神经元及其联接； 2.神经元之间的联接强度决定信号传递的强弱；
3.神经元之间的联接强度是可以随训练改变的；
4. 信号可以是起刺激作用的，也可以是起抑制作用的； 5. 一个神经元接受的信号的累积效果决定该神经元的 状态； 6.每个神经元可以有一个“阈值”。
包括：单层感知器和多层感知器。
单层感知器
是一种只具有单层可调节连接权值神经元的前向网络， 这些神经元构成了单层感知器的输出层，是感知器的可计算 节点。 在单层感知器中，每个可计算节点都是一个线性阈值神 经元。当输入信息的加权和大于或等于阈值时，输出为1，否 则输出为0或-1。
感知器模型
单层 感知器(2/7) 若假设各神经元的阈值分别是θj， 单层感知器的结构如下图 j=1,2,…,m，则各神经元的输出yj, x1 j=1,2,..,m分别为
概述
人工智能的各种学说
符号（功能）主义：符号逻辑推理 联结（结构）主义：人工神经网络
行为主义：智能行为模拟， “模式-动作”
联结主义的观点：智能的寓所在大脑皮层，它由大量非线 性神经元互联而成并行处理的神经网络。
概述
神经网络：是一种对人类智能的结构模拟方法，它
是通过对大量人工神经元的广泛并行互联，构造人工 神经网络系统去模拟生物神经系统的智能机理的。
y1 x2 … xn 输入层 权值 wij 输出层 … ym
y j f ( wijx i j )
i 1 n
j 1,2,...,m
进化计算：是一种对人类智能的演化模拟方法，它
是通过对生物遗传和演化过程的认识，用进化算法去 模拟人类智能的进化规律的。
模糊计算：是一种对人类智能的逻辑模拟方法，它
是通过对人类处理模糊现象的认知能力的认识，用模 糊逻辑去模拟人类的智能行为的。
神经网络
人工神经网络（ ANN）是反映人脑结构及功能的 一种抽象数学模型，是由大量神经元节点互连而 成的复杂网络，用以模拟人类进行知识的表示与 存储以及利用知识进行推理的行为。
轴突：输出信号
突触：与另一个神经元相联系的特殊部位
神经网络
生物神经网络
神经元的基本工作机制（简化）：
一个神经元有两种状态：兴奋和抑制； 平时处于抑制状态的神经元，其树突和胞体接收其他 神经元由突触传来的兴奋电位，多个输入在神经元中 以代数和的方式叠加； 如果输入兴奋电位总量超过某个阈值，神经元会被激 发进入兴奋状态，发出输出脉冲，并由突触传递给其 他神经元。 神经元被触发后进入不应期，在不应期不能被触发， 然后阈值逐渐下降，恢复兴奋性。
若假设各神经元的阈值分别是θj，j=1,2,…,m，则各神经元的 输出yj, j=1,2,..,m分别为：
y j f ( wij x i j )
i 1 n
j 1,2,...,m
其中，由所有连接权值wij构成的连接权值矩阵W为：
w11 w21 W w n1 w12 w1m w22 w2m wn2 wnm
1949年，心理学家赫布（D. O. Hebb）提出神经元之间突 触联系是可变的假说——Hebb学习律。
第一高潮期：单级感知器
以明斯基（Minsky）, 罗森布拉特（Rosenblatt）, 威德罗 （Widrow）等为代表人物
人工神经网络的发展
人工神经网络的发展
1957年Frank Rosenblatt定义了一个神经网络结构，称为感 知器 (Perceptron) 。 把神经网络研究从纯理论的探讨推向工程实现，在IBM计 算机上进行了模拟，并可以用电子线路模拟。
中间层
多层前馈网络结构
多层前馈网络的典型代表：BP网络
反馈网络
反馈网络是指允许采用反馈联结方式所形成的神经 网络。反馈联结方式：是指一个神经元的输出可以被 反馈至同层或前层的神经元。
前馈网络：非循环连接模式，每个神经元的 输入都没有包含该神经元先前的输出，因此 不具有“短期记忆”的性质。
区别
反馈网络：每个神经元的输入都有可能包含 有该神经元先前输出的反馈信息，这就有点 类似于人类的短期记忆的性质。
简单地讲，它是一个数学模型，可以用电子线路 来实现，也可以用计算机程序来模拟，是人工智 能研究的一种方法。 人工神经网络力求从四个方面模拟人脑的智能行 为： 物理结构，计算模拟，存储与操作，训练
人工神经网络的发展
人工神经网络的发展
萌芽期： M-P模型,Hebb学习律
1890年，美国生物学家詹姆斯（W. James）首次阐明了 有关人脑结构及其功能，以及相关学习、联想、记忆的基 本规律 1943年，心理学家麦卡洛克（McCulloch）和数学家皮茨 （Pitts）建立起了M-P神经元模型。
人工神经网络
神经元的模型确定之后，一个神经网络的特性及 能力主要取决于网络的拓扑结构及学习方法
人工神经网络（ANN）可以看成是以人工神经元为 结点，用有向加权弧连接起来的有向图 人工神经元就是对生物神经元的模拟 有向弧则是轴突—突触—树突对的模拟 有向弧的权值表示相互连接的两个人工神经元 间相互作用的强弱。
人工神经元模型
人工神经元的结构
MP模型是美国心理学家麦克洛奇(W.McM ulloch) 和数理逻辑学家皮茨(W.Pitts) 根据生物神经元的 功能和结构，于1943年提出的一种将神经元看作 二进制阈值元件的简单模型。MP模型是大多数神 经网络模型的基础。 MP模型示意图：
人工神经元模型
无导师指导
连续型网络
按网络性能 离散型网络
人工神经网络的互联结构
人工神经网络的互连结构（或称拓扑结构）是指单个神经 元之间的连接模式，它是构造神经网络的基础，也是神经网络 诱发偏差的主要来源。从互连结构的角度：
单层前馈网络 仅含输入层和输出层，且只有输出层 的神经元是可计算节点
y j f ( wijx i j )
适应与集成：自适应和信息融合能力；
硬件实现：快速和大规模处理能力。
神经网络
生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经 系统的简化、抽象和模拟，具有人脑功能的许多基本特征。
1. 生物神经系统简介
2. 人工神经网络简介
神经网络
生物神经网络
神经元结构包括四个部分：
胞体：神经细胞的本体，维持细胞生存功能 树突：接收来自其他神经元的信号（输入）