人工神经网络基础

如果两个神经元同时兴奋(即同时被激活)，则它 们之间的突触连接加强
w ij o i o j

为学习速率，oi、oj为神经元 i 和 j 的输出
Hebb学习规则是人工神经网络学习的基本规则，几乎所 有神经网络的学习规则都可以看作Hebb学习规则的变形
<2>
神经网络的学习规则
2、纠错式学习— Delta(δ)学习规则

一 人工神经网络发展
人工神经网络概念： 人工神经网络：

就是把一个描述生物神经网络运行机理和工 作过程的抽象和简化了的数学-物理模型，表 达成为一个以其中的人工神经元为节点、以 神经元之间的连接关系为路径权值的有向 图，再用硬件或软件程序实现该有向图的运 行，其稳态运行结果体现生物神经系统的某 种特殊能力。
例：实现逻辑函数“与门”（AND gate）运 算。 1 —真，0—假
例：实现逻辑函数“与门”（AND gate）运 算。 1 —真，0—假
3、常见的神经元激活函数
MP 神经元模型是人工神经元模型的基础，也是神经 网络理论的基础。在神经元模型中，激活函数除了阶跃函 数之外，还有其它形式。不同的激活函数，可构成不同的 神经元模型。
2、无监督学习方式
无导师信号提供给网络，神经网络仅仅根据其输入调 整连接权系数和阈值，此时，网络的学习评价标准隐含 于内部。其结构见下图。这种学习方式主要完成聚类操 作。
<2>

神经网络的学习规则
1、联想式学习— Hebb学习规则
Donall Hebb根据生理学中的条件反射机理，于1949 年提出的神经元连接强度变化的规则：
<1> 对称型Sigmoid函数
f (x) 1 e 1 e
x x
或
f (x)
1 e 1 e
x x
,
0
<2> 非对称型Sigmoid函数
f (x) 1 1 e
x
或
f (x)
1 1 e
x
,
0
<3> 对称型阶跃函数函数
1 , f (x) 1 , x 0 x 0


3、信息传递功能与特点

具有时空整合能力


不可逆性，脉冲只从突触前传到突触后，不逆向传递
神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在 1—150m／s之间 信息传递时延和不应期，一般为0.3～lms 可塑性，突触传递信息的强度是可变的，即具有学习功能


存在学习、遗忘或疲劳（饱和）效应
首先我们考虑一个简单的情况：设某神经网络的输 出层中只有一个神经元i，给该神经网络加上输入，这样 就产生了输出yi(n)，称该输出为实际输出。
对于所加上的输入，我们期望该神经网络的输出为 d(n),称为期望输出或目标输出（样本对里面包含输入和 期望输出）。实际输出与期望输出之间存在着误差，用 e(n)表示： e ( n )= d ( n )- y i ( n )

对应突触传递作用增强、减弱和饱和
三 人工神经网络结构
人工神经网络 人工神经元模型 常见的神经元激发函数 人工神经网络典型结构

二、人工神经元模型
1943， 神 经生理 学家 McCulloch 和 数 学 家 Pitts 基于早期神经元学说，归纳总结了生物神经 元的基本特性，建立了具有逻辑演算功能的神经 元模型以及这些人工神经元互联形成的人工神经 网络，即所谓的 McCulloch-Pitts 模型。 McCulloch-Pitts 模型（MP模型）是世界上第 一个神经计算模型，即人工神经系统。
1、有监督学习方式
神经网络根据实际输出与期望输出的望输出又 称为导师信号，是评价学习的标准，故这种学习方式又称 为有导师学习。
特点： 不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感
<1>
神经网络的学习方式
连而达到的。根据神经元的拓扑结构形式不同，神经网络 可分成以下两大类：
<1>
层次型神经网络
（1）前向神经网络 神经元分层排列，顺序连接。由输入层施加输入信息，通过 中间各层，加权后传递到输出层后输出。每层的神经元只接 受前一层神经元的输入，各神经元之间不存在反馈。
<1>
层次型神经网络
（1）前向神经网络 感知器(Perceptron)、BP神经网络和径向基函数(RBFRedial Basis Function)神经网络都属于这种类型。 Hornik等人证明了：仅有一个非线性隐层的前馈网络 就能以任意精度逼近任意复杂度的函数 。 当激活函数式线性时，多层前向NN退化为单层前向 NN。
1 , f (x) 0 , x 0 x 0
MP模型：
可知当神经元i的输入信号加权和超过阈值时，输出为 “1”，即“兴奋”状态；反之输出为“0”，是“抑制” 状态。
激活函数的基本作用
– 控制输入对输出的激活作用
–对输入、输出进行函数转换 –将可能无限域的输入变换成指定的有限范围内的输出

根据具体要求，直接计算，如Hopfield网络作优化 计算
通过学习得到的。大多数人工神经网络都采用这种 方法


学习是改变各神经元连接权值的有效方法，也是体现人 工神经网络智能特性最主要的标志。离开了学习，神经 网络就失去了诱人的自适应、自组织能力
学习方法是人工神经网络研究中的核心问题
<1>
神经网络的学习方式
采用阶跃作用函数的神经元，称为阈值逻辑单元。
<4> 线性函数
（1）线性作用函数：输出等于输入，即 y f ( x ) x
（2）饱和线性作用函数
0 y f (x) x 1 x 0 0 x 1 x 1
（3）对称饱和线性作用函数
1 y f (x) x 1 x 1 1 x 1 x 1
问题。
一 人工神经网络发展

自20世纪80年代中期以来，世界上许多国家掀 起了神经网络的研究热潮，可以说神经网络已 成为国际上的一个研究热点。
一 人工神经网络发展
神经网络研究的两大派：

主要包括:生物学家、物理学家和心理学家

研究目的：给出大脑活动的精细模型和描述。

主要包括:工程技术人员
主要目的：怎样利用神经网络的基本原理，来构 造解决实际问题的算法，使得这些算法具有有趣 的和有效的计算能力。 人工神经网络属于此类
<2>
互联型神经网络
在无反馈的前向网络中，信号一旦通过某个神经元，过 程就结束了。而在互连网络中，信号要在神经元之间反复往 返传递，神经网络处在一种不断改变状态的动态之中。从某 个初始状态开始，经过若干次的变化，才会到达某种平衡状 态，根据神经网络的结构和神经元的特性，还有可能进入周 期振荡或其它如浑沌等平衡状态。
三 神经网络的基本学习方式和学习规则
1 、神经网络的学习方式 有监督（误差校正）学习方式 无监督学习方式
2、神经网络的学习规则 联想式学习 — Hebb学习规则 误差纠正式学习——Delta (δ)学习规则
三 神经网络的基本学习方式和学习规则

人工神经网络连接权的确定通常有两种方法
一 人工神经网络发展

人工神经网络是近年来得到迅速发展的一 个前沿课题。神经网络由于其大规模并行 处理、容错性、自组织和自适应能力和联 想功能强等特点，已成为解决很多问题的 有力工具。
二

生物学基础
生物神经元
突触信息处理
信息传递功能与特点
1、生物神经元

神经元是大脑处理信息的基本单元 人脑约由101l-1012个神经元组成，其中，每个 神经元约与104-105个神经元通过突触联接，形 成极为错纵复杂而且又灵活多变的神经网络 神经元以细胞体为主体，由许多向周围延伸的 不规则树枝状纤维构成的神经细胞，其形状很 像一棵枯树的枝干 主要由细胞体、树突、轴突组成
<5> 高斯函数
f ( x) e
(x
2
)
2

反映出高斯函数的宽度
<6> 双曲正切函数
4、人工神经网络的典型结构
目前，神经网络模型的种类比较多，已有近40余种神经
网络模型，其中典型的有BP网络、Hopfield网络、CMAC 小脑模型、ART自适应共振理论和Blotzman机网络等
众所周知，神经网络强大的计算功能是通过神经元的互

一 人工神经网络发展

1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型， 第一次把神经网络的研究从纯理论的探讨付诸工程实践， 掀起了人工神经网络研究的第一次高潮。 1969年，人工智能学者专著《感知机》的发表，从数学上 严格论证了简单的线性感知机不能解决“异或”（XOR） 问题。同时也指出如果在感知器中引入隐含神经元，增加 神经网络的层次，可以提高神经网络的处理能力，但是却 无法给出相应的网络学习算法。于是，从20世纪60年代末 期起，人工神经网络的研究进入了低潮。
人工神经网络
人工神经网络概述
前向多层网络
自组织特征映射网络（SOFM）
人工神经网络概述
一 二 三 四 人工神经网络发展 生物学基础 人工神经网络结构 神经网络基本学习算法
一 人工神经网络发展

最早的研究可以追溯到20世纪40年代。1943年，心 理学家McCulloch和数学家Pitts合作提出了形式神 经元的数学模型。这一模型一般被简称M-P神经网 络模型，至今仍在应用，可以说，人工神经网络的 研究时代，就由此开始了。 1949年，心理学家Hebb提出神经系统的学习规则， 为神经网络的学习算法奠定了基础。现在，这个规 则被称为Hebb规则，许多人工神经网络的学习还遵 循这一规则。