人工神经元网络模型

按连接方式分类：
(1)前向网络
输 入
输 出

输入层 隐含层

输出层
特点：①神经元分层排列，组成输入层、隐含层（可以有若 干层）和输出层。②每一层的神经元只接受前一层神经元的 输入。各神经元之间不存在反馈。 感知器和误差反向传播算法中使用的网络都属于这种类型。
(2)反馈网络
输 入
输出
特点：只在输出层到输入层存在反馈，即每一个输入节点都有 可能接受来自外部的输入和来自输出神经元的反馈，
2、无导师指导的学习
输入信号
网络输出 YP
评价函数
XP
神经网络 w
w
图4-9 无导师指导的神经网络学习方式
评价函数作用：对网络的某种行为趋向作出评价，实现对 网络的训练。 学习规则根据连接权系数的改变方式不同分为三类： 相关学习、纠错学习、无导师学习
（1）相关学习（联想式） 特点：仅仅根据连接间的激活水平改变权系数。 它常用于自联想网络，执行特殊记忆状态的死记式学习。
输入信号
神经网络
Hale Waihona Puke 网络输出 YpXp
w
期望输出 （教师信号） TP 图4-8 有导师指导的神经网络学习方式
距离计算
在训练过程中，绐终存在一个期望的网络输出。期望输出 和实际输出之间的距离作为误差度量并用于调整权值。
特点：①须多次重复训练（调整权值），使误差值e→0； ②学习需消耗一定时间。实时控制关键：提高神经网络学习速度。
学习算法：Hebb规则。
理论依据：突触前与突触后两者同时兴奋，即两个神经元 同时处于激发状态时，它们之间的连接强度将得到加强。
即wij (k 1) wij (k ) Ii I j
下一时刻的权值 当前权值
n
激活水平
当Neti wij x j i
j 1
yi f ( Neti )
时
则wij (k 1) wij (k ) yi y j
（2）纠错学习
特点：依赖关于输出节点的外部反馈改变权系数。 它常用于感知器网络、多层前向传播网络。
学习方法：梯度下降法； 学习算法：δ规则(BP算法采用) 。
（3）无导师学习（竞争式学习）
特点：自动实现输入空间的检测和分类，调整权值以反映所观察事件 的分布。 它常用于ART网络。 步骤：1.识别与输入最匹配的节点。定义距离dj为接近距离测度，即
f ( Neti ) 1 1 e
Neti T
1
0.5
f
1
0
图4-5 Sigmoid 函数
Net i
（4）Tan函数型
0
Net i
f ( Neti )
e e
Neti T Neti T
e e

Neti T Neti T
图4-6 Tan函数
二、神经网络的模型分类 按层次： （1）神经元层次模型：只是研究单一神经元的动态特性和 自适应特性，探索神经元对输入信息的处理和存储能力。 （2）组合式模型 这种模型是由数种相互补充、相互协作的 神经元组成，用于完成某些特定的任务。 （3）网络层次模型 它是由众多相同神经元相互连接而成 的网络，着重研究神经网络的整体性能。 （4）神经系统层次模型 一般由多个不同性质的神经网络 构成，以模拟生物神经系统更复杂、更抽象的特性。
(4)混合型网络（层次型网络和网状结构网络的结合）
输 入
输 出
特点：同一层内神经元可以连接；不同层之间是无反馈的。
三、神经网络的学习算法 学习：针对一组给定输入，通过外部校正（调整权系数）， 使网络产生相应的期望输出的过程。
神经网络的学习算法分为两大类：有导师学习和无导师学习 1、有导师指导的学习（BP算法）
f 1
0
图4-3 阈值函数
Net i
（2）分段线性型
Neti Neti 0 0 f ( Neti ) kNeti Neti 0 Neti Netil f Neti Netil max
f
f max
0
Net i 0
Net il
Net i
图4-4 线性函数
f
（3）Sigmoid 函数型(S型)
神经网络结构
有
无 学习：神经元系统根据某种学习方法调整它内部参数以完 成特定的任务的过程。 神经网络学习方法 导师指导
一、神经元模型
1、神经细胞结构
神经元是生物神经系统的最基本单元
轴突 （输出端） 树突 突触（轴突末梢） （联系接口）
（输入端）
细胞体
兴奋（有）：电位差内正外负（约60～100mV）
1982：Hopfield HNN模型（Hopfield Neural Networks） 1986：Rumelhart BP算法（back propagation）
误差反向传播学习算法 神经元网络系统主要研究三个方面的内容： 线性 处理单元 神经元模型 非线性 前向网络(BP) 反馈网络(Hopfield) 自组织网络(ART)
f(· )
激励函数
yi
xn
n
win
图 神经元结构模型
（非线性函数）
Neti wij x j i
j 1
i 为阈值； 其中：
yi f ( Neti )
wi j 为表示神经元j到神经元i的连接权系数
激励函数f(· )形式: （1）阈值型
1 Neti 0 f ( Neti ) 0 Neti 0
两种状态
（有无神经冲动） 抑制（无） ：电位差内负外正（约－50～－100mV）
细胞膜内外之间的不同电位差来表征的。
2、神经元模型（人工神经元）结构 神经元模型是生物神经元的抽象和模拟。是神经网络的最 基本组成部分，一般是多输入-单输出的非线性器件。 i x1 wi1
x2
…
wi 2
i
Neti
N 1 i 0
d j (ui wij )2
其中：ui(i=0,1, , N 1)为N维输入向量（给定）
具有最短距离的节点选作胜者。 2. 胜者的权向量经修正使该节点对输入u更敏感。
定义Nc，其半径逐渐减小至接近于0。
权值学习规则为： (ui wij ), i N c wij , i Nc 0
(3)相互结合型网络（网状结构）
输 入
输出
特点：在任意两个神经元之间都可能有连接。HNN属于这一类。 在无反馈的前向网络中，信号一旦通过某个神经元,过程 就结束了。而在相互结合网络中，信号要在神经元之间反复 往返传递，网络处在一种不断改变状态的动态之中。从某种 初态开始。经过若干次的变化，才会到达某种平衡状态，根 据网络的结构和神经元的特性，还有可能进入周期振荡。