第4章 人工神经元模型 《智能控制技术(第2版)》课件

与输入矢量的个数、网络的节点数和权值与训 练样本集数目之间存在密切的关系。
1 引言 2 前向神经网络模型 3 动态神经网络模型 5
18
二、前向神经网络模型
前向神经网络是由一层或多层非线性处理单元组 成。相邻层之间通过突触权系数连接起来。由于 每一层的输出传播到下一层的输入，因此称此类 网络结构为前向神经网络，有三种结构：
1、阈值型
w 1 f(Nx1ei)ti10
Nei t0 N ui ei t0
x2
wi2
yi
2、分段线性型 i
xn
win
si
图 3— 1— 2 神 線元 结 构 模 型
f 1
0
Neti
图3—1—3 阀值函数
f
f
max
0
Neti0 Neti1 Net i
图3—1—4 线性函数
一、引言
3、Sigmoid 函数型
η表示学习步长
一、引言
纠错学习:有导师学习方法 ，依赖关于输出节 点的外部反馈改变权系数。它常用于感知器网 络、多层前向传播网络和Boltzmann机网络。 其学习的方法是梯度下降法。
最常见的学习算法有δ规则、模拟退火学习规 则。
δ规则学习信号就是网络的期望输出t与网络实际 输出y的偏差δj=tj-yj。连接权阵的更新规则为： Δwji=ηδjyi
一、引言
神经元模型是生物神经元的抽象和模拟。可看 作多输入/单输出的非线性器件 。
f
w
x
i1
1
x2
wi2
ui
y
i i
xn
win
si
图 3— 1— 2 神 線元 结 构 模 型
1
ui 神经元的内部状态，
θ0i 阀值，
Neti
xi 图 3输— 1入— 3 阀信值 函号数 ，j=1,2,…,n;
wijf 表示从单元uj 到单元ui
第四章 人工神经元模型
浙江大学电气学院 韦巍教授 2015.9
1 引言 2 前向神经网络模型 3 动态神经网络模型 5
2
一、引言
模糊逻辑控制解决了人类智能行为的语言的描 述和推理问题
人工神经网络是模拟人脑细胞的分布式工作特 点和自组织功能，且能实现并行处理、自学习 和非线性映射等能力的一种系统模型。
ij
yi
图 3ni— 1— 1 3 单 层 前 向 传
( wijxj i)
播
网
络
结构示意图 图3
i=1,2,...,no
—
1
—
1
4
(
a
)
含一个隐含
j1
x
1k
二、前向神经网络模型
多层神经网络结构: 是在输入层和输出层之间嵌入一层或 多层隐含层的网络结构。隐含单元既可以与输入输出单 元相连，也可以与其它隐含单元相连。
一、引言
神经网络的学习算法
有导师学习:就是在训练过程中，始终存在一个期 望的网络输出。期望输出和实际输出之间的距离作 为误差度量并用于调整权值
无导师学习:无导师学习指的是网络不存在一个期 望的输出值, 需建立一个间接的评价函数
一、引言
神经网络学习规则根据连接权系数的改 变方式不同又可分为如下三类:
的连f接max 权值;
si 外部输入信号
0
N eti0 N eti1
Net i
图3—1—4 线性函数
一、引言
数学模型
Niet w ijxj si i
j
ui=f(Neti) yi=g(ui) 通常可以假设 g(ui)=ui， 则： yi=f(Neti) f为激励函数 ，通常有4种类型。
一、引言
1
f (Neit)
Neit
1e T
4、Tan函数型
一、引言
神经网络模型的种类相当丰富，已有近40余种各 式各样的神经网络模型。根据连接方式的不同， 神经网络的结构类型主要分4类：
前向网络 反馈网络 相互结合型网络 混合型网络
一、引言
(a)
.
.
.
.
.
.
(b)
(d) (c)
前向网络 (a)、反馈图 3网-1-7 络(b)、相互结合型网络(c)、 混合型网络(d)
单一神经元 单层神经网络结构 多层神经网络结构
二、前向神经网络模型
单一神经元: 每一神经元的激励输出是由一组连续输入 信号xi i=1,2,...,ni决定的，而这些输入信号代表着从 另外神经元传递过来的神经脉冲的瞬间激励。设y代表神 经元的连续输出状态值
1
x
0
1
w
1
x
w
2
2
w
x
n
n
n
y (0 wjxj)
以单隐含层网络为例：
y
1k
x
1k
y
x
2k
2k
xni k w(1)
ij
yno k w (2)
ij
y w o 意 图
图 3— 1— 14(a)
含
一
个 i
隐含 层 前(向n传h 播
y
1k
j1
网(2络)结 构 ij j
示 意
图i)
oj
ni
(
w x (1) jl l
j)
l1
j=1,2,...,nh
Oj为隐含层的激励
一、引言
无导师学习表现为自适应实现输入空间的检测 规则。它常用于ART、Kohonen自组织网络。
例如Winner-Take-All 学习规则
假设输出层共有no个输出神经元,且当输入为x时,第m个 神经元输出值最大,则称此神经元为胜者。并将与此胜
者神经元相连的权系数Wm 进行更新。其更新公式为：
相关学习 纠错学习激活水平改变权 系数。它常用于自联想网络 。
最常见的学习算法是Hebb规则:如果单元ui接受来 自另一单元uj的输出，那么，如果两个单元都高度 兴奋，则从uj到ui的权值wij便得到加强。用数学形 式可以表示为:
Δwij=ηyioj
i=1,2,...,no
二、前向神经网络模型
假设每一层的神经元激励函数相同，则对于L+1层 前向传播网络，其网络输出的数学表示关系方程式 一律采用：
其中: Γl为各层神经元的激励函数， Wl 为l-1层到l层的连接权矩阵，
y
j1
(x)
0 为阈值，
wj 决定第j个输入的突触权系数。
二、前向神经网络模型
单层神经网络结构:由ni个输入单元和no的输出单 元组成。系统ni个输入变量用xj j=1,2,...,ni表 示，no个输出变量用yi；i=1,2,...,no表x示
1k
x
x1
y
2k
1
x
y
2
2
xni k
xni
y no
w(1)
Δwmj=η(xj-wmj), j=1,2,...ni
式中η>0,为小常数
一、引言
神经网络的泛化能力
当输入矢量与样本输入矢量存在差异时，其神经网 络的输出同样能够准确地呈现出应有的输出。这种 能力就称为神经网络的泛化能力。
在有导师指导下的学习中，泛化能力可以定义 为训练误差和测试误差之差。