人工神经网络-BP.ppt

➢ 可见层 输入层 (input layer) 输出层 (output layer)
➢ 隐含层( hidden layer)
输入节点所在层，无计算能力 节点为神经元 中间层，节点为神经元
具有三层计算单 元的前馈神经网络结 构
2. 感知器神经网络(感知器)、感知器神经元
单层感知器网络
感知器神经元
2. 感知器神经网络、感知器神经元(续)
对 于 当 前 层 l 的 第 j个 计 算 单 元 ,j 1,..., nl
该
单
元
的
净
输
入
实
际
输
出
n l1
n
e
t
l j
Ol l 1 ij i
i 1
O
l j
f
n
e
t
l j
1
=
1+
e
-
n
e
t
l j
f
'
n
e
t
l j
f
n
e
t
l j
1 f
n
e
t
l j
若 当 前 层 为 输 出 层 l L 1， 则 计 算 单 元 j
1. 生物神经系统与生物神经元
大量生物神经元的广泛、复杂连接，形成生
物神经网络 (Biological Neural Network, BNN)。
实现各种智能活动
生物神经元(neuron)是基本的信息处理单元
(1)生物神经系统
生物神经元(neuron)是基本的信息处理单元, 其组成：
➢ 树突(dendrites), 接收来自外接的信息 ➢ 细胞体(cell body), 神经细胞主体，信息加工 ➢ 轴突(axon), 细胞的输出装置，将信号向外传递，
实 际 输 出 预 测 输 出
yj
O
l j
理
想
输
出
给
定
输
出
dj
且
y D
y1, , ym y1,..., ym
T T
2误 差 反 向 传 播 过 程
准 则 函 数 -- 最 小 误 差 平 方 和 。
I输 出 误 差
某 样 本 x x1,..., xn T 在 网 络 输 出 层 各 节 点 产 生 的
(1) 基本的人工神经元模型
若 带 偏 置 量 ， 则 有
netWpbin 1ipi b
yf(net)
--单 输 出 (标 量 )
(2(2))几输种出常函见数形f 式的传递函数(激活函数)
A.线 性 函 数 f net = k net + c
B .非 线 性 斜 面 函 数 (R am p F u n ction )：
自适应
并行处理
分布表达与计算
神经网络应用
神
经
网
络
本
质
上
，
可
以
理
解
为
函
数
逼
近
回 归
状
态
预
测
可 应 用 到 众 多 领 域 ,如 ：
优化计算；信号处理；智能控制；
模式识别；机器视觉；等等。
主要内容
一. 人工神经网络基本知识 二. 二. 前馈神经网络、多层感知器、及非线性
分类
三. BP神经网络 四. 数据处理及神经网络结 构的选择 五. 应用
• 单个阈值神经元可以实现任意多输入的与、 或及与非、或非逻辑门。
• 任何逻辑函数可由两层前馈网络（一层计 算单元）实现。
• 三层或三层以上的前馈网络通常称为多层 感知器
• 多层感知器的适用范围大大超过单层网络。
多层感知器示意
一 般 的 前 馈 运 算 c类 ， c个 判 别 函 数 gk x
b
f
net
k
net
b
net net net
b 0为 常 数 ， 称 饱 和 值 ， 是 该 神 经 单 元 的 最 大 输 出 ；
输出函数值限制在 b,b范围内。
C(.2符) 号输出函函数数f
s ig n 型 函 数 ， 不 可 微 ； 对 称 硬 极 限 函 数 ；
双
极
函
数
感知器神经元的传递函数
符 号 函 数 对 称 硬 极 限 函 数
f
net
=
sgn
net
=
1
-
1
net 0 net < 0
m atlab函 数 hardlim s
hardlim
net =
1
0
net 0 net < 0
单层感知网络可以实现线性分类
3. 多层感知器（含两层以上的计算单元）
(1)多层感知器(MLP) 的一致逼近性
j的
连
接
权
值
BP算法训练过程描述
5假定：第l层为当前处理层；
其前一层l 1、当前层l、后一层l 1的计算单元序号为i, j,k； 位于当前层第j个计算单元的输出为Olj，j 1,...,nl
前层第i个单元到本层第j个单元的连接权值为ilj,i 1,...,nl1 本层第j个单元到后层第k个单元的连接权值为ljk1,k 1,...,nl1
➢ 兴奋与抑制 信号可以起兴奋作用，也可以起抑制作用 一个神经元接受信号的累积效果（综合大小，代
数和）决定该神经元的状态(兴奋、抑制) 每个神经元可以有一个“阈值”
2. 人工神经网络与人工神经元
人工神经网络是对生物神经系统的模拟。 大量简单的计算单元（结点，神经元）以某种形式
连接，形成一个网络. 其 中 某 些 因 素 ， 如 : 连 接 强 度 (连 接 权 值 ， 其 大 小 决
输出层与隐含层的激活函数可以不同，并且输出层
各单元的激活函数可有所区别
2 多层网络的表达能力
按照Kolmogorov定理,任何一个判决均可用 前式所示的三层神经网络实现。
即： 只要给定足够数量的隐含层单元、适 当的非线性函数、以及权值， 任何由输入向输 出的连续映射函数均可用一个三层前馈神经网络 实现。
主要内容
一. 人工神经网络基本知识
生物神经网络、生物神经元 人工神经网络、人工神经元 人工神经网络三要素 典型激活函数 神经网络几种典型形式
二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五. 应用
人工神经网络 是生物神经网络的某种模型(数学模型) 是对生物神经网络的模仿 基本处理单元为人工神经元
当神经元的输出函数为sigmoid等函数时，三
层前馈网络(含两层计算单元)可以逼近任意的 多元非线性函数。
主要内容
一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络
四. 数据处理及 神经网络结构的选择 五 应用
基于阈值神经元的多层感知器不足
➢ 隐含层不直接与外界连接，误差无法直接估计 ➢ 中间层神经元的激活函数为阈值函数(或阶跃函数)
无法采用梯度下降法训练神经元权值
基于BP算法的多层感知器(BP网络)
➢ 各计算单元(神经元节点)传递函数：Sigmoid函数 ➢ 误差逐层反向传播；
信号逐层正向传递
BP神经网络训练的两个阶段
(1)信号正向传递过程 输入信息从输入层经隐层逐层、正向
输出单元的输出
y k
g
k
x
netk
n
v jk
m
ij xi
0j
v0k
j1
i= 1
第 1个 隐 含 层 的 第 j个 节 点
的净输入
输 出 层 的 第 k个 节 点 的 净 输 入
k 1,..., c
隐含层单元 可表达更为复杂的非线性函数 激活函数 不一定为符号函数
常要求激活函数是连续可微的
net
较
小
时
(权
值
较
小
)，
可
近
似
线
性
函
数
--高 增 益 区 处 理 小 信 号
net
较
大
时
(权
值
较
大
)，
可
近
似
阈
值
函
数
.
--低 增 益 区 处 理 大 信 号
3. 人工神经网络三个要素
网络结构或拓扑(连接形式) 神经元的计算特性(传递函数) 学习规则
上述要素不同组合，形成各种神经网络模型
4. 神 经 网 络 三 种 基 本 模 型
f
net =
sgn
net =
1
Baidu Nhomakorabea
-
1
net 0 net < 0
m atlab函 数 hardlim s
D .阈 值 函 数
f
net
=
-
net net <
其 中 , , 非 负 实 数
E .(s2ig)m 输o id出函函数数 fS 型 函 数 ， 连 续 可 微
一些重要的学习算法要求输出函数可微
与多个神经元连接 ➢突触 （synapsse), 神经元经突触向其它神经元（胞体 或树突）传递信号
(2)生物神经元的基本特征
➢ 神经元之间彼此连接 ➢ 神经元之间的连接强度决定信号传递的强弱
神经元之间的连接强度可以随训练改变 学习、遗忘、疲劳 ----神经网络中各神经元之间连接的强弱，按外部的 激励信号做自适应变化
1.前馈(forward)神经网络
➢ 各神经元接受来自前级的输入，并产生输出到下一级，无反 馈，可用一有向无环图表示。
➢ 网络中的节点分两类：输入节点；计算节点(神经元节点) ➢ 节点按层(layer)组织 ：
第i层的输入只与第i-1层的输出相连。
输入信号由输入层输入,由第一层节点输出，传向下层，…… ➢ 前馈：信息由低层向高层单向流动。 -------------------------------------------------
输出误差为
E 1 2
Dy 21 2
m j1
dj yj
2
1 2
m j1
d
j
O
L 1 j
21 =
2
m j1
dj
f
n
e
t
L j
1
2
样本集内所有样本关于该网络的总输出误差
E to ta l E
输
出
层
l
L
1 节
点
j的
净
输
入
实际输出
n
e
t
L j
1
nL2
L 1 L 2 O ij i
输入层
层 号 l 1,...,L 2 隐 含 层
层号l L 1 输出层
3各 层 节 点 输 入 节 点 ， 计 算 节 点 数 目 nl
输 入 层 n0=n
输 出 层 n L1 m
4相 邻 层 连 接 权 值
l 0，1, ..., L 1
l ij
来
自
第
l -1 层
的
节
点
i与
当
前
第
l层
节
点
定 信 号 传 递 强 弱 ); 结 点 计 算 特 性 (激 活 特 性 ,神 经 元 的 输 入 输 出 特 性 );甚 至 网 络 结 构 等 ， 可 依 某 种 规 则 随 外 部 数 据 进行适当调整，最终实现某种功能。
神经网络的计算通过网络结构实现； 不同网络结构可以体现各种不同的功能； 网络结构的参数是通过学习逐渐修正的。
输 入信号
n维输入向量x = x1,..., xn T
x是来自其它n个神经元的输出； 也可以是来自外部的输入信号
权向量
n维权向量W = 1,...,n T ,i R
相当于突触的连接强度。
传 递 函 数 转 移 函 数 ,激 励 激 活 函 数
传输函数，输出函数，限幅函数
将可能的无线域变换到指定的有限范围输出。
单 调 增 函 数 ， 通 常 为 "非 线 性 函 数 "
网
络
输
入
net W
x
n
ixi
i 1
--神 经 元 的 输 入 兴 奋 总 量 是 多 个 输 入 的 代 数 和
其
中
输
出
y f (net)
- -单 输 出 (标 量 )
--执 行 该 神 经 元 所 获 得 的 网 络 输 入 的 变 换
1 前 馈 型 神 经 网 络 feedfroward network - 重 点 介 绍
多层感知器
BP网 络
RBF网 络
2
反
馈
网
络
feedback
network
H opfield网 络
3
竞
争
学
习
网
络
com
petitive
lea rn in g
network
SOM 神 经 网 络
神经网络特点 自学习
传递，直至得到各计算单元的输出
(2)误差反向传播过程 输出层误差从输出层开始，逐层、反
向传播，可间接计算隐层各单元的误差， 并用此误差修正前层的权值.
BP算 法 训 练 过 程 描 述
约定：
1 n维 标 准 化 输 入 向 量
x x 1 , , x n T
2 L层 神 经 网 络
层号l 0
对 数 S型 函 数
f
net
1
1 e net
m atlab函 数 ： logsig
值 域 0，1
双 曲 正 切 S型 函 数
f
net
th(net)
e net e net e net e net
2 1 e 2net
1
值 域 1，1
m atlab函 数 ： tansig
非 线 性 ， 单 调 ； 无 限 次 可 微
(1)基本的人工神经元模型
McCulloch-Pitts神经元模型 输入信号；链接强度与权向量； 信号累积 激活与抑制
人工神经元模型的三要素:
一组连接 一个加法器
连接权值，突触连接强度权 权值 值00， ，抑 激制 活 输入信号关于神经元突触的线性加权
一个激励函数 将神经元的输出信号限制在有限范围内
注：采用梯度法修正权值，输出函数应连续可微，选sigmoid函数。
1 输 入 信 号 的 正 向 传 递 过 程
从 样 本 集 内 取 出 一 个 样 本 x,D ,将 x各 分 量 从 输 入 层
输 入 至 网 络 , 由 前 向 后 ， 逐 层 得 到 各 计 算 单 元 的 实 际 输 出 y：