(2020年)BP神经网络(最新课件)

net
较大时(权值较大)，可近似阈值函数.
--低增益区处理大信号
主要内容 一 人工神经网络基本知识 二. 前馈神经网络、多层感知器、及非线性分类
三. BP神经网络 四. 数据处理及神经网络结 构的选择 五. 应用
1.前馈(forward)神经网络
➢ 各神经元接受来自前级的输入，并产生输出到下一级，无反馈，可用一 有向无环图表示。
双极函数
fwenku.baidu.com
net
=
sgn net
=
1 -1
net 0 net < 0
matlab函数 hardlims
D.阈值函数
f
net
=
-
net net <
其中 , ,非负实数
E.(s2ig)m输o出id函函数数f S型函数，连续可微
一些重要的学习算法要求输出函数可微
对数S型函数
f
net
1
➢ 可见层 输入层 (input layer) 输出层 (output layer)
➢ 隐含层( hidden layer)
输入节点所在层，无计算能力 节点为神经元 中间层，节点为神经元
No Image
具有三层计算单元的 前馈神经网络结构
No Image
2. 感知器神经网络(感知器)、感知器神经元 单层感知器网络
1 e net
matlab函数：logsig
值域 0，1
No Image
双曲正切S型函数
f
net
th(net)
e net e net
e net e net
2 1 e2net
1
值域 1，1
matlab函数：tansig
非线性，单调； 无限次可微
net
较小时(权值较小)，可近似线性函数
--高增益区处理小信号
权向量
n维权向量W = 1,...,n T ,i R
相当于突触的连接强度。
传递函数 转移函数,激励 激活函数
传输函数，输出函数，限幅函数
No Image
将可能的无线域变换到指定的有限范围输出。
单调增函数，通常为"非线性函数"
网络输入 net W x n i xi
i 1
--神经元的输入兴奋总量是多个输入的代数和
与多个神经元连接 ➢突触 （synapsse), 神经元经突触向其它神经元（胞体或树突）传递信号
No Image
(2)生物神经元的基本特征
➢ 神经元之间彼此连接 ➢ 神经元之间的连接强度决定信号传递的强弱
神经元之间的连接强度可以随训练改变 学习、遗忘、疲劳 ----神经网络中各神经元之间连接的强弱，按外部的激励信号做自适应变化
➢ 兴奋与抑制 信号可以起兴奋作用，也可以起抑制作用 一个神经元接受信号的累积效果（综合大小，代数和）决定该神经元的
状态(兴奋、抑制) 每个神经元可以有一个“阈值”
2. 人工神经网络与人工神经元
人工神经网络是对生物神经系统的模拟。 大量简单的计算单元（结点，神经元）以某种形式
连接，形成一个网络. 其中某些因素，如 : 连接强度(连接权值，其大小决
定信号传递强弱); 结点计算特性(激活特性, 神经元的输入 输出特性);甚至网络结构等， 可依某种规则随外部数据 进行适当调整，最终实现某种功能。
神经网络的计算通过网络结构实现； 不同网络结构可以体现各种不同的功能； 网络结构的参数是通过学习逐渐修正的。
(1)基本的人工神经元模型
No Image
McCulloch-Pitts神经元模型 输入信号；链接强度与权向量； 信号累积 激活与抑制
1. 生物神经系统与生物神经元
大量生物神经元的广泛、复杂连接，形成生物神经网络 (Biological Neural
Network, BNN)。
实现各种智能活动
生物神经元(neuron)是基本的信息处理单元
(1)生物神经系统 生物神经元(neuron)是基本的信息处理单元,其组成：
➢ 树突(dendrites), 接收来自外接的信息 ➢ 细胞体(cell body), 神经细胞主体，信息加工 ➢ 轴突(axon), 细胞的输出装置，将信号向外传递，
第2部分：BP神经网络
一. 人工神经网络基本知识 生物神经网络、生物神经元 人工神经网络、人工神经元 人工神经网络三要素 典型激活函数 神经网络几种典型形式
主要内容
二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五. 应用
人工神经网络 是生物神经网络的某种模型(数学模型) 是对生物神经网络的模仿 基本处理单元为人工神经元
其中
输出 y f (net)
- -单输出(标量)
--执行该神经元所获得的网络输入的变换
(1) 基本的人工神经元模型
No Image
若带偏置量，则有
net W
n
p b i pi b
i 1
y f (net)
- -单输出(标量)
(2()2几) 种输常出见函形数式f 的传递函数(激活函数)
A.线性函数 f net = k net + c
B.非线性斜面函数(Ramp Function)：
b
f net k net
b
net net net
b 0为常数，称饱和值，是该神经单元的最大输出；
输出函数值限制在b, b范围内。
C(.2符) 输号出函函数数f
sign型函数，不可微；对称硬极限函数；
感知器神经元
No Image
2. 感知器神经网络、感知器神经元(续)
感知器神经元的传递函数
单层感知网络可以实现线性分类
符号函数 对称硬极限函数
f
net
=
sgn net =
1 -1
net 0 net < 0
matlab函数 hardlims
➢ 网络中的节点分两类：输入节点；计算节点(神经元节点) ➢ 节点按层(layer)组织 ：
第i层的输入只与第i-1层的输出相连。
输入信号由输入层输入,由第一层节点输出，传向下层，…… ➢ 前馈：信息由低层向高层单向流动。 -------------------------------------------------
人工神经元模型的三要素 :
一组连接 一个加法器 一个激励函数
连接权值，突触连接强度
权值 权值
0，激活 0，抑制
输入信号关于神经元突触的线性加权
将神经元的输出信号限制在有限范围内
No Image
No Image
输入信号
n维输入向量x = x1,..., xn T
x是来自其它n个神经元的输出； 也可以是来自外部的输入信号