BP神经网络讲解培训课件

权向量
1/7/2021
n维权向量W = 1,...,n T ,i R
相当于突触的连接强度。
BP神经网络讲解
9
传递函数 转移函数,激励 激活函数
传输函数，输出函数，限幅函数
将可能的无线域变换到指定的有限范围输出。
单调增函数，通常为"非线性函数"
网络输入 net W x n i xi
i 1
--神经元的输入兴奋总量是多个输入的代数和
BP神经网络讲解
13
E.(s2ig)m输oid出函函数数 fS型函数，连续可微
一些重要的学习算法要求输出函数可微
对数S型函数
f
net
1
1 e net
matlab函数：logsig
值域 0，1
双曲正切S型函数
f
net
th(net)
e net e net
e net e net
2 1 e2net
➢ 树突(dendrites), 接收来自外接的信息 ➢ 细胞体(cell body), 神经细胞主体，信息加工 ➢ 轴突(axon), 细胞的输出装置，将信号向外传递，
与多个神经元连接 ➢突触 （synapsse), 神经元经突触向其它神经元（胞体 或树突）传递信号
1/7/2021
BP神经网络讲解
1
值域 1，1
matlab函数：tansig
非线性，单调； 无限次可微
net
较小时(权值较小)，可近似线性函数
--高增益区处理小信号
net
较大时(权值较大)，可近似阈值函数.
--低增益区处理大信号
1/7/2021
BP神经网络讲解
14
3. 人工神经网络三个要素
网络结构或拓扑(连接形式) 神经元的计算特性(传递函数) 学习规则
1/7/2021
神经网络的计算通过网络结构实现；
不同网络结构可以体现各种不同的功能；
网络结构的参数是通过学习逐渐修正的。
BP神经网络讲解
6
(1)基本的人工神经元模型
McCulloch-Pitts神经元模型
输入信号；链接强度与权向量；
信号累积
1/7/2021 激活与抑制
BP神经网络讲解
7
人工神经元模型的三要素 :
SOM 神经网络
1/7/2021
BP神经网络讲解
16
神经网络特点
自学习
自适应
并行处理
分布表达与计算
神经网络应用
神经网络本质上，可以理解为函数逼近
回归 状态预测
可应用到百度文库多领域,如：
优化计算；信号处理；智能控制；
模式识别；机器视觉；等等。
1/7/2021
BP神经网络讲解
17
主要内容
一 人工神经网络基本知识 二. 前馈神经网络、多层感知器、及非线性分类
主要内容
一. 人工神经网络基本知识
生物神经网络、生物神经元 人工神经网络、人工神经元 人工神经网络三要素 典型激活函数 神经网络几种典型形式
二. 前馈神经网络、多层感知器、及非线性分类
三. BP神经网络
四. 数据处理及神经网络结构的选择
五. 应用
1/7/2021
BP神经网络讲解
1
人工神经网络 是生物神经网络的某种模型(数学模型) 是对生物神经网络的模仿 基本处理单元为人工神经元
1/7/2021
BP神经网络讲解
12
C(.2符) 号输出函函数数f
sign型函数，不可微；对称硬极限函数；
双极函数
f
net
=
sgn net
=
1 -1
net 0 net < 0
matlab函数 hardlims
D.阈值函数
f
net
=
-
net net <
1/7/2021
其中 , ,非负实数
(2(2))几输种出常函见数形f 式的传递函数(激活函数)
A.线性函数 f net = k net + c
B.非线性斜面函数(Ramp Function)：
b
f net k net
b
net net net
b 0为常数，称饱和值，是该神经单元的最大输出；
输出函数值限制在b, b范围内。
4
(2)生物神经元的基本特征
➢ 神经元之间彼此连接 ➢ 神经元之间的连接强度决定信号传递的强弱
神经元之间的连接强度可以随训练改变 学习、遗忘、疲劳 ----神经网络中各神经元之间连接的强弱，按外部的 激励信号做自适应变化
➢ 兴奋与抑制 信号可以起兴奋作用，也可以起抑制作用 一个神经元接受信号的累积效果（综合大小，代
上述要素不同组合，形成各种神经网络模型
1/7/2021
BP神经网络讲解
15
4. 神经网络三种基本模型
1 前馈型神经网络 feedfroward network - 重点介绍
多层感知器
BP网络
RBF网络
2 反馈网络 feedback network
Hopfield网络
3 竞争学习网络 competitive learning network
其中
输出 y f (net)
- -单输出(标量)
--执行该神经元所获得的网络输入的变换
1/7/2021
BP神经网络讲解
10
(1) 基本的人工神经元模型
若带偏置量，则有
net W
n
p b i pi b
i 1
y f (net)
1/7/2021
BP神经网络讲解
- -单输出(标量)
11
数和）决定该神经元的状态(兴奋、抑制) 每个神经元可以有一个“阈值”
1/7/2021
BP神经网络讲解
5
2. 人工神经网络与人工神经元
人工神经网络是对生物神经系统的模拟。 大量简单的计算单元（结点，神经元）以某种形式
连接，形成一个网络. 其中某些因素，如 : 连接强度(连接权值，其大小决
定信号传递强弱); 结点计算特性(激活特性, 神经元的输入 输出特性);甚至网络结构等， 可依某种规则随外部数据 进行适当调整，最终实现某种功能。
一组连接 一个加法器 一个激励函数
连接权值，突触连接强度
权值 权值
0，激活 0，抑制
输入信号关于神经元突触的线性加权
将神经元的输出信号限制在有限范围内
1/7/2021
BP神经网络讲解
8
输入信号
n维输入向量x = x1,..., xn T
x是来自其它n个神经元的输出； 也可以是来自外部的输入信号
1/7/2021
BP神经网络讲解
2
1. 生物神经系统与生物神经元
大量生物神经元的广泛、复杂连接，形成生
物神经网络 (Biological Neural Network, BNN)。
实现各种智能活动
生物神经元(neuron)是基本的信息处理单元
1/7/2021
BP神经网络讲解
3
(1)生物神经系统
生物神经元(neuron)是基本的信息处理单元, 其组成：