生物 神经元详解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
o net
0
人工神经元，M-P模型
将基本模型和激活函数合在一起就构成了人工神经元
这就是著名的McCulloch-Pitts模型，M-P模型 也称处理单元PE x1 w 1 x2 w2 wn xn
net=XW
o=f(net)
人工神经网络的简化画法
用节点代表神经元，加权有向边代表从神经元到
神经元之间的有向联结，权代表联结强度，箭头 代表信号的传递方向。
f’(net)=o(1-o)
x1 w 1 x2 w2 wn xn
net=XW
o=f(net)
BP网络的构成—网络的拓扑结构
BP算法适用于非循环多级网络的训练
x1 x2 xn . . .
o1
o2
om
但在说明BP算法的具体原理时，只需一个二级网络
x1 x2 xn o1 o2 om
BP网络拓扑结构的几点注意事项
显然，上述方程无解
线性不可分问题的克服
增加网络的层数可以解决感知器线性不可分的问题
多层网络权重确定的难题
理想输出与实际输出之差被直接用来估计直接达到该
神经元的联结的权重的误差。为了解决线性不可分问题 而引入的多级网络后，如何估计网络隐藏的神经元的误 差就成了难题。因为在实际应用中，无法知道隐藏层任 何神经元的理想输出值。
生物神经网络工作机理1
• 在突触的接受侧，信号被送入胞体，在胞体内 进行综合，有的信息起刺激作用，有的起抑制 作用，当胞体中接受的累加刺激超过一个阈值 时，胞体被激发，此时它沿轴突通过树突向其 它神经元发出信号。
生物神经网络工作机理2
• 一个神经元沿轴突通过树突发出的信号是相同 的，而这个信号可能对接受它的不同神经元有 不同的效果，这一效果主要有突触决定：突触 的“联结强度”越大，接受的信号就越强，反 之，就越弱。 • 突触的“联结强度”可以随系统受到的训练而 被改变。
简单单级网
输入层的神经元不对输入信号做任何处理，它们只 起到对输入向量X的扇出作用。
x1 x2 o1 o2 om 简单单级网
w11
xn
简单单级网的输入输出
w11 w12 … Leabharlann Baidu1m w2m wnm
权矩阵： W=(wij)= w21 w … 22
wn1 wn2 …
输入层第j个神经元的网络输入为：
netj =x1w1j+x2w2j+…+xnwnj NET= (net1 , net2 ,… netm )
人工神经元应是简单实现的数学模型 人工神经元应该能模拟生物神经元的工作机理
人工神经元的构造方法
对于每个神经元，它可以接受来自系统其他 神经元的输入信号
每个输入信号对应一个权，相当于突触的“联结强度”
所有输入的加权和决定该神经元的激活状态
人工神经元的网络输入
1、设n个输入分别为x1 , x2 , … , xn，对应的权分别为 w1, w2, …, wn，即有输入向量和权向量：
希望人工神经元有一个更一般的变换函数，来执行 该神经元获得的网络输入的变换，这就是激活函数。 o=f(net) x1 w 1 x2 w2 wn xn
net=XW
o=f(net)
激活函数的种类
1、线性函数
2、非线性斜面函数 3、阈值函数，又称阶跃函数
4、S型函数
S型激活函数的特性
1、非线性
2、处处连续可导 3、有较好的增益控制—防止网络进入饱和状态
权矩阵及其所含的向量都是模式。
空间模式与时空模式
网络在某一时刻的状态所确定模式称为空间模式
以时间维为轴展开的空间模式系列称为时空模式
他们如同一幅画面与整个电影的关系
当研究稳定性和网络训练的收敛过程时涉及时空模式
一般情况下，只涉及空间模式
人工神经网络的训练
人工神经网络的学习过程就是对它的训练过程 训练：
o1
o2
om
设权系数矩阵：W=(wij) 样本集为：{(X,Y)|X为输入向量，Y为对应输出向量}
离散多输出感知器训练算法
1、初始化权向量W; 2、重复下列过程，直到训练完成； 2.1、对每一个样本，重复下列过程： 2.1.1、输入X； 2.1.2、计算O=F(XW)； 2.1.3、for i=1 to m 执行如下操作 if oi不等于yi then if oi=0 then for j=1 to n wij= wij +xi else for j=1 to n wij= wij -xi
从而有
O=F(NET)
多级网
研究表明，单级网的功能是有限的，适当增加网络 的层数是提高网络计算能力的一个途径。
x1 x2
xn
. . .
o1 o2 om
多级网的几个约定
输入层：只起到输入信号的扇出作用，不记入层数。 第j层：第j-1层的直接后续层。
输出层：网络的最后一层，具有最大层号， 负责输出网络的计算结果。 隐藏层：网络输入层与输出层以外的层
输入样本向量
调整权矩阵 将样本集的内涵以联结权矩阵的方式存储起来
使网络接收输入时，可以给出适当的输出
人工神经网络的无导师训练
其训练集中只含一些输入向量，训练算法致力于修 改权矩阵，以使网络对一个输入能够给出相容的输 出，即相似的输入向量可以得到相似的输出向量。
无导师训练算法用来将训练样本集合中蕴涵的统计 特性抽取出来，并以联结权矩阵的方式存储起来， 使网络可以按照网络向量的相似性进行分类。
连续多输出感知器
x1 x2 xn w11 o1 o2 om
输出函数改为非解跃函数，使它们的输出值变成连续的， 使网络更具一般性，更容易适应实际应用的需求，但拓扑 结构仍然不变。
连续多输出感知器训练算法
1、用适当的小伪随机数初始化权向量W; 2、设置精度控制参数 ,学习率 、精度控制变量d=1+ 3、while d>= do 3.1、d=0； 3.2、for 每个样本(X,Y) do； 3.2.1、输入X 3.2.2、求O=F(XW) 3.2.3、修改权矩阵W for i=1 to n, j=1 to m do wij= wij + (yj-oj)xi 3.2.4、累积误差 for j=1 to m do d=d+(yj-oj)2
生物神经元的六个基本特征
1、神经元及其联结
2、联结强度决定信号传递的强弱 3、联结强度可以随训练而改变 4、信号可以是刺激作用的，也可以是抑制的 5、一个神经元接受的信号的累积效果决定 该神经元的状态
6、每个神经元可以有一个“阈值”
神经网络的定义
神经网络是一个由大量简单的处理单元组成的高
度复杂的大规模非线性自适应系统
离散单输出感知器(M-P模型)训练算法
1、初始化权向量W;
2、重复下列过程，直到训练完成；
2.1、对每一个样本，重复下列过程：
2.1.1、输入X； 2.1.2、计算O=F(XW)； 2.1.3、如果输出不正确，则 当O=0时，取W=W+X 当O=1时，取W=W-X
离散多输出感知器
x1 x2 xn 设输入：X=(x1 , x2 , … , xn) 设理想输出：Y=(y1 , y2 , … , ym) 设实际输出：YO=(o1 , o2 , … , om) w11
设网络有n层，第h(1<=h<=n)层神经元的个数为Lh, 该层神经元的激活函数用Fn表示 联结矩阵用W(h)表示
输入向量和输出向量的维数由问题直接决定， 而层数和各层神经元的个数则与问题相关
目前还很难确定它们与问题类型和规模的关系，
隐藏层数及其神经元个数的增加不一定能够提高网络 精度和表达能力。BP网一般都选二级网络。
“异或”运算真值表
“异或”运算是计算机领域最基本的运算： 0 if x=y “异或”运算的定义：g(x,y)= 1 其他 即g(x,y)=xy xy
异或运算的真值表 g(x,y)
运算对象x
运算对象y
w1x+w2y= 1 o y 1
0 1
0 0
1
1 1 0
感知器无法实现“异或”运算
如果要实现“异或”运算则 w1+w20+0W1+00+w2<=0 <=0 >0 >0
它由处理单元及称为联结的无向信号通道互连而成
神经网络模拟人脑的四个方面
1、物理结构：人脑神经细胞约1010~1011个
2、计算模拟：大规模并行处理
3、存储与操作：信息分布存放，容错、联想能力强 4、训练：从实践中获取知识----学习算法
构造人工神经元的要求
神经元是构成神经网络的最基本单元 要构造神经网络必须先构造人工神经元
无导师训练的Hebb算法
Wij(t+1)=Wij(t)+ß oi(t)oj(t)
其中： Wij(t+1)、 Wij(t)为神经元i联结到
神经元j的联结在t+1时刻和t时刻的强度 oi(t)、oj(t)为这两个神经元t时刻的输出， ß 为给定的学习效率。
人工神经网络的有导师训练
有导师训练在目前应用中已经非常成功。
层数：网络输入层的层号 第j-1层到第j层的联结矩阵称第j层联结矩阵，记W(j)
非线性激活函数
非线性激活函数在多级网络中其着非常重要的作用。 如果采用线性激活函数，则多级网的功能不会超过 单级网的功能。
网络模式的概念
所有的信息都是以模式的形式表现出来的。 输入向量是模式； 输出向量是模式； 同层神经元的某一时刻的状态是模式； 所有神经元的某一时刻的状态是模式；
1、网络关于第p个样本的误差测度为：
Ep= (ypj-opj)2/2 2、网络整个样本集的误差测度为： E= Ep
误差传播分析----输出层权的调整
wpq ANp ANq 第n层
Wij(t+1)=Wij(t)+ß (yj-bj)oi(t)
离散单输出感知器(M-P模型)
x1 w 1 x2 w2 wn xn
设输入：X=(x1 , x2 , … , xn)
o=f(net) (解跃函数)
设权向量：W=(w1, w2, …, wn)
训练样本：[（X,Y）|X为输入向量，Y为与X对应的输]
BP算法的基本思想
BP(Back Propagation)算法利用输出层的误差来估计输出层
的直接前导层的误差，再用这个误差估计更前一层的误差， 如此下去，就获得了所有其他各层的误差估计。（1986提出） BP(Back Propagation)算法又称为向后传播算法。 使用BP算法进行学习的多级非循环网络称为BP网络。
BP算法的基本特征和意义
BP算法是非循环多级网络的训练算法。 BP算法的收敛速度非常慢，在高维曲面上局部极小点逃离。 BP算法具有广泛的适用性。 BP算法的出现结束了多级神经网络没有训练算法的历史，对
神经网络的第二次高潮的到来起到很大的作用。
BP网络的构成—神经元
X=(x1 , x2 , … , xn)
X=(x1 , x2 , … , xn) W=(w1, w2, …, wn) x1 w 1 x2 w2 wn xn
神经元网络输入：
net=xiwi net=XW
net=XW
激活函数(激励函数、活化函数)
每个生物神经元有一个阈值，当输入信号累加效果 超过阈值时，神经元处于激活状态，否则处于抑制 状态。
有导师训练算法要求给出输入向量的同时，还必须 给出相应的理想输出向量。它们构成一个“训练对” [(A1,B1), (A2,B2),…, (An,Bn)]
有导师训练算法
1、从样本集中取出一个样本(Ai,Bi)；
2、计算网络的实际输出O；
3、求D=Bi-O；
4、根据D调整权矩阵W；
5、对每个样本重复上述过程，直到对整个样本集来 说，误差不超过规定范围
生物神经元
生物神经网络
• 生物神经系统是由大量神经细胞（神经元）组 成的一个复杂的互联网络。据统计，人类大脑 约有1010－1011个神经元，每个神经元与103－ 105个其它的神经元互相连接，从而构成一个 极为庞大复杂的网络。神经元的结构总体来讲 可分为三个部分：胞体（Soma），树突 （Dendrites）和轴突（Axon）。
BP网络训练过程
1、样本集
（输入向量，理想输出向量）--实际系统采集
2、向前传播阶段
(2) 计算相应的实际输出Op； 3、向后传播阶段 (1) 计算实际输出Op与理想输出Yp的差； (2) 根据这个误差，按极小化误差方式调整权矩阵；
(1) 从样本集中取一个样本(Xp，Yp)，将Xp输入网络；
精度要求控制
W=(w1, w2, …, wn) 神经元网络输入： net=xiwi net=XW x1 w 1 x2 w2 wn xn
net=XW
BP网络的构成—神经元的激励函数
按照算法要求，神经元的激励函数必须是处处可导的
o
通常取S型函数：
1 1+e-net
net (0,0.5) (0,0)
o=f(net)=
0
人工神经元，M-P模型
将基本模型和激活函数合在一起就构成了人工神经元
这就是著名的McCulloch-Pitts模型，M-P模型 也称处理单元PE x1 w 1 x2 w2 wn xn
net=XW
o=f(net)
人工神经网络的简化画法
用节点代表神经元，加权有向边代表从神经元到
神经元之间的有向联结，权代表联结强度，箭头 代表信号的传递方向。
f’(net)=o(1-o)
x1 w 1 x2 w2 wn xn
net=XW
o=f(net)
BP网络的构成—网络的拓扑结构
BP算法适用于非循环多级网络的训练
x1 x2 xn . . .
o1
o2
om
但在说明BP算法的具体原理时，只需一个二级网络
x1 x2 xn o1 o2 om
BP网络拓扑结构的几点注意事项
显然，上述方程无解
线性不可分问题的克服
增加网络的层数可以解决感知器线性不可分的问题
多层网络权重确定的难题
理想输出与实际输出之差被直接用来估计直接达到该
神经元的联结的权重的误差。为了解决线性不可分问题 而引入的多级网络后，如何估计网络隐藏的神经元的误 差就成了难题。因为在实际应用中，无法知道隐藏层任 何神经元的理想输出值。
生物神经网络工作机理1
• 在突触的接受侧，信号被送入胞体，在胞体内 进行综合，有的信息起刺激作用，有的起抑制 作用，当胞体中接受的累加刺激超过一个阈值 时，胞体被激发，此时它沿轴突通过树突向其 它神经元发出信号。
生物神经网络工作机理2
• 一个神经元沿轴突通过树突发出的信号是相同 的，而这个信号可能对接受它的不同神经元有 不同的效果，这一效果主要有突触决定：突触 的“联结强度”越大，接受的信号就越强，反 之，就越弱。 • 突触的“联结强度”可以随系统受到的训练而 被改变。
简单单级网
输入层的神经元不对输入信号做任何处理，它们只 起到对输入向量X的扇出作用。
x1 x2 o1 o2 om 简单单级网
w11
xn
简单单级网的输入输出
w11 w12 … Leabharlann Baidu1m w2m wnm
权矩阵： W=(wij)= w21 w … 22
wn1 wn2 …
输入层第j个神经元的网络输入为：
netj =x1w1j+x2w2j+…+xnwnj NET= (net1 , net2 ,… netm )
人工神经元应是简单实现的数学模型 人工神经元应该能模拟生物神经元的工作机理
人工神经元的构造方法
对于每个神经元，它可以接受来自系统其他 神经元的输入信号
每个输入信号对应一个权，相当于突触的“联结强度”
所有输入的加权和决定该神经元的激活状态
人工神经元的网络输入
1、设n个输入分别为x1 , x2 , … , xn，对应的权分别为 w1, w2, …, wn，即有输入向量和权向量：
希望人工神经元有一个更一般的变换函数，来执行 该神经元获得的网络输入的变换，这就是激活函数。 o=f(net) x1 w 1 x2 w2 wn xn
net=XW
o=f(net)
激活函数的种类
1、线性函数
2、非线性斜面函数 3、阈值函数，又称阶跃函数
4、S型函数
S型激活函数的特性
1、非线性
2、处处连续可导 3、有较好的增益控制—防止网络进入饱和状态
权矩阵及其所含的向量都是模式。
空间模式与时空模式
网络在某一时刻的状态所确定模式称为空间模式
以时间维为轴展开的空间模式系列称为时空模式
他们如同一幅画面与整个电影的关系
当研究稳定性和网络训练的收敛过程时涉及时空模式
一般情况下，只涉及空间模式
人工神经网络的训练
人工神经网络的学习过程就是对它的训练过程 训练：
o1
o2
om
设权系数矩阵：W=(wij) 样本集为：{(X,Y)|X为输入向量，Y为对应输出向量}
离散多输出感知器训练算法
1、初始化权向量W; 2、重复下列过程，直到训练完成； 2.1、对每一个样本，重复下列过程： 2.1.1、输入X； 2.1.2、计算O=F(XW)； 2.1.3、for i=1 to m 执行如下操作 if oi不等于yi then if oi=0 then for j=1 to n wij= wij +xi else for j=1 to n wij= wij -xi
从而有
O=F(NET)
多级网
研究表明，单级网的功能是有限的，适当增加网络 的层数是提高网络计算能力的一个途径。
x1 x2
xn
. . .
o1 o2 om
多级网的几个约定
输入层：只起到输入信号的扇出作用，不记入层数。 第j层：第j-1层的直接后续层。
输出层：网络的最后一层，具有最大层号， 负责输出网络的计算结果。 隐藏层：网络输入层与输出层以外的层
输入样本向量
调整权矩阵 将样本集的内涵以联结权矩阵的方式存储起来
使网络接收输入时，可以给出适当的输出
人工神经网络的无导师训练
其训练集中只含一些输入向量，训练算法致力于修 改权矩阵，以使网络对一个输入能够给出相容的输 出，即相似的输入向量可以得到相似的输出向量。
无导师训练算法用来将训练样本集合中蕴涵的统计 特性抽取出来，并以联结权矩阵的方式存储起来， 使网络可以按照网络向量的相似性进行分类。
连续多输出感知器
x1 x2 xn w11 o1 o2 om
输出函数改为非解跃函数，使它们的输出值变成连续的， 使网络更具一般性，更容易适应实际应用的需求，但拓扑 结构仍然不变。
连续多输出感知器训练算法
1、用适当的小伪随机数初始化权向量W; 2、设置精度控制参数 ,学习率 、精度控制变量d=1+ 3、while d>= do 3.1、d=0； 3.2、for 每个样本(X,Y) do； 3.2.1、输入X 3.2.2、求O=F(XW) 3.2.3、修改权矩阵W for i=1 to n, j=1 to m do wij= wij + (yj-oj)xi 3.2.4、累积误差 for j=1 to m do d=d+(yj-oj)2
生物神经元的六个基本特征
1、神经元及其联结
2、联结强度决定信号传递的强弱 3、联结强度可以随训练而改变 4、信号可以是刺激作用的，也可以是抑制的 5、一个神经元接受的信号的累积效果决定 该神经元的状态
6、每个神经元可以有一个“阈值”
神经网络的定义
神经网络是一个由大量简单的处理单元组成的高
度复杂的大规模非线性自适应系统
离散单输出感知器(M-P模型)训练算法
1、初始化权向量W;
2、重复下列过程，直到训练完成；
2.1、对每一个样本，重复下列过程：
2.1.1、输入X； 2.1.2、计算O=F(XW)； 2.1.3、如果输出不正确，则 当O=0时，取W=W+X 当O=1时，取W=W-X
离散多输出感知器
x1 x2 xn 设输入：X=(x1 , x2 , … , xn) 设理想输出：Y=(y1 , y2 , … , ym) 设实际输出：YO=(o1 , o2 , … , om) w11
设网络有n层，第h(1<=h<=n)层神经元的个数为Lh, 该层神经元的激活函数用Fn表示 联结矩阵用W(h)表示
输入向量和输出向量的维数由问题直接决定， 而层数和各层神经元的个数则与问题相关
目前还很难确定它们与问题类型和规模的关系，
隐藏层数及其神经元个数的增加不一定能够提高网络 精度和表达能力。BP网一般都选二级网络。
“异或”运算真值表
“异或”运算是计算机领域最基本的运算： 0 if x=y “异或”运算的定义：g(x,y)= 1 其他 即g(x,y)=xy xy
异或运算的真值表 g(x,y)
运算对象x
运算对象y
w1x+w2y= 1 o y 1
0 1
0 0
1
1 1 0
感知器无法实现“异或”运算
如果要实现“异或”运算则 w1+w20+0W1+00+w2<=0 <=0 >0 >0
它由处理单元及称为联结的无向信号通道互连而成
神经网络模拟人脑的四个方面
1、物理结构：人脑神经细胞约1010~1011个
2、计算模拟：大规模并行处理
3、存储与操作：信息分布存放，容错、联想能力强 4、训练：从实践中获取知识----学习算法
构造人工神经元的要求
神经元是构成神经网络的最基本单元 要构造神经网络必须先构造人工神经元
无导师训练的Hebb算法
Wij(t+1)=Wij(t)+ß oi(t)oj(t)
其中： Wij(t+1)、 Wij(t)为神经元i联结到
神经元j的联结在t+1时刻和t时刻的强度 oi(t)、oj(t)为这两个神经元t时刻的输出， ß 为给定的学习效率。
人工神经网络的有导师训练
有导师训练在目前应用中已经非常成功。
层数：网络输入层的层号 第j-1层到第j层的联结矩阵称第j层联结矩阵，记W(j)
非线性激活函数
非线性激活函数在多级网络中其着非常重要的作用。 如果采用线性激活函数，则多级网的功能不会超过 单级网的功能。
网络模式的概念
所有的信息都是以模式的形式表现出来的。 输入向量是模式； 输出向量是模式； 同层神经元的某一时刻的状态是模式； 所有神经元的某一时刻的状态是模式；
1、网络关于第p个样本的误差测度为：
Ep= (ypj-opj)2/2 2、网络整个样本集的误差测度为： E= Ep
误差传播分析----输出层权的调整
wpq ANp ANq 第n层
Wij(t+1)=Wij(t)+ß (yj-bj)oi(t)
离散单输出感知器(M-P模型)
x1 w 1 x2 w2 wn xn
设输入：X=(x1 , x2 , … , xn)
o=f(net) (解跃函数)
设权向量：W=(w1, w2, …, wn)
训练样本：[（X,Y）|X为输入向量，Y为与X对应的输]
BP算法的基本思想
BP(Back Propagation)算法利用输出层的误差来估计输出层
的直接前导层的误差，再用这个误差估计更前一层的误差， 如此下去，就获得了所有其他各层的误差估计。（1986提出） BP(Back Propagation)算法又称为向后传播算法。 使用BP算法进行学习的多级非循环网络称为BP网络。
BP算法的基本特征和意义
BP算法是非循环多级网络的训练算法。 BP算法的收敛速度非常慢，在高维曲面上局部极小点逃离。 BP算法具有广泛的适用性。 BP算法的出现结束了多级神经网络没有训练算法的历史，对
神经网络的第二次高潮的到来起到很大的作用。
BP网络的构成—神经元
X=(x1 , x2 , … , xn)
X=(x1 , x2 , … , xn) W=(w1, w2, …, wn) x1 w 1 x2 w2 wn xn
神经元网络输入：
net=xiwi net=XW
net=XW
激活函数(激励函数、活化函数)
每个生物神经元有一个阈值，当输入信号累加效果 超过阈值时，神经元处于激活状态，否则处于抑制 状态。
有导师训练算法要求给出输入向量的同时，还必须 给出相应的理想输出向量。它们构成一个“训练对” [(A1,B1), (A2,B2),…, (An,Bn)]
有导师训练算法
1、从样本集中取出一个样本(Ai,Bi)；
2、计算网络的实际输出O；
3、求D=Bi-O；
4、根据D调整权矩阵W；
5、对每个样本重复上述过程，直到对整个样本集来 说，误差不超过规定范围
生物神经元
生物神经网络
• 生物神经系统是由大量神经细胞（神经元）组 成的一个复杂的互联网络。据统计，人类大脑 约有1010－1011个神经元，每个神经元与103－ 105个其它的神经元互相连接，从而构成一个 极为庞大复杂的网络。神经元的结构总体来讲 可分为三个部分：胞体（Soma），树突 （Dendrites）和轴突（Axon）。
BP网络训练过程
1、样本集
（输入向量，理想输出向量）--实际系统采集
2、向前传播阶段
(2) 计算相应的实际输出Op； 3、向后传播阶段 (1) 计算实际输出Op与理想输出Yp的差； (2) 根据这个误差，按极小化误差方式调整权矩阵；
(1) 从样本集中取一个样本(Xp，Yp)，将Xp输入网络；
精度要求控制
W=(w1, w2, …, wn) 神经元网络输入： net=xiwi net=XW x1 w 1 x2 w2 wn xn
net=XW
BP网络的构成—神经元的激励函数
按照算法要求，神经元的激励函数必须是处处可导的
o
通常取S型函数：
1 1+e-net
net (0,0.5) (0,0)
o=f(net)=