人工神经元模型介绍
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
满足y=x1.x2逻辑与关系。
MP模型的逻辑表示
• 逻辑或： • 令T=1，I=0，E=x1+x2（二个兴奋性输入） • 当x1=1, x2=1, E=1+1=2, • 当x1=1, x2=0, E=1+0=1, • 当x1=0, x2=1, E=0+1=1, • 当x1=0, x2=0, E=0+0=0, 触发 y=1 触发 y=1 触发 y=1 不触发 y=0
表示各输入的连接强度。θ是神经元兴奋时的 内部阈值，当神经元输入的加权和大于θ时， 神经元处于兴奋状态。
即σ>0时，该神经元被激活， 进入兴奋状态，f(σ)=1,当σ<0 时，该神经元被抑制，f(σ)=0
神经元的数学模型
o j (t ) f {[
• • • •
i 1 τij—— 输入输出间的突触时延； Tj —— 神经元j的阈值； wij—— 神经元i到 j 的突触连接系数或称权重值； f ( ) —神经元转移函数。
常用的非线性转移函数有阈值型、分段线性型、Sigmoid函数型 （简称S型）和双曲正切型。如下图所示：
神经元的转移函数
阈值型转移函数
f (x)
1 f(x)=
x≥0
{
0
ቤተ መጻሕፍቲ ባይዱ
1.0
x＜ 0
0
x
图中所示为单极性阈值型转移函数，具有这一作用方 式的神经元成为阈值型神经元，这是神经元模型中最简
单的一种，MP模型就属于这一类。
谢谢！
• 满足y=x1+x2逻辑或关系
MP模型的逻辑表示
• 逻辑非： • 令T=0，E=0，I=xW=x（一个抑制性输入） • 当x=1，I=1>0, • 当x=0，I=0， • 满足逻辑非关系 不触发y=0 触发y=1
MP模型
能够构成逻辑与、或、非，就可进而组成任 意复杂的逻辑关系，因此，MP模型是按一定 方式组织起来，可以构成具有逻辑功能的神 经网络。 MP模型是最简单的网络，但是由于生物神经 元本质上是模拟过程，过早地把物理量抽象 为0和1，会丢失许多有用信息，因此神经计 算应当将模拟的和数字的技术结合起来。
人工神经元模型
MP模型、感知器模型及其训练学习算法
大脑神经元的工作原理
树突（Dendrite）
大脑皮层，每立方毫 米中，神经元超过 104个，连接长度超 过几公里 胞体(Soma)
轴突（Axon）
突触（Synapse）
二、人工神经网络的历史
• 早期阶段（～1960’s）
1943 McCulloch和Pitts 提出神经元的数学模型（MP模型）
1949 Hebb 提出权重加强的学习机理
1957 Rosenblatt 感知机（perceptron）有认知学习功能 1969 Mingsky 专著“perceptron” 证明线性（单层）感知 机不能解决XOR问题，ANN进入低潮
二、人工神经网络的历史
• 过渡期（1970’s）
低潮中，许多学者深入研究ANN理论、模型。
神经元的输出
图(d) 人工神经元的输出也同生物神经元一样仅有 一个，如用oj表示神经元输出，则输出与输入之间的 对应关系可用图(d)中的某种非线性函数来表示，这种 函数一般都是非线性的。
神经元模型示意图
神经元模型示意图
σ
该输出为1或0取决于其输入 之和大于或小于内部阈值θ
x1,x2,...,xn是来自其它人工神经元的信息 作为该人工神经元的输入，权值w1,w2,...,wn
样本对的模式序号，设样本集中的样本总数为P，
则p=1,2,┄,P；
(3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp], j=1,2,...,m；
(4)调整各节点对应的权值，Wj(t+1)= Wj(t)+η [djp-ojp(t)]Xp, j=1, 2,┄,m, 其中η 为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢， 一般取0＜η ≤1；
感知器的学习算法
感知器的学习算法
感知器学习规则的训练步骤：
(1) 对各权值w0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m （m为计算层的节点数）赋予较小的非零随机数； (2) 输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)， dp为期望的输出向量（教师信号），上标p代表
MIT的Marr提出视觉模型 Boston Univ的Grossbery全面研究ANN理论，提出 ART1，ART2，ART3自适应谐振理论模型。 甘利俊一 ANN的数学理论 Fuknshima 神经认知网络理论 芬兰的Kohonen 自组织联想记忆
二、人工神经网络的历史
• 高潮（1980～）
1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模 型），用单层ANN解决了TSP问题 1987.6 ICNN（International Conference on NN）召开 1987 加州理工 Abn－mostafa，Psaitis 2D联想存储输入残 缺图案也可识别 1988 AT&T Bell lab 120*120元件的ANN 1989 三菱 光学ANN芯片，32个神经元识别26个字母 1989 日立 5“硅片集成576个神经元 1990 Bell Lab 黄庭钰 数字光学处理器 1990 IBM AS400 提供ANN仿真开发环境 1992 SGI 将ANN用于航天飞机控制臂 ANN已在专家系统、智能控制等领域广泛应用
假设1：多输入单输出
图(a) 表明，正如生物神经元有许多激励输入一祥，
人工神经元也应该有许多的输入信号，图中每个输入
的大小用确定数值xi表示，它们同时输入神经元j，神
经元的单输出用oj表示。
假设2：输入类型：兴奋性和抑制性
生物神经元具有不同的突触性质和突触强度，其对输 入的影响是使有些输入在神经元产生脉冲输出过程中所 起的作用比另外一些输入更为重要。图(b)中对神经元 的每一个输入都有一个加权系数wij，称为权重值，其正 负模拟了生物神经元中突触的兴奋和抑制，其大小则代 表了突触的不同连接强度。
w x (t
ij i
n
ij )] T j}
o j (t 1) f {[
w x (t )] T }
ij i j i 1
n
神经元的数学模型
净输入与阈值之差可表示为：
net j T j net j
i 0
n
wij xi W T X j
综合以上各式，神经元模型可以简化为：
oj=f(netj)=f (WjTX)
神经元的转移函数
神经元各种不同数学模型的主要区别在于采用 了不同的转移函数，从而使神经元具有不同的信 息处理特性。神经元的信息处理特性是决定人工 神经网络整体性能的三大要素之一，反映了神经 元输出与其激活状态之间的关系，最常用的转移 函数有4种形式。
神经元的转移函数
从最简化的观点看，仍具有一定指导意义。
MP模型应用
• MP模型应用： 可用于实现分类、模式识别等，当前 已经有许多成功的基于M-P神经元模型的神 经网络得到应用，如BP算法，这种算法是 实现人脸识别的主要算法之一。
感知器（Perceptron）模型
1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的 神经网络，成为Perceptron,即为感知器。 感知器是一种前馈网络，同层内无互连， 不同层间无反馈，由下层向上层传递。其 输入、输出均为离散值，神经元对输入加 权求和后，由阈值函数决定其输出。 单层感知器的结构与功能都非常简单，但 却是要就其他网络的基础。
1 y 0
E≥T， I=0 E≥T， I>0 E<T， I=0 E<T，I>0
E Wi xEi
E T 0, 且I 0 E T 0, 或I 0
u的输入输出关系如表：
y=1 0 0 0
MP模型的逻辑表示
MP模型可以表示布尔逻辑关系（与 或 非） 例如逻辑与： 设T=2，I=0，E=x1W+x2W=x1+x2 当x1=1，x2=1，E=1+1=2， 触发y=1 当x1=1，x2=0，E=1+0=1， 不触发y=0 当x1=0，x2=1，E=0+1=1， 不触发y=0 当x1=0，x2=0，E=0+0=0， 不触发y=0
神经元建模的六点假定
神经元模型是在以下六条假设的基础上建立的：
每个神经元都是一个多输入单输出的信息处理单元 神经元输入分兴奋性输入和一致性输入两种类型 神经元具有空间整合特性和阈值特性 神经元输入与输出间有固定的时滞，主要取决于突触延搁 忽略时间整合作用和不应期
神经元本身是非时变的，即其突触时延和突触强度均为常数
• 设定输入向量X=(x1,x2)T
• 输出： • 则由方程：w1jx1+w2jx2-Tj=0 可以确定平面上的一条直线
感知器模型
• 设定输入向量X=(x1,x2,x3)T
• 输出： • 则由方程：w1jx1+w2jx2+w3jx3-Tj=0 可以确定三维空间上的一个分界平面
感知器的功能
感知器在线性神经元中加入了阈值函数， 也称为线性阈值元。它可接受实数型信号 ，而输出二值离散量(0,1)。即：一个单计 算节点感知器具有分类功能。
感知器模型
o1
W1
„
Wj
oj
„
om
○
○
Wm○
○
x1
○
x2
○
„ T
xi
○
„
xn
X ( x1,x2 ,...xi ,...,x n )
O (o1,o2 ,...oi ,...,o m )T
W j ( w1 j ,w2 j ,...wij ,...,w nj )T
j=1,2,…,m
感知器模型
M-P模型
是1943年心理学家McCulloch和数学家 W.Pitts在分析总结神经元基本特性的基础上 首先提出的M-P模型。指出了神经元的形式 化数学描述和网络结构方法，证明了单个 神经元能执行逻辑功能，从而开创了人工 神经网络研究的时代。
MP模型神经元特性函数可表示为
y f [Wi xEi T ]
输出
u w1 w2 w3
w0
阈值
输入
v1
v2
v3
例
用感知器实现逻辑“与”功能
逻辑“与”真值 表
x1 0 0 1 1
x2 0 1 0 1
y 0 0 0 1
例
用感知器实现逻辑“与”功能
感知器结构
x1 x2
○ ○
0.5 0.5
○
0.75 -1
y
wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0
(5)返回到步骤(2)输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。
感知器学习规则的训练步骤：
（1）权值初始化 （2）输入样本对
（3）计算输出 （4）根据感知器学习规则调整权值 （5）返回到步骤(2)输入下一对样本，周而 复始直到对所有样本，感知器的实际输出与 期望输出相等。
假设3：空间整合特性和阈值特性
作为ANN的基本处理单元，必须对全部输入信号进 行整合，以确定各类输入的作用总效果，图(c)表示 组合输人信号的“总和值”，相应于生物神经元的 膜电位。神经元激活与否取决于某一阈值电平，即 只有当其输入总和超过阈值时, 神经元才被激活而 发放脉冲, 否则神经元不会产生输出信号。
MP模型的逻辑表示
• 逻辑或： • 令T=1，I=0，E=x1+x2（二个兴奋性输入） • 当x1=1, x2=1, E=1+1=2, • 当x1=1, x2=0, E=1+0=1, • 当x1=0, x2=1, E=0+1=1, • 当x1=0, x2=0, E=0+0=0, 触发 y=1 触发 y=1 触发 y=1 不触发 y=0
表示各输入的连接强度。θ是神经元兴奋时的 内部阈值，当神经元输入的加权和大于θ时， 神经元处于兴奋状态。
即σ>0时，该神经元被激活， 进入兴奋状态，f(σ)=1,当σ<0 时，该神经元被抑制，f(σ)=0
神经元的数学模型
o j (t ) f {[
• • • •
i 1 τij—— 输入输出间的突触时延； Tj —— 神经元j的阈值； wij—— 神经元i到 j 的突触连接系数或称权重值； f ( ) —神经元转移函数。
常用的非线性转移函数有阈值型、分段线性型、Sigmoid函数型 （简称S型）和双曲正切型。如下图所示：
神经元的转移函数
阈值型转移函数
f (x)
1 f(x)=
x≥0
{
0
ቤተ መጻሕፍቲ ባይዱ
1.0
x＜ 0
0
x
图中所示为单极性阈值型转移函数，具有这一作用方 式的神经元成为阈值型神经元，这是神经元模型中最简
单的一种，MP模型就属于这一类。
谢谢！
• 满足y=x1+x2逻辑或关系
MP模型的逻辑表示
• 逻辑非： • 令T=0，E=0，I=xW=x（一个抑制性输入） • 当x=1，I=1>0, • 当x=0，I=0， • 满足逻辑非关系 不触发y=0 触发y=1
MP模型
能够构成逻辑与、或、非，就可进而组成任 意复杂的逻辑关系，因此，MP模型是按一定 方式组织起来，可以构成具有逻辑功能的神 经网络。 MP模型是最简单的网络，但是由于生物神经 元本质上是模拟过程，过早地把物理量抽象 为0和1，会丢失许多有用信息，因此神经计 算应当将模拟的和数字的技术结合起来。
人工神经元模型
MP模型、感知器模型及其训练学习算法
大脑神经元的工作原理
树突（Dendrite）
大脑皮层，每立方毫 米中，神经元超过 104个，连接长度超 过几公里 胞体(Soma)
轴突（Axon）
突触（Synapse）
二、人工神经网络的历史
• 早期阶段（～1960’s）
1943 McCulloch和Pitts 提出神经元的数学模型（MP模型）
1949 Hebb 提出权重加强的学习机理
1957 Rosenblatt 感知机（perceptron）有认知学习功能 1969 Mingsky 专著“perceptron” 证明线性（单层）感知 机不能解决XOR问题，ANN进入低潮
二、人工神经网络的历史
• 过渡期（1970’s）
低潮中，许多学者深入研究ANN理论、模型。
神经元的输出
图(d) 人工神经元的输出也同生物神经元一样仅有 一个，如用oj表示神经元输出，则输出与输入之间的 对应关系可用图(d)中的某种非线性函数来表示，这种 函数一般都是非线性的。
神经元模型示意图
神经元模型示意图
σ
该输出为1或0取决于其输入 之和大于或小于内部阈值θ
x1,x2,...,xn是来自其它人工神经元的信息 作为该人工神经元的输入，权值w1,w2,...,wn
样本对的模式序号，设样本集中的样本总数为P，
则p=1,2,┄,P；
(3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp], j=1,2,...,m；
(4)调整各节点对应的权值，Wj(t+1)= Wj(t)+η [djp-ojp(t)]Xp, j=1, 2,┄,m, 其中η 为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢， 一般取0＜η ≤1；
感知器的学习算法
感知器的学习算法
感知器学习规则的训练步骤：
(1) 对各权值w0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m （m为计算层的节点数）赋予较小的非零随机数； (2) 输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)， dp为期望的输出向量（教师信号），上标p代表
MIT的Marr提出视觉模型 Boston Univ的Grossbery全面研究ANN理论，提出 ART1，ART2，ART3自适应谐振理论模型。 甘利俊一 ANN的数学理论 Fuknshima 神经认知网络理论 芬兰的Kohonen 自组织联想记忆
二、人工神经网络的历史
• 高潮（1980～）
1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模 型），用单层ANN解决了TSP问题 1987.6 ICNN（International Conference on NN）召开 1987 加州理工 Abn－mostafa，Psaitis 2D联想存储输入残 缺图案也可识别 1988 AT&T Bell lab 120*120元件的ANN 1989 三菱 光学ANN芯片，32个神经元识别26个字母 1989 日立 5“硅片集成576个神经元 1990 Bell Lab 黄庭钰 数字光学处理器 1990 IBM AS400 提供ANN仿真开发环境 1992 SGI 将ANN用于航天飞机控制臂 ANN已在专家系统、智能控制等领域广泛应用
假设1：多输入单输出
图(a) 表明，正如生物神经元有许多激励输入一祥，
人工神经元也应该有许多的输入信号，图中每个输入
的大小用确定数值xi表示，它们同时输入神经元j，神
经元的单输出用oj表示。
假设2：输入类型：兴奋性和抑制性
生物神经元具有不同的突触性质和突触强度，其对输 入的影响是使有些输入在神经元产生脉冲输出过程中所 起的作用比另外一些输入更为重要。图(b)中对神经元 的每一个输入都有一个加权系数wij，称为权重值，其正 负模拟了生物神经元中突触的兴奋和抑制，其大小则代 表了突触的不同连接强度。
w x (t
ij i
n
ij )] T j}
o j (t 1) f {[
w x (t )] T }
ij i j i 1
n
神经元的数学模型
净输入与阈值之差可表示为：
net j T j net j
i 0
n
wij xi W T X j
综合以上各式，神经元模型可以简化为：
oj=f(netj)=f (WjTX)
神经元的转移函数
神经元各种不同数学模型的主要区别在于采用 了不同的转移函数，从而使神经元具有不同的信 息处理特性。神经元的信息处理特性是决定人工 神经网络整体性能的三大要素之一，反映了神经 元输出与其激活状态之间的关系，最常用的转移 函数有4种形式。
神经元的转移函数
从最简化的观点看，仍具有一定指导意义。
MP模型应用
• MP模型应用： 可用于实现分类、模式识别等，当前 已经有许多成功的基于M-P神经元模型的神 经网络得到应用，如BP算法，这种算法是 实现人脸识别的主要算法之一。
感知器（Perceptron）模型
1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的 神经网络，成为Perceptron,即为感知器。 感知器是一种前馈网络，同层内无互连， 不同层间无反馈，由下层向上层传递。其 输入、输出均为离散值，神经元对输入加 权求和后，由阈值函数决定其输出。 单层感知器的结构与功能都非常简单，但 却是要就其他网络的基础。
1 y 0
E≥T， I=0 E≥T， I>0 E<T， I=0 E<T，I>0
E Wi xEi
E T 0, 且I 0 E T 0, 或I 0
u的输入输出关系如表：
y=1 0 0 0
MP模型的逻辑表示
MP模型可以表示布尔逻辑关系（与 或 非） 例如逻辑与： 设T=2，I=0，E=x1W+x2W=x1+x2 当x1=1，x2=1，E=1+1=2， 触发y=1 当x1=1，x2=0，E=1+0=1， 不触发y=0 当x1=0，x2=1，E=0+1=1， 不触发y=0 当x1=0，x2=0，E=0+0=0， 不触发y=0
神经元建模的六点假定
神经元模型是在以下六条假设的基础上建立的：
每个神经元都是一个多输入单输出的信息处理单元 神经元输入分兴奋性输入和一致性输入两种类型 神经元具有空间整合特性和阈值特性 神经元输入与输出间有固定的时滞，主要取决于突触延搁 忽略时间整合作用和不应期
神经元本身是非时变的，即其突触时延和突触强度均为常数
• 设定输入向量X=(x1,x2)T
• 输出： • 则由方程：w1jx1+w2jx2-Tj=0 可以确定平面上的一条直线
感知器模型
• 设定输入向量X=(x1,x2,x3)T
• 输出： • 则由方程：w1jx1+w2jx2+w3jx3-Tj=0 可以确定三维空间上的一个分界平面
感知器的功能
感知器在线性神经元中加入了阈值函数， 也称为线性阈值元。它可接受实数型信号 ，而输出二值离散量(0,1)。即：一个单计 算节点感知器具有分类功能。
感知器模型
o1
W1
„
Wj
oj
„
om
○
○
Wm○
○
x1
○
x2
○
„ T
xi
○
„
xn
X ( x1,x2 ,...xi ,...,x n )
O (o1,o2 ,...oi ,...,o m )T
W j ( w1 j ,w2 j ,...wij ,...,w nj )T
j=1,2,…,m
感知器模型
M-P模型
是1943年心理学家McCulloch和数学家 W.Pitts在分析总结神经元基本特性的基础上 首先提出的M-P模型。指出了神经元的形式 化数学描述和网络结构方法，证明了单个 神经元能执行逻辑功能，从而开创了人工 神经网络研究的时代。
MP模型神经元特性函数可表示为
y f [Wi xEi T ]
输出
u w1 w2 w3
w0
阈值
输入
v1
v2
v3
例
用感知器实现逻辑“与”功能
逻辑“与”真值 表
x1 0 0 1 1
x2 0 1 0 1
y 0 0 0 1
例
用感知器实现逻辑“与”功能
感知器结构
x1 x2
○ ○
0.5 0.5
○
0.75 -1
y
wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0
(5)返回到步骤(2)输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。
感知器学习规则的训练步骤：
（1）权值初始化 （2）输入样本对
（3）计算输出 （4）根据感知器学习规则调整权值 （5）返回到步骤(2)输入下一对样本，周而 复始直到对所有样本，感知器的实际输出与 期望输出相等。
假设3：空间整合特性和阈值特性
作为ANN的基本处理单元，必须对全部输入信号进 行整合，以确定各类输入的作用总效果，图(c)表示 组合输人信号的“总和值”，相应于生物神经元的 膜电位。神经元激活与否取决于某一阈值电平，即 只有当其输入总和超过阈值时, 神经元才被激活而 发放脉冲, 否则神经元不会产生输出信号。