7智能计算导论_神经网络1

生物神经元
即一个神经元的神经末梢与另一个冲经元的 树突相接触的交界面， 树突相接触的交界面，位于神经元的神经末 梢尾端。 梢尾端。 轴突及突触与其它许多神经元建立联系。 轴突及突触与其它许多神经元建立联系。 树突接收来自不同神经元的信息。 树突接收来自不同神经元的信息。 神经元之间的这种复杂联系就形成了相应 的神经网络。 的神经网络。
人工神经网络的历史
第二高潮期（ 第二高潮期（1983~1990） ）
1984年， J. Hopfield设计研制了后来被人们称为 年 设计研制了后来被人们称为 Hopfield网的电路。较好地解决了著名的 网的电路。较好地解决了著名的TSP问 问 题，找到了最佳解的近似解，引起了较大的轰动。 找到了最佳解的近似解，引起了较大的轰动。 1985年，圣地牙哥加州大学的 年 圣地牙哥加州大学的Hinton、 、 Rumelhart等人所在的并行分布处理（PDP）小 等人所在的并行分布处理（ 等人所在的并行分布处理 ） 组的研究者在Hopfield网络中引入了随机机制， 网络中引入了随机机制， 组的研究者在 网络中引入了随机机制 提出所谓的Boltzmann机。 机 提出所谓的
百度文库
O=f(net) ( )
单输入人工神经元
∑
净输入
神经元输出 传输函数
权值
输入
偏置(值 偏置 值)
传输函数(硬极限传输函数 传输函数 硬极限传输函数) 硬极限传输函数
Hard Limit Transfer Function
β f ( n) = γ
if if
n >θ n ≤θ
β、γ、θ均为非负实数，θ为阈值。 、 、 均为非负实数 均为非负实数， 为阈值 为阈值。 (Threshold Function) 二值形式：β=1, γ=0; 双极形式：β=γ=1 二值形式： 双极形式： 二值形式
生物神经元
每个神经元一个， 枝 ，每个神经元一个 ， 其作用相当于神经 元的输出电缆， 元的输出电缆 ， 它通过尾部分出的许多神 经末梢以及梢端的突触向其它神经元输出 神经冲动。 神经冲动。 树突：这是由细胞体向外伸出的除轴突外 树突： 的其它分枝，长度一般均较短， 的其它分枝 ， 长度一般均较短 ， 但分枝很 它相当于神经元的输人端， 多 。 它相当于神经元的输人端 ， 用于接收 从四面八方传来的神经冲动。 从四面八方传来的神经冲动。 突触： 突触：是神经元之间相互连接的接口部分
传输函数总结
名称 输入/输出关系
a = 0 n < 0 a = 1 n ≥ 0
图标
Matlab函数 Hardlim Hardlims Pureline Satlin
硬极限函数 对称极限函数 线性函数 饱和线性函数
a = 1 n < 0 a =1 n ≥ 0
a=n
n<0 a = 0 a = n 0 ≤ n ≤ 1 a =1 n ≥1
Log-Sigmoid Transfer Function 逻辑斯特函数（ 逻辑斯特函数（Logistic Function） ） f(n)= 1/(1+exp(-d×n)) ( × 函数的饱和值为0和 函数的饱和值为 和1 压缩函数（ 压缩函数（Squashing Function） ） f(n)=g+h/(1+exp(-d×n)) ( ) × g，h，d为常数，函数的饱和值为 和g+h 为常数， 为常数 函数的饱和值为g和 S形函数有较好的增益控制 形函数有较好的增益控制
a = 1 max( n) a = 0 其它
Poslin
竞争函数
Compet
多输入神经元
∑
简化符号
传输函数作用的实例
P=[1,2] P=[1,2]T
W=[1,1] W=[1,1] b= -1.5
n= WP+b=1.5 WP+b=1.5 f(n)
a
传输函数作用的实例
a=Hardlim (1.5) n a=Hardlims (1.5) a=Pureline (1.5) a=Satlins (1.5) a=Logsig (1.5)
输入： （ 输入：X=（x1，x2，…，xn） ， 联接权：W=（w1，w2，…，wn）T 联接权： （ ， 网络输入： 网络输入： net=∑xiwi 向量形式： 向量形式： net=XW
激活函数(传递函数 激活函数 传递函数) 传递函数
激活函数——执行对该神经元所获得的网 执行对该神经元所获得的网 激活函数 络输入的变换， 也可以称为激励函数、 络输入的变换 ， 也可以称为激励函数 、 活 化函数，传递函数等： 化函数，传递函数等：
人工神经网络的研究最早可以追溯到人类开始 研究自己的智能的时期。 研究自己的智能的时期。 1943年，心理学家 和数学家Pitts建立 年 心理学家McCulloch和数学家 和数学家 建立 了著名的阈值加权和模型，简称为M-P模型。发 模型。 了著名的阈值加权和模型，简称为 模型 表 于 数 学 生 物 物 理 学 会 刊 《Bulletin of Methematical Biophysics》 》 1949年，心理学家 O. Hebb提出神经元之间突 年 心理学家D. 提出神经元之间突 触联系是可变的假说——Hebb学习律。 学习律。 触联系是可变的假说 学习律
a (t ) = ∫
t u (τ )dτ 0
+ a ( 0)
递归网络（ 递归网络（Recurrent Network）
初始条件 递归层
a( 1 ) = sa tlins (W a( 0 ) + b ) = sa tli ns( Wp + b )
传输函数(线性传输函数 传输函数 线性传输函数) 线性传输函数
Linear Transfer Function
f（n）= k×n + c
传输函数(对数 型函数) 传输函数 对数-S型函数 对数 型函数
Log-Sigmoid Transfer Function
传输函数(对数 型函数 传输函数 对数-S型函数 对数 型函数)
∑
f
网络结构—神经元的层 网络结构 神经元的层
输入 S个神经元的层
∑ ∑
∑
神经元的层简化模型
w1,1 w 2,1 W = wS ,1
w1, 2 w2, 2 wS , 2
w1, R w2, R … wS , R
p1 b1 a1 p 2 b = b2 a = a 2 p= bS pR a S
生物神经系统
生物神经系统
生物神经系统
生物神经系统
生物神经元
生物神经元组成： 生物神经元组成：神经细胞被称为生物神 经元。神经元主要由三个部分组成： 经元。神经元主要由三个部分组成：细胞 轴突。 体、轴突。 细胞体：由细胞核、 细胞体：由细胞核、细胞质与细胞膜等组 成。它是神经元的新陈代谢中心，同时还 它是神经元的新陈代谢中心， 用于接收并处理对其它神经元传递过来的 信息。 信息。 轴突： 轴突：由细胞体向外伸出的最长的一条分
人工神经网络的别名
人工神经系统（ 人工神经系统（ANS） ） 神经网络（ ） 神经网络（NN） 自适应网（ 自适应网（Adaptive Networks） ） 联接主义（ 联接主义（Connectionism） ） 神经计算机（ 神经计算机（Neurocomputer） ）
人工神经网络的历史
萌芽期（ 世纪 年代） 世纪40年代 萌芽期（20世纪 年代）
人工神经网络的历史
第二高潮期（ 第二高潮期（1983~1990） ）
1986年 ， 并行分布处理小组的 年 并行分布处理小组的Rumelhart等研究 等研究 者重新独立地提出多层网络的学习算法—BP算 者重新独立地提出多层网络的学习算法 算 法，较好地解决了多层网络的学习问题。 较好地解决了多层网络的学习问题。 1988年 RBF神经网络 1988年，RBF神经网络 90年代早期 vapnik提出 年代早期， 提出SVM 90年代早期，vapnik提出SVM 国内首届神经网络大会是 国内首届神经网络大会是1990年12月在北京举行 年 月在北京举行 的
人工神经网络的历史
反思期（ 反思期（1969~1982） ）
M. L. Minsky和S. Papert，《Perceptron》， 和 ， 》 MIT Press，1969年 ， 年 异或” “异或”运算不可表示 二十世纪70年代和 年代和80年代早期的研究结果 二十世纪 年代和 年代早期的研究结果 认识规律：认识——实践 实践——再认识 认识规律：认识 实践 再认识
人工神经网络的历史
再认识与应用研究期（ 再认识与应用研究期（1991~） ）
存在应用面还不够宽、 存在应用面还不够宽、结果不够精确等问题 改进现有模型、算法， 改进现有模型、算法，以提高网络的训练速度和运 行的准确度。 行的准确度。 算法的集成 希望在理论上寻找新的突破，建立新的专用/通用模 希望在理论上寻找新的突破，建立新的专用 通用模 型和算法 进一步对生物神经系统进行研究， 进一步对生物神经系统进行研究，不断地丰富对人 脑的认识。 脑的认识。
多层神经网络（ 多层神经网络（3层）
输入 第1层 第2层 第3层
∑
∑
∑
∑
∑
∑
∑
p a1=f 1(W1p+b1)
∑
a2=f 2(W2p+b2)
∑
a3=f 3(W3p+b3)
多层神经网络（3层）简化表示 多层神经网络（
输入 第1层 第2层 第3层
隐含层
输出层
a3=f 3(W 3f 2(W2f 1(W 1p+b1) +b2) +b3)
传输函数总结
对称饱和线性 函数 对数S型函数 双曲正切S型 函数 正线性函数
a= 1 1 + e n
Satlins
n<0 a = 1 a = n 0 ≤ n ≤1 a =1 n ≥1
Logsig
a=
e n e n e n + e n
Tansig
a = 0 n < 0 a = n n ≥ 0
多层神经网络讨论
多层网络的功能强于单层网络 网络结构的确定： 网络结构的确定：
输入个数 输出个数 隐含神经元数 传输(节点) 传输(节点)函数 网络层数： 网络层数：2－3层 神经网络权值
递归网络－ 递归网络－构造块
延时模块(Delays) 延时模块(Delays)
a(t)=u(t-1)
积分模块( Integrators) 积分模块(
人工神经网络的历史
第二高潮期（ 第二高潮期（1983~1990） ） 1982年，J. Hopfield提出循环网络 年 提出循环网络
建立ANN稳定性的判别依据 建立ANN稳定性的判别依据 ANN 阐明了ANN ANN与动力学的关系 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN ANN的特性 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上
人工神经网络的历史
第一高潮期（ 第一高潮期（1950~1968） ）
以Marvin Minsky，Frank Rosenblatt，Bernard ， ， Widrow等为代表人物 ， 代表作是单级感知器 等为代表人物 （Perceptron）。 ） 可用电子线路模拟。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。 人们乐观地认为几乎已经找到了智能的关键。 许多部门都开始大批地投入此项研究， 许多部门都开始大批地投入此项研究，希望尽 快占领制高点。 快占领制高点。
生物神经元
人工神经元模型
神经元是构成神经网络的最基本单元 构件） （构件）。 人工神经元模型应该具有生物神经元的 基本特性。 基本特性。
人工神经元模型
人工神经元的基本构成
x1 w1 x2 w2 … xn wn ∑ net=XW
人工神经元模拟生物神经元的一阶特性 人工神经元模拟生物神经元的一阶特性
智能计算导论 第三章 人工神经网络
西安电子科技大学 智能科学与技术系
人工神经网络
Artificial Neural Networks，简记作 ，简记作ANN 是对人类大脑系统的一阶特性的一种描述。 是对人类大脑系统的一阶特性的一种描述。 简单地讲，它是一个数学模型 可以用电子 数学模型， 简单地讲，它是一个数学模型，可以用电子 线路来实现 也可以用计算机程序来模拟， 来实现， 计算机程序来模拟 线路来实现，也可以用计算机程序来模拟， 是人工智能研究的一种方法。 是人工智能研究的一种方法。