第五章 神经网络优化计算.
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
y lj
j
lj f ' (v) k k
f ' ( vk )
O
k
l 1 k
[(d k Ok ) f ' (vk )]
反向传播
d O
d
前向计算
12
智能优化计算
5.1.1 5.1.2 5.1.3 5.1.4 5.1.5 发展历史 McCulloch-Pitts神经元 网络结构的确定 关联权值的确定 工作阶段
“神经网络”与“人工神经网络”
1943年，Warren McCulloch和Walter Pitts建立了
第一个人工神经网络模型；
1969年，Minsky和Papert发表Perceptrons； 20世纪80年代，Hopfield将人工神经网络成功应用
在组合优化问题。
3
智能优化计算
f (x )
+1
Sigmoid函数
f ( x)
0
x
7
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.4 关联权值的确定
确定的内容
权值wi和θ
确定的方式
学习（训练） 有指导的学习：已知一组正确的输入输出结果的条 件下，神经网络依据这些数据，调整并确定权值； 无指导的学习：只有输入数据，没有正确的输出结 果情况下，确定权值。
智能优化计算
华东理工大学自动化系 2010年
第五章 神经网络优化计算
1
智能优化计算
5.1.1 5.1.2 5.1.3 5.1.4 5.1.5 发展历史 McCulloch-Pitts神经元 网络结构的确定 关联权值的确定 工作阶段
华东理工大学自动化系 2010年
► 5.1 人工神经网络的基本概念
5.2 多层前向神经网络
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
重要意义
现代的神经网络开始于McCulloch, Pitts(1943)的先 驱工作； 他们的神经元模型假定遵循有-无模型律； 如果如此简单的神经元数目足够多和适当设置连接 权值并且同步操作, McCulloch & Pitts证明这样构 成的网络原则上可以计算任何可计算函数； 标志着神经网络和人工智能的诞生。
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.2 多层前向神经网络
5.2.1 一般结构 5.2.2 反向传播算法
► 5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
13ቤተ መጻሕፍቲ ባይዱ
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
► 5.2 多层前向神经网络
5.2.1 一般结构 5.2.2 反向传播算法
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
10
智能优化计算
网络的构建
x1
Y=F(X)
y1
x2
y2
… xn
…
…
… ym
输入层
隐藏层
输出层
6
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.3 网络结构的确定
网络的拓扑结构
前向型、反馈型等
神经元激活函数
阶跃函数 线性函数
f ( x) ax b
1 1 ex
华东理工大学自动化系 2010年
5.3 反馈型神经网络
一般结构
各神经元之间存在相互联系
分类
连续系统：激活函数为连续函数 离散系统：激活函数为阶跃函数
14
智能优化计算
华东理工大学自动化系 2010年
5.3 反馈型神经网络
Hopfield神经网络
1982年提出Hopfield反馈神经网络（HNN），证明 在高强度连接下的神经网络依靠集体协同作用能自 发产生计算行为。 是典型的全连接网络，通过引入能量函数，使网络 的平衡态与能量函数极小值解相对应。
华东理工大学自动化系 2010年
5.2 多层前向神经网络
5.2.1 一般结构
多层
两层以上
前向
x1
x2
y1 y2
无反馈
… xn
…
…
…
…
…
… ym
输入层
隐藏层
输出层
11
智能优化计算
华东理工大学自动化系 2010年
5.2 多层前向神经网络
5.2.2 反向传播算法
目的
确定权值
方法
线性组合
l层
wn
McCulloch-Pitts输出 函数定义为：
y f ( z ) sgn( wi xi )
i 1
n
1, x 0 其中， sgn( x) 0, x 0
5
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
5.2.1 一般结构 5.2.2 反向传播算法
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
2
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.1 发展历史
激活函数
线性组合
l＋1层
激活函数
l 1 vk
反向推导
yil 1
l 1 l 1 ji i
y
v lj
yil f (v lj )
l ki
y
l j
l 1 y O f ( vk )
ji lj y lj1
f ' (v lj )
kj kl 1 y lj
4
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
-θ
结构
Input signal Activation function Output
x1
w1
x2
w2
Summing function
f ()
y
xn
Synaptic weights
8
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.5 工作阶段
学习与工作的关系
先学习→再工作
输输 神神神神神神神 神神神神 输输
输输 神神神神 神神神神神神神 神神神神 输输
神神神神神 神神神神神
神神神神
9
智能优化计算
5.1.1 5.1.2 5.1.3 5.1.4 5.1.5 发展历史 McCulloch-Pitts神经元 网络结构的确定 关联权值的确定 工作阶段
j
lj f ' (v) k k
f ' ( vk )
O
k
l 1 k
[(d k Ok ) f ' (vk )]
反向传播
d O
d
前向计算
12
智能优化计算
5.1.1 5.1.2 5.1.3 5.1.4 5.1.5 发展历史 McCulloch-Pitts神经元 网络结构的确定 关联权值的确定 工作阶段
“神经网络”与“人工神经网络”
1943年，Warren McCulloch和Walter Pitts建立了
第一个人工神经网络模型；
1969年，Minsky和Papert发表Perceptrons； 20世纪80年代，Hopfield将人工神经网络成功应用
在组合优化问题。
3
智能优化计算
f (x )
+1
Sigmoid函数
f ( x)
0
x
7
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.4 关联权值的确定
确定的内容
权值wi和θ
确定的方式
学习（训练） 有指导的学习：已知一组正确的输入输出结果的条 件下，神经网络依据这些数据，调整并确定权值； 无指导的学习：只有输入数据，没有正确的输出结 果情况下，确定权值。
智能优化计算
华东理工大学自动化系 2010年
第五章 神经网络优化计算
1
智能优化计算
5.1.1 5.1.2 5.1.3 5.1.4 5.1.5 发展历史 McCulloch-Pitts神经元 网络结构的确定 关联权值的确定 工作阶段
华东理工大学自动化系 2010年
► 5.1 人工神经网络的基本概念
5.2 多层前向神经网络
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
重要意义
现代的神经网络开始于McCulloch, Pitts(1943)的先 驱工作； 他们的神经元模型假定遵循有-无模型律； 如果如此简单的神经元数目足够多和适当设置连接 权值并且同步操作, McCulloch & Pitts证明这样构 成的网络原则上可以计算任何可计算函数； 标志着神经网络和人工智能的诞生。
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.2 多层前向神经网络
5.2.1 一般结构 5.2.2 反向传播算法
► 5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
13ቤተ መጻሕፍቲ ባይዱ
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
► 5.2 多层前向神经网络
5.2.1 一般结构 5.2.2 反向传播算法
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
10
智能优化计算
网络的构建
x1
Y=F(X)
y1
x2
y2
… xn
…
…
… ym
输入层
隐藏层
输出层
6
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.3 网络结构的确定
网络的拓扑结构
前向型、反馈型等
神经元激活函数
阶跃函数 线性函数
f ( x) ax b
1 1 ex
华东理工大学自动化系 2010年
5.3 反馈型神经网络
一般结构
各神经元之间存在相互联系
分类
连续系统：激活函数为连续函数 离散系统：激活函数为阶跃函数
14
智能优化计算
华东理工大学自动化系 2010年
5.3 反馈型神经网络
Hopfield神经网络
1982年提出Hopfield反馈神经网络（HNN），证明 在高强度连接下的神经网络依靠集体协同作用能自 发产生计算行为。 是典型的全连接网络，通过引入能量函数，使网络 的平衡态与能量函数极小值解相对应。
华东理工大学自动化系 2010年
5.2 多层前向神经网络
5.2.1 一般结构
多层
两层以上
前向
x1
x2
y1 y2
无反馈
… xn
…
…
…
…
…
… ym
输入层
隐藏层
输出层
11
智能优化计算
华东理工大学自动化系 2010年
5.2 多层前向神经网络
5.2.2 反向传播算法
目的
确定权值
方法
线性组合
l层
wn
McCulloch-Pitts输出 函数定义为：
y f ( z ) sgn( wi xi )
i 1
n
1, x 0 其中， sgn( x) 0, x 0
5
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
5.2.1 一般结构 5.2.2 反向传播算法
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
2
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.1 发展历史
激活函数
线性组合
l＋1层
激活函数
l 1 vk
反向推导
yil 1
l 1 l 1 ji i
y
v lj
yil f (v lj )
l ki
y
l j
l 1 y O f ( vk )
ji lj y lj1
f ' (v lj )
kj kl 1 y lj
4
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
-θ
结构
Input signal Activation function Output
x1
w1
x2
w2
Summing function
f ()
y
xn
Synaptic weights
8
智能优化计算
华东理工大学自动化系 2010年
5.1 人工神经网络的基本概念
5.1.5 工作阶段
学习与工作的关系
先学习→再工作
输输 神神神神神神神 神神神神 输输
输输 神神神神 神神神神神神神 神神神神 输输
神神神神神 神神神神神
神神神神
9
智能优化计算
5.1.1 5.1.2 5.1.3 5.1.4 5.1.5 发展历史 McCulloch-Pitts神经元 网络结构的确定 关联权值的确定 工作阶段