神经网络优化计算.

f
(
x)

1
1 e

x
f(x)
+1
0
x
智能优化计算
5.1 人工神经网络的基本概念
5.1.4 关联权值的确定
华东理工大学自动化系 2007年
确定的内容
权值wi和θ
确定的方式 学习（训练） 有指导的学习：已知一组正确的输入输出结果的条 件下，神经网络依据这些数据，调整并确定权值； 无指导的学习：只有输入数据，没有正确的输出结 果情况下，确定权值。
s [s1 s2 sN ]T
智能优化计算
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
华东理工大学自动化系 2007年
McCulloch-Pitts输出
n
y f (z ) sgn( wi xi )
函数定义为：
i 1
其中，sgn(x)

1, 0,
x x

0 0
智能优化计算
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
华东理工大学自动化系 2007年
5.2.1 一般结构 5.2.2 反向传播算法
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
智能优化计算
5.1 人工神经网络的基本概念
5.1.1 发展历史
华东理工大学自动化系 2007年
vlj
yil f (vlj )
l＋1层 线性组合 激活函数
l ki
y
l j
v l 1 k
y O f (vkl1)
ji


l j
y l 1 j
f '(vlj ) j
kj


l k
1
y
l j
y
l j

百度文库

l j

f
' (v)
k k
k
l k
1
[(dk Ok ) f '(vk )]
“神经网络”与“人工神经网络” 1943年，Warren McCulloch和Walter Pitts建立了
第一个人工神经网络模型；
1969年，Minsky和Papert发表Perceptrons； 20世纪80年代，Hopfield将人工神经网络成功应用
在组合优化问题。
智能优化计算
N为网络节点总数。
Σ
s1(t)
w12 w1n
s2(t)
w21
Σ
…
… w2n
sn(t)
wn2 wn1
Σ
Δ
s1(t+1) s2(t+1) sn(t+1)
智能优化计算
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
华东理工大学自动化系 2007年
网络结构 一般认为vj(t)=0时神经元保持不变sj(t+1)=sj(t); 一般情况下网络是对称的（wij=wji）且无自反馈（ wjj=0）; 整个网络的状态可用向量s表示：
智能优化计算
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络
华东理工大学自动化系 2007年
网络结构
v j (t) N wji si (t) j

s
j
(t

i
1)
1

sgn[v
j
(t
)],

即s
j
(t

1)

1, 1,
v j (t) 0 v j (t) 0
网络的构建
Y=F(X)
x1
y1
x2
y2
…… xn
输入层
…
…
隐藏层
ym 输出层
智能优化计算
5.1 人工神经网络的基本概念
5.1.3 网络结构的确定
华东理工大学自动化系 2007年
网络的拓扑结构 前向型、反馈型等
神经元激活函数 阶跃函数
线性函数
f (x) ax b
Sigmoid函数
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
华东理工大学自动化系 2007年
重要意义 现代的神经网络开始于McCulloch, Pitts(1943)的先 驱工作； 他们的神经元模型假定遵循有-无模型律； 如果如此简单的神经元数目足够多和适当设置连接 权值并且同步操作, McCulloch & Pitts证明这样构 成的网络原则上可以计算任何可计算函数； 标志着神经网络和人工智能的诞生。
智能优化计算
华东理工大学自动化系 2007年
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
-θ
结构
x1
w1
Input
signal x2
w2

xn
wn
Synaptic
weights
Activation
function

f ()
Output
y
Summing function
智能优化计算
华东理工大学自动化系 2007年
第五章 神经网络优化计算
智能优化计算
华东理工大学自动化系 2007年
5.1 人工神经网络的基本概念
5.1.1 发展历史 5.1.2 McCulloch-Pitts神经元 5.1.3 网络结构的确定 5.1.4 关联权值的确定 5.1.5 工作阶段
5.2 多层前向神经网络
智能优化计算
5.1 人工神经网络的基本概念
5.1.5 工作阶段
华东理工大学自动化系 2007年
学习与工作的关系 先学习→再工作
输输
神神神神神神神
输输
神神神神
神神神神神 神神神神神
神神神神
输输
神神神神神神神
输输
神神神神
神神神神
智能优化计算
5.2 多层前向神经网络
5.2.1 一般结构
多层
两层以上 x1
f '(vk )
O
d O d
前向计算
反向传播
智能优化计算
5.3 反馈型神经网络
华东理工大学自动化系 2007年
一般结构 各神经元之间存在相互联系
分类 连续系统：激活函数为连续函数 离散系统：激活函数为阶跃函数
智能优化计算
5.3 反馈型神经网络
华东理工大学自动化系 2007年
Hopfield神经网络 1982年提出Hopfield反馈神经网络（HNN），证明 在高强度连接下的神经网络依靠集体协同作用能自 发产生计算行为。 是典型的全连接网络，通过引入能量函数，使网络 的平衡态与能量函数极小值解相对应。
前向
无反馈
x2
华东理工大学自动化系 2007年
y1 y2
…… xn
输入层
…
…
隐藏层
… …… ym
输出层
智能优化计算
5.2 多层前向神经网络
5.2.2 反向传播算法
华东理工大学自动化系 2007年
目的
确定权值 方法
l层 线性组合 激活函数
反向推导
y l 1 i
y l1 l1 ji i