神经网络优化计算

智能算法导论
浙江大学
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经-θ元
结构
x1
w1
Input
signal x2
w2
xn
wn
Synaptic
weights
Activation
function
f (•)
Output
y
Summing function
McCulloch-Pitts输出
在组合优化问题。
智能算法导论
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
浙江大学
重要意义 现代的神经网络开始于McCulloch, Pitts(1943)的先 驱工作； 他们的神经元模型假定遵循有-无模型律； 如果如此简单的神经元数目足够多和适当设置连接 权值并且同步操作, McCulloch & Pitts证明这样构 成的网络原则上可以计算任何可计算函数； 标志着神经网络和人工智能的诞生。
Wij(t)=g(ai(t)，yj，oj(t)，Wij(t))
2021/3/13
18
智能算法导论
5.1 人工神经网络的基本概念
5.1.4 关联权值的确定
浙江大学
确定的内容
权值wi和θ
确定的方式 学习（训练） 有指导的学习：已知一组正确的输入输出结果的条 件下，神经网络依据这些数据，调整并确定权值； 无指导的学习：只有输入数据，没有正确的输出结 果情况下，确定权值。
输入向量与其对应的输出向量构成一训练。
有导师学习的训练算法的主要步骤包括：
1） 从样本集合中取一个样本（Ai，Bi）； 2） 计算出网络的实际输出O；
3） 求D=Bi-O； 4） 根据D调整权矩阵W；
5） 对每个样本重复上述过程，直到对整个样本集来说， 误差不超过规定范围。
2021/3/13
17
Delta规则
γ>0为一常数，被称为饱和值，为该神经元的 最大输出。
2021/3/13
10
2、非线性斜面函数（Ramp Function）
o
γ
-θ
θ
net
-γ
2021/3/13
11
3、阈值函数（Threshold Function）阶跃函数
β f（net）=
-γ
β、γ、θ均为非负实数，θ为阈值
二值形式： 1
f（net）= 0
智能算法导论
5.1 人工神经网络的基本概念
5.1.5 工作阶段
学习与工作的关系 先学习→再工作
浙江大学
输入
神经网络模型： 确定权值
输出
学习数据： 输入和输出
学习规则
输入 实际数据
浙江大学
智能算法导论
5.1 人工神经网络的基本概念
5.1.1 发展历史
浙江大学
“神经网络”与“人工神经网络” 1943年，Warren McCulloch和Walter Pitts建立了
第一个人工神经网络模型；
1969年，Minsky和Papert发表Perceptrons； 20世纪80年代，Hopfield将人工神经网络成功应用
5.1 人工神经网络的基本概念
5.1.3 网络结构的确定
网络的拓扑结构
前向型、反馈型等
神经元激活函数
阶跃函数
线性函数
f (x) ax b
f(x)
+1
Sigmoid函数
1
f (x) 1 ex
0
浙江大学
x
激活函数(Activation Function)
激活函数执行对该神经元所获得的网络输入
的变换，也可以称为激励函数、活化函数：
o=f（net）
1、线性函数（Liner Function）
f（net）=k*net+c
o
c net
o
2021/3/13
9
2、非线性斜面函数(Ramp Function)
γ f（net）= k*net
-γ
if net≥θ if |net|<θ if net≤-θ
n
y f (z ) sgn( wi xi )
函数定义为：
i 1
其中，sgn(x)
1, 0,
x x
0 0
智能算法导论
5.1 人工神经网络的基本概念
5.1.2 McCulloch-Pitts神经元
网络的构建
x1
Y=F(X)
x2
浙江大学
y1 y2
…… xn
输入层
…
…
隐藏层
ym 输出层
智能算法导论
f（net）=a+b/(1+exp(-d*net)) a，b，d为常数。它的饱和值为a和a+b。 最简单形式为：
f（net）= 1/(1+exp(-d*net)) 函数的饱和值为0和1。
S形函数有较好的增益控制
2021/3/13
14
4、S形函数
c=a+b/2
o
a+ b
(0,
net
c)
a
wk.baidu.com2021/3/13
Widrow和Hoff的写法：
Wij(t+1)=Wij(t)+α(yj- aj(t))oi(t) 也可以写成：
Wij(t+1)=Wij(t)+Wij(t) Wij(t)=αδjoi(t) δj=yj- aj(t) Grossberg的写法为：
Wij(t)=αai(t)(oj(t)-Wij(t)) 更一般的Delta规则为：
15
无导师学习
无导师学习(Unsupervised Learning)与无导师 训练(Unsupervised Training)相对应
抽取样本集合中蕴含的统计特性，并以神经元 之间的联接权的形式存于网络中。
2021/3/13
16
有导师学习
有 导 师 学 习 (Supervised Learning) 与 有 导 师 训 练 (Supervised Training)相对应。
智能算法导论
5.1 人工神经网络的基本概念
5.1.1 发展历史 5.1.2 McCulloch-Pitts神经元 5.1.3 网络结构的确定 5.1.4 关联权值的确定 5.1.5 工作阶段
5.2 多层前向神经网络
5.2.1 一般结构 5.2.2 反向传播算法
5.3 反馈型神经网络
5.3.1 离散Hopfield神经网络 5.3.2 连续Hopfield神经网络 5.3.3 Hopfield神经网络在TSP中的应用
双极形式： 1
f（net）= -1
if net>θ if net≤ θ
if net>θ if net≤ θ if net>θ if net≤ θ
2021/3/13
12
3、阈值函数（Threshold Function）阶跃函数
o
β
0
θ
net
-γ
2021/3/13
13
4、S形函数
压缩函数（Squashing Function）和逻辑斯特 函数（Logistic Function）。