智能优化算法.ppt

❖ （1）从网络性能角度可分为：连续型与离散型网络、 确定性与随机性网络；
❖ （2）从网络结构角度可分为前向网络与反馈网络；
❖ （3）从学习方式角度可分为有教师学习网络和无教 师学习网络；
❖ （4）按连接突触性质可分为一阶线性关联网络和高 阶非线性关联网络。
单层前向网络
源节点输入层
神经元输出层
多层前向网络
神经网络-算法概述
人工神经网络的模型
❖ 人工神经网络是由大量处理单元广泛互连而成的网络 ， 是人脑的抽象、简化、模拟，反映人脑的基本特性。 一般来说，作为神经元模型应具备三个要素：
(1)之具间有的一联组接突强触度或，联或接称，之常为用权wi值j表。示与神人经脑元神i和经神元经不元同j ， 人工神经元权值的取值可在负值与正值之间。
wij (n) (x j (n) x j )( xi (n) xi )
纠错学习
源节点输入层
神经元隐含层
神经元输出层
反馈网络
无自反馈和隐含层 的反馈网络
z z z z 1 1 1 1
竞争神经网络
源节点层
单层输出神经元
最简单的竞争神经网络：Hamming网络
神经网络-算法概述
神经网络的学习
❖ 神经网络的学习也称为训练，指的是通过神经网络 所在环境的刺激作用调整神经网络的自由参数，使 神经网络以一种新的方式对外部环境作出反应的一 个过程。
智能优化算法
随着仿生学、遗传学和人工智能科学的发展， 从20世纪70年代以来，研究人员相继将遗传学、神 经网络科学的原理和方法应用到最优化领域，形成 了一系列新的最优化方法，如：人工神经网络算法、 遗传算法、蚁群算法等。这些算法不需要构造精确 的数学搜索方向，不需要进行繁杂的一维搜索，而 是通过大量简单的信息传播和演变方法来得到问题 的最优解。这些算法具有全局性、自适应、离散化 的特点。
神经网络-算法概述
亦称为人工神经网络，是由大量处理单元（神经 元Neurons）广泛互连而成的网络，是对人脑的抽象、 简化和模拟，反映人脑的基本特性。
人工神经网络的研究是从人脑的生理结构出发来 研究人的智能行为，模拟人脑信息处理的功能。它 是根植于神经科学、数学、统计学、物理学、计算 机科学及工程等学科的一种技术。
神经网络-算法概述
是由简单的处理单元所组成的大量并行分布的 处理机，这种处理机具有存储和应用经验知识 的自然特性，它与人脑的相似之处概括为两个 方面：
一是通过学习过程利用神经网络从外部环境中获取知识；
二是内部神经元（突触权值）用来存储获取的知识信息。
神经网络-算法概述
人工神经网络是近年来的热点研究领域， 涉及到电子科学与技术、信息与通信工程、 计算机科学与技术、电气工程、控制科学与 技术等诸多学科，其应用领域包括：建模、 时间序列分析、模式识别和控制等，并在不 断的拓展。
(2)具有反映生物神经元时空整合功能的输入信号累加. (3)具有一个激励函数用于限制神经元输出。激励函数将
输出信号压缩（限制）在一个允许范围内，使其成为 有限值。
x1 x2
wi1
wi 2
ui
wij
xj
wiN
i vi
i
f ()
yi
xN
ui wij x j vi ui i
j
yi f vi
三种常用的基本激励函数 ❖ 阈值函数（Threshold Function）
1，若v 0 f (v) 0，若v 0
u(t) 1
0
t
神经网络-算法概述
❖ 阈值函数（Threshold Function）
Sgn(vi
)
1，若vi 1，若vi
0
0
Sgn(t)
1
0
t
-1
❖ 分段线性函数（Piecewise-Linear Function）
1，v 1 f (v) v， 1 v 1
❖ 选择或设计学习算法时还需要考虑神经网络的结构 及神经网络与外界环境相连的形式。
神经网络-算法概述
神经网络的学习
❖ 学习方式可分为：有导师学习(Learning with a teacher)和无导师学习(Learning without a teacher)。
❖ 有导师学习又称为有监督学习(Supervised Learning)， 在学习时需要给出导师信号或称为期望输出（响 应）。
-1，v 1
f (v)
1
0
-1
1
v-1Biblioteka Sigmoid函数（Sigmoid Function） 也称为s型函数
f (v)
1
1 exp( av)
❖ Sigmoid函数也可用双曲正切函数（Signum Function） 来表示
f ( v ) tanh(v )
神经网络-算法概述
人工神经网络的分类
❖ 神经网络
算法概述 应用实例
❖ 遗传算法
算法概述 应用实例
神经网络-算法概述
基本原理
假如我们现在只有一些输入和相应的输出，而对如何由 输入得到输出的机理并不清楚，那么我们可以把输入与 输出之间的未知过程看成是一个“网络”，通过不断地 给这个网络输入和相应的输出来“训练”这个网络，网 络根据输入和输出不断地调节自己的各节点之间的权值 来满足输入和输出。这样，当训练结束后，我们给定一 个输入，网络便会根据自己已调节好的权值计算出一个 输出。这就是神经网络（Neural Networks, NN）的基本原理。 通常可用于分类和预测问题。
❖ 能够从环境中学习和在学习中提高自身性能是神经 网络的最有意义的性质。
❖ 神经网络经过反复学习对其环境更为了解。
神经网络-算法概述
神经网络的学习
❖ 学习算法是指针对学习问题的明确规则集合。
❖ 学习类型是由参数变化发生的形式决定的，不同的 学习算法对神经元的突触权值调整的表达式有所不 同。
❖ 没有一种独特的学习算法用于设计所有的神经网络。
❖ 无导师学习包括强化学习(Reinforcement Learning) 与无监督学习 (Unsupervised Learning) 或称为自组 织学习（Self-Organized Learning）。
Hebbian学习
Hebb学习规则： ❖ （1）如果一个突触（连接）两边的两个神经元被
同时（即同步）激活，则该突触的能量就被选择性 的增加。 ❖ （2）如果一个突触（连接）两边的两个神经元被 异步激活，则该突触的能量就被有选择的消弱或者 消除。