人工智能Artificial Intelligence.ppt

• 吸引子的吸引域。对于某些特定的初始状态，网络按一定的 运行规则最后可能稳定在同一吸引子上。称能够稳定在吸引 子v(t)的所有初始状态集合为 的吸引域v(t).
Artificial Intelligence
Computational Intelligence : 8
Hopfield网络（6）
• 网络运行的收敛性：
© Graduate University , Chinese academy of Sciences .
Artificial Intelligence
Computational Intelligence : 13
© Graduate University , Chinese academy of Sciences .
Computational Intelligence : 19
模拟退火算法（4）
• 模拟退火算法（2）
© Graduate University , Chinese academy of Sciences .
Artificial Intelligence
Computational Intelligence : 20
题的解
Artificial Intelligence
Computational Intelligence : 14
© Graduate University , Chinese academy of Sciences .
Agenda
神经网络概述 感知机 前馈神经网络 Hopfield网络
随机神经网络
Artificial Intelligence
Computational Intelligence : 6
Hopfield网络（4）
© Graduate University , Chinese academy of Sciences .
Artificial Intelligence
Computational Intelligence : 7
Hopfield网络（2）
Hopfield网络主要有下面的特点:
1. 网络是一个全连网络,即网络中任意两个单元之间都有连线, 而且这种连接是对称的,即wij=wji.
2. 网络有两种类型：离散和连续。离散是说单元是二值的，它 们的激活是用（1，-1）或（1，0）表示。而在连续的网络 中，单元的激活是连续的，它们可以取0到1之间的任一实 数值
– 模拟退火算法（Simulated Annealing） – 玻尔兹曼机（Boltzmann Machine，BM）
Artificial Intelligence
Computational Intelligence : 16
© Graduate University , Chinese academy of Sciences .
Hopfield网络（11）
• Hopfield网络的应用：Hopfield网已成功地用于多个领域， 应用方式主要有两种：联想存取和优化计算。不同应用的基 本思想可以归纳如下：
1. 对于特定的问题，选择一种合适的表示方法，使得神经网络得输出 与问题得解对应起来
2. 构造神经网络的能量函数，使其最小值对应于问题的最佳解 3. 由能量函数反推出神经网络的结构 4. 由网络结构构造网络，让其运行，则稳定状态在一定条件下就是问
© Graduate University , Chinese academy of Sciences .
Hopfield网络（5）
• 网络的吸引子。设t=0时对网络输入模式x，网络处于状态 v(0),而在时刻t，网络到达状态v(t)。若v(t)稳定，则称v(t)为 网络的稳定吸引子。
• 在非稳定吸引子的情况，若网络状态有规律的在某些状态之 间振荡，则称网络处于有限环（limited circle）状态。若网 络无规律的在某些状态之间振荡，则称网络处于混沌（ chaos）状态。
© Graduate University , Chinese academy of Sciences .
模拟退火算法（5）
• 以上模拟退火的实现过程中有三个基本的因素应该注 意。
1. 怎样按照某种概率过程产生新的搜索状态，而向该 状态的转移应该不受能量曲面的限制。
2. 根据当前温度及新状态与原状态在能量曲面的相应 位置，怎样确立形状态的接见标准。
Hopfield网络（7）
• 网络学习规则：
联想记忆的编码方法是实现神经网络联想记忆的基础, 人们对此进 行了大量的研究，主要的方法有：
– 基于 Hebb 规则的编码：方法简单并且方便于理论上研究网 络的 记忆容量 和网络记忆模式的容错性能, 但是它并不能保证 使所有需要记忆的模式都成为网络的 稳定点;
• Hopfield网络在联想存取及优化计算等领域得到了 成功的应用，拓宽了神经网络的应用范围 .
Artificial Intelligence
Computational Intelligence : 4
© Graduate University , Chinese academy of Sciences .
Artificial Intelligence
Computational Intelligence : 18
模拟退火算法（3）
• 模拟退火算法（1）
© Graduate University , Chinese academy of Sciences .
Artificial Intelligence
• 令：x = (x1, x2, ┅ , xn)T,x{-1,+1} n 为网络的输入 y=(y1, y2, ┅ ,yn) T, y {-1,+1} n 为网络的输出 v(t)=(v1(t), v2(t), ┅ vn(t)) T, v(t) {-1，+1} n为网络在时刻t的状态，
其中：对离散网络，t {0,1,2, ┅}为离散时间变量； Wij为从Ni到Nj的连接权值
Artificial Intelligence
Computational Intelligence : 22
© Graduate University , Chinese academy of Sciences .
Hopfield网络
随机神经网络 遗传算法 人工生命
Artificial Intelligence
Computational Intelligence : 3
© Graduate University , Chinese academy of Sciences .
Hopfield网络（1）
• 反馈神经网络是得到最充分研究和应用的神经网络 模型之一。Hopfield为这一网络引入了一种稳定过 程，即提出了人工神经网络能量函数的概念，使网 络的运行稳定性判断有了可靠而简便的依据。
© Graduate University , Chinese academy of Sciences .
• 限制条件 (i) 主要保证网络在输入有误差的情况下仍能正确回忆所 记模式, 而条件 (ii)则是为了使预先给定的模式成为网络的不动点.
Artificial Intelligence
Computational Intelligence : 11
© Graduate University , Chinese academy of Sciences .
人工智能 Artificial Intelligence
Artificial Intelligence
Computational Intelligence : 1
© Graduate University , Chinese academy of Sciences .
遗传算法 人工生命
Artificial Intelligence
Computational Intelligence : 15
© Graduate University , Chinese academy of Sciences .
随机神经网络
• 前面讨论的两种网络都为确定性的网络，组成它们的神经元 均为确定性的，即给定神经元的输入其输出就是确定的，但 在生物神经元中由于有各种各样的干扰这实际上是很难实现 的。同时人工神经元的硬件实现也会有各种扰动，从而带来 某些不确定性， 因此讨论随机神经元显得必要且必需。
– 基于伪逆 规则的编码：运算量大, 同时又不能保证所获得的 矩阵满足对称性以及对角元为 0 的限制, 这样在记忆模式有误差 的情况下并不能保证网络的收敛性
Artificial Intelligence
Computational Intelligence : 10
Hopfield网络（8）
• 网络学习规则：
Artificial Intelligence
Computational Intelligence : 17
© Graduate University , Chinese academy of Sciences .
模拟退火算法（2）
• 当温度T很高时，概率分布对一定范围内的能量E并没有显著差异 ，即物体处于高能状态域低能状态的可能性相差不大。但是，随着 温度T的降低，物体处于高能状态的可能性就逐渐减少，最后当温 度下降到充分低时，物体建一概率1稳定在低能状态。
Hopfield网络（9）
• Hebb学习规则：
© Graduate University , Chinese academy of Sciences .
Artificial Intelligence
Computational Intelligence : 12
Hopfield网络（10）
• 离散Hopfield网学习算法：
3. 怎样选择初始温度 及怎样更新温度，确立温度的下 降过程。
• 以上三点影响模拟退火的收敛速度，且影响退火结束 以后多大的概率时状态稳定在全局最小点。
Artificial Intelligence
Computational Intelligence : 21
玻尔兹曼机（1）
© Graduቤተ መጻሕፍቲ ባይዱte University , Chinese academy of Sciences .
© Graduate University , Chinese academy of Sciences .
Artificial Intelligence
Computational Intelligence : 9
© Graduate University , Chinese academy of Sciences .
Artificial Intelligence
Computational Intelligence : 5
© Graduate University , Chinese academy of Sciences .
Hopfield网络（3）
• Hopfield网络的基本结构如下，N1, N2, ┅ ，Nn表示网络的n个神经元， 其转移特性函数为ƒ(x)，ƒ(x)，┅ , ƒ(x) , 门限值为1， 2 ，┅ n 。对于 离散型Hopfield网络，各结点一般选相同的转移特性函数，且为符号函 数，即有 ƒ(x) = ƒ(x) = ┅ = ƒ(x) = sign(x) 这里假定：各结点门限值相等，且等于0。
模拟退火算法（1）
• 模拟退火算法：基本思想是把某类优化问题的求解过程与统 计热力学中的热平衡问题进行对比，试图通过模拟高温物体 退火过程的方法，来找到优化问题的全局最优或近似全局最 优解。
• 一个物体（例如金属）的退火过程大体上是这样的：首先对 该物体加热（熔化），那么物体内的原子就可高速自由运行 ，处于较高的能量状态。但是作为一个实际的物理系统，原 子的运行总是最低的能态。一开始温度较高时，高温使系统 具有较高的内能，而随着温度的下降，原子越来越趋向于低 能态，最后整个物体形成最低能量的基态
计算智能（二）
Computational Intelligence
Artificial Intelligence
Computational Intelligence : 2
© Graduate University , Chinese academy of Sciences .
Agenda
神经网络概述 感知机 前馈神经网络