人工神经网络原理与仿真实例第2版 教学 高隽 第6章 随机神经网络及模拟退火算法PPT课件

6.1.1 Boatman机的网络结构
图6-1 boltzmann机的网络结构
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Boltzmann机由输入部、输出部和中间部构成。 输入神经元和输出神经元可称为显见神经元，它 们是网络与外部环境进行信息交换的媒介。中间 部的神经元称为隐见神经元，它们通过显见神经 元与外部进行信息交换。
所以，在用BP网络和Hopfield网络进行最优化 的计算时，由于限定条件的不足，往往会使网络 稳定在误差或能量函数的局部最小点，而不是全 局最小点，即所得的解不是最优解。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
网络陷入局部最小点的原因主要有两点： （1）网络结构上存在着输入到输出之间的非线
性函数关系，从而使网络误差或能量函数所构 成的空间是一个含有多极点的非线性空间。 （2）在算法上，网络的误差或能量函数只能单 方向减小，不能有一点上升。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
随机神经网络的基本思想： 网络向误差或能量函数减小方向运行的概率大，
同时向误差或能量函数增大方向运行的概率存在， 这样网络跳出局部极小点的可能性存在，而且向全 局最小点收敛的概率最大。
为描述其状态的函数。
E
1
*合肥工业大学 计算机与信息学院 图像信息处理研究室
前言
随机神经网络是统计力学思想引入神经网络研究 的结果。
统计力学是研究大系统宏观平衡性质的学科，这种 大系统的组成元素服从微观机制。统计力学的主要 目的是寻找从微观粒子（原子、电子）的运动开始 的宏观物体的热力学性质，由于所遇到的自由度数 目很大，因此只能使用概率的方法进行研究。
教材其余课件及动画素材请查阅在线教务辅导网 在线教务辅导网：http://www.shangfuwang.com QQ:349134187 或者直接输入下面地址： http://shop106150152.taobao.com
第6章 随机神经网络及模拟退火算法
6.1 Boltzmann机 6.2 Boltzmann机的改进 6.3 模拟退火算法 6.4 仿真实例
wi1 wi 2
vj
wij
win
vn
ui bi i
Pi
vi
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Boltzmann机中每个神经元的兴奋或抑制具 有随机性，其概率取决于神经元的输入。
神经元i的全部输入信号的总和为ui为： n ui wijvj bi j 式中bi是该神经元的阈值。 可以将bi归并到总的加n 权和中去，即得： ui wij v j j
*合肥工业大学 计算机与信息学院 图像信息处理研究室
神经元的输出vi依概率取1或0：
vi取1的概率： P (vi 1)1/1 (eu i/T)
vi取0的概率：P (v i 0 ) 1 P (v i 1 ) e u i/T P (v i 1 )
由此可见， vi取1的概率受两个因素的影响： （1） u率i越越大小v。i则取1的概率越大，而取0的概 （2） 参数T取称1为的“概温率度P”随，ui的在变不化同如的图温所度示下。vi
*合肥工业大学 计算机与信息学院 图像信息处理研究室
6.1 Boltzmann机
6.1.1 Boltzmann机的网络结构 6.1.2 Boltzmann机的工作原理 6.1.Fra Baidu bibliotek Boltzmann机的运行步骤 6.1.4 Boltzmann机的学习规则
*合肥工业大学 计算机与信息学院 图像信息处理研究室
*合肥工业大学 计算机与信息学院 图像信息处理研究室
随机神经网络与其他网络的比较：
名称
BP网络 Hopfield 网络
Boltzmann 机
网络类型 网络结构
学习算法
含输入层、隐层、网络按误差减
多层前向网 输出层。层内神 少的最大梯度
络
经元无连接
方向调整权值
单层神经网络， 网络按照其用
反馈神经网 层内神经元全互 途来设计或训
*合肥工业大学 计算机与信息学院 图像信息处理研究室
p~u的关系
*合肥工业大学 计算机与信息学院 图像信息处理研究室
可见，T越高时，曲线越平滑，因此，即使ui有很 大变动，也不会对vi取1的概率变化造成很大的影 响；反之，T越低时，曲线越陡峭，当ui有稍许变 动时就会使概率有很大差异。即温度高时状态变化 接近随机，随着温度的降低向确定性的动作靠近。
当T→0时，每个神经元不再具有随机特性，而具 有确定的特性，激励函数变为阶跃函数，这时 Boltzmann机趋向于Hopfield 网络。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
6.1.1 Boltzmann机的工作原理
Boltzmann 机 采 用 下 式 所 示 的 能 量 函 数 作
每一对神经元之间的信息传递是双向对称的， 即wij= wji ，而且自身无反馈即wii=0。学习期间， 显见神经元将被外部环境“约束”在某一特定的 状态，而中间部隐见神经元则不受外部环境约束。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
•Boltzmann机中单个神经元的运行特性
v1 v2
*合肥工业大学 计算机与信息学院 图像信息处理研究室
20世纪80年代，Ackley,Hinton 和Sejnowski等人 以模拟退火思想为基础，对Hopfield网络引入了 随机机制，推出Boltzmann机。
Boltzmann机是第一个受统计力学启发的多层学 习机，它是典型的随机神经网络。其命名来源于 Boltzmann机在统计力学中的早期工作和网络本 身的动态分布行为（其平衡状态服从Boltzmann 分布），其运行机制服从模拟退火算法。
络
连
练网络权值
含输入部、输出 网络向误差减
随机神经网 部和中间部。神 小的方向运行
络
经元互连
概率大，但也
可能向误差增
大方向运行
*合肥工业大学 计算机与信息学院 图像信息处理研究室
BP网络是一种“贪心”算法，容易陷入局部最 小点。
Hopfield网络很难避免出现伪状态，网络是严格 按照能量减小的方向运行的，容易陷入局部极小 点，而无法跳出。