人工神经网络原理与仿真实例第2版 教学课件 高隽 第6章 随机神经网络及模拟退火算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i
u / T i
vi取0的概率：P ( v 0 ) 1 P ( v 1 ) e P ( v 1 ) i i i
由此可见， vi取1的概率受两个因素的影响： （1） ui越大vi则取1的概率越大，而取0的概 率越小。 （2） 参数T称为“温度”，在不同的温度下vi 取1的概率P随ui的变化如图所示。
ui wijv j bi
j n
式中bi是该神经元的阈值。 可以将bi归并到总的加权和中去，即得：
ui wij v j
j
n
*合肥工业大学 计算机与信息学院 图像信息处理研究室
神经元的输出vi依概率取1或0： u T i/ vi取1的概率： P ( v 1 ) 1 /( 1 e )
*合肥工业大学 计算机与信息学院 图像信息处理研究室
网络陷入局部最小点的原因主要有两点： （ 1）网络结构上存在着输入到输出之间的非线 性函数关系，从而使网络误差或能量函数所构 成的空间是一个含有多极点的非线性空间。 （ 2）在算法上，网络的误差或能量函数只能单 方向减小，不能有一点上升。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
6.1.1 Boatman机的网络结构
图6-1 boltzmann机的网络结构
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Boltzmann机由输入部、输出部和中间部构成。 输入神经元和输出神经元可称为显见神经元，它 们是网络与外部环境进行信息交换的媒介。中间 部的神经元称为隐见神经元，它们通过显见神经 元与外部进行信息交换。 每一对神经元之间的信息传递是双向对称的， 即wij= wji ，而且自身无反馈即wii=0。学习期间， 显见神经元将被外部环境“约束”在某一特定的 状态，而中间部隐见神经元则不受外部环境约束。
随机神经网络的基本思想： 网络向误差或能量函数减小方向运行的概率大， 同时向误差或能量函数增大方向运行的概率存在， 这样网络跳出局部极小点的可能性存在，而且向全 局最小点收敛的概率最大。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Biblioteka Baidu
20世纪80年代，Ackley,Hinton 和Sejnowski等人 以模拟退火思想为基础，对Hopfield网络引入了 随机机制，推出Boltzmann机。 Boltzmann机是第一个受统计力学启发的多层学 习机，它是典型的随机神经网络。其命名来源于 Boltzmann机在统计力学中的早期工作和网络本 身的动态分布行为（其平衡状态服从Boltzmann 分布），其运行机制服从模拟退火算法。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
6.1 Boltzmann机
6.1.1 6.1.2 6.1.3 6.1.4
Boltzmann机的网络结构 Boltzmann机的工作原理 Boltzmann机的运行步骤 Boltzmann机的学习规则
*合肥工业大学 计算机与信息学院 图像信息处理研究室
*合肥工业大学 计算机与信息学院 图像信息处理研究室
随机神经网络与其他网络的比较：
名称 BP网络 Hopfield 网络 网络类型 网络结构 学习算法
含输入层、隐层、 网络按误差减 多层前向网 输出层。层内神 少的最大梯度 经元无连接 方向调整权值 络 单层神经网络， 网络按照其用 反馈神经网 层内神经元全互 途来设计或训 连 练网络权值 络 含输入部、输出 网络向误差减 随机神经网 部和中间部。神 小的方向运行 经元互连 概率大，但也 络 可能向误差增 大方向运行
6.1 6.2 6.3 6.4
Boltzmann机 Boltzmann机的改进 模拟退火算法 仿真实例
*合肥工业大学 计算机与信息学院 图像信息处理研究室
前言
随机神经网络是统计力学思想引入神经网络研究 的结果。 统计力学是研究大系统宏观平衡性质的学科，这种 大系统的组成元素服从微观机制。统计力学的主要 目的是寻找从微观粒子（原子、电子）的运动开始 的宏观物体的热力学性质，由于所遇到的自由度数 目很大，因此只能使用概率的方法进行研究。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
•Boltzmann机中单个神经元的运行特性
v1 v2
vj
wi1 wi 2 wij win
ui bi i Pi
vi
vn
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Boltzmann机中每个神经元的兴奋或抑制具 有随机性，其概率取决于神经元的输入。 神经元i的全部输入信号的总和为ui为：
*合肥工业大学 计算机与信息学院 图像信息处理研究室
p~u的关系
*合肥工业大学 计算机与信息学院 图像信息处理研究室
可见， T 越高时，曲线越平滑，因此，即使 ui有很 大变动，也不会对 vi 取 1 的概率变化造成很大的影 响；反之， T 越低时，曲线越陡峭，当 ui 有稍许变 动时就会使概率有很大差异。即温度高时状态变化 接近随机，随着温度的降低向确定性的动作靠近。 当 T→0 时，每个神经元不再具有随机特性，而具 有确定的特性，激励函数变为阶跃函数，这时 Boltzmann机趋向于Hopfield 网络。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Boltzmann 机
BP网络是一种“贪心”算法，容易陷入局部最 小点。 Hopfield网络很难避免出现伪状态，网络是严格 按照能量减小的方向运行的，容易陷入局部极小 点，而无法跳出。 所以，在用BP网络和Hopfield网络进行最优化 的计算时，由于限定条件的不足，往往会使网络 稳定在误差或能量函数的局部最小点，而不是全 局最小点，即所得的解不是最优解。
教材其余课件及动画素材请查阅在线教务辅导网 在线教务辅导网：http://www.shangfuwang.com
QQ:349134187 或者直接输入下面地址：
http://shop106150152.taobao.com
*合肥工业大学 计算机与信息学院 图像信息处理研究室
第6章 随机神经网络及模拟退火算法
u / T i
vi取0的概率：P ( v 0 ) 1 P ( v 1 ) e P ( v 1 ) i i i
由此可见， vi取1的概率受两个因素的影响： （1） ui越大vi则取1的概率越大，而取0的概 率越小。 （2） 参数T称为“温度”，在不同的温度下vi 取1的概率P随ui的变化如图所示。
ui wijv j bi
j n
式中bi是该神经元的阈值。 可以将bi归并到总的加权和中去，即得：
ui wij v j
j
n
*合肥工业大学 计算机与信息学院 图像信息处理研究室
神经元的输出vi依概率取1或0： u T i/ vi取1的概率： P ( v 1 ) 1 /( 1 e )
*合肥工业大学 计算机与信息学院 图像信息处理研究室
网络陷入局部最小点的原因主要有两点： （ 1）网络结构上存在着输入到输出之间的非线 性函数关系，从而使网络误差或能量函数所构 成的空间是一个含有多极点的非线性空间。 （ 2）在算法上，网络的误差或能量函数只能单 方向减小，不能有一点上升。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
6.1.1 Boatman机的网络结构
图6-1 boltzmann机的网络结构
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Boltzmann机由输入部、输出部和中间部构成。 输入神经元和输出神经元可称为显见神经元，它 们是网络与外部环境进行信息交换的媒介。中间 部的神经元称为隐见神经元，它们通过显见神经 元与外部进行信息交换。 每一对神经元之间的信息传递是双向对称的， 即wij= wji ，而且自身无反馈即wii=0。学习期间， 显见神经元将被外部环境“约束”在某一特定的 状态，而中间部隐见神经元则不受外部环境约束。
随机神经网络的基本思想： 网络向误差或能量函数减小方向运行的概率大， 同时向误差或能量函数增大方向运行的概率存在， 这样网络跳出局部极小点的可能性存在，而且向全 局最小点收敛的概率最大。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Biblioteka Baidu
20世纪80年代，Ackley,Hinton 和Sejnowski等人 以模拟退火思想为基础，对Hopfield网络引入了 随机机制，推出Boltzmann机。 Boltzmann机是第一个受统计力学启发的多层学 习机，它是典型的随机神经网络。其命名来源于 Boltzmann机在统计力学中的早期工作和网络本 身的动态分布行为（其平衡状态服从Boltzmann 分布），其运行机制服从模拟退火算法。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
6.1 Boltzmann机
6.1.1 6.1.2 6.1.3 6.1.4
Boltzmann机的网络结构 Boltzmann机的工作原理 Boltzmann机的运行步骤 Boltzmann机的学习规则
*合肥工业大学 计算机与信息学院 图像信息处理研究室
*合肥工业大学 计算机与信息学院 图像信息处理研究室
随机神经网络与其他网络的比较：
名称 BP网络 Hopfield 网络 网络类型 网络结构 学习算法
含输入层、隐层、 网络按误差减 多层前向网 输出层。层内神 少的最大梯度 经元无连接 方向调整权值 络 单层神经网络， 网络按照其用 反馈神经网 层内神经元全互 途来设计或训 连 练网络权值 络 含输入部、输出 网络向误差减 随机神经网 部和中间部。神 小的方向运行 经元互连 概率大，但也 络 可能向误差增 大方向运行
6.1 6.2 6.3 6.4
Boltzmann机 Boltzmann机的改进 模拟退火算法 仿真实例
*合肥工业大学 计算机与信息学院 图像信息处理研究室
前言
随机神经网络是统计力学思想引入神经网络研究 的结果。 统计力学是研究大系统宏观平衡性质的学科，这种 大系统的组成元素服从微观机制。统计力学的主要 目的是寻找从微观粒子（原子、电子）的运动开始 的宏观物体的热力学性质，由于所遇到的自由度数 目很大，因此只能使用概率的方法进行研究。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
•Boltzmann机中单个神经元的运行特性
v1 v2
vj
wi1 wi 2 wij win
ui bi i Pi
vi
vn
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Boltzmann机中每个神经元的兴奋或抑制具 有随机性，其概率取决于神经元的输入。 神经元i的全部输入信号的总和为ui为：
*合肥工业大学 计算机与信息学院 图像信息处理研究室
p~u的关系
*合肥工业大学 计算机与信息学院 图像信息处理研究室
可见， T 越高时，曲线越平滑，因此，即使 ui有很 大变动，也不会对 vi 取 1 的概率变化造成很大的影 响；反之， T 越低时，曲线越陡峭，当 ui 有稍许变 动时就会使概率有很大差异。即温度高时状态变化 接近随机，随着温度的降低向确定性的动作靠近。 当 T→0 时，每个神经元不再具有随机特性，而具 有确定的特性，激励函数变为阶跃函数，这时 Boltzmann机趋向于Hopfield 网络。
*合肥工业大学 计算机与信息学院 图像信息处理研究室
Boltzmann 机
BP网络是一种“贪心”算法，容易陷入局部最 小点。 Hopfield网络很难避免出现伪状态，网络是严格 按照能量减小的方向运行的，容易陷入局部极小 点，而无法跳出。 所以，在用BP网络和Hopfield网络进行最优化 的计算时，由于限定条件的不足，往往会使网络 稳定在误差或能量函数的局部最小点，而不是全 局最小点，即所得的解不是最优解。
教材其余课件及动画素材请查阅在线教务辅导网 在线教务辅导网：http://www.shangfuwang.com
QQ:349134187 或者直接输入下面地址：
http://shop106150152.taobao.com
*合肥工业大学 计算机与信息学院 图像信息处理研究室
第6章 随机神经网络及模拟退火算法