人工神经网络课件2
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
除非施加外部干预，学习过程将持续下去。
目标：神经网络试图寻找输入数据的统计特征并与之保持一致。 举例：竞争网络的“赢者通吃”规则W(t)
✓误差E(t)=T(t) – A(t)
✓误差E(t)驱动控制机制，最终使得
A(t)
T(t) ✓A(t)～T(t)
✓为此可定义能量函数
E 1 2j
jk a jak , 其中j k
k
在某一个时刻t，以某一个概率sd,把任意一个神经元从所处状态a翻 转到状态－a.
定义这个翻转导致的能量改变为△E，则sd是△E的函数。
可以证明反复使用则个规则，网络将达到平衡状态。
目标：Cost to go 函数最 小化。
Cost to go 函数：系统按 照一个时间序列采取动作 所造成代价的累积期望值。 体现一种逐步决策但要达 到整体最优的思想。
以上可以认为是Bellman 法则的一种应用。
无教师学习： （2）无监督学习/自组织学习
环境
状态向量
学习系统
网络内部组织规则
特点：学习过程是网络的自主行为，神经网内部存在大量互联，相互关 系存在一定的规则。
协方差假设
基本学习算法：竞争学习规则
▪ 神经网络输出神经元通过竞争来成为活跃神经元。 ▪ 在任意时刻，只有一个输出神经元是激活的。 ▪ 适合于发现统计上的特征。
ak
ak
1, ak a j , 对所有j, 0, Else
j
k
基本学习算法：Boltzman学习
▪ 递归网络，二值方式运行。构造能量函数：
E(t)
以上规则的特例：Widrow－Hoff规则
(t) E(t) A(t) (t 1) (t) (t)
(t) 1 E2 (t) 0
2
✓通过使能量函数逐步趋近于0， 使网络达到稳定状态。
基本学习算法：Hebb学习规则
▪ 1、如果连接两侧的神经元被同步激活，该连接的强度将被 增强。
▪ 2、如果连接两侧的神经元被异步激活，该连接的强度将被 减弱。
学习算法
▪ 学习：因经验而发生的持久的行为改变。 ▪ 神经网络学习：学习是一个过程，通过该过
程神经网络的自由参数在其嵌入的环境的激 励过程中得到调节。学习的类型由参数改变 的方式决定。（Mendal&McClaren,1970) ▪ 学习算法：解决学习问题的一个恰当定义的 规则集合。 ▪ 学习算法不唯一。
Hebb规则的特点：
1、时间依赖：依赖于突触前后信号出现的确切时间。
2、局部机制：基于相邻时空的局部信息。
3、交互机制：改变取决于交互而非一方的单独行为。
4、关联机制：具有统计意义上的相关。
ij aia j ij (t) (a j (t) a j )(ai (t) ai )
Hebb假设
学习的基本范式
▪ 有教师学习 ▪ 无教师学习： ▪ （1）增强式学习/神经动态规划 ▪ （2）无监督学习/自组织学习
有教师学习
环境
状态向量
教师
状态向量
无教师学习： （1）增强式学习/神经动态规划
环境 操 作
原始增强信号
评价
环
境 输 入 向 量
信启 号迪
增 强
学习系统
特点：存在和环境之间的 交互作用。即：学习过程 影响环境。
目标：神经网络试图寻找输入数据的统计特征并与之保持一致。 举例：竞争网络的“赢者通吃”规则W(t)
✓误差E(t)=T(t) – A(t)
✓误差E(t)驱动控制机制，最终使得
A(t)
T(t) ✓A(t)～T(t)
✓为此可定义能量函数
E 1 2j
jk a jak , 其中j k
k
在某一个时刻t，以某一个概率sd,把任意一个神经元从所处状态a翻 转到状态－a.
定义这个翻转导致的能量改变为△E，则sd是△E的函数。
可以证明反复使用则个规则，网络将达到平衡状态。
目标：Cost to go 函数最 小化。
Cost to go 函数：系统按 照一个时间序列采取动作 所造成代价的累积期望值。 体现一种逐步决策但要达 到整体最优的思想。
以上可以认为是Bellman 法则的一种应用。
无教师学习： （2）无监督学习/自组织学习
环境
状态向量
学习系统
网络内部组织规则
特点：学习过程是网络的自主行为，神经网内部存在大量互联，相互关 系存在一定的规则。
协方差假设
基本学习算法：竞争学习规则
▪ 神经网络输出神经元通过竞争来成为活跃神经元。 ▪ 在任意时刻，只有一个输出神经元是激活的。 ▪ 适合于发现统计上的特征。
ak
ak
1, ak a j , 对所有j, 0, Else
j
k
基本学习算法：Boltzman学习
▪ 递归网络，二值方式运行。构造能量函数：
E(t)
以上规则的特例：Widrow－Hoff规则
(t) E(t) A(t) (t 1) (t) (t)
(t) 1 E2 (t) 0
2
✓通过使能量函数逐步趋近于0， 使网络达到稳定状态。
基本学习算法：Hebb学习规则
▪ 1、如果连接两侧的神经元被同步激活，该连接的强度将被 增强。
▪ 2、如果连接两侧的神经元被异步激活，该连接的强度将被 减弱。
学习算法
▪ 学习：因经验而发生的持久的行为改变。 ▪ 神经网络学习：学习是一个过程，通过该过
程神经网络的自由参数在其嵌入的环境的激 励过程中得到调节。学习的类型由参数改变 的方式决定。（Mendal&McClaren,1970) ▪ 学习算法：解决学习问题的一个恰当定义的 规则集合。 ▪ 学习算法不唯一。
Hebb规则的特点：
1、时间依赖：依赖于突触前后信号出现的确切时间。
2、局部机制：基于相邻时空的局部信息。
3、交互机制：改变取决于交互而非一方的单独行为。
4、关联机制：具有统计意义上的相关。
ij aia j ij (t) (a j (t) a j )(ai (t) ai )
Hebb假设
学习的基本范式
▪ 有教师学习 ▪ 无教师学习： ▪ （1）增强式学习/神经动态规划 ▪ （2）无监督学习/自组织学习
有教师学习
环境
状态向量
教师
状态向量
无教师学习： （1）增强式学习/神经动态规划
环境 操 作
原始增强信号
评价
环
境 输 入 向 量
信启 号迪
增 强
学习系统
特点：存在和环境之间的 交互作用。即：学习过程 影响环境。