神经网络五个基本学习算法

也就是说 (n) 是误差能量的瞬时值。这种
对神经元 k 的突触权值步步逼近的调节将 持续下去，直到系统达到稳定状态。这时， 学习过程停止。根据增量规则，在第 n 时
间步作用于突触权值的调节量 wkj (n) 定
义如下：
wkj (n) ek (n)x j (n)
２． 基于记忆的学习 在一个简单而有效的称作最近邻规则 的基于记忆的学习类型中，
获胜神经元 k 的输出信号 yk 被置
为１；竞争失败的所有神经元 输出信号被置为０。这样，我们有
1, yk 0,
如果vk v j 对于所有j, j k 否则
其中，诱导局部域 vk 表示结合所有达到神
经元 k 的前向和反馈输入的动作。
令 wkj 表示连接输入节点 j 到神经元 k
欧几里德距离。与最短距离相关的类别，
也就是向量
X
' N
被划分的类别。
３． Hebb 学习 我们定义 Hebb 突触为这样一个突 触，它使用一个依赖时间的、 高度局部的和强烈交互的机制来提高突触 效率为前突触和后突触活动间的相互关系 的一个函数。可以得出 Hebb 突触特征的 ４个重要机制：时间依赖机制；局部机制； 交互机制；关联或相关机制。 ４． 竞争学习
定义，其中 是学习率参数。
五种学习算法的区别： 误差－修正学习和 Boltzmann 学习是 有监督学习；而 Hebb 学习和竞争学习是 无监督学习。 在误差－修正学习中，作用于神经元 突触权值的调节量正比于本次学习中误差 信号的突触的输入的乘积，它实际上带有 局部性质，这仅仅是说由增量规则计算的
１． 误差修正学习
神经元 k 的输出信号 yk (n) 表示，
d k (n) 表示的是期望响应或目标
输出比较。由此产生 ek (n) 表示的误差信
号，有
ek (n) dk (n) yk (n)
这一目标通过最小化代价函数或性能指标
(n) 来实现。定义如下
(n)
1 2
ek2 (n)
其中 P* 为贝叶斯误差概率，C 是分类的类
相关量。并同时考虑在钳制条件和自由运
行条件下的相关量，且
kj
和
kj
的值数都
在-1 和+1 范围内。 对此题分别采用 MLP 网络拟合，RBF 网 络拟合。 1. MLP 网络拟合 % Example4_17BP % 用于曲线拟合的 BP 网络 clear all; % n 为隐藏的神经元个数 n=input('请输入隐藏的神经元个数 n='); t=[15 15 15 18 28 29 37 37 44 50 50 60 61 64 65 65 72 75 75 82 85 91 91 97 98 125 142 142 147 147 150 159 165 183 192 195 218 218 219 224 225 227 232 232 237 246 258 276 285 300 301 305 312 317 338 347 354 357 375 394 513 535 554 591 648 660 705 723 756 768 860]; y0=[21.66 22.75 22.3 31.25 44.79 40.55 50.25 46.88 52.03 63.47 61.13 81 73.09 79.09 79.51 65.31 71.9 86.1 94.6 92.5 105 101.7 102.9 110 104.3 134.9 130.68 140.58 155.3 152.2 144.5 142.15 139.81 153.22 145.72 161.1 174.18 173.03 173.54 178.86 177.68 173.73 159.98 161.29 187.07 176.13
的突触权值。假定每个神经元被分配固定 量的突触权值，权值分布在它的节点之中； 也就是
wkj 1, 对于所有的k j
然后神经元通过将突触权值从它的不活跃 输入移向活跃输入来进行学习。如果神经 元对一个特定输入模式不响应，那么没有 学习发生在那个神经元上。如果一个特定 神经元赢得了竞争，这个神经元的每个输 入节点经一定的比例释放它的突触权值， 释放的权值然后平均分布到活跃输入节点
突触调节局部于神经元 k 周围。同时，对
的选择对学习过程的准确及其它方面也有 深刻的影响。 基于记忆的学习中的最邻近规则，基
于两个假设；分类实例（ X i , di ）按照实
例（ X , d ）的联合概率分布是独立同分布
的；样本大小 N 是无限大的，它的分类错 误率同贝叶斯误差概率的关系为
P* P (2 C )P* C 1
wkj
(
kj
kj
)
，
yk 无关。神经网络可以通过竞争学习来进
行聚类。然而，开始时输入模式必须落入 充分分离的分组中。否则，网络可能不稳 定，因为它将不再以同样的输出神经元响 应给定的输入模式。 Boltzmann 学习中突触权值的改变实
jk
质上取决于前突触 x j 和后突触 yk 之间的
局部邻域被定义为测试向量 X test 的直接
邻域的训练实例，特别，向量
X
' N
X1,
X
2 , ,
X
N
被称作 X test 的最邻近，如果
min i
d(X
i
,
X
test
)
d
(
X
' N
,
X
test
)
这里， d ( X i , X test ) 是向量 X i 和 X test 的
五个基本的学习算法：误差—修正学 习；基于记忆的学习；Hebb 学习；竞争学 习和 Boltzmann 学习。误差修正学习植根 于最优滤波。基于记忆的学习通过明确的 记住训练数据来进行。Hebb 学习和竞争学 习都是受了神经生物学上的考虑的启发。 Boltzmann 学习是建立在统计学力学借来 的思想基础上。
上。作用于突触权值 wkj 的改变量 wkj 定
义为
别数目。
Hebb 学习中如果在突触（连接）每一
wkj
(
x
j
wkj ), 0,
如果神经元k竞争成功 边的两个神经元同时（即同步）激活，那
么那个突触的强度被选择性增强；如果在
如果神经元k竞争失败
突触每一边的两个神经元被异步激活，那
么那个突触被选择性地减弱或消除。
５． Boltzmann 学习
竞争学习中突触权值的改变取决于前
源自文库
令
kj
表示网络在钳制条件下神经
突触 x j 和当前的突触权值，与后突触权值
元 j 和 k 的状态间的相关量。
令
kj
表示网络在其自由运作条件下神经
元 j 和 k 的状态间的相关量。作用于神经 元 j 到神经元 k 的突触权值的改变量由