BP神经网络RBF神经网络自组织竞争型神经网络.pptx
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
不变。对于竞争得胜者，与其有关的各权重系数 的调整策略是使各wij（此处设得胜者的编号为 i=I）与规格化输入矢量S（k）的各分量Sj（k） 趋于一致。如果设Wj=[ wI0 wI1… wIN-1]，那么这
种调整就是使WI趋向于S（k）。 由于 S(k) 1，所以调整的结果也是使WI 趋向于1。
• 由于这种算法中只有竞争得胜者的有关系数才 有机会进行学习，所以称之竞争学习算法。若
N 1
ti wij s j ,i 0 ~ (M 1)
（5-2）
j0
由F输1于、入其F一2中而次的言观各缓察权慢矢值得量系多，数（它w下们ij面的只将变作指化微出相小，对的
于Biblioteka Baidu每 变
化），所以它们保留的是系统的长期记
忆内容。
• F2层（STM）
此层的作用是由矢量T计算输出矢量Y，
其计算公式为
若 tI
• （6）误差准则是固定的，不能随着环境的变化而进行相应的 调整或改变。
• （1）自主的（自治的）； • （2）自组织； • （3）自学习； • （4）联想（双向）。 • 这正是自适应谐振理论（ART）的研究出
发点。
• 竞争学习的原理可借助于图5.1给出的示意图 加以描述。
• 第一步，我们暂且不考虑图中虚线表示的自
1
X
2 j
2
j0
N 1 2
Xj j0
j=0~(N-1)
易于证明，矢量S的模为1,S(k) 1
（5-1） 。这就是
说，F1层的作用是使任何输入观察矢量规 格化，即使之成为具有同样模值的矢量。
• F1和F2之间的中层（LTM）
在此层由矢量S计算出一个M维矢量，
T=[t0t1…tM-1]。T的各分量按下式计算：
• （3）学习过程中神经网络的所有权值系数都要调整，而且为 了防止振荡现象出现，学习的步幅必须取为较小的数值，这就使 学习速度非常缓慢。
• （4）在完成分类功能时如果被区分的客体类别数超出了神经 网络可区分的最大极限，而学习方式仍按照原来方式进行，那么 根本不可能给出正确的学习结果。
• （5）有可能陷入均方误差的局部最小点，从而造成错误的分 类结果。
max ti , 则yi
1,当i I 0,当i I
（5-3）
可以看出，在输出层F2进行的是一种竞
争抉择运算：在t0～tM-1之间，有一个最
大的分量，其对应输出即定为1，而所有
其它分量所对应的输出皆定为0。
• 下面讨论此系统用于分类时的学习策略 在学习开始以前，首先需要对LTM层中 的各个权值系数置以随机初值wij（0）， 然后依次送入观察矢量X（k），随时按 照下列公式将各个权重系数调整成一组 新的数值：
F（2“和lFo1n之g
间是 time
一个长期记忆层，记之为LTM memory”的缩写）。各层的运
算功能分别介绍如下：
• F1层（STM）
此层的输入是观察矢量X，输出是N维矢量
S，S=[s0s1…sN-1]。在最简单的情况下， S的各个分量Sj可以用下列公式计算：
sj
xj 1
xj 1 ,
N
稳机制部分。假设输入观察矢量是一个N维二
进取出各是0个矢或一分量1个量X，，M也即X维只x=j二=[能x0进0或取x矢11值…，量为xjNY=-0，10或]~，Y1=（它。[Ny的此0-y11各系）…个统。yM分分系-1]成量统，三只的它层能输的，
FST2和M（F1S分T别M是称“为s上ho、rt 下tim短e期m记em忆o层ry，”并的记缩之写为，
wij (k 1) wij (k) s j (k) wij (k) yi (k),
j=0~(N-1),i=0~(M-1) （5-4）
• 其中α是步幅值，取一个小正数值。可以看到， 由于在y0(k)~yM-1(k)之中只有一项等于1而其它各 项皆为0，因而只有与该非零项相应的权值系数 才做调整，也就是说，只改变与竞争得胜者有关 的各个权重系数，而其它所有权重值系数皆维持
• （1）BP神经网络只适用于平稳的环境，这就是说，输入模式的 各项统计特征不能随时间而变化（各种客体、客体间的关系以及 相应的观察矢量具有统计平衡性）。但是，真实的世界不是或不 完全是这样。
• （2）BP网络的学习是在教师指导下的有监督学习，它不能自 学；另一方面，网络的学习状态与工作状态是截然分开的，它不 能边学习边工作。
• 可以看到，如果输入观察矢量所表示的客体类别数小 于输出矢量Y的维数M，而且每个类别的观察矢量所占 据的空间足够“紧凑”（这就是说，同一类别矢量所 占空间内的观察矢量十分接近，而不同类别矢量所占 空间的观察矢量相距较远），那么学习可以趋于稳定 并收到很好的分类效果。但是，也可以举出一些反例， 如果在相隔较远的两个时间点上两次输入同一观察矢 量，而在其间插入若干其它观察矢量，那么第二次分 类的结果会出现与第一次分类结果不一致的现象。这 说明第一次分类后新学习得到的记忆内容有可能冲掉 原有的学习记忆内容，从而导致了第二次分类的错误。 这也说明简单的竞争学习机制不能保证记忆具有足够 的牢固性。
通过学习，不同客体的观察矢量集合都找到了
各自相应的得胜输出分量，因而根据得胜者的
编号就能自然地对它们进行分类 （classification）。这种通过竞争学习完成分 类功能的过程也可以用其它术语称之为聚类 （cluster）、分割（partition）、编码 （coding）、正交化（orthogonalization）或 自适应矢量量化（adaptive VQ），在思维心理 学中常称之为分类感知（categorical perception）。
第五章 自组织竞争型神经网络
• 5.1概述 • 5.2竞争学习机制和自稳学习机制 • 5.3自适应共振理论神经网络（ART）
• BP网络虽已得到广泛应用，然而，它在构成网 络时未能充分借鉴人脑工作的特点，因而其功 能有许多不足之处：
• 对比之下，人脑的优越性就极其明显了。人的 大脑是一个庞大、复杂的神经网络系统，它不 仅可以记忆来自外界的各种信息，即具有可塑 性，而且还可以将新、旧信息保存下来，即具 有稳定性。人的脑神经系统既能牢固地记住学 得的各种知识又能适应各种复杂多变的环境， 能够通过“自学”来认识未学习过的新事物并 解决不熟悉的新问题。因此，我们在研究、设 计和开发人工神经网络时，应该充分借鉴人脑 的学习方法：
种调整就是使WI趋向于S（k）。 由于 S(k) 1，所以调整的结果也是使WI 趋向于1。
• 由于这种算法中只有竞争得胜者的有关系数才 有机会进行学习，所以称之竞争学习算法。若
N 1
ti wij s j ,i 0 ~ (M 1)
（5-2）
j0
由F输1于、入其F一2中而次的言观各缓察权慢矢值得量系多，数（它w下们ij面的只将变作指化微出相小，对的
于Biblioteka Baidu每 变
化），所以它们保留的是系统的长期记
忆内容。
• F2层（STM）
此层的作用是由矢量T计算输出矢量Y，
其计算公式为
若 tI
• （6）误差准则是固定的，不能随着环境的变化而进行相应的 调整或改变。
• （1）自主的（自治的）； • （2）自组织； • （3）自学习； • （4）联想（双向）。 • 这正是自适应谐振理论（ART）的研究出
发点。
• 竞争学习的原理可借助于图5.1给出的示意图 加以描述。
• 第一步，我们暂且不考虑图中虚线表示的自
1
X
2 j
2
j0
N 1 2
Xj j0
j=0~(N-1)
易于证明，矢量S的模为1,S(k) 1
（5-1） 。这就是
说，F1层的作用是使任何输入观察矢量规 格化，即使之成为具有同样模值的矢量。
• F1和F2之间的中层（LTM）
在此层由矢量S计算出一个M维矢量，
T=[t0t1…tM-1]。T的各分量按下式计算：
• （3）学习过程中神经网络的所有权值系数都要调整，而且为 了防止振荡现象出现，学习的步幅必须取为较小的数值，这就使 学习速度非常缓慢。
• （4）在完成分类功能时如果被区分的客体类别数超出了神经 网络可区分的最大极限，而学习方式仍按照原来方式进行，那么 根本不可能给出正确的学习结果。
• （5）有可能陷入均方误差的局部最小点，从而造成错误的分 类结果。
max ti , 则yi
1,当i I 0,当i I
（5-3）
可以看出，在输出层F2进行的是一种竞
争抉择运算：在t0～tM-1之间，有一个最
大的分量，其对应输出即定为1，而所有
其它分量所对应的输出皆定为0。
• 下面讨论此系统用于分类时的学习策略 在学习开始以前，首先需要对LTM层中 的各个权值系数置以随机初值wij（0）， 然后依次送入观察矢量X（k），随时按 照下列公式将各个权重系数调整成一组 新的数值：
F（2“和lFo1n之g
间是 time
一个长期记忆层，记之为LTM memory”的缩写）。各层的运
算功能分别介绍如下：
• F1层（STM）
此层的输入是观察矢量X，输出是N维矢量
S，S=[s0s1…sN-1]。在最简单的情况下， S的各个分量Sj可以用下列公式计算：
sj
xj 1
xj 1 ,
N
稳机制部分。假设输入观察矢量是一个N维二
进取出各是0个矢或一分量1个量X，，M也即X维只x=j二=[能x0进0或取x矢11值…，量为xjNY=-0，10或]~，Y1=（它。[Ny的此0-y11各系）…个统。yM分分系-1]成量统，三只的它层能输的，
FST2和M（F1S分T别M是称“为s上ho、rt 下tim短e期m记em忆o层ry，”并的记缩之写为，
wij (k 1) wij (k) s j (k) wij (k) yi (k),
j=0~(N-1),i=0~(M-1) （5-4）
• 其中α是步幅值，取一个小正数值。可以看到， 由于在y0(k)~yM-1(k)之中只有一项等于1而其它各 项皆为0，因而只有与该非零项相应的权值系数 才做调整，也就是说，只改变与竞争得胜者有关 的各个权重系数，而其它所有权重值系数皆维持
• （1）BP神经网络只适用于平稳的环境，这就是说，输入模式的 各项统计特征不能随时间而变化（各种客体、客体间的关系以及 相应的观察矢量具有统计平衡性）。但是，真实的世界不是或不 完全是这样。
• （2）BP网络的学习是在教师指导下的有监督学习，它不能自 学；另一方面，网络的学习状态与工作状态是截然分开的，它不 能边学习边工作。
• 可以看到，如果输入观察矢量所表示的客体类别数小 于输出矢量Y的维数M，而且每个类别的观察矢量所占 据的空间足够“紧凑”（这就是说，同一类别矢量所 占空间内的观察矢量十分接近，而不同类别矢量所占 空间的观察矢量相距较远），那么学习可以趋于稳定 并收到很好的分类效果。但是，也可以举出一些反例， 如果在相隔较远的两个时间点上两次输入同一观察矢 量，而在其间插入若干其它观察矢量，那么第二次分 类的结果会出现与第一次分类结果不一致的现象。这 说明第一次分类后新学习得到的记忆内容有可能冲掉 原有的学习记忆内容，从而导致了第二次分类的错误。 这也说明简单的竞争学习机制不能保证记忆具有足够 的牢固性。
通过学习，不同客体的观察矢量集合都找到了
各自相应的得胜输出分量，因而根据得胜者的
编号就能自然地对它们进行分类 （classification）。这种通过竞争学习完成分 类功能的过程也可以用其它术语称之为聚类 （cluster）、分割（partition）、编码 （coding）、正交化（orthogonalization）或 自适应矢量量化（adaptive VQ），在思维心理 学中常称之为分类感知（categorical perception）。
第五章 自组织竞争型神经网络
• 5.1概述 • 5.2竞争学习机制和自稳学习机制 • 5.3自适应共振理论神经网络（ART）
• BP网络虽已得到广泛应用，然而，它在构成网 络时未能充分借鉴人脑工作的特点，因而其功 能有许多不足之处：
• 对比之下，人脑的优越性就极其明显了。人的 大脑是一个庞大、复杂的神经网络系统，它不 仅可以记忆来自外界的各种信息，即具有可塑 性，而且还可以将新、旧信息保存下来，即具 有稳定性。人的脑神经系统既能牢固地记住学 得的各种知识又能适应各种复杂多变的环境， 能够通过“自学”来认识未学习过的新事物并 解决不熟悉的新问题。因此，我们在研究、设 计和开发人工神经网络时，应该充分借鉴人脑 的学习方法：