kalman滤波的状态和参数估计及其应用研究

第四章基于Ｋａｌｍａｎ澹波的神经网络学习算法
彤＝一Ｊ，：一Ｙ，）’劈＝Ｏ；一Ｙｐ）ｙｐ（１一Ｙ，）（４．１．９）
由（４．１．９）式可知，如果ｙ。

接近于０或ｌ，无论误差Ｅ取何值，均会使得误差梯度
ｊＰ
ｊ嘉；一彤ｏｊ很小，从而使得误差曲面进入平坦区。

而使ｙ，接近于０或ｌ的重”ｐ
要原因是Ｓｉｇｍｏｉｄ型激活函数具有饱和特性。

如图４．２所示，当网络节点净输入ｌｏｌ
的绝对值ｌ∑嘭ｏｊｌ＞３时，Ｙｐ将处于接近于０或ｌ的饱和区，此时对误差对权值［ｊ－ＩＩ
的变化就交得不太敏感。

这样，尽管ｙ：一ｙ，仍然很大，但由于误差梯度小而使权值调整力度减小，从而使得收敛速度变得很慢．另外，从ＢＰ算法＝维权值空间的误差曲面图４．３看，误差曲面存在多个低凹部分，即存在多个局部最小值。

１．ｏ．厂
一／‘ｏ．５
０
图４．２Ｓｉ鲫ｏｉｄ型激活函数
图４．３ＢＰ算法误差曲面图例
这些局部最小值是以误差梯度下降为权值调整依据的ＢＰ算法无法识别的，因而ＢＰ算法常常陷入局部最小而无法收敛到给定误差。

因此，为使前馈网络在更多实践中得以应用，有必要使用收敛速度快，具有全局寻优能力的神经网络学习算法。