神经网络自适应线性神经元Adaline的LMS算法

5
最陡下降算法 4
在步幅系数选择为 0.02 ，最小误差为 Emin 0.001 0.2633 的条件下，在 MATLAB
下编程计算，得到某一次的相应结果如下。 权值向量 W [0.3516 均方误差曲线
0.9
0.3240];
0.8
0.7
均方误差 E
0.6
0.5
0.4
0.3
0.2
2.0106 1.1515 R ; 1.1515 1.7398
P 1.1058 1.0074 ; W* 0.3517 0.3463;
E ( 2 )min 0.2623
2) 阈值待定的情况下 根据样本数据得到的运算结果如下。
2
2.0106 1.1515 0.0269 R 1.1515 1.7398 0.0422 ; 0.0269 0.0422 1.0000
5
10
15
20 迭代次数 N
25
30
35
40
图 2
随机逼近算法均方误差曲线
可以看到，经过 38 次的迭代算法，最后均方误差收敛到的计算阈值 0.2633。
4
不同的步幅系数对迭代步数的影响
表 1 给出了在不同的步幅系数的条件下测试随机逼近算法达到收敛时的迭代次数。
3
表 1
不同步幅系数下随机逼近法的迭代次数
y f ( I ) I WXT
得到的，线性函数的相比于硬限幅函数，在这里其最大的特点就是线性函数是可微的。LMS 算法基于上式右侧递推得到，三种递推算法的核心递推环节通过求导得到，因此，失去线性 函数的条件，而换成硬限幅函数作为传递函数，以上算法均无法进行。
6
若采用硬限幅函数，那么我们只能运用硬限幅函数的权值递推式来求权值 6
其中 R
E[XT X] 是输入向量的自相关矩阵， P
E (dX) 是输入向量和期望输出的互相关
向量，通过求梯度得到的最优权值为：
W* PR 1
这种算法需要大量的运算，比较难以实现。于是有了以下递推算法。
2
1) 2)
LMS 学习问题的严格递推学习算法
任意设置初始加权矢量 W(0) ； 对每一个时序变量 k ，按照下式调整权值向量：
7
参考源代码
1
样本绘图代码
%% 画图 clear;clc;clf; load('C:\Users\TX\Desktop\lms_tstsamp.mat'); for i = 1:length(tstsamp) if tstsamp(i,3) == 1 plot(tstsamp(i,1), tstsamp(i,2), 'b*');hold on; elseif tstsamp(i,3) ==-1 plot(tstsamp(i,1), tstsamp(i,2), 'ro');hold on; end end for theta = 0:0.02:(2*pi-0.02) xx1 = -1 + 1.7*cos(theta); xx2 = xx1 + 2; yy1 = -1 + 1.7*sin(theta); yy2 = yy1 + 2; plot(xx1, yy1, ':r');hold on; plot(xx2, yy2, ':b');hold on; end f = @(x)(-x); fplot(f,[-3 3],'k');hold on; axis([-3 3 -3 3]); axis equal;grid on;
P 1.1058 1.0074 0 ; W* 0.3516 0.3469 ,
0.0241;
E ( 2 )min 0.2617
根据给出的样本分布可以知道， 认为阈值为零是合理的， 从忽略阈值和计算阈值两种情 况的得到的结果来相比较可以知道，认为阈值为零确实是合理的。 3
500
迭代次数 N
图 7 图 5~8
=0.1
图 8
=0.35（不收敛）
不同步幅系数下 Widrow 严格递推算法的均方误差曲线
这些结果和步骤 4 得到的结果类似，当步幅系数增大的时候，迭代步数加快，但是步幅 系数过大的时候，会导致结果发散。
四 思考
1 实验中将线性函数换做硬限幅函数，会导致什么现象？ 前面所叙述和应用的 LMS 矩阵算法以及三种递推算法，都是基于传递函数是现行函数
W(k 1) W(k ) 2 E[ (k ) X(k )]
其中右侧第二项为误差均方梯度， 为步幅系数。 这种方法克服了矩阵求逆的困难，但是仍需大量的统计运算。
3
LMS 的随机逼近算法
将严格递推算法的递推公式修正为如下形式：
W(k 1) W(k ) 2 (k )X(k )
表 3 检验结果
算法 LMS 算法 随机逼近算法 最陡下降算法
3
权值 W [0.3517 [0.3365 [0.3516 0.3463] 0.3365] 0.3240]
判错次数 10 10 10
正确率 95% 95% 95%
各种算法结果如图 4 所示。
随机逼近算法 2
最陡下降算法 1
0
-1 LMS算 法 -2
迭代次数 N
0.5 0.45 0.4 0.35 0.3
20
25
30
0.25
2
4
6
迭代次数 N
8
10
图 5
0.38 0.36 0.34
均方误差 E
=0.02
5 x 10
50
图 6
=0.05
4
0.32 0.3 0.28 0.26 1
均方误差 E
3
2
1
2
3
迭代次数 N
4
5
0 0
100
200
300
400
随机逼近算法 3
在步幅系数选择为 0.01 ，最小误差为 Emin 0.001 0.2633 的条件下，在 MATLAB
下编程计算，得到某一次的相应结果如下。 权值向量
W [0.3365 0.3365];
均方误差曲线
1
0.9
0.8
0.7
均方误差 E
0.6
0.5
0.4
0.3
0.2
0
测试 序号 步幅 系数 0.002 0.008 0.020 0.100 0.300①
1 299 63 18 5 17
2 237 55 17 20 282
3 259 65 27 24 107
4 240 47 20 2 34
5 265 92 16 19 6
平均迭代次数 260.00 64.40 19.60 14.00 89.20
0
5
10
15 迭代次数 N
20
25
30
图 3
①
最陡下降法的均方误差曲线
步幅系数为 0.3 时的结果中忽略了结果中不收敛时的迭代次数。
4
可以看到，经过 29 次的迭代算法，最后均方误差收敛到的计算阈值 0.2632。
6
不同样本数目对迭代次数的影响
表 2 给出了在不同的样本数目下的最陡下降算法达到收敛时的迭代次数。 表 2 不同样本数目下的最陡下降法迭代次数 测试 序号 步幅 系数 1 2 5 50 150 1 23 24 27 24 27 2 20 29 29 26 26 3 26 43 32 27 26 4 29 40 26 23 27 5 28 21 25 29 26 迭代次数 均值 /方差 25.20/13.70 31.40/94.30 27.80/7.70 25.80/5.70 26.40/0.30
的 算法
——神经网络导论实验一
二〇一〇年十月十六日
一 实验目的
1 2 3 通过实验了解 Adaline 的工作原理； 对比 LMS 的三种算法，并通过上机实验掌握具体实现方法； 与采用硬限幅函数的单个神经元模型进行对比，比较其异同。
二 实验原理 1 基本原理
我们已经知道， 采用硬限幅函数的单个神经元， 通过简单的学习算法可以完成线性可分 类的分类功能。但对于大多数的非线性可分类问题，则无法完成分类。为此我们转向采用具 有线性功能函数的神经元 Adaline 方法。 设输入矢量 X [ x1 , x2
W(k 1) W(k ) d (k ) y(k ) X(k )
通过上式进行递推即可以得到权值，其中为步幅系数，传递函数为
1, I 0 y hardlims( I ) 1, I 0
得到权值为
W [0.0509 0.0542]
由此得到一组权值和典型的均方误差曲线如下图。
从表 1 可以看到，一般来说，步幅系数选择的越大，需要的迭代次数越少，这是因为， 在初始权值即初始分界线斜率确定的情况下，步幅系数越大，在每次迭代运算中，接近最佳 分界线的速度越快，这样，就会越快的收敛到最佳分界线即最佳权值附近。 但是，当步幅系数超过一定的值以后，就可能需要更多的迭代次数，甚至可能出现不收 敛的情况， 原因也很简单， 步幅系数给的太大， 分界线斜率一次改变过多， 就容易导致其 “转 过头了” ，反而需要更多的次数接近最佳权值。如果不幸的是这样过大的偏转可能导致其越 来越远的偏离最佳斜率，这样就导致了不收敛的情况。
三 实验内容 1 样本矢量 1
根据给出的样本值（lms_samp.mat）的数据，得到样本如图 1 表示。其中红色和蓝色的 点分别是输入的两类样本，黑色的线是其理想分界线。
3
2
1
0
-1
-2
-3
-3
-2
-1
0
1