线性神经网络

5.4.2 学习算法
学习算法要与网络的结构特点相适应。感知器的学习算法是最早提出的可收敛的算 法，LMS 算法与它关系密切，形式上也非常类似。它们都采用了自适应的思想，这一点在 下一章要介绍的 BP 神经网络中获得了进一步的发展。 在计算上，从表面看 LMS 算法似乎与感知器学习算法没什么两样。这里需要注意一 个区别：LMS 算法得到的分类边界往往处于两类模式的正中间，而感知器学习算法在刚刚 能正确分类的位置就停下来了，从而使分类边界离一些模式距离过近，使系统对误差更敏 感。这一区别与两种神经网络的不同传输函数有关。
其中 为学习率， 为梯度。上式还可以进一步整理为以下形式
·131·
第2篇
原理篇
ω(n 1) ω(n) x T (n)e(n)
T ω(n) x T (n) d (n) x (n)ω(n) T T T I x (n) x (n) ω(n) x (n)d (n)
渐下降，公式近似于
=
0
n 0

0
n
LMS 算法的一个缺点是， 它对输入向量自相关矩阵 R 的条件数敏感。 当一个矩阵的条
件数比较大时，矩阵就称为病态矩阵，这种矩阵中的元素做微小改变，可能会引起相应线 性方程的解的很大变化。
·133·
第2篇
原理篇
5.4
线性神经网络与感知器的对比
5.3
LMS 算法中学习率的选择
如何在线性神经网络中，学习率参数 的选择非常重要，直接影响了神经网络的性能 和收敛性。本节介绍如何确保网络收敛的学习率及常见的学习率下降方式。
5.3.1 确保网络稳定收敛的学习率
如前所述， 越小，算法的运行时间就越长，算法也就记忆了更多过去的数据。因此， 的倒数反映了 LMS 算法的记忆容量大小。 往往需要根据经验选择，且与输入向量的统计特性有关。尽管我们小心翼翼地选择
·132·
第5章
线性神经网络
学习率的值，仍有可能选择了一个过大的值，使算法无法稳定收敛。 1996 年 Hayjin 证明，只要学习率 满足下式，LMS 算法就是按方差收敛的： 2 0
max
max 是输入向量 x (n) 组成的自相关矩阵 R 的最大特征值。 其中， 由于 max 常常不可知，
因此往往使用自相关矩阵 R 的迹（trace）来代替。按定义，矩阵的迹是矩阵主对角线元素 之和：
tr( R ) R(i, i )
i 1 Q
同时，矩阵的迹又等于矩阵所有特征值之和，因此一般有 tr( R) max 。只要取 2 2 0 tr( R) max 即可满足条件。按定义，自相关矩阵的主对角线元素就是各输入向量的均方值。因此 公式又可以写为： 2 0
第5章
线性神经网络
线性神经网络最典型的例子是自适应线性元件（Adaptive Linear Element，Adaline）。 自适应线性元件 20 世纪 50 年代末由 Widrow 和 Hoff 提出，主要用途是通过线性逼近一个 函数式而进行模式联想以及信号滤波、预测、模型识别和控制等。 线性神经网络与感知器的主要区别在于，感知器的传输函数只能输出两种可能的值， 而线性神经网络的输出可以取任意值，其传输函数是线性函数。线性神经网络采用 Widrow-Hoff 学习规则，即 LMS（Least Mean Square）算法来调整网络的权值和偏置。 线性神经网络在收敛的精度和速度上较感知器都有了较大提高，但其线性运算规则决 定了它只能解决线性可分的问题。
层线性网络并不比单层网络更强大，它们具有同样的能力，即对于每一个多层线性网络， 都具有一个等效的单层线性网络与之对应。 定义某次迭代时的误差信号为 e ( n ) d ( n ) x T ( n ) ω( n ) 其中 n 表示迭代次数， d 表示期望输出。这里采用均方误差作为评价指标： 1 Q mse e2 (k ) Q k 1
权值，使 mse 从空间中的某一点开始，沿着斜面向下滑行，最终达到最小值。滑行的方向 是该点最陡下降的方向，即负梯度方向。沿着此方向以适当强度对权值进行修正，就能最 终到达最佳权值。 实际计算中，代价函数常定义为
1 E (ω) e2 (n) 2
对该式两边关于权值向量 ω 求偏导，可得 E e( n ) e( n ) ω ω 又因为 e(n) d (n) x T (n)ω(n) ，令 e(n) 对权值向量求偏导，有
e(n) d (n) x T (n)ω(n)
（4）调整权值向量。根据上一步算得的误差，计算 ω(n 1) ω(n) x T (n)e(n) （5）判断算法是否收敛。若满足收敛条件，则算法结束，否则 n 自增 1（ n n 1 ）， 跳转到第 3 步重新计算。收敛条件的选择对算法有比较大的影响，常用的条件有： 误差等于零或者小于某个事先规定的较小的值，如 e(n) 或 mse ； 权值变化量已经很小，即 ω(n 1) ω(n) ； 设置最大迭代次数，达到最大迭代次数 N 时，无论算法是否达到预期要求，都将 强行结束。 实际应用时可以在这些收敛条件的基础上加以改进，或者混合使用。如规定连续 5 次 mse 小于某个阈值则算法结束，若迭代次数达到 100 次则强行结束等。 在这里，需要注意的是学习率 。与感知器的学习算法类似，LMS 算法也有学习率大 小的选择问题，若学习率过小，则算法耗时过长，若学习率过大，则可能导致误差在某个 水平上反复振荡，影响收敛的稳定性，这个问题在下一节有专门的讨论。

0
c 是一个接近 1 而小于 1 的常数。 Darken 与 Moody 于 1992 年提出搜索—收敛 （Search-then-Converge Schedule）方案，计算公式如下：

0
n 1
0 与 均为常量。当迭代次数较小时，学习率 0 ，随着迭代次数增加，学习率逐
5.1
线性神经网络的结构
线性神经网络在结构上与感知器网络非常相似，只是神经元传输函数不同。线性神经 网络的结构如图 5-1 所示。
图 5-1
线性神经网络的结构
如图 5-1 所示，线性神经网络除了产生二值输出以外，还可以产生模拟输出——即采 用线性传输函数，使输出可以为任意值。 假设输入是一个 N 维向量 x x1 , x2 , , xN ，从输入到神经元的权值为 i ，则该神经 元的输出为：
第5章
线性神经网络
5.5.1
newlind——设计一个线性层
函数的语法格式如下：
net=newlind(P,T,Pi)
newlind 函数有 3 个输入参数：
P，R×Q 矩阵，包含 Q 个训练输入向量； T，S×Q 矩阵，包含 Q 个期望输出向量； Pi，1×ID 细胞数组，包含初始输入延迟。 P 与 T 中的向量均按列存放。Pi 参数是可选的，其中的每个元素 Pi{i,k} 是一个 Ri×Q 矩阵。newlind 的参数也可以是细胞数组的形式，以解决需要多个输出神经元的问题： P，Ni×TS 细胞数组，其中的每个元素 P{i,ts} 是 Ri×Q 输入矩阵； T，Nt×TS 细胞数组，其中每个元素 T{t,ts} 是 Vi×Q 矩阵； Pi，Ni×ID 细胞数组，每个元素 Pi{i,k} 是 Ri×Q 矩阵，默认值为 [] 。 函数返回设计好的线性神经网络 net。 设计的方法是求一个线性方程组在最小均方误差 意义下的最优解： ω, b P ,1 T
5.5
线性神经网络相关函数详解
表 5-1 列出了 MATLAB 神经网络工具箱中与线性神经网络有关的主要函数。
表 5-1 函数名称 newlind newlin purelin learnwh maxlinlr mse linearlayer ·134· 与线性神经网络有关的函数 功 能 设计一个线性层 构造一个线性层 线性传输函数 LMS 学习函数 计算最大学习率 最小均方误差函数 构造线性层的函数
x (n) 1, x1 (n), x2 (n), , xN (n)
T
权值向量为
ω(n) 0 (n), 1 (n), 2 (n), , N (n)
T
其中 0 b(n) ，表示偏置。则输出可以表示为
y xTω q sgn( y )
若网络中包含多个神经元节点，就能形成多个输出，这种线性神经网络叫 Madaline 网 络。Madaline 网络的结构如图 5-2 所示。 Madaline 可以用一种间接的方式解决线性不可分的问题，方法是用多个线性函数对区 域进行划分，然后对各个神经元的输出做逻辑运算。如图 5-3 所示，Madaline 用两条直线 实现了异或逻辑。
不同神经网络有不同的特点和适用领域。尽管感知器与线性神经网络在结构和学习算 法上都没有什么太大的差别，甚至是大同小异，但我们仍能从细小的差别上找到其功能的 不同点。它们的差别主要表现在以下两点。
5.4.1 网络传输函数
LMS 算法将梯度下降法用于训练线性神经网络，这个思想后来发展成反向传播法，具 备可以训练多层非线性网络的能力。 感知器与线性神经网络在结构上非常相似，唯一的区别在于传输函数：感知器传输函 数是一个二值阈值元件，而线性神经网络的传输函数是线性的。这就决定了感知器只能做 简单的分类，而线性神经网络还可以实现拟合或逼近。在应用中也确实如此，线性神经网 络可用于线性逼近任意非线性函数，当输入与输出之间是非线性关系时，线性神经网络可 以通过对网络的训练， 得出线性逼近关系， 这一特点可以在系统辨识或模式联想中得到应用。
图 5-2
Madaline 结构图
图 5-3
Madaline 实现异或
线性神经网络解决线性不可分问题的另一个方法是，对神经元添加非线性输入，从而 引入非线性成分，这样做会使等效的输入维度变大，如图 5-4 所示。