感知器算法1

3.5 感知器算法

对于线性判别函数，当模式的维数已知时判别函数的形式实际上就已经定了下来，如

二维 121122

T

()x x d w x w x w ==++（,），X X

三维

1231122

33

T

,()+x x x d w x w x w x w

==++（,），

X X

剩下的问题也就是确定权向量W ，只要求出权向量，分类器的设计即告完成。非线性判别函数也有类似的问题。本章的后续部分将主要讨论一些基本的训练权向量的算法，或者说学习权向量的算法，它们都是都是用于设计确定性分类器的迭代算法。 1. 概念理解

在学习感知器算法之前，首先要明确几个概念。 1）训练与学习

训练是指利用已知类别的模式样本指导机器对分类规则进行反复修改，最终使分类结果与已知类别信息完全相同的过程。从分类器的角度来说，就是学习的过程。

学习分为监督学习和非监督学习两大类。非监督学习主要用于学习聚类规则，没有先验知识或仅有极少的先验知识可供利用，通过多次学习和反复评价，结果合理即可。监督学习主要用于学习判别函数，判别函数的形式已知时，学习判别函数的有关参数；判别函数的形式未知时，则直接学习判别函数。

训练与监督学习方法相对应，需要掌握足够的与模式类别有关的先验信息，这些先验信息主要通过一定数量的已知类别的模式样本提供，这些样本常称作训练样本集。用训练样本集对分类器训练成功后，得到了合适的判别函数，才能用于分类。前面在介绍线性判别函数的同时，已经讨论了如何利用判别函数的性质进行分类，当然，前提是假定判别函数已知。 2）

这种分类器只能处理确定可分的情况，包括线性可分和非线性可分。只要找到一个用于分离的判别函数就可以进行分类。由于模式在空间位置上的分布是可分离的，可以通过几何方法把特征空间分解为对应不同类别的子空间，故又称为几

何分类器。

当不同类别的样本聚集的空间发生重叠现象时，这种分类器寻找分离函数的迭代过程将加长，甚至振荡，也就是说不收敛，这时需要用第4章将要介绍的以概率分类法为基础的概率分类器进行分类。几何分类法和概率分类法都是使用判别函数的方法。 3）感知器

感知器（pereception ）是一种神经网络模型，是20世纪50年代中期到60年代人们对模拟人脑学习能力的一种分类学习机模型的称呼。当时有些研究者认为它是学习机的强有力模型，后来发现估计过高，由于无法实现非线性分类，到60年代中期，从事感知器研究的实验室纷纷下马，但在发展感知器时所获得的一些数学概念，如“赏罚概念”（reward-punishment concept ）今天仍在模式识别中起着很大作用。

2. 算法概念

对于两类线性可分的模式类

1

w 和

2

w ，设判别函数为

T ()d W =X X

其中，12+1T ,,,n n W w w w w =（…,），12T

,,,1n X x x x =（…,）。

()d X 应具有如下性质 1

2T

0,()0,w d W w ⎧>∈⎪=⎨

<∈⎪⎩若若X X X X （3-24）

对样本进行规范化处理，即将

2

w 类的全部样本都乘以（-1），这样对于两类的

所有模式样本，判别函数的性质描述为：

T ()0d W =>X X （3-25）

感知器算法（perception approach ）通过对已知类别的训练样本集的学习，寻找一个满式（3-25）的权向量。 感知器算法的具体步骤如下：

（1）选择N 个分属于1w 类和2w 类的模式样本构成训练样本集，将训练样本写

成增广向量形式，并进行规范化处理。将N 个样本编号为X 1 ，X 2 ，…，X i ，…，

X n 。任取权向量初始值W （1）开始迭代，括号中的1表示迭代次数k=1。 （2）用全部训练样本进行一轮迭代。米一个输入样本X ，计算一次判别函数

T W X ，根据判别函数分类结果的正误修正权向量，此时迭代次数k 加1。

假设进行到第k 次迭代时，输入的样本为i X ，计算T

W i k （）X 的值，分两种情况更新权向量：

①若T

W 0i k （）?X ，，说明分类器对i X 的分类结果发生错误，权向量需要校正，

且校正为：

(1)+c i

W k W k +=（）X （3-26）

其中，c 为校正增量系数，c >0。

②

若

T

W 0

i k >（）X ，表明分类正确，权向量不变，即

(1)W k W k +=（）。 以上两步可统一写为

T

T

W 0(1)+cX W 0i i i W k k W k W k k ⎧>⎪

+=⎨⎪⎩（） ，若（）（） , 若（） ?X X

（3）分析分类结果，在这一轮的迭代中只要有一个样本的分类发生了错误， 即出现了

T

W 0

i k （）?X 的情况，则回到步骤（2）进行下一轮迭代，用全部样本

再训练一次，建立新的

(1)W k +，直至用全部样本进行训练都获得了正确的分类

结果，迭代结束。这时的权向量即为算法结果。

从上面的过程可以看出，感知器算法就是一种赏罚过程：当分类器发生分类错误时，对分类器进行“罚”——修改权向量，以使其向正确的方向转化；分类正确时，对其进行“赏”——这里表现为“不罚”，即权向量不变。 3. 收敛性

如果经过算法的有限次迭代运算后，求出了一个使训练集中的所有样本都能正确分类的W ，则称算法是收敛的。可以证明感知器算法是收敛的。对于感知器算法，只要模式类别是线性可分的，就可以在有限的迭代步数里求出权向量的解。 例3.8 已知两类训练样本