第2章 线性判别函数

1, 2, n
1.问题与解决思路
问题： 设有由N个待分类的两类别模式组成的一 个样本集，
{X1, X 2 ,, X N }
如何实现对样本集中的两类样本分类？
在一般情况下样本在特征空间的分布情况：
x1
0
（二维两类别模式的例子）
x2
二维三类别模式的例子
x2
2
1
x1
边界
3
可以看出:
直观的，称为超平面。
线性判别函数是所有模式特征的线性组合。 或
g ( X ) w1x1 w2 x2 ... wn xn w0 ,
g ( X ) wk xk w0
k 1 n
w0 称为阈值权。 式中 wk 是特征的系数，称为权，
用什么方法来确定 g ( X ) 呢？
2. 线性判别函数的确定方法
x1
W
H
X
R1
g( X ) 0
0
R2 g ( X ) 0
x2
g( X ) 0
x1
W
H
X

R1 g ( X ) 0
Xp
0
R2 g ( X ) 0
x2
g( X ) 0
我们可以把向量 X 表示为：
W X XP || W ||
决策面 H 上一点
待求的距离
与 g ( X ) 有什么样的关系?
W (w1 , w2 ,, wn )T
如何求？
2.2 感知准则函数和梯度下降法
1.感知准则函数
由前面介绍的知识，我们知道，
对于一组两类别样本集： {X 1 , X 2 ,, X N } 我们可以设线性判别函数为： g ( X ) W T X w0
决策面方程为： g ( X ) 0
2.1 线性判别函数和决策面
模式的表示 在分类识别方法中，首先应该把代表事物的 那些特征抽取出来，构成代表这个模式的特征 向量。 现在假定已经抽取到模式的若干特征：
x1 , x2 ,..., xn
如果这 n 个特征能够较好地描述原始的待识 别的事物，则可以用 n 维空间的一个列向量来 T 代表： X ( x x ..., x )
表明:
权向量和决策面上的任一向量正交。所以权 向量的方向就是决策面的法线方向。
在两维模式下，决策面 H 把模式空间分成两个子空间， 分别是对 1类的决策域 R1 和对 2 类的决策域 R2 。 g ( X ) 0 ；在 R2 中，g ( X ) 0 ， 如果我们规定： X 在 R1 中， 决策面的法向量的方向指向 R1 。
则有：
W g ( X ) W X w0 W ( X p ) W0 W
T T
W W W W X p W0 g( X p ) W W
T T
2
W
或

g( X ) || W ||
判别函数值 g ( X ) 是 X 到决策面的距离的度量。
同理，可以得出： 从原点到决策面 H 的距离为
对全部样本都按这个规则来做，不满足时， 调整 w1 , w2 , w0 ，最终可以找到一个 g ( X ) ，使全 部样本都满足这个规则。 这个过程称为训练学习，已知类别的样本称 为训练样本。 用训练学习的方法确定线性判别函数。 如何训练学习？
3.线性判别函数的一般表示 对于n维模式向量 X (x1 , x2 ,, xn )T ，其线性 判别函数是所有模式特征的线性组合，即
不同类别的典型样本在特征空间中明显处于不 同的区域。
表明: 由于相同类别的模式具有相似或相近的特征， 因而一类模式在特征空间中的某一区域分布，而 另一类则在另外区域分布。
我们可以得到启发:
用已知类别的模式样本产生一个代数表示 的分界面 g ( X ) 0 ，将特征空间分成两个互 不重叠的区域，使不同类别的模式样本位于不 同的区域，再用 g ( X ) 0 作为判别函数，对 待识别的模式进行分类。
g ( X ) w1 x1 w2 x2 wn xn w0
可以写成
g ( X ) W T X w0
T W ( w , w , , w ) 其中， 称为权向量。 1 2 n
4.
g ( X ) W T X w0
在向量空间的几何表示
取 g ( X ) 0 作为决策面。 如果两个向量 X1 和 X 2 都在决策面上，则有： W T X1 w0 W T X 2 w0 或写成
W T ( X1 X 2 ) 0
由于 X1 和 X 2 是决策面上的任意两点，所以 ( X1 X 2 ) 也是在决策面上的任意向量。
W T ( X1 X 2 ) 0
表明了什么？
两个n维向量相互正交的充要条件是两 向量的内积为零。即
( A, B) A B 0
T
所以,
W T ( X1 X 2 ) 0
w0 。 || W ||
如果 w0 0 ，原点在 H 的正面； 如果 w0 0 ，原点在H 的反面； T g ( X ) W X 如果 w0 0 ，判别函数有齐次形式 决策面通过原点。
二类模式的线性分类器的决策法则是：
如果 g ( X ) 0, 则决策 1 ，即把 X 归到 1 类； 如果 g ( X ) 0, 则决策 2 ，即把 X 归到 2 类； 对于线性判别函数，关键的问题是求
g ( X ) 0 在特征空间可看作一个决策面。
归纳解决问题的思路:
(1)分类问题 特征空间的分布 确定判别函数 判别函数
判别 代入
寻找
子区域的分界面 (2)待识别模式 解决方法？
分类
判别函数 g ( X ) 可以有多种形式，哪种形式
最简单呢？
线性函数
在二维空间是一条直线；在三维空间是一个
平面；在高维空间也是一个平面，由于是非
设有已知类别的两类别样本集，分布如下：
x1
0
x2
线性判别函数可以写成：g ( X ) w1 x1 w2 x2 w0 参数
w1 , w2 , w0
决定了
g( X )
的方向和位置
百度文库x1
x2
0
如何根据已知样本确定 w1 , w2 , w0 ？ 由于要用 g ( X ) 对两类样本在特征空间正确划 分两类模式的区域，我们可以假定一个规则： 当样本为一个类别时， 使 g ( X ) 0 当样本为另一个类别时，使 g ( X ) 0