第三章 线性判别分析非参数判别分类方法第四次课

第3章
1 第二步：计算最优投影方向， w* S w (μ1 μ2 )
并将样本往该方向上投影
y (w * ) T x
第三步：决策。在投影空间内的决策准则为: 若y>y0, 则 x∈ω1, 否则x∈ω2。
第3章
线性判别分析
3.2.3 感知准则函数
采用类似于人认知错误、纠正错误、通过自学习改善自
, N)
v*能将所有样本正确分类。 若v*不能使某个样本zj正确分类, 即(v*)Tzj≠bj, 则e2j=(vTzj－ bj)2。 错分样本的结果是使Js(v)增大, 因此, Js(v)越小越好, 其 最小值0为理想分类结果, 实现所有样本的正确分类。 求使Js(v)最小的v*有两种方法: 梯度下降法和解析法。
即
1 x 1 < > x 2 x 2 1 2 2 < x 1 x 2 > 0 x 2
2 2
这时类间的决策面为
x - 1 x - 2
2
2
它是两类均值点连线的垂直平分面。
第3章
线性判别分析
最小距离分类器
两类物体在特征空间的分布
l 1,2, ,li
称这种分类器为分段线性距离分类器。
第3章
线性判别分析
注意： 线性距离分类器使用的是马氏距离, 分段
线性距离分类器使用的则是欧几里德距离, 由最小距
离分类器的导出过程可知, 仅当所有子区的协方差阵 相同且等于σ2I时, 才具有较好的分类效果。
第3章
线性判别分析
3.3.3 分段线性分类器设计的一般考虑

在这种情况下，可以将各类 别划分成相对密集的子类， 每个子类以它们的均值作为 代表点，然后按最小距离分 类，可以有比较满意的效果。
对样本进行子类的合适划 分是分段线性距离分类器性 能好坏的一个关键问题。 分段线性距离分类器示意图

第3章
线性判别分析
归纳起来，如果对于ωi有li个子类，则有li个代表点，或者 说将类ωi的样本区域Ri分为li个子区:
第3章
线性判别分析
1. 梯度下降法
对Js(v)
J s (v) 2Z T (Zv b)
相应地,梯度下降算法为
v(k 1) v(k ) k Z T (Zv(k ) b)
(3-78)
其中，ρk为学习速率; 初值v(0)可任意选取。
第3章
线性判别分析
2. 解析法 解析法得到的是伪逆解。 令Js(v)=0
gin ( x) g k j ( x)
其中, n∈{1, 2, …, li}, k∈{1, 2, …, lj}, li和lj分别表示 第i类和第j类的子类数目。
第3章
线性判别分析
3.3.2 分段线性距离分类器
正态分布条件下，两类别问题在各特征统计独立、同方差、 且先验概率相等情况下，最小错误率决策可按最小距离决策， 最小距离分类器的判决函数为
(i 1, 2,
, N)
引入余量bi, 用超平面:
z v bi 0
T i
( i 1, 2,
b1 b b 2 bN
, N)
代替zTiv>0, 则引入余量后的解区在原解区之内。 将上式写 成矩阵形式即为
Z v b
T z1 T z2 Z T zN
Ri Ri1
其中,
Ri2
Rili
Ri j1 Ri j2 , j1 j2 。
用mli表示Rli中的均值向量, 并以此作为该子区的代表 点, 确定判别函数: 则判决准则为 若 g j ( x) min gi ( x) ， 则x∈ωj
i1,2, , m
gi ( x) min x mil
第3章
线性判别分析
2. 样本的规范化
如果样本集{y1, y2, …, yN}线性可分, 则一定存在某个或
某些权向量v, 使 规范化 增广样本向量
vT yi 0 T v yi 0
yi 1 yi 2
样本的规范化
yi 如果令 z i y i
y i 1 ，则vTzi>0。 yi 2
第3章 线性判决步骤 线性判别分析 Fisher
1 μi Ni x
i
(1) 各类样本的均值向量μi:
(i 1, 2)
(i 1, 2)
x
T (2) 样本类内离散度矩阵Si： Si (x μi )(x μi ) xi
总类内离散度矩阵Sw:
Sw S1 S2
第3章
线性判别分析
把属于类ωi的样本区域Ri分为li个两两不相交的子区, 对每
个子类定义一个线性判决函数:
l gil ( x) (wil )T x w0 i
(l 1, 2,
i
, li i 1, 2,
, m)
l g ( x ) max g , m) 定义类ωi的判别函数: i i ( x) (i 1, 2, l 1,2, ,l
己认识事物本领的过程，随意确定判别函数初始值，该
值在对样本分类训练过程中逐步修正直至最终确定。

基本思想：寻找一个权向量，使规范化增广样本向量
集的错分类样本数最少。
第3章
线性判别分析
一、基本概念
1.线性可分性
已知来自ω1和ω2两类的样本集{x1, x2, …, xN}, 两类的
线性
g ( yi ) vT yi
正侧的向量满足vTzi>0。
第3章
线性判别分析
相应地, N个样本确定了N个超平面, 每个超平面把 权空间分为两个半空间。所以, 满足vTzi>0(i=1, 2, …, N)的
权向量必在这N个超平面正侧的交叠区, 称这一交叠区为
解区, 解区中的任意向量都是解向量v*。
第3章
线性判别分析
二、感知准则函数
– 设计分段线性分类器的前提条件是有一组已知类别的 样本集, 其关键在于解决以下两个问题:
(1) 根据样本集确定子类数目及各子类的划分;
(2) 利用样本集计算各子类判别函数的权向量和阈值权。 根据已知条件的不同, 可以分别采取不同的方法。 (1)子类数目及各子类划分已知； (2)子类数目已知, 各子类划分不知； (3)子类数目未知。
第3章
线性判别分析
第三章 线性判别分析 —— 非参数判别分类方法
第3章
线性判别分析
本章内容
3.1 3.2 3.3 线性判别函数 线性分类器
感知准则函数
Fisher线性判决
分段线性分类器
3.4
总结
近邻分类器
习题
第3章
线性判别分析
3.2 线 性 分 类 器
3.2.2

Fishห้องสมุดไป่ตู้r
Fisher 线性判决的基本思想
yi为增广样本向量, v为增广权向量。 线性可分：如果存在一个线性分类器能把每个样本正确分类, 即若存在一个权向量v, 使得对于任何yi∈ω1, 都有vTyi>0, 而对 于任何yi∈ω2, 都有vTyi<0, 则称这组样本集线性可分; 否则称 为线性不可分。 反过来, 若样本集是线性可分的, 则必然存在一个权向量v, 能将每个样本正确地分类。
第3章
线性判别分析
e Z v b
定义误差向量:
定义平方误差准则函数:
J s (v) e (v zi bi )
2 T i 1
N
2
Js(v)是一个非负函数, 当 Z v b 有解时, Js(v)达到最小值0, 此时的矢量v*满足:
(v* )T zi bi 0
(i 1, 2,
上发展起来的多层感知器在原理上能解决非线性分类、多
类划分，以及非线性拟和非线性映射等多种问题。
第3章
线性判别分析
3.2.4 最小平方误差准则函数
设由X={x1, x2, …, xN}得到的规范化增广向量集合为 {z1, z2, …, zN}, 分类器设计的任务就在于寻找一个矢量v, 满足:
vT zi 0
v(k 1) v(k ) k z
其中 Z k z v(k )T z 0


zZ k
即Zk为第k步被错分的样本集。 ρk为正，是步长系数。
第3章
线性判别分析
两点说明：

感知准则函数方法只是对线性可分样本集有效，而对线性
不可分的样本集，该算法不能收敛。

这一节对感知准则函数的讨论，只是很初步的。但这种利 用错误提供的信息，进行自修正的思想意义是十分深远的。 这种只解决线性分类的感知器称为单层感知器，在此基础
分段段数过少，其分类效果必然要差；但段数又要尽
可能少，以免分类判别函数过于复杂，增加分类决策 的计算量。
在有些实际的分类问题中，同一类样本可以用若干个
子类来描述，这些子类的数目就可作为确定分段段数 的依据。
在有些情况下样本分布及合适子类划分并不知道，往
往需要采用一种聚类的方法，设法将样本划分成相对 密集的子类，然后用各种方法设计各段判别函数。
b (1,1, ,1)T
第3章
线性判别分析
3.3 分段线性分类器
线性分类器的分界面是一个超平面。当类与类之间 不能用任何一个超平面实现划分时, 类间的分界面应是
一个超曲面。曲线可以由多个线段近似表达, 曲面可以
由多个平面逼近, 因此, 可以用多个超平面近似表达超
曲面, 分段线性分类器正是基于这种思路而设计的一种
经过这样的变换后, 我们可以不考虑样本原来的类别标 志, 只要找到一个对全部样本zi都满足vTzi>0(i=1, 2, …, N)的
权向量即可。
第3章 3.
线性判别分析
满足vTzi>0(i=1, 2, …, N)的
权向量称为解向量。 若把 v 看成是权向量空间中 的一点, 对于任一zi, vTzi=0在权向 量空间确定了一个超平面 , 这个 超平面把权空间分为两个半空间 , 该超平面的法向量为 zi , 超平面
– 显然最小距离判别方法只有在各类别密集地分布在其均 值附近时才有效。 对右图所示的情况按最小距离计算，就会将原来ω１类的x 决策成ω2类，如不对ω１类进行子类划分，或采用别的决策 就不会取得好的效果。

第3章

线性判别分析
右图所示情况，若企图再用 每类一个均值代表点产生最 小距离分类器，就会产生很 明显的错误率。
Z T Zv* Z T b
(3-79)
ZTZ为(d+1)×(d+1)方阵, 一般是满秩的, 因此有唯一解: (3-80) v* (Z T Z )1 Z T b Z b 其中 T -1 T Z (Z Z ) Z (3-81) 是Z的左逆矩阵, Z的右逆矩阵定义为 (3-82) Z Z (Z T Z )1 b
感知准则函数方法利用错分类对现决策权向量进行修正直至收 敛。这种方法只对线性可分情况适用，并且只适用于两类判决。
感知准则函数方法的思路是：先随意找一个初始向量 v，写作 v(0)，然后用训练样本集中的每个样本来计算。一旦发现有的 zi，使vTzi<0，则说明当前的广义权向量 v(0)不适合还需要进一 步修正。
第3章
线性判别分析
设Z={z1, z2, …, zN}是经过规范化的一组样本集,
T ( v z)
定义感知准则函数:
J p (v)
zZ k
其中, Zk是被权向量v错分类的样本集合, 当z∈Zk时,
vT z 0
显然, Jp(v)≥0。 梯度下降算法求Jp(v)准则函数的极小值。 迭代公式为
分类器。
第3章
线性判别分析
3.3.1 分段线性分类器的定义



线性判决函数只能解决线 性可分问题。 在线性不可分的情况下， 可以采用分段线性判别或 二次函数判别等方法。 分段线性判决函数确定的 决策面是由若干段超平面 组成的。
第3章
线性判别分析
与线性判别函数相比，分段线性判别函数设计中首先 要解决的问题是分段线性判别函数的分段段数问题。
gi ( x) ，则x∈ωj 若 g j ( x) max i
称gi(x)(i=1, 2, …, m)为分段线性判决函数, 相应的分类器称为 分段线性分类器。
第3章
线性判别分析
当类由多个子类构成时, 其决策面方程是由各子 类的判决函数确定的, 若第i类的第n个子类和第j类的 第k个子类相邻, 则该段决策面方程为
是寻找一个最好的投影方向 ,
当特征向量x从d维空间映射到
这个方向上时 , 两类能最好地 分开。

这个方法实际上涉及特征维
数的压缩问题。
第3章
线性判别分析
分析 w1 方向之所以比 w2 方向优 越, 可以归纳出这样一个准则：即向 量 w 的方向选择应能使两类样本投 影的均值之差尽可能大些, 而使类内 样本的离散程度尽可能小。这就是 Fisher准则函数的基本思路。