第三章 线性判别分析_非参数判别分类方法-第四次课

，则vTzi>0。
经过这样的变换后, 我们可以不考虑样本原来的类别标 志, 只要找到一个对全部样本zi都满足vTzi>0(i=1, 2, …, N)的
权向量即可。
第3章 线性判别分析 3. 解向量和解区
满足vTzi>0(i=1, 2, …, N)的
权向量称为解向量。 若把 v 看成是权向量空间中 的一点, 对于任一zi, vTzi=0在权向 量空间确定了一个超平面 , 这个 超平面把权空间分为两个半空间 , 该超平面的法向量为 zi , 超平面
第3章 线性判别分析
设Z={z1, z2, …, zN}是经过规范化的一组样本集,
T ( v z)
定义感知准则函数:
J p (v)
zZ k
其中, Zk是被权向量v错分类的样本集合, 当z∈Zk时, 有
vT z 0
显然, Jp(v)≥0。 梯度下降算法求Jp(v)准则函数的极小值。 迭代公式为
正侧的向量满足vTzi>0。
第3章 线性判别分析
相应地, N个样本确定了N个超平面, 每个超平面把 权空间分为两个半空间。所以, 满足vTzi>0(i=1, 2, …, N)的
权向量必在这N个超平面正侧的交叠区, 称这一交叠区为
解区, 解区中的任意向量都是解向量v*。
第3章 线性判别分析
二、感知准则函数
第3章 线性判别分析
2. 解析法 解析法得到的是伪逆解。 令Js(v)=0得
Z T Zv* Z T b
(3-79)
ZTZ为(d+1)×(d+1)方阵, 一般是满秩的, 因此有唯一解: (3-80) v* ( Z T Z )1 Z T b Z b 其中 T -1 T Z (Z Z ) Z (3-81) 是Z的左逆矩阵, Z的右逆矩阵定义为 (3-82) Z Z ( Z T Z )1 b的典型值为
l 1,2,,li
称这种分类器为分段线性距离分类器。
第3章 线性判别分析
注意： 线性距离分类器使用的是马氏距离, 分段
线性距离分类器使用的则是欧几里德距离, 由最小距
离分类器的导出过程可知, 仅当所有子区的协方差阵 相同且等于σ2I时, 才具有较好的分类效果。
第3章 线性判别分析
3.3.3 分段线性分类器设计的一般考虑
gin ( x) g k j ( x)
其中, n∈{1, 2, …, li}, k∈{1, 2, …, lj}, li和lj分别表示 第i类和第j类的子类数目。
第3章 线性判别分析
3.3.2 分段线性距离分类器
正态分布条件下，两类别问题在各特征统计独立、同方差、 且先验概率相等情况下，最小错误率决策可按最小距离决策， 最小距离分类器的判决函数为
分段段数过少，其分类效果必然要差；但段数又要尽
可能少，以免分类判别函数过于复杂，增加分类决策 的计算量。
在有些实际的分类问题中，同一类样本可以用若干个
子类来描述，这些子类的数目就可作为确定分段段数 的依据。
在有些情况下样本分布及合适子类划分并不知道，往
往需要采用一种聚类的方法，设法将样本划分成相对 密集的子类，然后用各种方法设计各段判别函数。
第3章 线性判别分析
定义误差向量:
e Z v b
定义平方误差准则函数:
J s (v) e (vT zi bi ) 2
2 i 1
N
Js(v)是一个非负函数, 当 Z v b 有解时, Js(v)达到最小值0, 此时的矢量v*满足: (v* )T zi bi 0 v*能将所有样本正确分类。 若v*不能使某个样本zj正确分类, 即(v*)Tzj≠bj, 则e2j=(vTzj－ bj)2。 错分样本的结果是使Js(v)增大, 因此, Js(v)越小越好, 其 最小值0为理想分类结果, 实现所有样本的正确分类。 求使Js(v)最小的v*有两种方法: 梯度下降法和解析法。
T
yi为增广样本向量, v为增广权向量。 线性可分：如果存在一个线性分类器能把每个样本正确分类, 即若存在一个权向量v, 使得对于任何yi∈ω1, 都有vTyi>0, 而对 于任何yi∈ω2, 都有vTyi<0, 则称这组样本集线性可分; 否则称 为线性不可分。 反过来, 若样本集是线性可分的, 则必然存在一个权向量v, 能将每个样本正确地分类。
即
1 x 1 < > x 2 x 2 1 2 2 < x 1 x 2 > 0 x 2
2 2
这时类间的决策面为
x - 1 x - 2
2
2
它是两类均值点连线的垂直平分面。
第3章 线性判别分析
最小距离分类器
两类物体在特征空间的分布
Ri Ri1 Ri2 Rili
其中,
Ri j1 Ri j2 , j1 j2 。
用mli表示Rli中的均值向量, 并以此作为该子区的代表 点, 确定判别函数: 则判决准则为 若 g j ( x) min gi ( x) ， 则x∈ωj
i1,2,,m
gi ( x) min x mli
第3章 线性判别分析
2. 样本的规范化
如果样本集{y1, y2, …, yN}线性可分, 则一定存在某个或
某些权向量v, 使 规范化 增广样本向量
vT yi 0 T v yi 0
yi 1 yi 2
y i 1 yi 2
样本的规范化
yi 如果令 z i y i
判决准则为
g i ( x) ，则x∈ωj 若 g j ( x) max i
称gi(x)(i=1, 2, …, m)为分段线性判决函数, 相应的分类器称为 分段线性分类器。
第3章 线性判别分析
当类由多个子类构成时, 其决策面方程是由各子 类的判决函数确定的, 若第i类的第n个子类和第j类的 第k个子类相邻, 则该段决策面方程为
第3章 线性判别分析
把属于类ωi的样本区域Ri分为li个两两不相交的子区, 对每
个子类定义一个线性判决函数:
l gil ( x) (w li )T x w0 i
(l 1பைடு நூலகம் 2, , li i 1, 2, , m )
i
l g ( x ) max g 定义类ωi的判别函数: i i ( x ) (i 1, 2, , m ) l 1,2,,l
Fisher 线性判决的基本思想
是寻找一个最好的投影方向 ,
当特征向量x从d维空间映射到
这个方向上时 , 两类能最好地 分开。

这个方法实际上涉及特征维
数的压缩问题。
第3章 线性判别分析
分析 w1 方向之所以比 w2 方向优 越, 可以归纳出这样一个准则：即向 量 w 的方向选择应能使两类样本投 影的均值之差尽可能大些, 而使类内 样本的离散程度尽可能小。这就是 Fisher准则函数的基本思路。
第3章 线性判别分析
第三章 线性判别分析 —— 非参数判别分类方法
第3章 线性判别分析
本章内容
3.1 3.2 3.3 线性判别函数 线性分类器
感知准则函数
Fisher线性判决
分段线性分类器
3.4
总结
近邻分类器
习题
第3章 线性判别分析
3.2 线 性 分 类 器
3.2.2Fisher线性判决

己认识事物本领的过程，随意确定判别函数初始值，该
值在对样本分类训练过程中逐步修正直至最终确定。

基本思想：寻找一个权向量，使规范化增广样本向量
集的错分类样本数最少。
第3章 线性判别分析
一、基本概念
1.线性可分性
已知来自ω1和ω2两类的样本集{x1, x2, …, xN}, 两类的
线性判决函数为
g ( yi ) v yi
分类器。
第3章 线性判别分析
3.3.1 分段线性分类器的定义



线性判决函数只能解决线 性可分问题。 在线性不可分的情况下， 可以采用分段线性判别或 二次函数判别等方法。 分段线性判决函数确定的 决策面是由若干段超平面 组成的。
第3章 线性判别分析
与线性判别函数相比，分段线性判别函数设计中首先 要解决的问题是分段线性判别函数的分段段数问题。
上发展起来的多层感知器在原理上能解决非线性分类、多
类划分，以及非线性拟和非线性映射等多种问题。
第3章 线性判别分析
3.2.4 最小平方误差准则函数
设由X={x1, x2, …, xN}得到的规范化增广向量集合为 {z1, z2, …, zN}, 分类器设计的任务就在于寻找一个矢量v, 满足:
vT zi 0
第3章 线性判别分析 Fisher 线性判决步骤
第一步：计算参量。
1 μi (1) 各类样本的均值向量μi: Ni
x
x
i
(i 1, 2)
(i 1, 2)
T (2) 样本类内离散度矩阵Si： Si (x μi )(x μi ) xi
总类内离散度矩阵Sw:
– 设计分段线性分类器的前提条件是有一组已知类别的 样本集, 其关键在于解决以下两个问题:
– 显然最小距离判别方法只有在各类别密集地分布在其均 值附近时才有效。 对右图所示的情况按最小距离计算，就会将原来ω１类的x 决策成ω2类，如不对ω１类进行子类划分，或采用别的决策 就不会取得好的效果。

第3章 线性判别分析

右图所示情况，若企图再用 每类一个均值代表点产生最 小距离分类器，就会产生很 明显的错误率。
S w S1 S 2
1 第二步：计算最优投影方向， w* S w (μ1 μ 2 )