第三章 线性判别分析非参数判别分类方法第四次课

gin ( x) g k j ( x)
其中, n∈{1, 2, …, li}, k∈{1, 2, …, lj}, li和lj分别表示 第i类和第j类的子类数目。
第3章
线性判别分析
3.3.2 分段线性距离分类器
正态分布条件下，两类别问题在各特征统计独立、同方差、 且先验概率相等情况下，最小错误率决策可按最小距离决策， 最小距离分类器的判决函数为
第3章
线性判别分析
第三章 线性判别分析 —— 非参数判别分类方法
第3章
线性判别分析
本章内容
3.1 3.2 3.3 线性判别函数 线性分类器
感知准则函数
Fisher线性判决
分段线性分类器
3.4
总结
近邻分类器
习题
第3章
线性判别分析
3.2 线 性 分 类 器
3.2.2

Fisher
Fisher 线性判决的基本思想
第3章
(i 1, 2,
, N)
引入余量bi, 用超平面:
z v bi 0
T i
( i 1, 2,
b1 b b 2 bN
, N)
代替zTiv>0, 则引入余量后的解区在原解区之内。 将上式写 成矩阵形式即为
Z v b
T z1 T z2 Z T zN
, N)
v*能将所有样本正确分类。 若v*不能使某个样本zj正确分类, 即(v*)Tzj≠bj, 则e2j=(vTzj－ bj)2。 错分样本的结果是使Js(v)增大, 因此, Js(v)越小越好, 其 最小值0为理想分类结果, 实现所有样本的正确分类。 求使Js(v)最小的v*有两种方法: 梯度下降法和解析法。
己பைடு நூலகம்识事物本领的过程，随意确定判别函数初始值，该
值在对样本分类训练过程中逐步修正直至最终确定。

基本思想：寻找一个权向量，使规范化增广样本向量
集的错分类样本数最少。
第3章
线性判别分析
一、基本概念
1.线性可分性
已知来自ω1和ω2两类的样本集{x1, x2, …, xN}, 两类的
线性
g ( yi ) vT yi
即
1 x 1 < > x 2 x 2 1 2 2 < x 1 x 2 > 0 x 2
2 2
这时类间的决策面为
x - 1 x - 2
2
2
它是两类均值点连线的垂直平分面。
第3章
线性判别分析
最小距离分类器
两类物体在特征空间的分布
b (1,1, ,1)T
第3章
线性判别分析
3.3 分段线性分类器
线性分类器的分界面是一个超平面。当类与类之间 不能用任何一个超平面实现划分时, 类间的分界面应是
一个超曲面。曲线可以由多个线段近似表达, 曲面可以
由多个平面逼近, 因此, 可以用多个超平面近似表达超
曲面, 分段线性分类器正是基于这种思路而设计的一种
– 设计分段线性分类器的前提条件是有一组已知类别的 样本集, 其关键在于解决以下两个问题:
(1) 根据样本集确定子类数目及各子类的划分;
(2) 利用样本集计算各子类判别函数的权向量和阈值权。 根据已知条件的不同, 可以分别采取不同的方法。 (1)子类数目及各子类划分已知； (2)子类数目已知, 各子类划分不知； (3)子类数目未知。
l 1,2, ,li
称这种分类器为分段线性距离分类器。
第3章
线性判别分析
注意： 线性距离分类器使用的是马氏距离, 分段
线性距离分类器使用的则是欧几里德距离, 由最小距
离分类器的导出过程可知, 仅当所有子区的协方差阵 相同且等于σ2I时, 才具有较好的分类效果。
第3章
线性判别分析
3.3.3 分段线性分类器设计的一般考虑
正侧的向量满足vTzi>0。
第3章
线性判别分析
相应地, N个样本确定了N个超平面, 每个超平面把 权空间分为两个半空间。所以, 满足vTzi>0(i=1, 2, …, N)的
权向量必在这N个超平面正侧的交叠区, 称这一交叠区为
解区, 解区中的任意向量都是解向量v*。
第3章
线性判别分析
二、感知准则函数
第3章
线性判别分析
设Z={z1, z2, …, zN}是经过规范化的一组样本集,
T ( v z)
定义感知准则函数:
J p (v)
zZ k
其中, Zk是被权向量v错分类的样本集合, 当z∈Zk时,
vT z 0
显然, Jp(v)≥0。 梯度下降算法求Jp(v)准则函数的极小值。 迭代公式为
1 第二步：计算最优投影方向， w* S w (μ1 μ2 )
并将样本往该方向上投影
y (w * ) T x
第三步：决策。在投影空间内的决策准则为: 若y>y0, 则 x∈ω1, 否则x∈ω2。
第3章
线性判别分析
3.2.3 感知准则函数
采用类似于人认知错误、纠正错误、通过自学习改善自
Z T Zv* Z T b
(3-79)
ZTZ为(d+1)×(d+1)方阵, 一般是满秩的, 因此有唯一解: (3-80) v* (Z T Z )1 Z T b Z b 其中 T -1 T Z (Z Z ) Z (3-81) 是Z的左逆矩阵, Z的右逆矩阵定义为 (3-82) Z Z (Z T Z )1 b
是寻找一个最好的投影方向 ,
当特征向量x从d维空间映射到
这个方向上时 , 两类能最好地 分开。

这个方法实际上涉及特征维
数的压缩问题。
第3章
线性判别分析
分析 w1 方向之所以比 w2 方向优 越, 可以归纳出这样一个准则：即向 量 w 的方向选择应能使两类样本投 影的均值之差尽可能大些, 而使类内 样本的离散程度尽可能小。这就是 Fisher准则函数的基本思路。
yi为增广样本向量, v为增广权向量。 线性可分：如果存在一个线性分类器能把每个样本正确分类, 即若存在一个权向量v, 使得对于任何yi∈ω1, 都有vTyi>0, 而对 于任何yi∈ω2, 都有vTyi<0, 则称这组样本集线性可分; 否则称 为线性不可分。 反过来, 若样本集是线性可分的, 则必然存在一个权向量v, 能将每个样本正确地分类。
第3章
线性判别分析
1. 梯度下降法
对Js(v)
J s (v) 2Z T (Zv b)
相应地,梯度下降算法为
v(k 1) v(k ) k Z T (Zv(k ) b)
(3-78)
其中，ρk为学习速率; 初值v(0)可任意选取。
第3章
线性判别分析
2. 解析法 解析法得到的是伪逆解。 令Js(v)=0
分类器。
第3章
线性判别分析
3.3.1 分段线性分类器的定义



线性判决函数只能解决线 性可分问题。 在线性不可分的情况下， 可以采用分段线性判别或 二次函数判别等方法。 分段线性判决函数确定的 决策面是由若干段超平面 组成的。
第3章
线性判别分析
与线性判别函数相比，分段线性判别函数设计中首先 要解决的问题是分段线性判别函数的分段段数问题。
上发展起来的多层感知器在原理上能解决非线性分类、多
类划分，以及非线性拟和非线性映射等多种问题。
第3章
线性判别分析
3.2.4 最小平方误差准则函数
设由X={x1, x2, …, xN}得到的规范化增广向量集合为 {z1, z2, …, zN}, 分类器设计的任务就在于寻找一个矢量v, 满足:
vT zi 0
第3章
线性判别分析
把属于类ωi的样本区域Ri分为li个两两不相交的子区, 对每
个子类定义一个线性判决函数:
l gil ( x) (wil )T x w0 i
(l 1, 2,
i
, li i 1, 2,
, m)
l g ( x ) max g , m) 定义类ωi的判别函数: i i ( x) (i 1, 2, l 1,2, ,l
第3章
线性判别分析
e Z v b
定义误差向量:
定义平方误差准则函数:
J s (v) e (v zi bi )
2 T i 1
N
2
Js(v)是一个非负函数, 当 Z v b 有解时, Js(v)达到最小值0, 此时的矢量v*满足:
(v* )T zi bi 0
(i 1, 2,
分段段数过少，其分类效果必然要差；但段数又要尽
可能少，以免分类判别函数过于复杂，增加分类决策 的计算量。
在有些实际的分类问题中，同一类样本可以用若干个
子类来描述，这些子类的数目就可作为确定分段段数 的依据。
在有些情况下样本分布及合适子类划分并不知道，往
往需要采用一种聚类的方法，设法将样本划分成相对 密集的子类，然后用各种方法设计各段判别函数。
感知准则函数方法利用错分类对现决策权向量进行修正直至收 敛。这种方法只对线性可分情况适用，并且只适用于两类判决。
感知准则函数方法的思路是：先随意找一个初始向量 v，写作 v(0)，然后用训练样本集中的每个样本来计算。一旦发现有的 zi，使vTzi<0，则说明当前的广义权向量 v(0)不适合还需要进一 步修正。
gi ( x) ，则x∈ωj 若 g j ( x) max i
称gi(x)(i=1, 2, …, m)为分段线性判决函数, 相应的分类器称为 分段线性分类器。
第3章
线性判别分析
当类由多个子类构成时, 其决策面方程是由各子 类的判决函数确定的, 若第i类的第n个子类和第j类的 第k个子类相邻, 则该段决策面方程为