线性判别分析非参数判别分类方法第四次课PPT课件

其中, Zk是被权向量v错分类的样本集合, 当z∈Zk时,
vT z 0
显然, Jp(v)≥0。
梯度下降算法求Jp(v)准则函数的极小值。
迭代公式为 v(k1)v(k)kz zZk
其中 Zkzv(k)Tz0
即Zk为第k步被错分的样本集。 ρk为正，是步长系数。
第3章 线性判别分析
两点说明： 感知准则函数方法只是对线性可分样本集有效，而对线性
感知准则函数方法的思路是：先随意找一个初始向量v，写作 v(0)，然后用训练样本集中的每个样本来计算。一旦发现有的 zi，使vTzi<0，则说明当前的广义权向量v(0)不适合还需要进一 步修正。
第3章 线性判别分析
设Z={z1, z2, …, zN}是经过规范化的一组样本集,
定义感知准则函数:
Jp(v) (vTz) zZk
第3章 线性判别分析
分析w1方向之所以比w2方向优 越, 可以归纳出这样一个准则：即向 量w的方向选择应能使两类样本投 影的均值之差尽可能大些, 而使类内 样本的离散程度尽可能小。这就是
Fisher准则函数的基本思路。
F第i3sh章er线线性性判判别分决析步骤
(1) 各类样本的均值向量μi:
1
第3章 线性判别分析
本章内容
3.1 线性判别函数 3.2 线性分类器
Fisher线性判决 感知准则函数
3.3 分段线性分类器 3.4 近邻分类器 总结 习题
第3章 线性判别分析
3.2 线 性 分 类 器
3.2.2 Fisher
Fisher线性判决的基本思想 是寻找一个最好的投影方向, 当特征向量x从d维空间映射到 这个方向上时, 两类能最好地 分开。 这个方法实际上涉及特征维 数的压缩问题。
yi yi
12，则vTzi>0。
经过这样的变换后, 我们可以不考虑样本原来的类别标 志, 只要找到一个对全部样本zi都满足vTzi>0(i=1, 2, …, N)的 权向量即可。
第3章 线性判别分析
3. 满足vTzi>0(i=1, 2, …, N)的 权向量称为解向量。 若把v看成是权向量空间中 的一点, 对于任一zi, vTzi=0在权向 量空间确定了一个超平面, 这个 超平面把权空间分为两个半空间, 该超平面的法向量为zi , 超平面 正侧的向量满足vTzi>0。
不可分的样本集，该算法不能收敛。 这一节对感知准则函数的讨论，只是很初步的。但这种利
用错误提供的信息，进行自修正的思想意义是十分深远的。 这种只解决线性分类的感知器称为单层感知器，在此基础 上发展起来的多层感知器在原理上能解决非线性分类、多 类划分，以及非线性拟和非线性映射等多种问题。
第3章 线性判别分析
3.2.4 最小平方误差准则函数
设由X={x1, x2, …, xN}得到的规范化增广向量集合为
{z1, z2, …, zN}, 分类器设计的任务就在于寻找一个矢量v,
满足:
vTzi0 (i1 ,2, ,N )
引入余量bi, 用超平面: ziT v b i 0(i 1 ,2 , ,N )
代替zTiv>0, 则引入余量后的解区在原解区之内。 将上式写
μi
Ni
xi
x
(i 1,2)
(2) 样本类内离散度矩阵Si： S i (x μ i)(x μ i)T x i 总类内离散度矩阵Sw: Sw S1S2
(i 1 ,2 )
第二步：计算最优投影方向，w*S w1(μ1μ2) 并将样本往该方向上投影 y(w*)Tx
第三步：决策。在投影空间内的决策准则为: 若y>y0, 则 x∈ω1, 否则x∈ω2。
第3章 线性判别分析
3.2.3 感知准则函数
采用类似于人认知错误、纠正错误、通过自学习改善自 己认识事物本领的过程，随意确定判别函数初始值，该 值在对样本分类训练过程中逐步修正直至最终确定。 基本思想：寻找一个权向量，使规范化增广样本向量集 的错分类样本数最少。
第3章 线性判别分析
一、基本概念
若v*不能使某个样本zj正确分类, 即(v*)Tzj≠bj, 则e2j=(vTzj－ bj)2。 错分样本的结果是使Js(v)增大, 因此, Js(v)越小越好, 其 最小值0为理想分类结果, 实现所有样本的正确分类。
求使Js(v)最小的v*有两种方法: 梯度下降法和解析法。
第3章 线性判别分析
1. 梯度下降法
反过来, 若样本集是线性可分的, 则必然存在一个权向量v,
能将每个样本正确地分类。
第3章 线性判别分析
2. 样本的规范化
如果样本集{y1, y2, …, yN}线性可分, 则一定存在某个或
某些权向量v, 使 规范化
vT vT
yi yi
0 0
yi 1 yi 2
样本的规范化
增广样本向量
如果令 zi yiyi
1.线性可分性
已知来自ω1和ω2两类的样本集{x1, x2, …, xN}, 两类的线

性
g(yi)vTyi
yi为增广样本向量, v为增广权向量。
线性可分：如果存在一个线性分类器能把每个样本正确分类,
即若存在一个权向量v, 使得对于任何yi∈ω1, 都有vTyi>0, 而对 于任何yi∈ω2, 都有vTyi<0, 则称这组样本集线性可分; 否则称 为线性不可分。
对Js(v)
Js(v)2ZT(Zvb)
相应地,梯度下降算法为
v (k 1 ) v (k )k Z T (Z v (k ) b )
第3章 线性判别分析
相应地, N个样本确定了N个超平面, 每个超平面把 权空间分为两个半空间。所以, 满足vTzi>0(i=1, 2, …, N)的 权向量必在这N个超平面正侧的交叠区, 称这一交叠区为 解区, 解区中的任意向量都是解向量v*。
第3章 线性判别分析
二、感知准则函数
感知准则函数方法利用错分类对现决策权向量进行修正直至收 敛。这种方法只对线性可分情况适用，并且只适用于两类判决。
成矩阵形式即为
Zv b
Z
z
T 1
z
T 2
z
T N
b1
b
b
2
b
N
第3章 线性判别分析
定义误差向量: eZvb
N
定义平方误差准则函数: Js(v)e2 (vTzi bi)2 i1
Js(v)是一个非负函数, 当 Zv b 有解时, Js(v)达到最小值0,
此时的矢量v*满足: (v * )T z i b i 0(i 1 ,2 , ,N ) v*能将所有样本正确分类。