线性判别分析-冯守渤
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T
Sw ( x xi )( x xi ) , S B ni ( xi x )Fra Baidu bibliotek xi x )
i 1 xi i 1
m
m
T
C ，其中特征值大的特征向量分割性能最好。
1 S 求出 w S B 矩阵的特征值，然后提取前k个特征向量组成
MATLAB实验
从UCI数据库选取一个输入向量为十维的三分类数 据，首先利用Fisher判别分析法对输入向量进行降 维（2维），然后用降维之后的输入向量对数据进 行神经网络训练，之后用测试集测试，结果准确 率为百分之百。
Fisher判别方法（二类）
有A，B两个总体，分别有n1 ，n2 个历史数据，每 个数据有p维，则每个样本为p维空间的一点。 Fisher方法构造一个线性判别函数：
y c1 x1 c2 x2 c p x p
• 其中，判别系数 c 应满足 类内距离最小 类间距离最大
即构造统计函数
Fisher 判别法
所谓Fisher判别法，用投影的方法将k个 不同总体在p维空间上的点尽可能分散， 同一总体内的各样本点尽可能的集中， 用方差的思想则可构建一个较好区分各 个总体的线性判别法。
优缺点比较
Fisher判别方法对总体分布没有特殊要求，但 是Fisher判别法未考虑各总体出现概率的大小， 不能给出后验概率以及错判造成的损失。 Bayes判别法可以给出后验概率以及错判造成 的损失。但是要求即各种变量必须服从多元 正态分布、各组协方差矩阵必须相等、各组 变量均值均有显著性差异。
Bayes判别分析方法
许多时候各类别的比例分布情况有一定的先验信 息，此时，Bayes判别恰好适用。Bayes判别就是根 据总体的先验概率，使误判的平均损失达到最小 二进行的判别。其最大优势是可以用于多组判别 问题。但是适用此方法必须满足三个假设条件， 即各种变量必须服从多元正态分布、各组协方差 矩阵必须相等、各组变量均值均有显著性差异。
F (c1,c2 , cm ) ( ya yb )
2 2
(y
i 1
na
ai
ya ) ( ybi yb )
2 i 1
nb
使F取最大值即可满足Fisher方法的要求。
dF 只要令 0 dci
变换矩阵C的解析解
解得
c S ( x1 x2 )
其中
1 w
S w S a Sb
LDA函数
function [mappedX, mapping] = lda(X, labels, no_dims)
输入数据为X，输出标签为labels，希望得到 no_dims维输入数据。 变换之后的输入数据为mappedX，变换矩阵为 mapping。
降维之后的数据
二维 一维
判别分析
判别分析
根据已知对象的某些观测指标和所属类 别来判断未知对象所属类别的统计方法。 利用已知类别的样本信息求判别函数， 根据判别函数对未知样本所属类别进行 判别。
判别方法的分类
按判别组数来分，有两组判别分析和多 组判别分析 按数学模型来分，有线性判别分析和非 线性判别分析 按判别方法来分，有Fisher判别分析和 Bayes判别分析
T xa
Sa ( x x )( x x )
Fisher判别法（多类）
此时依然有统计函数
F (c1, c2 , cm )
依然最小化此函数
( y
i a j 1
i a x na
(y y)
i ai
x
2
ya )
2
变换矩阵C的选择
得到
S S c ci
1 w B i
Sw ( x xi )( x xi ) , S B ni ( xi x )Fra Baidu bibliotek xi x )
i 1 xi i 1
m
m
T
C ，其中特征值大的特征向量分割性能最好。
1 S 求出 w S B 矩阵的特征值，然后提取前k个特征向量组成
MATLAB实验
从UCI数据库选取一个输入向量为十维的三分类数 据，首先利用Fisher判别分析法对输入向量进行降 维（2维），然后用降维之后的输入向量对数据进 行神经网络训练，之后用测试集测试，结果准确 率为百分之百。
Fisher判别方法（二类）
有A，B两个总体，分别有n1 ，n2 个历史数据，每 个数据有p维，则每个样本为p维空间的一点。 Fisher方法构造一个线性判别函数：
y c1 x1 c2 x2 c p x p
• 其中，判别系数 c 应满足 类内距离最小 类间距离最大
即构造统计函数
Fisher 判别法
所谓Fisher判别法，用投影的方法将k个 不同总体在p维空间上的点尽可能分散， 同一总体内的各样本点尽可能的集中， 用方差的思想则可构建一个较好区分各 个总体的线性判别法。
优缺点比较
Fisher判别方法对总体分布没有特殊要求，但 是Fisher判别法未考虑各总体出现概率的大小， 不能给出后验概率以及错判造成的损失。 Bayes判别法可以给出后验概率以及错判造成 的损失。但是要求即各种变量必须服从多元 正态分布、各组协方差矩阵必须相等、各组 变量均值均有显著性差异。
Bayes判别分析方法
许多时候各类别的比例分布情况有一定的先验信 息，此时，Bayes判别恰好适用。Bayes判别就是根 据总体的先验概率，使误判的平均损失达到最小 二进行的判别。其最大优势是可以用于多组判别 问题。但是适用此方法必须满足三个假设条件， 即各种变量必须服从多元正态分布、各组协方差 矩阵必须相等、各组变量均值均有显著性差异。
F (c1,c2 , cm ) ( ya yb )
2 2
(y
i 1
na
ai
ya ) ( ybi yb )
2 i 1
nb
使F取最大值即可满足Fisher方法的要求。
dF 只要令 0 dci
变换矩阵C的解析解
解得
c S ( x1 x2 )
其中
1 w
S w S a Sb
LDA函数
function [mappedX, mapping] = lda(X, labels, no_dims)
输入数据为X，输出标签为labels，希望得到 no_dims维输入数据。 变换之后的输入数据为mappedX，变换矩阵为 mapping。
降维之后的数据
二维 一维
判别分析
判别分析
根据已知对象的某些观测指标和所属类 别来判断未知对象所属类别的统计方法。 利用已知类别的样本信息求判别函数， 根据判别函数对未知样本所属类别进行 判别。
判别方法的分类
按判别组数来分，有两组判别分析和多 组判别分析 按数学模型来分，有线性判别分析和非 线性判别分析 按判别方法来分，有Fisher判别分析和 Bayes判别分析
T xa
Sa ( x x )( x x )
Fisher判别法（多类）
此时依然有统计函数
F (c1, c2 , cm )
依然最小化此函数
( y
i a j 1
i a x na
(y y)
i ai
x
2
ya )
2
变换矩阵C的选择
得到
S S c ci
1 w B i