Fisher判别分析原理详解

Fisher判别分析原理详解
说起Fisher判别分析，不得不提到一个大神级人物！
Ronald Aylmer Fisher (1890～1962)
英国统计学家和遗传学家
主要著作有：《根据孟德尔遗传方式的亲属间的相关》、《研究者用的统计方法》、《自然选择的遗传理论》、《试验设计》、《近交的理论》及《统计方法和科学推理》等。

他一生在统计生物学中的功绩是十分突出的。

•生平
1890年2月17日生于伦敦，1962年7月29日卒于澳大利亚阿德莱德。

1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了一年统计力学。

他担任过中学数学教师，1918年任罗坦斯泰德农业试验站统计试验室主任。

1933年，因为在生物统计和遗传学研究方面成绩卓著而被聘为伦敦大学优生学教授。

1943年任剑桥大学遗传学教授。

1957年退休。

1959年去澳大利亚，在联邦科学和工业研究组织的数学统计部作研究工作。

大神解决的问题
•Fisher 线性判别函数的提出：
在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间可行的方法，在高维空间变得不可行。

因此，降低维数就成为解决实际问题的关键。

Fisher 的方法，就是解决维数压缩问题。

对xn的分量做线性组合可得标量
yn=wTxn,n=1,2,…,Ni
得到N个一维样本yn组成的集合。

从而将多维转换到了一维。

考虑把d维空间中的数据点投影到一条直线上去的问题，需要解决的两个问题：
(1)怎样找到最好的投影直线方向；(2)怎样向这个方向实现投影，这个投影变
换就是要寻求的解向量w*。

这两个问题就是Fisher方法要解决的基本问题。

•判别分析的一些基本公式
Fisher判别分析用于两类或两类以上间的判别，但常用于两类间判别。

Fisher判别函数表达式（多元线性函数式）：
判别函数的系数是按照组内差异最小和组间差异最大同时兼顾的原则来确定判别函数的。

Fisher判别准则：
判别临界点：
Fisher判别分析思想：
1. 类间差异大，类内变异小，
最大
2. 方差分析的思想：以下值最大
•Fisher判别的原理
分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。

这就是Fisher准则函数的基本思路。

如下图：
假设我们的数据集D={(x1，y1),(x2，y2),...,(xmym)},其中任意样本xi为n 维向量，yi∈{0,1}。

我们定义Nj（j=0,1）为第j类样本的个数，xj（j=0,1）为第j类样本的集合，而μj（j=0,1）为第j类样本的均值向量，定义∑j为第j类样本的协方差矩阵。

下面是二者的表达式：
μj的表达式为:
∑j的表达式为：
由于是两分类的数据，因此我们只需要将数据投影到一条直线上即可。

假设我们的投影直线是向量w,则对任意一个样本,它在直线w的投影为wTxi对于两个类别的中心点μ0,μ1,在直线w的投影为wTμ0和wTμ1。

由于fisher判别需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是要最大化，同时希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差和尽可能的小，即最小化。

综上所述，我们的优化目标为：
一般定义类内散度矩阵为Sw：
同时定义类间散度矩阵Sb为:
这样我们的优化目标重写为：
上式，利用广义瑞利商性质J(w)最大值为矩阵的最大特征值，而对应的w为的最大特征值对应的特征向量。