Fisher线性判别分析实验(模式识别与人工智能原理实验1)

-可编辑修改-

实验1 Fisher 线性判别分析实验

一、摘要

Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。

Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向W 和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。

二、算法的基本原理及流程图 1 基本原理

（1）W 的确定

各类样本均值向量mi

样本类内离散度矩阵i

S 和总类内离散度矩阵

w S

12w S S S =+

样本类间离散度矩阵b S

在投影后的一维空间中，各类样本均值T i i m '= W m 。样本类内离散度和总类内离散度

T T i i w w S ' = W S W S ' = W S W 。样本类间离散度T b b S ' = W S W 。

Fisher 准则函数满足两个性质：

·投影后，各类样本内部尽可能密集，即总类内离散度越小越好。

T x S (x m

)(x m ), 1,2

i

i i

i X i ∈=

--=∑T

1212S (m m )(m m )b =--

·投影后，各类样本尽可能离得远，即样本类间离散度越大越好。

根据这个性质确定准则函数，根据使准则函数取得最大值，可求出W：-1

w12

W = S(m - m) 。

（2）阈值的确定

实验中采取的方法：

012

y = (m' + m') / 2。

（3）Fisher线性判别的决策规则

对于某一个未知类别的样本向量x，如果y=W T·x>y0，则x∈w1；否则x∈w2。

2 流程图

方差标准化（归一化处理）

-可编辑修改-

一个样本集中，某一个特征的均值与方差为：

归一化：

三、实验要求

寻找数据进行实验，并分析实验中遇到的问题和结论，写出实验报告。

-可编辑修改-