判别分析(第4节_Fisher判别法)

合集下载

4-3_Fisher判别

在 uEu 1的条件下，求 u 使得 uBu 式达到极大。
考虑目标函数 (u) uBu (uEu 1)
（ 4.24）
对（ 4.24）式求导，有

u
2(B E)u 0

uEu
1
0
(4.25) (4.26)
对（4.25）式两边同乘 u，有 uBu uEu
图4.2 判别分析主界面
2. 点击Define Range按钮，定义分组变量的取值范围。本例中分类变量的范围为1到3，所以在最小值和最大值中分别输入1和3。单击Continue按钮，返回主界面。
3. 单击Statistics…按钮，指定输出的描述统计量和判别函数系数。选中Function Coefficients栏中的Fisher’s和 Unstandardized。这两个选项的含义如下：
给出了不要条件的数学推导，而有关充分条件的论证省略了，
因为在实际问题中，往往根据问题本身的性质就能肯定有最
大值（或最小值），如果所求的驻点只有一个，这时就不需
要根据极值存在的充分条件判定它是极大还是极小而就能肯
定这唯一的驻点就是所求的最大值（或最小值）。为了避免
用较多的数学知识或数学上的推导，这里不追求数学上的完
估计同前， Σ （ 1,2,, k ）的估计为

Fisher判别

Gk
:
aX1k
,...,
aX
k nk
X t 1 nt
nt
X
1 j
,
t
1,...,k
j 1
每个总体的数据投影后均为一元数据。对这k组一元数据进行一元方差分析，其组间平方和为：
B0
k
nt
t 1
aX t-aX
2

a
k i 1
nt
X t-X
nt
aX
t j
- aXt
2
a
k
nt
nt
X
t j
-
X
t
X
wk.baidu.com
t j
- Xt
a
t1 j1
t1 j1

aAa
因此，若k个总体的均值有显著差异，则比值
aBa ˆ a 应充分大。转化为求该比值的最大值。
aAa
线性判别函数的求法
根据极值的必要条件 0
2
2
也可取临界值u ˆ1u 1 ˆ2u 2 ˆ1 ˆ2
ˆi

1 ni 1
ni j 1
u
i j
ui
2

ni
1 1
a

ni j 1
(
X

fisher判别的基本步骤

Fisher判别是一种基于线性判别分析的分类方法，用于将样本分为不同的类别。其基本步骤如下：

1. 确定判别变量：首先需要确定用于判别的变量，即用于分类的特征。

2. 计算判别函数：根据样本数据，计算出判别函数，即用于将样本分为不同类别的函数。

3. 确定判别类别：根据判别函数，将样本分为不同的类别。

4. 计算判别准确率：计算分类准确率，即正确分类的样本数与总样本数之比。

5. 优化判别函数：根据判别准确率，调整判别函数，以提高分类准确率。

6. 重复步骤3~5：重复以上步骤，直到达到所需的分类准确率。

在Fisher判别中，判别函数是基于Fisher线性判别的，即对于每个类别，计算出一个线性函数，使得属于该类别的样本与属于其他类别的样本的距离最大化。这个过程可以通过矩阵运算和求导来实现。

总之，Fisher判别是一种基于线性判别分析的分类方法，其基本步骤包括确定判别变量、计算判别函数、确定判别类别、计算判别准确率、优化判别函数和重复步骤3~5，直到达到所需的分类准确率。

Fisher判别法

-2829.135 5 1
-4895.740
-11316.540
2087384.800
Covariance N *. Correlation is significant at the 0.05 level (2-tailed).
-1223.935 5
-2829.135 5
521846.200 5
36.228
56.022
448.740
Covariance
9.057
14.006
112.185
N 识字率 Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
5 .502 .389
5 1
5 -.119 .848
56.022
��1 �� (1) + ��2 �� (2) = 10.89718 ��1 + ��2
(3) 判别准则因为：�� 1 > �� 2 所以判别准则为：当 y>y0 时，判X ∈ ��1 当 y<��0 时，判X ∈ ��2 当 y=��0 时，待判 (4) 对已知类别的样品判别归类序号 1 2 3 4 5 6 7 8 9 10 国家美国日本瑞士阿根廷阿联酋保加利亚古巴巴拉圭格鲁吉亚南非判别函数 y 的值 12.22 12.48 12.38 11.75 12.00 10.59 10.01 9.55 8.60 9.40 原类号 1 1 1 1 1 2 2 2 2 2 判别归类 1 1 1 1 1 2 2 2 2 2

判别分析公式Fisher线性判别二次判别

判别分析是一种常用的数据分析方法，用于根据已知的类别信息，

将样本数据划分到不同的类别中。Fisher线性判别和二次判别是两种常

见的判别分析方法，在实际应用中具有广泛的应用价值。

一、Fisher线性判别

Fisher线性判别是一种基于线性变换的判别分析方法，该方法通过

寻找一个合适的投影方向，将样本数据投影到一条直线上，在保持类

别间离散度最大和类别内离散度最小的原则下实现判别。其判别函数

的计算公式如下：

Fisher(x) = W^T * x

其中，Fisher(x)表示Fisher判别函数，W表示投影方向的权重向量，x表示样本数据。

具体来说，Fisher线性判别的步骤如下：

1. 计算类别内离散度矩阵Sw和类别间离散度矩阵Sb；

2. 计算Fisher准则函数J(W)，即J(W) = W^T * Sb * W / (W^T * Sw * W)；

3. 求解Fisher准则函数的最大值对应的投影方向W；

4. 将样本数据投影到求得的最优投影方向上。

二、二次判别

二次判别是基于高斯分布的判别分析方法，将样本数据当作高斯分布的观测值，通过估计每个类别的均值向量和协方差矩阵，计算样本数据属于每个类别的概率，并根据概率大小进行判别。二次判别的判别函数的计算公式如下：

Quadratic(x) = log(P(Ck)) - 0.5 * (x - μk)^T * Σk^-1 * (x - μk)

其中，Quadratic(x)表示二次判别函数，P(Ck)表示类别Ck的先验概率，x表示样本数据，μk表示类别Ck的均值向量，Σk表示类别Ck的协方差矩阵。

Fisher线性判别分析实验报告

Fisher 线性判别分析实验报告

一、摘要

Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有性质：同类样本尽可能聚集在一起，不同类样本尽可能地远。

Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向w 和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。

二、算法的基本原理及流程图

1 基本原理（1） W 的确定

各类样本均值向量 mi

样本类内离散度矩阵i

S 和总类内离散度矩阵

12w

S S S =+

样本类间离散度矩阵

在投影后的一维空间中，

各类样本均值 T i i m '= W m

样本类内离散度和总类内离散度 T T i i w w S ' = W S W S ' = W S W

样本类间离散度 T b b S ' = W S W

Fisher 准则函数满足两个性质：

投影后，各类样本内部尽可能密集，即总类内离散度越小越好。

T x S (x m

)(x m ), 1,2

i X i ∈=--=∑T 1212S (m m )(m m )b =--

投影后，各类样本尽可能离得远，即样本类间离散度越大越好。

根据这个性质确定准则函数，根据使准则函数取得最大值，可求出w -1

W = S(m - m)

w12

（2）阈值的确定

实验中采取的方法：

y = (m' + m') / 2

012

（3） Fisher线性判别的决策规则

对于某一个未知类别的样本向量 x，如果y = W T x >y0, 则x∈w1

Fisher判别法距离判别法Bayes判别法逐步判别法

性 2
x12(1) … xi2(1) … xp2(1) x12(2) … xi2(2) … xq2(2)
（分量） …
… … … … … … … … … …
n
x1n(1) … xin(1) … xpn(1) x1n(2) … xin(2) … xqn(2)
总体G1 (i=1, …, p)
• 回归模型普及性的基础在于用它去预测和解释度量(metric)变量。但是对于非度量 (nonmetric)变量，多元回归不适合解决此类问题。本章介绍的判别分析来解决被解释变量是非度量变量的情形。 • 判别分析在识别一个个体所属类别的情况下有着广泛的应用。
2018/10/4
目录上页下页返回结束
目录上页下页返回结束
7
§4.2
距离判别
2018/10/4
目录上页下页返回结束
8
§4.2
距离判别
2018/10/4
目录上页下页返回结束
9
§4.2
距离判别
2018/10/4
目录上页下页返回结束
10
4.2.2 多总体情况
§4.2
距离判别
1. 协差阵相同。
2018/10/4
X ( x1 , x2 ,..., xn )
已知总体数据分为两类： G1和G2 ，总体G1有p个样本点，总体G2有q 个样本点。属 1

Fisher判别

第四节Fisher判别

距离判别

本节内容案例分析与R 软件实现

3Fisher 判别函数的构造

2Fisher 判别的基本思想

Fisher判别是1936年提出来的，该方法的主要思想是将多维数据投影到某个低维度方向上，投影的原则是将总体与总体之间尽可能的分开，然后再选择合适的判别规则，将新的样品进行分类判别。

Fisher判别函数的构建——多个总体情况

费希尔于1936年发表的鸢尾花（Iris）数据，被广泛用于判别分析的例子。数据是对3种鸢尾花：刚毛鸢尾花（第一组）、变色鸢尾花（第二组）和弗吉尼亚鸢尾花（第三组），各自抽取一个容量为50的样本。

在R软件中，可以直接调用命令iris来查看数据集

Fisher判别又叫作线性判别分析（LDA），在R

中，MASS这个包中，包含了LDA命令

install.packages(“MASS”) # 安装MASS包

library(MASS) # 调用MASS包，此时就可以调用Fisher判别了# 调用MASS包

iris # 查看鸢尾花数据#

Sepal.Length Sepal.Width Petal.Length Petal.Width Species

1 5.1 3.5 1.40.2setosa

2 4.9

3 1.40.2setosa

3 4.7 3.2 1.30.2setosa

4 4.6 3.1 1.50.2setosa 5

5 3.

6 1.40.2setosa

6 5.4 3.9 1.70.4setosa

7 4.6 3.4 1.40.3setosa 有四个关于花型的变量，和一个分类情况（部分）

fisher判别法

Fisher判别分析的基本思想：选取适当的投影方向，将样本数据进行投影，使得投影后各样本点尽可能分离开来，即：使得投影后各样本类内离差平方和尽可能小，而使各样本类间的离差平方和尽可能大。为了克服“维数灾难”，人们将高维数据投影到低维空间上来，并保持必要的特征，这样，一方面数据点变得比较密集一些，另一方面，可以在低维空间上进行研究。

fisher判别法是判别分析的方法之一，它是借助于方差分析的思想，利用已知各总体抽取的样品的p维观察值构造一个或多个线性判别函数y=l′x其中l= (l1，l2…lp)′，x= (x1，x2，…，xp)′，使不同总体之间的离差(记为B)尽可能地大，而同一总体内的离差(记为E)尽可能地小来确定判别系数l=(l1，l2…lp)′。数学上证明判别系数l恰好是|B-λE|=0的特征根，记为λ1≥λ2≥…≥λr>0。所对应的特征向量记为l1，l2，…lr，则可写出多个相应的线性判别函数，在有些问题中，仅用一个λ1对应的特征向量l1所构成线性判别函数y1=l′1x不能很好区分各个总体时，可取λ2对应的特征向量l′2建立第二个线性判别函数y2=l′2x，如还不够，依此类推。有了判别函数，再人为规定一个分类原则(有加权法和不加权法等)就可对新样品x判别所属。

Fisher判别法是根据方差分析的思想建立起来的一种能较好区分各个总体的线性判别法，由Fisher在1936年提出。该判别方法对总体的分布不做任何要求。

Fisher判别法是一种投影方法，把高维空间的点向低维空间投影。在原来的坐标系下，可能很难把样品分开，而投影后可能区别明显。一般说，可以先投影到一维空间(直线)上，如果效果不理想，在投影到另一条直线上(从而构成二维空间)，依此类推。每个投影可以建立一个判别函数。

判别分析--费希尔判别、贝叶斯判别、距离判别

判别分析

⽐较理论⼀些来说，判别分析就是根据已掌握的每个类别若⼲样本的数据信息，总结出客观事物分类的规律性，建⽴判别公式和判别准则;在遇到新的样本点时，再根据已总结出来的判别公式和判别准则，来判断出该样本点所属的类别。

1 概述

三⼤类主流的判别分析算法，分别为费希尔(Fisher)判别、贝叶斯(Bayes)判别和距离判别。

具体的，在费希尔判别中我们将主要讨论线性判别分析（Linear Discriminant Analysis，简称LDA）及其原理⼀般化后的衍⽣算法，即⼆次判别分析（Quadratic Discriminant Analysis，简称QDA);⽽在贝叶斯判别中将介绍朴素贝叶斯分类(Naive Bayesian Classification)算法;距离判别我们将介绍使⽤最为⼴泛的K最近邻(k-Nearest Neighbor，简称kNN)及有权重的K最近邻( Weighted k-Nearest Neighbor）算法。

1.1 费希尔判别

费希尔判别的基本思想就是“投影”，即将⾼维空间的点向低维空间投影，从⽽简化问题进⾏处理。

投影⽅法之所以有效，是因为在原坐标系下，空间中的点可能很难被划分开，如下图中，当类别Ⅰ和类别Ⅱ中的样本点都投影⾄图中的“原坐标轴”后，出现了部分样本点的“影⼦”重合的情况，这样就⽆法将分属于这两个类别的样本点区别开来;⽽如果使⽤如图8-2中的“投影轴”进⾏投影，所得到的“影⼦”就可以被“类别划分线”明显地区分开来，也就是得到了我们想要的判别结果。

4.判别分析

判别分析

判别分析（discriminant analysis）是一种分类技术。它通过一个已知类别的“训练样本”来建立判别准则，并通过预测变量来为未知类别的数据进行分类。

判别分析的方法大体上有三类，即Fisher判别（线性判别）、Bayes判别和距离判别。Fisher判别思想是投影降维，使多维问题简化为一维问题来处理。选择一个适当的投影轴，使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一组内的投影值所形成的组内离差尽可能小，而不同组间的投影值所形成的类间离差尽可能大。Bayes判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。距离判别思想是根据已知分类的数据计算各类别的重心，对未知分类的数据，计算它与各类重心的距离，与某个重心距离最近则归于该类。

接下来将通过例题展示不同的判别方法。

例1：在某市场抽取20种牌子的电视机中，5种畅销，8种平销，另外7种滞销。按电视质量评分、功能评分和销售价格三项指标衡量，销售状态：1为畅销，2为平销，3为滞销。

数据集：d6.3

> X=read.table("clipboard",header=T) #读取数据存入X中

> plot(X$Q, X$C); #做横坐标为Q，纵坐标为C的散点图

> text(X$Q, X$C, X$G,adj=-0.8,cex=0.75) #在上一句的散点图中为每个点加文本；Q,C,G表示依据Q和C加上G的文本名字；adj为调整文字与点距离的选项，+为向左，-为向右；cex为调整文字的大小；

判别分析-4-文档资料44页

的总体G抽得的两个观测值，则称
X与Y之间的Mahalanobis距离
d 2 ( x ,y ) ( x y ) 1 ( x y )
样本X和Gi类之间的马氏距离定义为X与Gi类重心间的距离：
d 2 ( x , G i ) ( x i ) 1 ( x i )i 1 , 2 , , k

=x-μΣ-1 2Σ-1 2x-μ
=x-μΣ-1x-μ
3.若变量之间是相互无关的，则协方差矩阵
为对角矩阵
11
Σ
22

1

11

1

pp

Σ
1

22

1 pp

1

11

1
d 2 (x,G) (x - μ)
设 D i { Y ： d 2 ( Y ,G i) 1 m j i n kd 2 ( Y ,G j) ,Y R p }
则有判别规则为：
判 Y G i , 若 Y 落在区域 D i 内， i 1 ， 2 ，， k
实际上，将p 维欧式空间划分成k个互不相交（边界除外）的区域，若新来的样品落在某个区域内，则判该样品来在该总体。

Fisher判别

两类Fisher判别示意图
Y
G1
G2
L=b1X+b2Y
X
投影(wk.baidu.com换)
y1 l11 x1 l12 x 2 l1m x m y l x l x l x L1 1 L2 2 Lm m L
将原来m个变量综合成L个新变量
Fisher判别法
Fisher判别法(先进行投影)
• 所谓Fisher判别法，就是一种先投影的方法。 • 考虑只有两个（预测）变量的判别分析问题。 • 假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图（下一张幻灯片）。 • 这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。 • 于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。 • 有了投影之后，再用前面讲到的距离远近的方法来得到判别准则。这种首先进行投影的判别方法就是Fisher判别法。

判别分析方法汇总

这里应该注意到，当 Σ I （单位矩阵）时，即为欧氏距离
的情形。
二、距离判别的思想及方法
1、两个总体的距离判别问题
问题：设有协方差矩阵∑相等的两个总体G1和G2，其均值
分别是1和 2，对于一个新的样品X，要判断它来自哪个总
体。
一般的想法是计算新样品X到两个总体的马氏距离D2（X， G1）和D2（X，G2），并按照如下的判别规则进行判断
并对测得同样p项指标（变量）数据的一个新样本，能判定这个样本归属于哪一类。
判别分析内容很丰富，方法很多。判断分析按判别的总体数来区分，有两个总体判别分析和多总体判别分析；按区分不同总体所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出问题，因此有不同的判别准则，如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍常用的几种判别分析方法：距离判别法、Fisher判别法、Bayes判别法和逐步判别法。
一 Bayes判别的基本思想二 Bayes判别的基本方法
从上节看距离判别法虽然简单，便于使用。但是该方法也有它明显的不足之处。
第一，判别方法与总体各自出现的概率的大小无关；
第二，判别方法与错判之后所造成的损失无关。Bayes判别法就是为了解决这些问题而提出的一种判别方法。

判别分析三种方法

作业一：

为研究1991年中国城镇居民月平均收入状况，按标准化欧氏平方距离、离差平方和聚类方法将30个省、市、自治区．分为两种类型。试建立判别函数，判定广东、西藏分别属于哪个收入类型。判别指标及原始数据见表9-4。

1991年30个省、市、自治区城镇居民月平均收人数据表

单位：元／人 x1：人均生活费收入 x6：人均各种奖金、超额工资(国有+集体) x2：人均国有经济单位职工工资 x7：人均各种津贴(国有+集体)

x3：人均来源于国有经济单位标准工资 x8：人均从工作单位得到的其他收入

x4：人均集体所有制工资收入 x9：个体劳动者收入

x5：人均集体所有制职工标准工资

一、距离判别法

解：变量个数p＝9，两类总体各有11个样品，即n1＝n2＝11 ，有2个待判样品，假定两总体协差阵相等。由spss可计算出：协方差和平均值

合计x1 123.2881 23.27817 22 22.000

x2 80.4895 22.04796 22 22.000

x3 50.8709 6.14867 22 22.000

x4 10.1450 3.11887 22 22.000

x5 6.0659 2.72297 22 22.000

x6 14.6060 6.73264 22 22.000

x7 15.7215 6.64603 22 22.000

x8 8.7895 3.02700 22 22.000

x9 1.5291 1.31496 22 22.000

知道了均值和协方差可利用matlab计算线性判别函数W（x）的判别系数a和判别常数。程序如下：

厦门大学《应用多元统计分析》第04章_判别分析

X1() ,L
,
X( n
)
是来自总体 G
中的样本
（ 1,2, , k ），则 μ （ 1,2, , k ）和 Σ 可估计为
X( ) 1 n
n
Xi( ) ，
i1
1,2, , k
和
Σˆ
n
1
k
k
S
1
，其中 n n1 n2 nk
n
S (Xi( ) X( ) )(Xi( ) X( ) ) ， 1,2, , k i 1
并对测得同样p项指标（变量）数据的一个新样本，能判定这个样本归属于哪一类。
判别分析内容很丰富，方法很多。判断分析按判别的总体数来区分，有两个总体判别分析和多总体判别分析；按区分不同总体所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出问题，因此有不同的判别准则，如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍常用的几种判别分析方法：距离判别法、Fisher判别法、Bayes判别法和逐步判别法。
X
G1,
X G2 ,
如果如果
Wˆ (X) 0 Wˆ (X) 0
（4.7）
这里我们应该注意到：