fisher判别分析数据
医学统计学Fisher 判别分析估测新生儿
讨论
• 众所周知,HIE 的预后是各种因素交织在一 起共同决定的,单一指标估测价值有限。 • 本文采取多种因素统筹考虑,既避免了单一 因素敏感性和特异性高低不一的影响,又兼 顾了各因素对预后估计的优势,因而具有较 高的准确性。 • 作者建议对Z 值> 77 的患儿应密切随 • 访,发现异常,早期干预以减轻致残程度.
将A ,B 两组病人的上述指标进行计算分析,按 Fisher 判别原理建立判别函数式如下: Z = - 6. 64X1 + 4. 57X2 + 2. 95X3 + 36. 53X4 +4. 09X5 求得判别值: ZO = 77 以Z 值> 77 判为预后不良, ≤77 判为预后良好.
Z 值估测HIE 患儿预后的价值
Fisher 判别分析估测新生儿 缺氧缺血性脑病的预后
中国当代儿科杂志 Chin J Contemp Pediatr 2004年
•
目的 制定定量估测新生儿缺氧缺血性脑 病(HIE) 预后的指标, 以较精确估测HIE 的 预后,并为早期干预治疗提供依据.
• 方法与研究对象 • 分析1993 年1 月至1997 年6 月由HIE 致 残及致死患儿的临床资料(A组,32例),并和 同期收治的非残儿进行对比(B组,76例)。按 Fisher 判别原理,建立判别方程式,求得判别 值,提出了估测HIE 预后的新指标。 • 并于1997 年8 月至2000 年4月对45 例患儿 (C组)进行了实际应用,经随访该预测结果.
费歇尔判别法
费歇尔判别法费歇尔判别法（Fisher's Discriminant Analysis）是一种统计学中的方法，用于寻找两个或多个分类变量中最能有效区分它们的线性组合。
这种方法最初是由英国统计学家罗纳德·费歇尔（Ronald A. Fisher）在1936年所提出。
费歇尔判别法的目标是通过将数据投影到低维空间来确定样本类别之间最明显的分离平面。
这个方法假设所有数据员来自正态分布，这使得它的结果具有很高的概率。
此外，这种方法特别适用于小样本数据，在这种情况下，其它多变量方法往往受到数据不足或对角线矩阵估计的影响。
费歇尔判别法通过将多维数据投影到一维空间上，找到最能表示数据差异的线性变量。
具体步骤如下：1. 定义问题在进行费歇尔判别分析之前，首先需要定义问题。
这个问题可以是不同的变量之间的分类问题，或者是同一变量在不同条件下的分类问题。
例如，可以通过费歇尔判别分析找到两个组的区别，这两个组的特征可以用来预测其他类似两个组。
2. 构造分类变量在对数据进行投影之前，需要将分类变量定义为正态分布。
这种变量通常为两个或更多个。
3. 计算均值和方差计算每个分类变量的均值和方差，以用于后面的投影计算。
4. 计算类内离散度矩阵类内离散度矩阵是指每个类别内所有点与该类别均值之间的距离的累加和。
这个矩阵用来衡量类的内部分散程度，通常使用矩阵的矩阵乘法来进行计算。
5. 计算类间离散度矩阵类间离散度矩阵是指不同类别均值之间的距离的累加和。
这个矩阵用来衡量类别之间的分散程度，也通常使用矩阵的矩阵乘法来进行计算。
6. 计算特征值和特征向量计算类内离散度矩阵和类间离散度矩阵的特征值和特— 1 —征向量。
这些值可以使用线性代数中的方法计算。
一般来说，特征向量是正交（perpendicular）的。
7. 选取最大特征值从计算出的特征值中找到最大特征值，找到最大特征值所对应的特征向量。
这个特征向量就是数据的主要方向，也被称为“判别变量”。
基于fisher判别技术的不平衡数据分类算法分析
Abstractlinear discriminant(KFLD). A Weighted KFLD(WKFLD) method proposed newly try to reduce the effect raised by imbalance of samples and improve the classification performance. The results show that this approach is effective and feasible.(3)Propose an ensemble method which is based on different sampling proportions. This method does several under-samplings according to different proportions, and uses them to test on the orient data sets. We assign a high weight to those classifications which have a good performance; the other classifications with a poor performance will be assigned with a low weight. In the end, we do a weighted linear combination to these classifications.Key words: Imbalanced data; Over-sampling; Under-sampling; Cost-sensitive; One classifier; Feature Selection; Subspace;学位论文独创性声明本人郑重声明：1、坚持以“求实、创新”的科学精神从事研究工作。
Fisher判别法
������1 ������ (1) + ������2 ������ (2) = 10.89718 ������1 + ������2
(3) 判别准则 因为：������ 1 > ������ 2 所以判别准则为：当 y>y0 时，判X ∈ ������1 当 y<������0 时，判X ∈ ������2 当 y=������0 时，待判 (4) 对已知类别的样品判别归类 序号 1 2 3 4 5 6 7 8 9 10 国家 美国 日本 瑞士 阿根廷 阿联酋 保加利亚 古巴 巴拉圭 格鲁吉亚 南非 判别函数 y 的值 12.22 12.48 12.38 11.75 12.00 10.59 10.01 9.55 8.60 9.40 原类号 1 1 1 1 1 2 2 2 2 2 判别归类 1 1 1 1 1 2 2 2 2 2
判别结果与实际情况吻合。
(1) 建立判别函数 ������1 ������1 0.081341 ������2 = ������ −1 ������2 = 0.001664 ������3 ������3 0.001092 所以判别函数为：
y=预期生命 * 0.081341182 + 0.001664436 * 识字率 + 0.001092273 * 人均gdp.
344.228
-252.240
Covariance N 人均 gdp Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
14.006 5 .654 .231
86.057 5 -.119 .848
-63.060 5 1
发达国家
数据挖掘——Fisher判别课件
组A
A A ( x11 , x12 ,, x1Ap ) A A A ( x 21 , x 22 ,, x 2 p ) A A ( x sA , x , , x ) 1 s 2 sp
组B
B B B ( x11 , x12 ,, x1 p ) B B B ( x , x , , x ) 21 22 2p B B ( x tB , x , , x ) 1 t 2 tp
9 8.29 7 8.29 10 8.29 A 8 8.29 9 8.29 8 8.29 7 8.29 8 6.43 7 6.00 6 6.43 6 6.00 7 6.43 8 6.00 4 6.43 5 6.00 9 6.43 3 6.00 6 6.43 7 6.00 5 6.43 6 6.00
x2
X X X
X X X X o o o X X
X X X X o o o o o o
？
o o o o o o o
若我们能找到分界直线 C0+c1x1+c2x2=0 则可用其进行预测。即判断（价格， 收入）点落在什么区域。
x1
判别分析的基本思想
假设有p个预测因子
x1, x2 ,, x p
,有n组观测值，
A B c x x 1 0.128 1 1 c S 1 x A x B 0.072 2 2 2 A B 0.099 c x x 3 3 3
判别分析公式Fisher线性判别二次判别
判别分析公式Fisher线性判别二次判别判别分析是一种常用的数据分析方法，用于根据已知的类别信息，将样本数据划分到不同的类别中。
Fisher线性判别和二次判别是两种常见的判别分析方法，在实际应用中具有广泛的应用价值。
一、Fisher线性判别Fisher线性判别是一种基于线性变换的判别分析方法，该方法通过寻找一个合适的投影方向，将样本数据投影到一条直线上，在保持类别间离散度最大和类别内离散度最小的原则下实现判别。
其判别函数的计算公式如下：Fisher(x) = W^T * x其中，Fisher(x)表示Fisher判别函数，W表示投影方向的权重向量，x表示样本数据。
具体来说，Fisher线性判别的步骤如下：1. 计算类别内离散度矩阵Sw和类别间离散度矩阵Sb；2. 计算Fisher准则函数J(W)，即J(W) = W^T * Sb * W / (W^T * Sw * W)；3. 求解Fisher准则函数的最大值对应的投影方向W；4. 将样本数据投影到求得的最优投影方向上。
二、二次判别二次判别是基于高斯分布的判别分析方法，将样本数据当作高斯分布的观测值，通过估计每个类别的均值向量和协方差矩阵，计算样本数据属于每个类别的概率，并根据概率大小进行判别。
二次判别的判别函数的计算公式如下：Quadratic(x) = log(P(Ck)) - 0.5 * (x - μk)^T * Σk^-1 * (x - μk)其中，Quadratic(x)表示二次判别函数，P(Ck)表示类别Ck的先验概率，x表示样本数据，μk表示类别Ck的均值向量，Σk表示类别Ck的协方差矩阵。
具体来说，二次判别的步骤如下：1. 估计每个类别的均值向量μk和协方差矩阵Σk；2. 计算每个类别的先验概率P(Ck)；3. 计算判别函数Quadratic(x)；4. 将样本数据划分到概率最大的类别中。
判别分析公式Fisher线性判别和二次判别是常见的判别分析方法，它们通过对样本数据的投影或概率计算，实现对样本数据的判别。
Fisher线性判别分析实验报告
Fisher 线性判别分析实验报告一、摘要Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有性质：同类样本尽可能聚集在一起，不同类样本尽可能地远。
Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向w 和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。
二、算法的基本原理及流程图1 基本原理 （1） W 的确定各类样本均值向量 mi样本类内离散度矩阵iS 和总类内离散度矩阵wS12wS S S =+样本类间离散度矩阵bS在投影后的一维空间中，各类样本均值 T i i m '= W m样本类内离散度和总类内离散度 T T i i w w S ' = W S W S ' = W S W样本类间离散度 T b b S ' = W S WFisher 准则函数满足两个性质：投影后，各类样本内部尽可能密集，即总类内离散度越小越好。
T x S (x m)(x m ), 1,2iiii X i ∈=--=∑T 1212S (m m )(m m )b =--投影后，各类样本尽可能离得远，即样本类间离散度越大越好。
根据这个性质确定准则函数，根据使准则函数取得最大值，可求出w -1W = S(m - m)w12（2）阈值的确定实验中采取的方法：y = (m' + m') / 2012（3） Fisher线性判别的决策规则对于某一个未知类别的样本向量 x，如果y = W T x >y0, 则x∈w1否则x∈w22流程图方差标准化 （归一化处理）一个样本集中，某一个特征的均值与方差为：归一化：1 男女同学身高体重，训练数据和测试数据都是50当采用StudentData1作为训练数据，StudnetData2作为测试数据时当采用StudnetData2作为训练数据，StudentData2作为测试数据时2IonoSphere数据考虑到第一组数据训练数据多，下面的实验以第一组数据的训练数据作为训练数据，分别用其他组的测试数据进行测试从实验结果看，Fisher线性判别用于两类的判别决策时，拥有不错的效果，并且当有足量的训练数据时，效果更好。
判别分析(2)费希尔判别
两总体的Fisher判别法 判别法 两总体的
其中， 其中，S 即
jl
= ∑ ( x Aij − x Aj )( x Ail − x Al ) + ∑ ( x Bij − x Bj )( x Bil − x Bl )
i =1 i =1
na
nb
F = ∑ ∑ c j c l s jl
j =1 l =1
Fisher判别 判别
内容：
1、建立判别准则； 2、建立判别函数 3、回代样本； 4、估计回代的错误率； 5、判别新的样本。
Fisher判别 判别
y 是线性函数， 由于 ( X ) 是线性函数，一般可将 y( X )表示为
（4.2） ） 对于线性函数 y( X ) ，它的几何表示就是空间中 的一条直线或平面，或超平面， 的一条直线或平面，或超平面，如果我们把两 B 看成空间的两个点集， 总体 A、 看成空间的两个点集，该平面所起的 B 分开， 作用就是尽可能将空间两个点集 A 、 分开，如 所示。 图4.1所示。 所示
Fisher判别 判别
Fisher判别 判别
Fisher判别 判别
费希尔判别的基本思想是投影（或降维）
Fisher方法是要找到一个(或一组)投 影轴w使得样本投影到该空间后能 在保证方差最小的情况下，将不同 类的样本很好的分开。并将度量类 别均值之间差别的量称为类间方差 (或类间散布矩阵);而度量这些均值 周围方差的量称为类内方差(或类内 散布矩阵)。Fisher判决的目标就是: 寻找一个或一组投影轴，能够在最 小化类内散布的同时最大化类间布。
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
max I = max ( ya − yb )
Fisher判别分析
Fisher判别分析对案例中小企业的破产模型做Fisher判别分析江义114113001059一问题：对企业的运行状态利用Fisher判别进行分类选取四个经济指标用于判断企业处于破产状态还是正常运行状态，具体数据如下，其中类别1表示破产状态，类别2表示正常运行状态X1总负债率X2收益率指标X3短期支付能力X4生产效率指标类别-0.45 -0.41 1.09 0.45 1 -0.56 -0.31 1.51 0.16 10.06 0.02 1.01 0.4 1-0.07 -0.09 1.45 0.26 10.38 0.11 3.27 0.55 20.19 0.05 2.25 0.33 20.32 0.07 4.24 0.63 20.04 0.01 1.5 0.71 2-0.06 -0.06 1.37 0.4 10.07 -0.01 1.37 0.34 2-0.13 -0.14 1.42 0.44 10.15 0.06 2.23 0.56 20.16 0.05 2.31 0.2 20.29 0.06 1.84 0.38 带测定0.54 0.11 2.33 0.48 带测定二、程序如下：（R语言）> data=read.table("E:/bac/qiye.txt",header=T)> data1=c(rep(1,6),rep(2,7))> data2=as.factor(data1)> data$class=data2> attach(data)> names(data)[1] "X1" "X2" "X3" "X4" "class"> library(MASS)> data.lda=lda(class~X1+X2+X3+X4)> data.ldaCall:lda(class ~ X1 + X2 + X3 + X4)Prior probabilities of groups:1 20.4615385 0.5384615Group means:X1 X2 X3 X41 -0.07500000 -0.105000000 1.763333 0.35833332 0.07857143 -0.002857143 2.062857 0.4685714Coefficients of linear discriminants:LD1X1 -7.9358690X2 15.8747840X3 0.1653748X4 5.0408074>newdata=data.frame(X1=c(0.29,0.54),X2=c(0.06,0.11),X3=c(1.84, 2.33),X4=c(0.38,0.48))> predict(data.lda,newdata=newdata)三、运行结果$class[1] 1 1Levels: 1 2$posterior1 21 0.6249180 0.37508202 0.7540681 0.2459319$xLD11 -0.69812362 -1.3032372四、$class显示，最后两组数据均属于第一类别，如下表：X1 X2 X3 X4 类别0.29 0.06 1.84 0.38 10.54 0.11 2.33 0.48 1四、总结判别分析是多元统计分析中较为成熟的一种分类方法，根据已知类别的若干样本数据，总结出客观事物分类的规律性。
FISHER判别
判别分析——Fisher判别Fisher判别和CANDISC过程（典型判别过程）简介应用举例：例5.3.2：对表5.2中的胃癌检验的生化指标值用FISHER判别的方法进行判别归类。
先调用CANDISC（典型判别）过程求出2个典型变量，然后再使用DISCRIM过程对15个观测进行判别归类。
SAS程序如下：data d522;input group x1-x4 @@;cards;1 228 134 20 11 1 245 134 10 401 200 167 12 27 1 170 150 7 81 100 167 20 142 225 125 7 142 130 100 6 12 2 150 117 7 62 120 133 10 26 2 160 100 5 103 185 115 5 19 3 170 125 6 43 165 142 5 3 3 135 108 2 123 100 117 7 2;proc candisc data=d522 out=can532 ncan=2 distance;class group; var x1-x4;run;proc gplot data=can532;plot can2*can1 = group;run;proc discrim data=can532 distance list;class group; var can1 can2;run;proc discrim data=can532 pool=no distance list;class group; var can1 can2;run程序解释说明：（1）proc candisc调用candisc（典型判别）分析过程，“out=can532”定义一个输出数据集 can532，包括输入数据集及典型变量。
（2）“ncan=2”要求系统仅计算2个典型变量（典型变量的个数不能超过变量个数和分类个数减1的最小值）；（3）Gplot过程要求绘制两个典型变量的散点图，以便了解分类情况；（4）第三、四个过程以典型变量can1 can2为变量建立判别函数。
R语言中Fisher判别的使用方法
R语⾔中Fisher判别的使⽤⽅法最近编写了Fisher判别的相关代码时，需要与已有软件⽐照结果以确定⾃⼰代码的正确性，于是找到了安装⽅便且免费的R。
这⾥把R中进⾏Fisher判别的⽅法记录下来。
1. 判别分析与Fisher判别不严谨但是通俗的说法，判别分析（Discriminant Analysis）是⼀种多元（多个变量）统计分析⽅法，它根据样本的多个已知变量的值对样本进⾏分类的⽅法。
⼀般来说，判别分析由两个阶段构成——学习（训练）和判别。
在学习阶段，给定⼀批已经被分类好的样本，根据它们的分类情况和样本的多个变量的值来学习（训练）得到⼀种判别⽅法；在判别阶段⽤前⼀阶段得到的判别⽅法对其他样本进⾏判别。
Fisher判别（Fisher Discrimination Method）⼜被称为线性判别（LDA，Linear Discriminative Analysis），是判别分析的⼀种，历史可以追溯到1936年。
它的核⼼思想是将多维数据（多个变量）投影（使⽤线性运算）到⼀维（单⼀变量）上，然后通过给定阈值将样本根据投影后的单⼀变量进⾏分类。
Fisher判别的学习（训练）阶段，就是找到合适的投影⽅式，使得对于已经被分类好的样本，同⼀类的样本被投影后尽量扎堆。
学习阶段的结果是找到⼀系列的系数（Coeffcient），构成形如y=a1 * x1 + a2 * x2 + a3 * x3 + ... + an * xn其中：a1，a2，... an是系数，x1，x2，... ，xn是变量值。
的判别式和阈值。
⽽判别阶段可以根据这个判别式计算出y，并根据阈值将样本进⾏分类。
2. 在R中使⽤Fisher判别R中使⽤Fisher判别说起来很简单，但是我当初也放狗搜索了不短的时间才搞明⽩如何使⽤。
⾸先，它在R⾥不叫Fisher，⽤Fisher搜索多半误⼊歧途。
在R中，它叫LDA（Linear Discriminative Analysis）。
fisher判别法
fisher判别法Fisher判别分析的基本思想：选取适当的投影方向，将样本数据进行投影，使得投影后各样本点尽可能分离开来，即：使得投影后各样本类内离差平方和尽可能小，而使各样本类间的离差平方和尽可能大。
为了克服“维数灾难”，人们将高维数据投影到低维空间上来，并保持必要的特征，这样，一方面数据点变得比较密集一些，另一方面，可以在低维空间上进行研究。
fisher判别法是判别分析的方法之一，它是借助于方差分析的思想，利用已知各总体抽取的样品的p维观察值构造一个或多个线性判别函数y=l′x其中l= (l1，l2…lp)′，x= (x1，x2，…，xp)′，使不同总体之间的离差(记为B)尽可能地大，而同一总体内的离差(记为E)尽可能地小来确定判别系数l=(l1，l2…lp)′。
数学上证明判别系数l恰好是|B-λE|=0的特征根，记为λ1≥λ2≥…≥λr>0。
所对应的特征向量记为l1，l2，…lr，则可写出多个相应的线性判别函数，在有些问题中，仅用一个λ1对应的特征向量l1所构成线性判别函数y1=l′1x不能很好区分各个总体时，可取λ2对应的特征向量l′2建立第二个线性判别函数y2=l′2x，如还不够，依此类推。
有了判别函数，再人为规定一个分类原则(有加权法和不加权法等)就可对新样品x判别所属。
Fisher判别法是根据方差分析的思想建立起来的一种能较好区分各个总体的线性判别法，由Fisher在1936年提出。
该判别方法对总体的分布不做任何要求。
Fisher判别法是一种投影方法，把高维空间的点向低维空间投影。
在原来的坐标系下，可能很难把样品分开，而投影后可能区别明显。
一般说，可以先投影到一维空间(直线)上，如果效果不理想，在投影到另一条直线上(从而构成二维空间)，依此类推。
每个投影可以建立一个判别函数。
Fisher判别
Fisher判别理论，编程步骤和优缺点1.理论判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。
然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。
判别分析是一种应用性很强的统计数据分析方法。
Fisher判别（1）借助方差分析的思想构造一个线性判别函数：（2）确定判别函数系数时要求使得总体之间区别最大，而使每个总体内部的离差最小。
（3）从几何的角度看，判别函数就是p维向量X在某种方向上的投影。
使得变换后的数据同类别的点“尽可能聚在一起”，不同类别的点“尽可能分离”，以此达到分类的目的。
两类Fisher判别示意图（1）如果有多个类别， Fisher 判别可能需要两个或者更多的判别函数才能完成分类。
（2）一般来说判别函数的个数等于分类的个数减一。
（3）得到判别函数后，计算待判样品的判别函数值，根据判别函数的值计算待判样品到各类的重心的距离，从而完成分类。
2.编程步骤① 把来自两类21/w w 的训练样本集X 分成1w 和2w 两个子集1X 和2X 。
G1 G2X② 由∑∈=i k X x k ii x n M 1，2,1=i ，计算i M 。
③ 由T i X x k i k i M x M x S ik ))((--=∑=计算各类的类内离散度矩阵i S ，2,1=i 。
④ 计算类内总离散度矩阵21S S S w +=。
⑤ 计算w S 的逆矩阵1-w S 。
⑥ 由)(211*M M S w w -=-求解*w 。
3.优点（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后的样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离竟可能的远，同一类别的尽可能的集中分布。
（2）Fisher 方法可以直接求解法向量。
（3）Fisher 的线性判别不仅适用于确定性的模式分类器的训练，而且对于随机的模机也是适用的，Fisher 还可以推广到多类问题中去。
fisher得分法
fisher得分法
Fisher得分法又称为Fisher线性判别分析法，是一种用于多元分类和数据降维的统计分析方法。
它是由英国统计学家R.A. Fisher于1936年提出的，用于解决二分类问题和多分类问题。
Fisher得分法的核心思想是要找到一个投影方向，使得经过此方向投影后，不同类别之间的距离尽量大，同类之间的距离尽量小。
这个方向可以用一个向量表示，称为Fisher判别向量或Fisher判别式。
Fisher得分法的具体步骤如下：
1. 计算每个类别的均值向量和协方差矩阵；
2. 计算总体的均值向量和总体协方差矩阵；
3. 求出Fisher判别向量，使得通过该向量进行投影后，不同类别之间的距离尽量大，同类之间的距离尽量小；
4. 根据Fisher判别向量，将样本进行投影，得到一维数据；
5. 根据投影得到的一维数据，进行分类。
在实际应用中，Fisher得分法经常被用于图像识别、模式识别、信号处理、数据降维等领域。
它的优点是能够最大程度地保留原始数据的信息，同时可以实现较好的分类效果。
但是，在统计样本数量较少时，Fisher得分法的效果可能会受到限制。
fisher判别法
1实验1 Fisher 线性判别实验一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，实际上涉及维数压缩。
如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。
问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。
在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。
如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。
这个投影变换就是我们寻求的解向量*w本实验通过编制程序体会Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握Fisher 线性判别问题的实质。
二、实验原理1．线性投影与Fisher 准则函数各类在d 维特征空间里的样本均值向量：∑∈=ik X x kii xn M 1，2,1=i (4.5-2)通过变换w 映射到一维特征空间后，各类的平均值为：∑∈=ik Y y kii yn m 1，2,1=i (4.5-3)映射后，各类样本“类内离散度”定义为：22()k ii k i y Y S y m ∈=-∑，2,1=i (4.5-4)显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。
因此，定义Fisher 准则函数：2122212||()F m m J w s s -=+ (4.5-5) 使F J 最大的解*w 就是最佳解向量，也就是Fisher 的线性判别式。
2．求解*w从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。
2已知：∑∈=ik Y y ki i yn m 1，2,1=i , 依次代入(4.5-1)和(4.5-2)，有：i TX x kiT k X x T ii M wx n w x w n m ik ik ===∑∑∈∈)1(1，2,1=i (4.5-6)所以：221221221||)(||||||||M M w M w M w m m TTT-=-=-w S w w M M M M w b T T T =--=))((2121 (4.5-7) 其中：T b M M M M S ))((2121--= (4.5-8)b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。
Fisher线性判别分析
Fisher线性判别分析
Fisher线性判别分析
1、概述
在使⽤统计⽅法处理模式识别问题时，往往是在低维空间展开研究，然⽽实际中数据往往是⾼维的，基于统计的⽅法往往很难求解，因此降维成了解决问题的突破⼝。
假设数据存在于d维空间中，在数学上，通过投影使数据映射到⼀条直线上，即维度从d维变为1维，这是容易实现的，但是即使数据在d维空间按集群形式紧凑分布，在某些1维空间上也会难以区分，为了使得数据在1维空间也变得容易区分，需要找到适当的直线⽅向，使数据映射在该直线上，各类样本集群交互较少。
如何找到这条直线，或者说如何找到该直线⽅向，这是Fisher线性判别需要解决的问题。
2、从d维空间变换到1维空间
3、介绍⼏个基本的参量
A. 在d维原始空间
B. 在1维映射空间
4、Fisher准则函数
5、学习算法推导
6、决策分类。
Fisher判别
两类Fisher判别示意图
Y
G1
G2
L=b111 x1 l12 x 2 l1m x m y l x l x l x L1 1 L2 2 Lm m L
将原来m个变量综合成L个新变量
Fisher判别法
Fisher判别法(先进行投影)
• 所谓Fisher判别法，就是一种先投影的方法。 • 考虑只有两个（预测）变量的判别分析问题。 • 假定这里只有两类。数据中的每个观测值是二维空间的 一个点。见图（下一张幻灯片）。 • 这里只有两种已知类型的训练样本。其中一类有38个 点（用“o”表示），另一类有44个点（用“*”表示）。 按照原来的变量（横坐标和纵坐标），很难将这两种点 分开。 • 于是就寻找一个方向，也就是图上的虚线方向，沿着这 个方向朝和这个虚线垂直的一条直线进行投影会使得这 两类分得最清楚。可以看出，如果向其他方向投影，判 别效果不会比这个好。 • 有了投影之后，再用前面讲到的距离远近的方法来得到 判别准则。这种首先进行投影的判别方法就是Fisher判 别法。
fisher判别原理
fisher判别原理Fisher判别原理引言：Fisher判别原理是一种经典的模式分类方法，它基于统计学原理，通过对样本数据的分析，将数据投影到一条直线上，使得同类样本的投影点尽可能地紧密，不同类别的样本的投影点尽可能地分散。
本文将对Fisher判别原理进行详细介绍，并探讨其在实际应用中的优缺点。
一、Fisher判别原理的基本思想Fisher判别原理由英国统计学家R.A. Fisher在20世纪30年代提出。
它的基本思想是找到一个投影方向，使得同类样本的投影点尽可能地接近，不同类别的样本的投影点尽可能地远离。
具体来说，假设有两类样本，每个样本有n个特征，我们可以将每个样本表示为一个n维向量。
Fisher判别原理的目标是找到一个n维向量w，使得同类样本在w的投影上的方差尽可能小，不同类样本在w的投影上的方差尽可能大。
二、Fisher判别准则函数的推导为了找到最佳的投影方向w，可以定义Fisher判别准则函数J(w)，该函数的表达式为同类样本投影点方差的倒数与不同类样本投影点方差之和的比值。
推导过程中，需要计算样本的均值和协方差矩阵，并利用最大化准则函数的方法求解最优方向w。
最终的解析解为特征值问题，求解该问题可以得到最佳的投影方向w。
三、Fisher判别原理的优缺点Fisher判别原理作为一种经典的模式分类方法，具有以下优点：1. Fisher判别原理能够有效地降低数据维度。
通过将n维样本数据投影到一维或低维空间，可以减少特征维度，提高计算效率。
2. Fisher判别原理对于噪声数据具有一定的鲁棒性。
由于Fisher判别准则函数考虑了类内方差和类间方差的比值，因此可以减少噪声对分类结果的影响。
然而，Fisher判别原理也存在一些缺点：1. Fisher判别原理假设样本数据满足高斯分布，如果样本不满足高斯分布，可能会导致分类效果下降。
2. Fisher判别原理只考虑了样本的线性投影，对于非线性分类问题效果有限。
Fisher判别分析
机器学习笔记-----Fisher 判别式本文申明：本系列文章为本人原创，如有转载请注明文章原地址。
今天我们机器学习老师在说到周志华老师的《机器学习》这本书的时候，p60页讲到了LDA ，但是其中的公式推导省略了很多，现在我来补充一下。
一：LDA 的思想给定两个数据集一个是XX 一个是OO ，然后我们把XXOO 投影到一条直线上，但是啊，这个人是很坏的，人家XXOO 本来想分配到一起，但是你非要让人家两类离得越远越好，相同的呢离得越近越好，美其名：异性只是繁衍，同性才是真爱。
哎，你说这不是泯灭人性么，好吧，我们先不扯蛋了。
说正题：1.1首先我们定义m i ,它表示这个i 类样本d 维空间的均值。
也就是这个分别代表类xx 和oo 。
m i 表示如下。
1i x i m X n δ∈=∑那么我们既然知道了这个，我们是不是也要找一个投影到这条直线上的代表点啊，所以就有了：*11T T i i y i y i m y w X W m n n γγ∈∈===∑∑那么现在我们就可以知道两个分类之间的距离了：**1211||||||()||T m m W m m -=-从上述式子我们可以看出，改变直线的斜率，也就是方向，可以改变两者之间的大小。
刚刚我们说了我们的准则就是让类内之间的距离最小，这是不是有点像我们之前的指示函数，那么如下图公式：*2*2()i i y i s y m γ∈=-∑我们前面已经说过，这是一个二分类问题，现在已经给了一般形式的离散度（我们叫他离散度，其实就是真实值与预测值（这里用平方表示预测值）的平方），那我们是不是要把这个两个离散度相加，然后让这个达到最小？总得离散度为：*2*212all s s s =+为了让类内的距离越小，类间的距离越大，我给出下面的判别式。
你们看，能不能满足。
**211*2*211||||()m m J W s s -=+，现在只要让J(W)达到极大，是不是就可以让我们前面说的两个要求满足？那就让我们来求出J(W)的极大值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
广东
23.68
173.30
17.43
43.59
53.66
16.86
65.02
385.94
2
西藏
29.67
146.90
64.51
54.36
86.10
14.77
32.19
193.10
2
20
海南
16.16
139.92
12.98
23.58
24.87
10.76
32.35
144.21
2
21
重庆
18.18
120.39
26.18
37.94
68.16
11.64
38.48
246.37
2
22
四川
18.53
109.95
21.49
33.04
50.98
10.88
33.96
183.85
2
23
贵州
18.33
例：2005年全国城镇居民月平均消费状况克划分为两类，分类后的数据见表1。试建立Fisher线性判别函数，并将广东、西藏两个待判省区归类。
表1
x1人均粮食支出（元/人）x5人均衣着支出（元/人）
x2人均副食支出（元/人）x6人均日用杂品支出（元/人）
x3人均烟、酒、饮料支出（元/人）x7人均水电燃料支出（元/人）
38.14
155.45
2
17
湖北
18.76
102.67
21.87
30.47
64.33
11.99
42.14
168.17
2
18
湖南
20.25
104.45
20.72
38.15
62.98
12.67
39.16
213.56
2
19
广西
18.7
131.35
11.69
32.06
41.54
10.84
42.77
178.51
9.65
35.26
170.12
2
27
青海
20.33
75.64
20.88
33.85
53.81
10.06
32.82
171.32
2
28
宁夏
19.75
70.24
18.67
36.71
61.75
10.08
40.26
165.22
2
29
新疆
21.03
78.55
14.35
34.33
64.98
9.83
33.87
161.67
92.43
25.38
32.19
56.32
14
38.57
144.82
2
24
云南
22.3
99.08
33.36
32.01
52.06
7.04
32.85
190.04
2
25
陕西
20.03
70.75
.55
38.2
189.41
2
26
甘肃
18.68
72.74
23.72
38.69
62.41
40.53
57.13
12.6
54.03
225.08
2
14
江西
18.75
104.68
15.55
35.61
51.8
11.18
36.27
142.72
2
15
山东
18.27
88.34
19.07
43.19
72.97
12.59
42.16
200.18
2
16
河南
19.07
73.18
18.01
29.38
64.51
8.91
x4人均其他副食支出（元/人）x8人均其他非商品支出（元/人）
序号
地区
x1
x2
x3
x4
x5
x6
x7
x8
Group
1
北京
21.3
124.89
35.43
73.98
93.01
20.58
43.97
433.73
1
2
上海
21.13
168.69
40.81
70.12
74.32
15.46
50.9
422.74
1
3
浙江
19.96
8.19
34.97
177.45
2
7
内蒙古
21.37
67.08
20.28
35.27
81.07
10.94
39.46
182.2
2
8
辽宁
22.74
115.88
28.21
42.44
58.07
9.63
48.65
194.85
2
9
吉林
20.22
88.94
18.54
35.63
65.72
8.81
50.29
186.52
2
142.24
43.33
50.74
101.77
12.92
53.44
394.55
1
4
天津
21.5
122.39
29.08
51.64
55.04
11.3
54.88
288.13
2
5
河北
18.25
90.21
24.45
32.44
62.48
7.45
47.5
178.84
2
6
山西
21.84
66.38
18.05
31.32
74.48
10
黑龙江
21.33
75.5
14
29.56
69.29
8.24
42.08
165.9
2
11
江苏
18.61
122.51
27.07
42.5
63.47
15.38
36.14
240.92
2
12
安徽
19.61
107.13
32.85
35.77
61.34
7.53
34.6
142.23
2
13
福建
25.56
171.65
22.3