Fisher判别法
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
Fisher判别法课程设计
Fisher判别法课程设计一、教学目标本节课的教学目标是使学生掌握Fisher判别法的基本原理和应用方法。
知识目标包括：了解Fisher判别法的数学背景和原理，掌握Fisher判别函数的推导过程，理解Fisher判别法的应用场景。
技能目标包括：能够运用Fisher判别法解决实际问题，能够使用相关软件进行Fisher判别法的计算和分析。
情感态度价值观目标包括：培养学生的数据分析能力和科学思维，激发学生对统计学的兴趣和热情。
二、教学内容本节课的教学内容主要包括Fisher判别法的原理和应用。
首先，介绍Fisher判别法的基本概念和数学背景，解释判别函数的推导过程。
然后，通过实例分析，展示Fisher判别法在实际问题中的应用，如分类问题和判别分析。
最后，结合教材和课外资料，进行深入学习，探讨Fisher判别法的优缺点和适用条件。
三、教学方法为了达到本节课的教学目标，将采用多种教学方法相结合的方式进行教学。
首先，采用讲授法，系统地讲解Fisher判别法的原理和推导过程。
其次，通过案例分析法，引导学生运用Fisher判别法解决实际问题，培养学生的应用能力。
此外，还采用讨论法，鼓励学生积极参与课堂讨论，提出问题和观点，培养学生的思考能力和团队合作精神。
最后，利用实验法，让学生亲自动手进行实验，验证Fisher判别法的有效性，提高学生的实践能力。
四、教学资源为了支持本节课的教学内容和教学方法的实施，将准备以下教学资源。
首先，教材和相关参考书籍，为学生提供系统的学习材料。
其次，多媒体资料，如PPT和教学视频，用于辅助讲解和展示Fisher判别法的原理和应用。
此外，实验设备，如计算机和统计软件，用于学生进行实验和实践操作。
最后，网络资源，如学术期刊和在线课程，为学生提供更多的学习参考和拓展资料。
五、教学评估本节课的教学评估将采用多元化的评估方式，以全面、客观地评价学生的学习成果。
评估方式包括平时表现、作业和考试。
fisher判别的基本步骤
Fisher判别是一种基于线性判别分析的分类方法，用于将样本分为不同的类别。
其基本步骤如下：
1. 确定判别变量：首先需要确定用于判别的变量，即用于分类的特征。
2. 计算判别函数：根据样本数据，计算出判别函数，即用于将样本分为不同类别的函数。
3. 确定判别类别：根据判别函数，将样本分为不同的类别。
4. 计算判别准确率：计算分类准确率，即正确分类的样本数与总样本数之比。
5. 优化判别函数：根据判别准确率，调整判别函数，以提高分类准确率。
6. 重复步骤3~5：重复以上步骤，直到达到所需的分类准确率。
在Fisher判别中，判别函数是基于Fisher线性判别的，即对于每个类别，计算出一个线性函数，使得属于该类别的样本与属于其他类别的样本的距离最大化。
这个过程可以通过矩阵运算和求导来实现。
总之，Fisher判别是一种基于线性判别分析的分类方法，其基本步骤包括确定判别变量、计算判别函数、确定判别类别、计算判别准确率、优化判别函数和重复步骤3~5，直到达到所需的分类准确率。
简述fisher判别的基本思想
简述fisher判别的基本思想一、关于fisher判别在零和博弈的环境下，当各自利益都为零时，会做出什么选择？其中，局中人A是指在与B的交易中获得好处的人，而B则指因此而损失的人。
不管从哪一个角度考虑，局中人A都不会自己吃亏，他一定会想办法将自己的损失补偿给对方。
因此，从A到B的行动是单方面的。
为了对这种行动作出客观评价，我们假定： 1、局中人A 获得正收益； 2、局中人B获得负收益。
在这样的背景下，博弈方应该如何评价局中人A的行为？这就需要引入一个分析工具——fisher判别法。
fisher判别方法要求：每个局中人都会选择和自己利益最大化相等的行动，而不管别人如何。
因此，一个局中人的行动仅仅取决于它对另一个局中人所得利益的期望。
因为B的利益和A的利益总是相等的，即B的收益为-0，因此B的行动对A而言无关紧要。
如果局中人A的行动对B来说有很大影响，那么即使B不采取任何行动，也能够保证A自己的利益最大化，那么它也会采取一些行动。
fisher分析是解决寡头垄断的重要手段。
上世纪70年代以前，荷兰的壳牌公司(荷兰皇家石油公司)是唯一一家占有全国市场的企业。
通过在全国建立广泛的销售网络，荷兰皇家石油公司控制了几乎全部的石油产品市场。
为了反击荷兰皇家石油公司对竞争者的排挤，其他公司纷纷效仿荷兰皇家石油公司，设立全国性销售网络，实现地区范围内的联合销售，并在若干个城市设立销售公司。
这样，一个庞大的跨地区石油销售网络就形成了，而原先各企业各自为战的情况也逐渐改变，甚至消失。
荷兰皇家石油公司从独霸市场到“共存共荣”，完全是由于fisher分析技术的发展。
可见， fisher分析方法的实质是：在一个竞争性环境中，博弈各方最优决策问题可表述为：对于各博弈方而言，如何做出各自最优的个人决策？fisher分析主要适用于零和博弈情形。
如果存在多个纳什均衡点，但这些均衡点没有明显的共同点，而是由局中人的个人偏好、资源约束和实际可能达成的结果共同决定的。
典则判别函数和fisher判别函数
典则判别函数和fisher判别函数
典则判别函数和Fisher判别函数是模式分类中常用的两种算法。
它们都是通过选择合适的决策边界来对数据进行分类。
但是它们的实
现方式和应用场景有所不同。
典则判别函数是一种基于贝叶斯分类规则的判别函数。
它将数据
集分为多个类别，并计算每个类别的先验概率。
在观察到新的数据时，典则判别函数将计算各类别的后验概率并选择概率最大的类别作为分
类结果。
这种算法相对简单，但需要事先知道每个类别的先验概率。
Fisher判别函数则是一种基于判别分析的算法，它用于确定分类数据的最佳线性投影。
这个投影可以最大化类别之间的差异性，同时
最小化类别内部的差异性。
因此，Fisher判别函数在处理大量特征或
类别未知时效果更好。
它可以用于二分类和多分类问题，并且可以通
过聚类算法来确定类别数量。
总体而言，典则判别函数是一种简单而直接的方法，而Fisher
判别函数则更适合于处理高维数据和未知类别的情况。
但无论是哪种
算法，在实际应用中都需要根据具体的问题选择合适的算法，并根据
数据集进行调整。
4-3_Fisher判别
整性。
在解决实际问题时，当总体参数未知，需要通过样本来估计，
我们仅对 k2 的情形加以说明。设样本分别为
X(1) 1
,
X(1) 2
,
X(1) n1
和
X(2) 1
,
X(2) 2
,
X(2) n2
，则
X n1X(1) n2X(2) n1 n2
X(1) X n2 (X(1) X(2) ) n1 n2
方法回顾
距离判别法 优点：简单，便于使用。 不足之处：
第一，判别方法与总体各自出现的概率的大小无关； 第二，判别方法与错判之后所造成的损失无关。 Bayes判别法 优点：错判率较小。 不足之处： 需要获取总体的分布及参数值，实现困难。 实际问题中有时也没必要知道其分布。
第四节 费歇（Fisher）判别法
E(uX) E(uX | Gi ) uE(X | Gi ) uμi i ， i 1,2
D(uX) D(uX | Gi ) uD(X | Gi )u uΣiu
2 i
，
i 1,2
在求线性判别函数 时，尽量使得总体之间差异大，也就是要求
uμ1 uμ2 尽可能的大，即 1 2 变大；同时要求每一个总体内
的离差平方和最小，即
2 1
2 2
，则我们可以建立一个目标函数
(u) (1 2 )
2 1
2 2
（4.20）
这样，我们就将问题转化为，寻找 u 使得目标函数 (u) 达到
最大。从而可以构造出所要求的线性判别函数。
2、针对多个总体的情形
假设有 k 个总体 G1, G2 ,, Gk ，其均值和协方差矩阵分别为 μ i
fisher判别函数
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
Fisher判别法距离判别法Bayes判别法逐步判别法
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p( j / i) P( X D j / Gi ) fi ( x)dx i j
P好人 P做好事 / 好人 P好人 P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
P (好人 / 做好事）
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P坏人P做好事 / 坏人 P好人P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。。
目录 上页 下页 返回 结束
7
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
8
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
9
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
10
4.2.2 多总体情况
§4.2
距离判别
1. 协差阵相同。
2018/10/4
目录 上页 下页 返回 结束
fisher判别法
fisher判别法Fisher判别分析的基本思想：选取适当的投影方向，将样本数据进行投影，使得投影后各样本点尽可能分离开来，即：使得投影后各样本类内离差平方和尽可能小，而使各样本类间的离差平方和尽可能大。
为了克服“维数灾难”，人们将高维数据投影到低维空间上来，并保持必要的特征，这样，一方面数据点变得比较密集一些，另一方面，可以在低维空间上进行研究。
fisher判别法是判别分析的方法之一，它是借助于方差分析的思想，利用已知各总体抽取的样品的p维观察值构造一个或多个线性判别函数y=l′x其中l= (l1，l2…lp)′，x= (x1，x2，…，xp)′，使不同总体之间的离差(记为B)尽可能地大，而同一总体内的离差(记为E)尽可能地小来确定判别系数l=(l1，l2…lp)′。
数学上证明判别系数l恰好是|B-λE|=0的特征根，记为λ1≥λ2≥…≥λr>0。
所对应的特征向量记为l1，l2，…lr，则可写出多个相应的线性判别函数，在有些问题中，仅用一个λ1对应的特征向量l1所构成线性判别函数y1=l′1x不能很好区分各个总体时，可取λ2对应的特征向量l′2建立第二个线性判别函数y2=l′2x，如还不够，依此类推。
有了判别函数，再人为规定一个分类原则(有加权法和不加权法等)就可对新样品x判别所属。
Fisher判别法是根据方差分析的思想建立起来的一种能较好区分各个总体的线性判别法，由Fisher在1936年提出。
该判别方法对总体的分布不做任何要求。
Fisher判别法是一种投影方法，把高维空间的点向低维空间投影。
在原来的坐标系下，可能很难把样品分开，而投影后可能区别明显。
一般说，可以先投影到一维空间(直线)上，如果效果不理想，在投影到另一条直线上(从而构成二维空间)，依此类推。
每个投影可以建立一个判别函数。
fisher线性判别
fisher线性判别
fisher 判决⽅式是监督学习，在新样本加⼊之前，已经有了原样本。
原样本是训练集，训练的⽬的是要分类，也就是要找到分类线。
⼀⼑砍成两半！
当样本集确定的时候，分类的关键就在于如何砍下这⼀⼑！
若以⿊⾊的来划分，很明显不合理，以灰⾊的来划分，才是看上去合理的
1.先确定砍的⽅向
关键在于如何找到投影的向量u，与u的长度⽆关。
只看⽅向
找到样本点的中⼼均值m1，m2，以及在向量u上的投影的m1~，m2~。
因为u的⽅向与样本点都有关，所以需要考虑⼀个含有所有样本点的表达式
不妨算出离差阵
算出类内离差矩阵，两个都要求出来，并求和
并且投影的离差阵
根据聚类的理想情况，类内距离⼩，类间距离⼤，所以就⽤类间去处理类内，我们现在的变量是向量u，我们就对u求导，算出max存在的时后u的条件。
为了⽅便化简，引⼊⼀个参数不要以为下⾯除以是向量，（1*2）*（2*2）（2*1）=1 维度变成1，这是⼀个常数。
当求导公式
分⼦为0的时候，推出
所以
⽽且是（1*2）*（2*1）等于1，也是⼀个常数
到此为⽌，u的⽅向已经确定了
2.具体切哪⼀个点。
a，切
切投影均值的终点
2.
切贝叶斯概率的⽐例点
⽅向和具体点均已找到，分析完毕。
fisher得分法
fisher得分法
Fisher得分法又称为Fisher线性判别分析法，是一种用于多元分类和数据降维的统计分析方法。
它是由英国统计学家R.A. Fisher于1936年提出的，用于解决二分类问题和多分类问题。
Fisher得分法的核心思想是要找到一个投影方向，使得经过此方向投影后，不同类别之间的距离尽量大，同类之间的距离尽量小。
这个方向可以用一个向量表示，称为Fisher判别向量或Fisher判别式。
Fisher得分法的具体步骤如下：
1. 计算每个类别的均值向量和协方差矩阵；
2. 计算总体的均值向量和总体协方差矩阵；
3. 求出Fisher判别向量，使得通过该向量进行投影后，不同类别之间的距离尽量大，同类之间的距离尽量小；
4. 根据Fisher判别向量，将样本进行投影，得到一维数据；
5. 根据投影得到的一维数据，进行分类。
在实际应用中，Fisher得分法经常被用于图像识别、模式识别、信号处理、数据降维等领域。
它的优点是能够最大程度地保留原始数据的信息，同时可以实现较好的分类效果。
但是，在统计样本数量较少时，Fisher得分法的效果可能会受到限制。
fisher判别法
1实验1 Fisher 线性判别实验一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，实际上涉及维数压缩。
如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。
问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。
在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。
如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。
这个投影变换就是我们寻求的解向量*w本实验通过编制程序体会Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握Fisher 线性判别问题的实质。
二、实验原理1．线性投影与Fisher 准则函数各类在d 维特征空间里的样本均值向量：∑∈=ik X x kii xn M 1，2,1=i (4.5-2)通过变换w 映射到一维特征空间后，各类的平均值为：∑∈=ik Y y kii yn m 1，2,1=i (4.5-3)映射后，各类样本“类内离散度”定义为：22()k ii k i y Y S y m ∈=-∑，2,1=i (4.5-4)显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。
因此，定义Fisher 准则函数：2122212||()F m m J w s s -=+ (4.5-5) 使F J 最大的解*w 就是最佳解向量，也就是Fisher 的线性判别式。
2．求解*w从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。
2已知：∑∈=ik Y y ki i yn m 1，2,1=i , 依次代入(4.5-1)和(4.5-2)，有：i TX x kiT k X x T ii M wx n w x w n m ik ik ===∑∑∈∈)1(1，2,1=i (4.5-6)所以：221221221||)(||||||||M M w M w M w m m TTT-=-=-w S w w M M M M w b T T T =--=))((2121 (4.5-7) 其中：T b M M M M S ))((2121--= (4.5-8)b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。
fisher判别法
1 实验1 Fisher 线性判别实验一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，实际上涉及维数压缩。
如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。
问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。
在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。
如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。
这个投影变换就是我们寻求的解向量*w本实验通过编制程序体会Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握Fisher 线性判别问题的实质。
二、实验原理1．线性投影与Fisher 准则函数各类在d 维特征空间里的样本均值向量：∑∈=i k X x k i i x n M 1，2,1=i (4.5-2)通过变换w 映射到一维特征空间后，各类的平均值为：∑∈=i k Y y k i i y n m 1，2,1=i (4.5-3)映射后，各类样本“类内离散度”定义为：22()k i i k i y Y S y m ∈=-∑，2,1=i (4.5-4)显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。
因此，定义Fisher 准则函数：2122212||()F m m J w s s -=+ (4.5-5) 使F J 最大的解*w 就是最佳解向量，也就是Fisher 的线性判别式。
2．求解*w从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。
2 已知：∑∈=i k Y y k ii y n m 1，2,1=i , 依次代入(4.5-1)和(4.5-2)，有： i T X x k i T k X x T i i M w x n w x w n m i k i k ===∑∑∈∈)1(1，2,1=i (4.5-6) 所以：221221221||)(||||||||M M w M w M w m m T T T -=-=- w S w w M M M M w b T T T =--=))((2121 (4.5-7) 其中：T b M M M M S ))((2121--= (4.5-8) b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。
FISHER分类器（FISHER
3.5 Fisher分类器（Fisher Linear Discriminant）Fisher判别法是历史上最早提出的分类方法之一，其基本思想是将n类m维数据集尽可能地投影到一个方向（一条直线），使得类与类之间尽可能地分开。
从形式上看，该方法就是一种所谓的降维处理方法。
为简单起见，我们以两类问题ω1和ω2的分类来说明Fisher判别法的原理，如图3.5所示。
设训练集数据阵为X∈R N⨯m，ω1共有N1个样本，ω2共有N2个样本，样本总数N= N1+N2，这两个类别在输入空间的均值向量为图3.5, Fisher判别法几何原理示意图)37.3(11212211⎪⎪⎩⎪⎪⎨⎧∈=∈=∑∑∈∈m p m p R N R N pp ωωx xx μx μ设有一个投影方向()mT m R w w w ∈=,...,,21w ，这两个均值向量在该方向的投影为)38.3(1~1~1222111121⎪⎪⎩⎪⎪⎨⎧∈==∈==∑∑∈∈R N R N pp p T T p T T ϖϖx xx w μw μx w μw μ（3-38）表示的是两个数。
在w方向，两均值之差为())39.3(~~2121μμw μμ -=-=∇T类似地，样本总均值向量在该方向的投影为)40.3(1~11R NNp p T T ∈==∑=x w μw μ定义类间散度（Between-class scatter ）平方和SS B 为()()()()()()()()()[])41.3(~~~~~~222111222211221222211wS w w μμμμμμμμw μw μw μw μw μμμμμμ B T T T T T T T T j j j B N N N N N N N SS =--+--=-+-=-=-+-=∑=其中，类间散度阵为()()()()()())42.3(21222111∑=--=--+--=j T j j j TT B N N N μμμμμμμμμμμμS若将所有样本用所在类别的均值所代表，则类间散度平方和SS B 为这N 个均值到训练集总均值在最佳投影方向上投影之差的平方和。
距离判别法贝叶斯判别法和费歇尔判别法的异同
距离判别法、贝叶斯判别法和费歇尔判别法的异同引言在模式识别领域，判别分析是一种常用的方法，用于将数据样本划分到不同的类别中。
距离判别法、贝叶斯判别法和费歇尔判别法是判别分析中常见的三种方法。
本文将对这三种方法进行比较，探讨它们的异同。
一、距离判别法距离判别法是一种基于距离度量的判别分析方法。
它的基本思想是通过计算样本点与各个类别中心的距离，将样本划分到距离最近的类别中。
常见的距离判别法有欧氏距离判别法和马氏距离判别法。
1. 欧氏距离判别法欧氏距离判别法是一种简单直观的距离判别方法。
它通过计算样本点与各个类别中心之间的欧氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 对于给定的待判样本点，计算其与各个类别中心点的欧氏距离。
3. 将待判样本点划分到距离最近的类别中。
2. 马氏距离判别法马氏距离判别法考虑了各个类别的协方差矩阵，相比于欧氏距离判别法更加准确。
它通过计算样本点与各个类别中心之间的马氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 计算各个类别的协方差矩阵。
3. 对于给定的待判样本点，计算其与各个类别中心点之间的马氏距离。
4. 将待判样本点划分到距离最近的类别中。
二、贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别分析方法。
它的基本思想是通过计算后验概率，将样本划分到具有最高后验概率的类别中。
常见的贝叶斯判别法有贝叶斯最小错误率判别法和贝叶斯线性判别法。
1. 贝叶斯最小错误率判别法贝叶斯最小错误率判别法是一种理论上最优的判别方法。
它通过计算后验概率，将样本划分到具有最高后验概率的类别中。
算法步骤如下： 1. 计算各个类别的先验概率。
2. 计算给定样本点在各个类别下的条件概率。
3. 计算给定样本点在各个类别下的后验概率。
4. 将待判样本点划分到具有最高后验概率的类别中。
简述fisher判别的基本思想
简述fisher判别的基本思想第一章，首先对经典fisher判别做了介绍，然后对经典fisher 判别的基本思想和条件，以及现代fisher判别方法进行了概括总结。
一、形态判别法二、遗传物质的存在形式；三、经典fisher判别方法四、实验判别法，在实验室中，为使两个变量都达到均衡状态，必须让研究者分别接触两种环境：①只包含正常小鼠和失常小鼠的环境；②除小鼠外还加入其它生物的环境。
这样可以避免因选择性压力而导致实验的偏倚，因此为了证明某一基因能否被作为特定基因存在于某一种生物，最好是对两种不同类型的环境分别进行比较。
例如小鼠具有特定的基因，而人没有该基因，则小鼠能生成与人相同类型的细胞，这一结论是不能肯定的。
对此只有在考虑到环境的情况下，在特定条件下观察实验组与对照组细胞中染色体的数目才能得到确定。
一般的经典fisher判别方法，在其所有的方法中，最具代表性的一种就是经典fisher判别方法。
这种方法是最早被提出的，也是使用最多的一种方法，它的基本思想是用小鼠和非小鼠的两组等量的无关动物和人体来比较。
例如在研究黑腹果蝇的性染色体上，基因在小鼠和人之间是相同的还是不同的，或者一个基因是从非小鼠而来，还是另有其他基因的来源等问题时，最适宜用经典fisher方法。
第二章，对经典fisher判别的基本原理和条件进行了阐述。
在实验中应控制所有影响实验结果的因素。
在实验前必须对变量、自变量和因变量做充分的测定。
由于经典fisher方法的假设基本上来自于两个变量，实验过程中可能会发生各种干扰因素，造成实验结果不能重复或实验偏差很大。
所以，为了保证实验结果的准确性，在实验前必须采取措施消除所有干扰因素。
为此在实验前必须明确影响实验的主要因素。
因此可根据变量的影响分为三种： 1、外界因素，这些因素是难以控制的。
例如光照强度、 ph值、试剂的浓度等等。
2、可以控制的因素。
3、受试动物因素，如血型、年龄、性别等。
另外对影响实验的外界因素必须加以控制，减少误差。
贝叶斯判别Fisher判别法
Loa n R e cord N umbe r
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
17
Yrs a t Yrs a t Yrs a t Yrs a t
Monthly Monthly H ome Pre se nt Pre vious Pre se nt Pre vious N o. of
第二节 贝叶斯判别 Fisher判别法
❖ 贝叶斯判别法是通过计算被判样本x属于k个总体的条件概率
P（n/x),n=1,2…..k. 比较k个概率的大小，将样本判归为来自
出现概率最大的总体（或归属于错判概率最小的总体）的判
别方法。
❖一、最大后验概率准则
设有k个总G体1,G2,G3 Gk 率密度为Gi
q1 q2 qk 1
，样本x来自
qi ,i 1G,且2i 总 k,体
的fi ( x概)
Gi 的 先 验Gi概 率 为
满足
P(Gi
x)
qi fi (x)
k
i 1,2 k
．i利1 qi用fi (x贝) 叶斯理论，x属于
的后验概率
x Gl , 若P(Gl
（即当样本x已知时，它属于
x) m1的iaxk 概P(G率i x为) ：
当先验概率相等，
q1
qk
1 k
mi (x) 1 μ(i)Σ μ 1 (i) μ(i)Σ1x 2
完全成为距离判别法 。 判别准则1：后验概率最大 即判断x来自后验概率最大的总体
❖ 例9：下表是某金融机构客户的个人资料，这些资料对一个金融机构来 说，对于客户信用度的了解至关重要，因为利用这些资料，可以挖掘出 许多的信息，建立客户的信用度评价体系。所选变量为： x1: 月收入 x2：月生活费支出 x3：虚拟变量，住房的所有权，自己的为“1”，租用的“0” x4：目前工作的年限 x5：前一个工作的年限 x6：目前住所的年限 x7：前一个住所的年限 X8: 家庭赡养的人口数 X9：信用程度，“5”的信用度最高，“1”的信用度最低。
Fisher判别
Fisher判别准则 一、两个总体
当仅仅有两个总时， B的秩为1，A1B的非零特征值只有一个
记为，对应特征向量记为a, 则线性判别函数为
uX aX
建立了判别函数，还要确定临界值才能给出判别准则。即判别函数的均值为
u 1 aX 1, u 2 aX 2
临界值可取为u 1 u1 u 2 1 aX 1 aX 2
二、多个总体
首先取判别效率最大的1的判别函数u1X a1' X。
K个总体的均值在a1上的投影为u1i a1’X i ,i 1,2,...,k， 对待判别样本X，计算其在a1上的投影，若存在唯一i1, 使
u1
X
u i1 1
Hale Waihona Puke minu1X u1j
ˆ i1
j 1, 2,...,k
X t-X a
aBa
X t和X分别为 Gt t 1,..., k ，的样样本均值和总样 均值，并记
X
1 n
k t 1
nt
X
t j
j 1
组间离差阵 B
k
nt X t-X
X t-X
i 1
k
合并的组内离差平方和为A0
nt
aX
t j
- aXt
2
a
k
nt
nt
X
t j
-
X
t
X
t j
- Xt
a
t1 j1
t1 j1
aAa
因此，若k个总体的均值有显著差异，则比值
aBa ˆ a 应充分大。转化为求该比值的最大值。
Fisher判别
两类Fisher判别示意图
Y
G1
G2
L=b111 x1 l12 x 2 l1m x m y l x l x l x L1 1 L2 2 Lm m L
将原来m个变量综合成L个新变量
Fisher判别法
Fisher判别法(先进行投影)
• 所谓Fisher判别法，就是一种先投影的方法。 • 考虑只有两个（预测）变量的判别分析问题。 • 假定这里只有两类。数据中的每个观测值是二维空间的 一个点。见图（下一张幻灯片）。 • 这里只有两种已知类型的训练样本。其中一类有38个 点（用“o”表示），另一类有44个点（用“*”表示）。 按照原来的变量（横坐标和纵坐标），很难将这两种点 分开。 • 于是就寻找一个方向，也就是图上的虚线方向，沿着这 个方向朝和这个虚线垂直的一条直线进行投影会使得这 两类分得最清楚。可以看出，如果向其他方向投影，判 别效果不会比这个好。 • 有了投影之后，再用前面讲到的距离远近的方法来得到 判别准则。这种首先进行投影的判别方法就是Fisher判 别法。
Fisher判别法
ii)计算判别临界值y0, 然后根据判别准则对 新样品判别分类。
假定所建立的判别函数为
组内离差阵 总体之间样本离差阵
这说明和C恰好是A、E矩阵的广义特征根
及其对应的特征向量，假设其正根的数目为m。
Fisher判别法 （canonical discriminant）
1、两总体Fisher判别法
两类Fisher判别示意图
YG1ຫໍສະໝຸດ G2L=b1X+b2Y
X
假设新建立的判别式为
y c1x1 c2 x2 ....... cp xp
将属于不同两总体的样品观测值带入判别式中去， 则得到
将上边两式分别左右相加，再除以相应的样品个 数，则有
结果来说没有影响。所以取 1 ，于是方程组变为：
有了判别函数之后，欲建立判别准则还要确定判别临界值， 在两总体先验概率相等的假设下，一般取临界值为 y (1) y (2)
的加权平均值即
y0
n1 y (1) n1
n2 y (2) n2
根据 y (1) y (2) 的大小确定判别准则。
两个正态总体等方差情况下的示意图形。
为了使判别函数能够很好的区别来自不同总体 的样品，希望判别式能够满足以下的条件：
综合以上两点，就是要求 越大越好。
由微积分求极值的必要条件（导数为0）可求出使 I 达到最大的值C1,C2…CP，由此就得到满足要求的 判别式。
是常数因子，不依赖于k,它对方程组的解只起到共同扩大
倍的作用，不影响C1,C2…,CP之间的相对比例关系。对判别
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
������1 ������ (1) + ������2 ������ (2) = 10.89718 ������1 + ������2
(3) 判别准则 因为：������ 1 > ������ 2 所以判别准则为：当 y>y0 时，判X ∈ ������1 当 y<������0 时，判X ∈ ������2 当 y=������0 时，待判 (4) 对已知类别的样品判别归类 序号 1 2 3 4 5 6 7 8 9 10 国家 美国 日本 瑞士 阿根廷 阿联酋 保加利亚 古巴 巴拉圭 格鲁吉亚 南非 判别函数 y 的值 12.22 12.48 12.38 11.75 12.00 10.59 10.01 9.55 8.60 9.40 原类号 1 1 1 1 1 2 2 2 2 2 判别归类 1 1 1 1 1 2 2 2 2 2
判别结果与实际情况吻合。
(1) 建立判别函数 ������1 ������1 0.081341 ������2 = ������ −1 ������2 = 0.001664 ������3 ������3 0.001092 所以判别函数为：
y=预期生命 * 0.081341182 + 0.001664436 * 识字率 + 0.001092273 * 人均gdp.
344.228
-252.240
Covariance N 人均 gdp Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
14.006 5 .654 .231
86.057 5 -.119 .848
-63.060 5 1
发达国家
预期生命 识字率 人均 gdp
75.8800 94.1200 5343.40 70.4400 91.7400 3430.20
3.00949 9.27669 56.981 4.65865 6.86790 722.389
5 5 5 5 5 5
发展中国家
预期生命 识字率 人均 gdp
Correlations 类别 . 预期生命 Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products 53.487 43.633 12836.375 预期生命 1 识字率 .449 .551 人均 gdp .611 .389
(2) 计算判别临界值������0 由于，
3
������
(1)
=
������ =1 3
������������ ������������ (1) = 12.16528
������ 所以 ������0 =
(2)
=
������ =1
������������ ������������ (2) = 9.629083
448.740
-252.240
12987.200
Covariance N 发展中国家 预期生命 Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
112.185 5 1
-63.060 5 .920
*
3246.800 5 -.364 .547
Covariance N 人均 gdp Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
14.544 4 .611 .389
58.869 4 .499 .501
6341.742 4 1
12836.375
19025.225
36.228
56.022
448.740
Covariance
9.057
14.006
112.185
N 识字率 Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
5 .502 .389
5 1
5 -.119 .848
56.022
.027
117.682
188.672
-11316.540
Covariance N 人均 gdp Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
29.421 5 -.364 .547
47.168 5 -.570 .315
上述回判结果表明：总的回代判对率为 100%。 (5) 对判别效果作检验 由 excel 计算结果表明： ������ 2 = 50.72388 F = 12.68097 由于，
F = 12.68097 > ������0.05 3，6 = 4.76 所以，在α = 0.05检验水平下，差异显著，判别有效。 (6) 待判样品判别结果如下： 序号 11 12 13 14 国家 中国 罗马尼亚 希腊 哥伦比亚 判别函数 y 的值 7.83 8.95 12.18 11.42 原类号 2 2 1 1
.027
86.812
117.682
-4895.740
Covariance N 识字率 Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
21.703 5 .920
*
29.421 5 1
-1223.935 5 -.570 .315
Fisher 判别法
1. SPSS 步骤
COMPUTE y=预期生命 * 0.081341182 + 0.001664436 * 识字率 + 0.001092273 * 人 均gdp.
2. Fisher 判别分析：
Descriptive Statistics 类别 . 预期生命 识字率 人均 gdp Mean 71.3250 90.0750 3795.25 Std. Deviation 4.22246 7.67262 1657.474 N 4 4 4
8241662.750
Covariance N 发达国家 预期生命 Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
4278.792 4 1
6341.742 4 .502 .389
2747220.917 4 .654 .231
-2829.135 5 1
-4895.740
-11316.540
2087384.800
Covariance N *. Correlation is significant at the 0.05 level (2-tailed).
-1223.935 5
-2829.135 5
521846.200 5
Covariance N 识字率 Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
17.8292 4 .499 .501
43.633
176.608
19025.225