费希尔判别法理论
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
费歇尔判别法
费歇尔判别法费歇尔判别法（Fisher's Discriminant Analysis）是一种统计学中的方法，用于寻找两个或多个分类变量中最能有效区分它们的线性组合。
这种方法最初是由英国统计学家罗纳德·费歇尔（Ronald A. Fisher）在1936年所提出。
费歇尔判别法的目标是通过将数据投影到低维空间来确定样本类别之间最明显的分离平面。
这个方法假设所有数据员来自正态分布，这使得它的结果具有很高的概率。
此外，这种方法特别适用于小样本数据，在这种情况下，其它多变量方法往往受到数据不足或对角线矩阵估计的影响。
费歇尔判别法通过将多维数据投影到一维空间上，找到最能表示数据差异的线性变量。
具体步骤如下：1. 定义问题在进行费歇尔判别分析之前，首先需要定义问题。
这个问题可以是不同的变量之间的分类问题，或者是同一变量在不同条件下的分类问题。
例如，可以通过费歇尔判别分析找到两个组的区别，这两个组的特征可以用来预测其他类似两个组。
2. 构造分类变量在对数据进行投影之前，需要将分类变量定义为正态分布。
这种变量通常为两个或更多个。
3. 计算均值和方差计算每个分类变量的均值和方差，以用于后面的投影计算。
4. 计算类内离散度矩阵类内离散度矩阵是指每个类别内所有点与该类别均值之间的距离的累加和。
这个矩阵用来衡量类的内部分散程度，通常使用矩阵的矩阵乘法来进行计算。
5. 计算类间离散度矩阵类间离散度矩阵是指不同类别均值之间的距离的累加和。
这个矩阵用来衡量类别之间的分散程度，也通常使用矩阵的矩阵乘法来进行计算。
6. 计算特征值和特征向量计算类内离散度矩阵和类间离散度矩阵的特征值和特— 1 —征向量。
这些值可以使用线性代数中的方法计算。
一般来说，特征向量是正交（perpendicular）的。
7. 选取最大特征值从计算出的特征值中找到最大特征值，找到最大特征值所对应的特征向量。
这个特征向量就是数据的主要方向，也被称为“判别变量”。
费希尔判别法的基本思想
费希尔判别法的基本思想
费希尔判别法，又称Fisher LDA(Linear Discriminant Analysis）或Fisher 正则化，是一种多变量分类分析技术，是20世纪30年代由英国统计学家菲舍尔第一次提出的。
该技术具有某种正则属性，可实现二分类或多分类分析，并有助于综合对各个分类因素的重要性程度快速排序。
费希尔判别法最重要的特性在于它专注于各个分类变量之间的相关性，可生成一组权重因子，分析出最有价值的分类变量，并可以用权重因子对每个样本进行评分，使系统能够可靠地把新输入的样本归入不同分类范畴。
在高等教育中也可以使用费希尔判别法。
例如，学校可以使用费希尔判别法仔细评估潜在学生的申请材料，从而能够准确地确定学生的入学标准。
它还可以用于确定高考考生的排名，从而根据得分和预测可能的能力来确定学生的合格程度。
它还可以帮助学校确定最具有吸引力的课程，这些课程可能对学生有更多的吸引力，也可能带来更多的利益。
此外，费希尔判别法还可以帮助高校管理者评估校园安全情况，并减少校园内犯罪行为的发生，提升学生的学习环境。
费希尔判别法还可以用来及时识别学生表现出来的异常问题，从而及早发现学生在生活上表现出来的社会问题，从而及早给学生提供危机意识教育。
事实上，费希尔判别法是目前高等教育中被广泛应用的一种数据挖掘技术，可以帮助高校管理者更加精确地识别出进入学校的入学生，根据学生的资历做出正确的判断，确定最适合学生发展的课程，帮助学校管理者评估校园安全情况，并为高校提高学生的学习效率和学习质量做出贡献。
fisher判别的基本步骤
Fisher判别是一种基于线性判别分析的分类方法，用于将样本分为不同的类别。
其基本步骤如下：
1. 确定判别变量：首先需要确定用于判别的变量，即用于分类的特征。
2. 计算判别函数：根据样本数据，计算出判别函数，即用于将样本分为不同类别的函数。
3. 确定判别类别：根据判别函数，将样本分为不同的类别。
4. 计算判别准确率：计算分类准确率，即正确分类的样本数与总样本数之比。
5. 优化判别函数：根据判别准确率，调整判别函数，以提高分类准确率。
6. 重复步骤3~5：重复以上步骤，直到达到所需的分类准确率。
在Fisher判别中，判别函数是基于Fisher线性判别的，即对于每个类别，计算出一个线性函数，使得属于该类别的样本与属于其他类别的样本的距离最大化。
这个过程可以通过矩阵运算和求导来实现。
总之，Fisher判别是一种基于线性判别分析的分类方法，其基本步骤包括确定判别变量、计算判别函数、确定判别类别、计算判别准确率、优化判别函数和重复步骤3~5，直到达到所需的分类准确率。
简述fisher判别的基本思想
简述fisher判别的基本思想一、关于fisher判别在零和博弈的环境下，当各自利益都为零时，会做出什么选择？其中，局中人A是指在与B的交易中获得好处的人，而B则指因此而损失的人。
不管从哪一个角度考虑，局中人A都不会自己吃亏，他一定会想办法将自己的损失补偿给对方。
因此，从A到B的行动是单方面的。
为了对这种行动作出客观评价，我们假定： 1、局中人A 获得正收益； 2、局中人B获得负收益。
在这样的背景下，博弈方应该如何评价局中人A的行为？这就需要引入一个分析工具——fisher判别法。
fisher判别方法要求：每个局中人都会选择和自己利益最大化相等的行动，而不管别人如何。
因此，一个局中人的行动仅仅取决于它对另一个局中人所得利益的期望。
因为B的利益和A的利益总是相等的，即B的收益为-0，因此B的行动对A而言无关紧要。
如果局中人A的行动对B来说有很大影响，那么即使B不采取任何行动，也能够保证A自己的利益最大化，那么它也会采取一些行动。
fisher分析是解决寡头垄断的重要手段。
上世纪70年代以前，荷兰的壳牌公司(荷兰皇家石油公司)是唯一一家占有全国市场的企业。
通过在全国建立广泛的销售网络，荷兰皇家石油公司控制了几乎全部的石油产品市场。
为了反击荷兰皇家石油公司对竞争者的排挤，其他公司纷纷效仿荷兰皇家石油公司，设立全国性销售网络，实现地区范围内的联合销售，并在若干个城市设立销售公司。
这样，一个庞大的跨地区石油销售网络就形成了，而原先各企业各自为战的情况也逐渐改变，甚至消失。
荷兰皇家石油公司从独霸市场到“共存共荣”，完全是由于fisher分析技术的发展。
可见， fisher分析方法的实质是：在一个竞争性环境中，博弈各方最优决策问题可表述为：对于各博弈方而言，如何做出各自最优的个人决策？fisher分析主要适用于零和博弈情形。
如果存在多个纳什均衡点，但这些均衡点没有明显的共同点，而是由局中人的个人偏好、资源约束和实际可能达成的结果共同决定的。
4-3_Fisher判别
整性。
在解决实际问题时，当总体参数未知，需要通过样本来估计，
我们仅对 k2 的情形加以说明。设样本分别为
X(1) 1
,
X(1) 2
,
X(1) n1
和
X(2) 1
,
X(2) 2
,
X(2) n2
，则
X n1X(1) n2X(2) n1 n2
X(1) X n2 (X(1) X(2) ) n1 n2
方法回顾
距离判别法 优点：简单，便于使用。 不足之处：
第一，判别方法与总体各自出现的概率的大小无关； 第二，判别方法与错判之后所造成的损失无关。 Bayes判别法 优点：错判率较小。 不足之处： 需要获取总体的分布及参数值，实现困难。 实际问题中有时也没必要知道其分布。
第四节 费歇（Fisher）判别法
E(uX) E(uX | Gi ) uE(X | Gi ) uμi i ， i 1,2
D(uX) D(uX | Gi ) uD(X | Gi )u uΣiu
2 i
，
i 1,2
在求线性判别函数 时，尽量使得总体之间差异大，也就是要求
uμ1 uμ2 尽可能的大，即 1 2 变大；同时要求每一个总体内
的离差平方和最小，即
2 1
2 2
，则我们可以建立一个目标函数
(u) (1 2 )
2 1
2 2
（4.20）
这样，我们就将问题转化为，寻找 u 使得目标函数 (u) 达到
最大。从而可以构造出所要求的线性判别函数。
2、针对多个总体的情形
假设有 k 个总体 G1, G2 ,, Gk ，其均值和协方差矩阵分别为 μ i
判别分析(2)费希尔判别
两总体的Fisher判别法 判别法 两总体的
其中， 其中，S 即
jl
= ∑ ( x Aij − x Aj )( x Ail − x Al ) + ∑ ( x Bij − x Bj )( x Bil − x Bl )
i =1 i =1
na
nb
F = ∑ ∑ c j c l s jl
j =1 l =1
Fisher判别 判别
内容：
1、建立判别准则； 2、建立判别函数 3、回代样本； 4、估计回代的错误率； 5、判别新的样本。
Fisher判别 判别
y 是线性函数， 由于 ( X ) 是线性函数，一般可将 y( X )表示为
（4.2） ） 对于线性函数 y( X ) ，它的几何表示就是空间中 的一条直线或平面，或超平面， 的一条直线或平面，或超平面，如果我们把两 B 看成空间的两个点集， 总体 A、 看成空间的两个点集，该平面所起的 B 分开， 作用就是尽可能将空间两个点集 A 、 分开，如 所示。 图4.1所示。 所示
Fisher判别 判别
Fisher判别 判别
Fisher判别 判别
费希尔判别的基本思想是投影（或降维）
Fisher方法是要找到一个(或一组)投 影轴w使得样本投影到该空间后能 在保证方差最小的情况下，将不同 类的样本很好的分开。并将度量类 别均值之间差别的量称为类间方差 (或类间散布矩阵);而度量这些均值 周围方差的量称为类内方差(或类内 散布矩阵)。Fisher判决的目标就是: 寻找一个或一组投影轴，能够在最 小化类内散布的同时最大化类间布。
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
max I = max ( ya − yb )
fisher判别函数
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
Fisher判别分析原理详解
Fisher判别分析原理详解说起Fisher判别分析，不得不提到一个大神级人物！Ronald Aylmer Fisher (1890～1962)英国统计学家和遗传学家主要著作有：《根据孟德尔遗传方式的亲属间的相关》、《研究者用的统计方法》、《自然选择的遗传理论》、《试验设计》、《近交的理论》及《统计方法和科学推理》等。
他一生在统计生物学中的功绩是十分突出的。
•生平1890年2月17日生于伦敦，1962年7月29日卒于澳大利亚阿德莱德。
1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了一年统计力学。
他担任过中学数学教师，1918年任罗坦斯泰德农业试验站统计试验室主任。
1933年，因为在生物统计和遗传学研究方面成绩卓著而被聘为伦敦大学优生学教授。
1943年任剑桥大学遗传学教授。
1957年退休。
1959年去澳大利亚，在联邦科学和工业研究组织的数学统计部作研究工作。
大神解决的问题•Fisher 线性判别函数的提出：在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间可行的方法，在高维空间变得不可行。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，就是解决维数压缩问题。
对xn的分量做线性组合可得标量yn=wTxn,n=1,2,…,Ni得到N个一维样本yn组成的集合。
从而将多维转换到了一维。
考虑把d维空间中的数据点投影到一条直线上去的问题，需要解决的两个问题：(1)怎样找到最好的投影直线方向；(2)怎样向这个方向实现投影，这个投影变换就是要寻求的解向量w*。
这两个问题就是Fisher方法要解决的基本问题。
•判别分析的一些基本公式Fisher判别分析用于两类或两类以上间的判别，但常用于两类间判别。
Fisher判别函数表达式（多元线性函数式）：判别函数的系数是按照组内差异最小和组间差异最大同时兼顾的原则来确定判别函数的。
Fisher判别准则：判别临界点：Fisher判别分析思想：1. 类间差异大，类内变异小，最大2. 方差分析的思想：以下值最大•Fisher判别的原理分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。
Fisher判别法距离判别法Bayes判别法逐步判别法
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p( j / i) P( X D j / Gi ) fi ( x)dx i j
P好人 P做好事 / 好人 P好人 P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
P (好人 / 做好事）
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P坏人P做好事 / 坏人 P好人P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。。
目录 上页 下页 返回 结束
7
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
8
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
9
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
10
4.2.2 多总体情况
§4.2
距离判别
1. 协差阵相同。
2018/10/4
目录 上页 下页 返回 结束
fisher判别法
1实验1 Fisher 线性判别实验一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，实际上涉及维数压缩。
如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。
问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。
在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。
如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。
这个投影变换就是我们寻求的解向量*w本实验通过编制程序体会Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握Fisher 线性判别问题的实质。
二、实验原理1．线性投影与Fisher 准则函数各类在d 维特征空间里的样本均值向量：∑∈=ik X x kii xn M 1，2,1=i (4.5-2)通过变换w 映射到一维特征空间后，各类的平均值为：∑∈=ik Y y kii yn m 1，2,1=i (4.5-3)映射后，各类样本“类内离散度”定义为：22()k ii k i y Y S y m ∈=-∑，2,1=i (4.5-4)显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。
因此，定义Fisher 准则函数：2122212||()F m m J w s s -=+ (4.5-5) 使F J 最大的解*w 就是最佳解向量，也就是Fisher 的线性判别式。
2．求解*w从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。
2已知：∑∈=ik Y y ki i yn m 1，2,1=i , 依次代入(4.5-1)和(4.5-2)，有：i TX x kiT k X x T ii M wx n w x w n m ik ik ===∑∑∈∈)1(1，2,1=i (4.5-6)所以：221221221||)(||||||||M M w M w M w m m TTT-=-=-w S w w M M M M w b T T T =--=))((2121 (4.5-7) 其中：T b M M M M S ))((2121--= (4.5-8)b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。
距离判别法、贝叶斯判别法和费歇尔判别法的比较分析
距离判别法、贝叶斯判别法和费歇尔判别法的比较分析距离判别法、贝叶斯判别法和费歇尔判别法是三种常见的判别方法，用于对数据进行分类和判别。
本文将对这三种方法进行比较分析，探讨它们的原理、特点和适用范围，以及各自的优势和局限性。
1. 距离判别法距离判别法是一种基于样本间距离的判别方法。
它的核心思想是通过计算待分类样本与各个已知类别样本之间的距离，将待分类样本归入距离最近的类别。
距离判别法常用的距离度量有欧氏距离、曼哈顿距离和马氏距离等。
优势：- 简单直观，易于理解和实现。
- 不依赖于概率模型，适用于各种类型的数据。
- 对异常值不敏感，具有较好的鲁棒性。
局限性：- 忽略了各个特征之间的相关性，仅考虑样本间的距离，可能导致分类效果不佳。
- 对数据的分布假设较强，对非线性分类问题表现较差。
- 对特征空间中的边界定义不明确。
2. 贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别方法。
它通过建立样本的概率模型，计算待分类样本的后验概率，将其归入后验概率最大的类别。
贝叶斯判别法常用的模型包括朴素贝叶斯和高斯混合模型等。
优势：- 考虑了样本的先验概率和类条件概率，能够更准确地对样本进行分类。
- 可以灵活应用不同的概率模型，适用范围广。
- 在样本量不充足时，具有较好的鲁棒性和泛化能力。
局限性：- 对特征分布的假设较强，对非线性和非正态分布的数据表现较差。
- 需要估计大量的模型参数，对数据量要求较高。
- 对特征空间中的边界定义不明确。
3. 费歇尔判别法费歇尔判别法是一种基于特征选择的判别方法。
它通过选择能够最好地区分不同类别的特征，建立判别函数进行分类。
费歇尔判别法常用的特征选择准则有卡方检验、信息增益和互信息等。
优势：- 基于特征选择，能够提取最具有判别性的特征，减少了特征维度，提高了分类性能。
- 不对数据分布做假设，适用于各种类型的数据。
- 可以灵活选择不同的特征选择准则，满足不同的需求。
局限性：- 特征选择的结果可能受到特征相关性和重要性的影响，选择不准确会导致分类效果下降。
距离判别法贝叶斯判别法和费歇尔判别法的异同
距离判别法、贝叶斯判别法和费歇尔判别法的异同引言在模式识别领域，判别分析是一种常用的方法，用于将数据样本划分到不同的类别中。
距离判别法、贝叶斯判别法和费歇尔判别法是判别分析中常见的三种方法。
本文将对这三种方法进行比较，探讨它们的异同。
一、距离判别法距离判别法是一种基于距离度量的判别分析方法。
它的基本思想是通过计算样本点与各个类别中心的距离，将样本划分到距离最近的类别中。
常见的距离判别法有欧氏距离判别法和马氏距离判别法。
1. 欧氏距离判别法欧氏距离判别法是一种简单直观的距离判别方法。
它通过计算样本点与各个类别中心之间的欧氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 对于给定的待判样本点，计算其与各个类别中心点的欧氏距离。
3. 将待判样本点划分到距离最近的类别中。
2. 马氏距离判别法马氏距离判别法考虑了各个类别的协方差矩阵，相比于欧氏距离判别法更加准确。
它通过计算样本点与各个类别中心之间的马氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 计算各个类别的协方差矩阵。
3. 对于给定的待判样本点，计算其与各个类别中心点之间的马氏距离。
4. 将待判样本点划分到距离最近的类别中。
二、贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别分析方法。
它的基本思想是通过计算后验概率，将样本划分到具有最高后验概率的类别中。
常见的贝叶斯判别法有贝叶斯最小错误率判别法和贝叶斯线性判别法。
1. 贝叶斯最小错误率判别法贝叶斯最小错误率判别法是一种理论上最优的判别方法。
它通过计算后验概率，将样本划分到具有最高后验概率的类别中。
算法步骤如下： 1. 计算各个类别的先验概率。
2. 计算给定样本点在各个类别下的条件概率。
3. 计算给定样本点在各个类别下的后验概率。
4. 将待判样本点划分到具有最高后验概率的类别中。
简述fisher判别的基本思想
简述fisher判别的基本思想第一章，首先对经典fisher判别做了介绍，然后对经典fisher 判别的基本思想和条件，以及现代fisher判别方法进行了概括总结。
一、形态判别法二、遗传物质的存在形式；三、经典fisher判别方法四、实验判别法，在实验室中，为使两个变量都达到均衡状态，必须让研究者分别接触两种环境：①只包含正常小鼠和失常小鼠的环境；②除小鼠外还加入其它生物的环境。
这样可以避免因选择性压力而导致实验的偏倚，因此为了证明某一基因能否被作为特定基因存在于某一种生物，最好是对两种不同类型的环境分别进行比较。
例如小鼠具有特定的基因，而人没有该基因，则小鼠能生成与人相同类型的细胞，这一结论是不能肯定的。
对此只有在考虑到环境的情况下，在特定条件下观察实验组与对照组细胞中染色体的数目才能得到确定。
一般的经典fisher判别方法，在其所有的方法中，最具代表性的一种就是经典fisher判别方法。
这种方法是最早被提出的，也是使用最多的一种方法，它的基本思想是用小鼠和非小鼠的两组等量的无关动物和人体来比较。
例如在研究黑腹果蝇的性染色体上，基因在小鼠和人之间是相同的还是不同的，或者一个基因是从非小鼠而来，还是另有其他基因的来源等问题时，最适宜用经典fisher方法。
第二章，对经典fisher判别的基本原理和条件进行了阐述。
在实验中应控制所有影响实验结果的因素。
在实验前必须对变量、自变量和因变量做充分的测定。
由于经典fisher方法的假设基本上来自于两个变量，实验过程中可能会发生各种干扰因素，造成实验结果不能重复或实验偏差很大。
所以，为了保证实验结果的准确性，在实验前必须采取措施消除所有干扰因素。
为此在实验前必须明确影响实验的主要因素。
因此可根据变量的影响分为三种： 1、外界因素，这些因素是难以控制的。
例如光照强度、 ph值、试剂的浓度等等。
2、可以控制的因素。
3、受试动物因素，如血型、年龄、性别等。
另外对影响实验的外界因素必须加以控制，减少误差。
费歇尔判别 第三节
（二）Fisher两类判别的计算步骤： 1、输入历史数据，计算 X ( A) 和 X ( B) 2、计算 dk , sk , k 1,2 p. 1 c s d ，建立判别函数 sc d 3、解方程组 ，求出 y( X ) c1x1 c2 x2 cm xm
Q I max R
2
Q I max R
nI nQ nR
max
令 由于 故
nI 0 ck
k 1,2,, p
nI 1 Q 1 R 0 ck Q ck R ck 1 Q R I c k c k
Q y (1) y
x1(1) 8.29 (1) x3 6.43 x (1) 6.00 3
x1( 2) 3.20 ( 2) x2 3.80 x ( 2) 4.00 3
i 1,2,, n1
i 1,2,, n2
p k 1 p
y
1
1 n1 1 y n i 1 i
2 1 y n i 1 i
n2
(1) (1) y 1 c1 x1(1) c2 x2 cp xp ck xk(1) ( 2) ( 2) y ( 2) c1 x1( 2) c2 x2 cp xp ck xk( 2) k 1
4、对新样本作判别 （1）将新样本p个观测值带入判别函数，求出y值 （2）确定临界值 ( A) ( B) y , y 分别将两类总体样本的判别函数之均值 n1 y (1) n2 y ( 2) 求加权平均值 y0 作为临界值。
n1 n2
5、作出判别 ( A) ( B) 假定y y （ 1）
费希尔判别
费希尔判别费希尔判别的基本思想是投影，将k 组m 元数据投影到某一个方向，使得投影后组与组之间尽可能的分开，而衡量组与组之间尽可能地分开的办法借助于一元方差分析思想。
利用方差分析的思想来导出判别函数，这个函数可以是线性的，也可以是很一般的函数。
因线性判别函数在实际应用中最方便，本论文中，我们用线性判别函数导出。
设从总体()1,...,t G t k = 分别抽取m 元样本如下；()()()()1(,...,)(1,...,;1,....)t t t i im t i X x x t k i n ¢===令1(,...,)m a a a ¢= 为m 维空间的任一向量，()u x a X ¢=为X 向以a 为法线方向上的投影。
()()()()()()11111(1)11111:,...,,n n j j G a X a X X X n =ⅱ=å记 ()()()()()()111:,...,,kk n k k k k k j n j k G a X a X X X n =ⅱ=å记上述k 个组一元数据进行一元方差分析，其组间平方和为()()()()()()2011k t t t k t tt t B n a X a Xa n X X X X a a Ba==ⅱ=-轾¢犏¢=--犏臌¢=åå 其中 X和 ()t X 分别为t G 的样本均值和总样本均值，并记()()111t n k j t t j X X n ===邋而 为组间离差阵()()()()1k t tt t B n X X X X =¢=--å 合并的组内平方和为()()()()()()()()()()()()201111t t n k j t t t j n k j t j t t t t j A a X aX a X X X X a a Aa====¢=-轾¢犏¢=--犏臌¢=邋邋 ()def a Aa a a Ba¢揪?D ?¢()a D()a a Ba ¢D =1a Aa ¢=()u X a X ¢=其中 和 分别为 的样本均值和总样本均值，并记而B 为组间离差阵线性判别函数的求法已知 是在 条件下使 达极大的方向，称 为线性判别函数。
fisher判别式
(4.5-14)
L 对 w 求偏导数：
L( w, ) 2( Sb w S w w) w
令
L( w, ) 0 得到： w
Sb w* S w w*
(4.5-15)
S w 是 d 维特征的样本协方差矩阵， 它是对称的和半正定的。 当样本数目 n 从上述推导(4.5-10)～(4.5-12)可知，
(4.5-6)
m2 |2 || wT M 1 wT M 2 ||2 || wT ( M 1 M 2 ) ||2
wT ( M 1 M 2 )( M 1 M 2 )T w wT Sb w
(4.5-7) (4.5-8)
其中： Sb
( M 1 M 2 )( M 1 M 2 )T
Mi
1 ni 1 ni
xk X i
x
k
，i
1,2
(4.5-2)
通过变换 w 映射到一维特征空间后，各类的平均值为：
mi
y k Yi
y
k
，i
1,2
(4.5-3)
映射后，各类样本“类内离散度”定义为：
Si2 ( yk mi )2 ， i 1,2
yk Yi
1
(4.5-4)
*
1,2,...., n) 其中 n1 个样本来自 wi 类型， n2 个样本来自 w j 类
n1 n2 。两个类型的训练样本分别构成训练样本的子集 X 1 和 X 2 。
令：
yk wT xk ， k 1,2,..., n
(4.5-1)
yk 是向量 xk 通过变换 w 得到的标量，它是一维的。实际上，对于给定的 w ， yk 就是判决函数的值。
Fisher判别法
ii)计算判别临界值y0, 然后根据判别准则对 新样品判别分类。
假定所建立的判别函数为
组内离差阵 总体之间样本离差阵
这说明和C恰好是A、E矩阵的广义特征根
及其对应的特征向量，假设其正根的数目为m。
Fisher判别法 （canonical discriminant）
1、两总体Fisher判别法
两类Fisher判别示意图
YG1ຫໍສະໝຸດ G2L=b1X+b2Y
X
假设新建立的判别式为
y c1x1 c2 x2 ....... cp xp
将属于不同两总体的样品观测值带入判别式中去， 则得到
将上边两式分别左右相加，再除以相应的样品个 数，则有
结果来说没有影响。所以取 1 ，于是方程组变为：
有了判别函数之后，欲建立判别准则还要确定判别临界值， 在两总体先验概率相等的假设下，一般取临界值为 y (1) y (2)
的加权平均值即
y0
n1 y (1) n1
n2 y (2) n2
根据 y (1) y (2) 的大小确定判别准则。
两个正态总体等方差情况下的示意图形。
为了使判别函数能够很好的区别来自不同总体 的样品，希望判别式能够满足以下的条件：
综合以上两点，就是要求 越大越好。
由微积分求极值的必要条件（导数为0）可求出使 I 达到最大的值C1,C2…CP，由此就得到满足要求的 判别式。
是常数因子，不依赖于k,它对方程组的解只起到共同扩大
倍的作用，不影响C1,C2…,CP之间的相对比例关系。对判别
07-3.6 费希尔判别
费希尔判别的判 别规则见书中第 140-141页。
x x
1 2
, ,
若W x 0 若W x 0
其中
W x a x μ
μ
1 2
μ1
μ2
，a
Σ
1
μ1
μ2
9
s≤min(k−1, p)
见书中第136 页脚注②。
通常情况下，s=k−1。 由此，k=2时，s=1； k=3时，s=2。
相应的特征向量依次记为t1,t2,⋯ ,ts, 标准化为ti′Spti=1,
i=1,2,⋯ ,s。
V yi V tix
v 称yi=ti′x为费希尔第i线性判别函数（或第i典型变量），
组别 ⋮ Ⅱ Ⅱ Ⅱ Ⅰ Ⅰ Ⅰ Ⅲ Ⅱ Ⅲ Ⅰ
x1
x2
x3
x4
⋮
⋮
⋮
⋮
55
23
40
13
66
30
44
14
68
28
48
14
54
34
17
2
51
37
15
4
52
35
15
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
费希尔判别费希尔判别（或称典型判别）的基本思想是投影（或降维）：用p维向量x （X i,X2, X p）的少数几个线性组合（称为费希尔判别函数或典型变量）y i a i x, y2 a?x, y x （—般r明显小于p ）来代替原始的p个变量X i,X2, X p，以达到降维的目的，并根据这r个判别函数y i,y2, *对样品的归属做出判别或将各组分离。
成功的降维将使样品的归类或组的分离更为方便和有效，并且可以对前三个判别函数作图，从直观的几何图像上区别各组。
在降维的过程中难免会有部分有用信息的损失，但只要使用的方法得当，我们可以最大限度地减少这种损失，从而保留尽可能多的有用信息，即关于能够反点画于直角坐标系上，一组的样品点用“肿表示，另一组的样品点用“c”表示。
假定我们希望将二维空间的点投影到某个一维空间，即一条直线上，然后再对两组进行判别，则投影到不同的直线上，判别的效果一般是不同的。
从图中可见,如果两组的点都投影到直线 z 上则这两组的投影点在该直线上的分布几乎无任何差异，他们完全混合在一起，我们无法将这两组的点区别开来， 这样的降维把 反应两组间差异的信息都给损失了， 显然是不可取的。
事实上，最好的投影是投 影到直线y 上，因为它把两组的投影点很清楚地区分了开来， 这种降维把有关两 组差异的信息很好地保留了下来，几乎没有任何损失，如此就完全可以在一维的 直线上作判别分析。
我们现考虑在R p中将k 组的p 维数据向量投影到某个具有最佳方向的 a 上, 即投影到a 上的点能最大限度地显现出各组之间的差异。
设来自组i 的p 维观测值为X j ，j=1,2, ,n i ，i=l,2, ,k ，将它们共同投影 到某一 p 维常数向量a 上，得到的投影点可分别对应线性组合y j =a x 0，j=1,2, ,n i ，i=1,2, ,k 。
这样，所有的p 维观测值就简化为一维观测值。
下面 我们用％表示组i 中y j 的均值，y 表示所有组k 组的y 0的总均值，即对于任一用来投影的a ，我们需要给出一个能反映组之间分离程度的度量 比较图 中的上、下半图，上半图三组均值之间的差异程度与下半图是相同的，而前者组之间的分离程度却明显高于后者， 原因就在于前者的组内变差要远小于 后者，后者组之间有较多重叠。
因此，可以考虑将组之间的分离程度度量为相对 其组内变差的组间变差。
在以下的讨论中，我们需假定各组的协方差矩阵相同，n i j iy ja X i式中nX i1 nixij， n j 1a X i1 k- n i X i o n i 1n in可用来度量y j 的组之间分离程度的一个量是(a)达到最大。
由于对任意非零常数c ，用ca 代替上式中的a ， (a)将保持不变，故考虑对a 加以约束。
我们希望判别函数y ax 具1S p — E 替代，所以a 的约束条件实际应为a S p a 1，即判别函数的联合样本 n k方差为1。
y j 的组间平方和SSTRk ___式中 H n i (X i x)(x ii 1SSEk式中E(n i i 11)SmWy)2k__口 (a X i a x)2aHax)为组间平方和及叉积和矩阵。
y j 的组内平方和n __kn i (y ij y i )2j 1山__(a x ij a X i )2 a Eaj 1ni ____(X ij X i )(X ij X i ) i 1 j 1为组内平方和及叉积和矩阵。
(a)SSTR a Ha SSE a Ea我们应选择这样的a ，使得有单位方差，即V(ax) a a 1，但因未知，于是用其联合无偏估计图三组之间的分离程度设E 1H的全部非零特征值依次为i 2 s 0，这里s ran k（H），且有s min（k 1, p）（ 5.4.2 ）（通常情况下上式等号成立），相应的特征向量依次记为 t1,t2, ,t s （标准化为 t j S p t j 1 , i 1,2, ,s ）。
由（1.8.5）式知，当 a i t i 时（aj 达到最大值i。
所以，选择投影到t i上能使各组的投影点最大限度地分离，称y i=t i x为费希尔第一线性判别函数，简称第一判别函数。
在许多情况下（如组数 k 是大的，或者原始的数据向量维数 p 是大的），仅仅使用第一判别函数也许不够，因为仅在这一个投影方向上组之间的差异可能还不够清晰，各组未能很好地分开。
这时，我们应考虑建立第二线性组合y2=a2 x，为使降维最具效率，应要求y2 （在线性关系的意义上）不重复 y i 中的信息，即Co（v y i,y2）=Co（v t i x,a2 x）=t i a2 0用S p代替未知的，于是我们在约束条件t i S p a20（或 t| Ea20）下寻找a2，使得（a?）达到最大。
按（1.8.6）式，当a? t?时（a?）达到最大值2，称y2=t 2 x为第二判别函数。
如还不够，可再建立第三判别函数 y3，依次类推。
一般地，我们要求第i个线性组合y i=a i x不重复前i 1个判别函数中的信息，即Co（v y j ,y i）=Co（v t j x,a i x）=t j a i 0， j= i,2, ,i i用S p代替，上式变为t j Spq 0（或 -Eq 0），j=1,2, ,i 1我们希望在约束条件（）下寻找a i，使得（a）达到最大。
由（1.8.6）式知，当 a i t i时（a）达到最大值i，称y i=t i x为第i判别函数，i=2,3, ,s。
附：1.85-1.86设A 是p 阶对称矩阵，B 是p 阶正定矩阵，i 2p是B 1A 的p 个特征值，相应的一组特征向量t it , ,t p ，满足t i Bt j =0 , 1 i j p ，则(i)x Ax max — x 0 x Bx(ii)max xAx= i(当x=t i 时达到)，i=2,3, , pxBtk 0 、=1, ,i 1 x 0综上所述，费希尔判别函数具有这样一些特点：（1）各判别函数都具有单位 （联合样本）方差；（2）各判别函数彼此之间不相关（确切地说，是彼此之间的 联合样本协方差为零）；（3）判别函数方向t 1,t 2, ,t s 并不正交，但作图时仍将它 们画成直角坐标系，虽有些变形，但通常并不严重。
依（5.4.2 ）式可知，组数k=2时只有一个判别函数，k=3时最多只有两个判 别函数。
这从直观上也不难理解，（不重合的）两个组重心（即组均值点）可在 （一维）直线上有最大分离，（不在一直线上的）三个组重心也可在（二维）平 面上有最大分开。
一般地，由全部 s 维空间可最大限度地分离k 个组重心。
（t i ） i 表明了第i 判别函数y i 对分离各组的贡献大小，y i 在所有s 个判别函数中的贡献率为s i /i jj=1而前r （ s ）个判别函数y 1,y 2, ,y r 的累计贡献率为（当x=t 1时达到） .x Ax min x 0 x Bx（当x=t p 时达到）si=1它表明了 ％肆2, ,y 「能代表wz, ,y 进行判别的能力。
在实际应用中，通常我 们并不使用所有s 个判别函数，除非s 很小，因为费希尔判别法的基本思想就是 要降维。
如果前 r 个判别函数的累计贡献率已达到了一个较高的比例（如 75%~95% ），则就采用这r 个判别函数进行判别。
在确定了需使用的r 个判别函数Y I ，Y 2, ,y r 之后，可制定相应的判别规则。
由于各判别函数都具有单位方差且彼此不相关，故此时的马氏距离等同于欧式距那一组，即判别规则为如果只使用一个判别函数进行判别（即r=1），则（5.4.6 ）式可简化为x l ，若 y Y I = mW y 耳 （5.4.7）1 i k式中 y 和 y i （i=1,2, ,k ）分别是（5.4.6）式中的 ％和 % （i= 1,2, , k ）。
有时我们也使用中心化的费希尔判别函数，即y i =t i （x x ），i=1,2, ,s1 k ni式中x=2X ij 为k 个组的总均值，仍使用（5.4.6）式进行判别。
n i= 1 j=1r i=1 离。
我们米用距离判别法，依据（y i ,y 2.,y r ）值，判别新样品归属离它最近的xl ，若r(y j j=1Y u )2r 吧j1(yj汀(546 )1 ni其中 y ij =t j x ， x=X j n i j=1，y ij 为第判别函数在组i 的样本均值y i =（y i , y i2, ,%）的平方欧式距离, i=1,2, ,k 。
（5.4.6）式也可表达为X l ，若[t j (x X l )]j=1mi n k[t j (x x)]2j 1例5.4.1 （有用结论）组数k=2时的费希尔判别E 1H= 1(x i x 2)(x i x 2) m n 2有唯一的非零特征值此，费希尔判别函数为y=(又 X 2) S p 1x由于x=n 1x 1 n i门2乂 2 n 2故组间矩阵 x-i x= n2 (X |n j n 2X 2) , X 2x= ni (X 2 X) n j n 2H n 1(x 1 X)(£ x) n 2(x 2 x)(x 2 x)niPn 1 n 2 (x-x 2 )(x - %)假设组内矩阵E 是可逆的（必须有n i n 2 2 p ）,则有1.6一中的性质（2）知门小2n n(% 1 -X 2) E (人 X 2)这是一个正数（因为E>0 ）。
令a 为相应的特征向量，它应满足(H E)a 0即于是Ha= Ea门小2n 1门 2(X 1 X 2)(X 1 X 2)a 二 (X 1 1 x 2) E (x 1 x 2)Ea 易见，a=S p 1(x 1X 2）满足上述方程, 这里S p =n 1 n 2尹为联合协方差矩阵按（547 ）式，判别规则为其中 y i =(X i X 2) S p 1X i , V 2=(X iV 2= (X i X 2) S p 1(X i X 2)0 ,y i >y 2。
因此，上述判别规则等价于也可以表达为11 1,右(X X 2)S p 1[X 2(X i卄 __11 _2，右(E X 2)S p [X(X 1 2此正为（5.2.6）式。
上例表明，对于两组的判别，费希尔判别等价于协方差矩阵相等的距离判别, 对两个正态组也等价于协方差相等且先验概率和误判代价也均相同的贝叶斯判 别。
当使用的判别函数个数r=2时，可将各样品的两个判别函数得分画成平面直 角坐标系上的散点图，用目测法对新样品的归属进行判别或对来自各组样品的分 离情况及结构进行观测评估。
当r=3时，可利用SAS 的交互式数据分析菜单系 统，让样本中来自不同组的样品点呈现不同颜色（或不同形状）以区分各组，然 后作（三维）旋转图从多角度来辨别新样品的归属或观测评估各组之间的分离效 果，但其目测效果一般明显不如r=2时清楚。