Fisher判别
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
Fisher判别法课程设计
Fisher判别法课程设计一、教学目标本节课的教学目标是使学生掌握Fisher判别法的基本原理和应用方法。
知识目标包括：了解Fisher判别法的数学背景和原理，掌握Fisher判别函数的推导过程，理解Fisher判别法的应用场景。
技能目标包括：能够运用Fisher判别法解决实际问题，能够使用相关软件进行Fisher判别法的计算和分析。
情感态度价值观目标包括：培养学生的数据分析能力和科学思维，激发学生对统计学的兴趣和热情。
二、教学内容本节课的教学内容主要包括Fisher判别法的原理和应用。
首先，介绍Fisher判别法的基本概念和数学背景，解释判别函数的推导过程。
然后，通过实例分析，展示Fisher判别法在实际问题中的应用，如分类问题和判别分析。
最后，结合教材和课外资料，进行深入学习，探讨Fisher判别法的优缺点和适用条件。
三、教学方法为了达到本节课的教学目标，将采用多种教学方法相结合的方式进行教学。
首先，采用讲授法，系统地讲解Fisher判别法的原理和推导过程。
其次，通过案例分析法，引导学生运用Fisher判别法解决实际问题，培养学生的应用能力。
此外，还采用讨论法，鼓励学生积极参与课堂讨论，提出问题和观点，培养学生的思考能力和团队合作精神。
最后，利用实验法，让学生亲自动手进行实验，验证Fisher判别法的有效性，提高学生的实践能力。
四、教学资源为了支持本节课的教学内容和教学方法的实施，将准备以下教学资源。
首先，教材和相关参考书籍，为学生提供系统的学习材料。
其次，多媒体资料，如PPT和教学视频，用于辅助讲解和展示Fisher判别法的原理和应用。
此外，实验设备，如计算机和统计软件，用于学生进行实验和实践操作。
最后，网络资源，如学术期刊和在线课程，为学生提供更多的学习参考和拓展资料。
五、教学评估本节课的教学评估将采用多元化的评估方式，以全面、客观地评价学生的学习成果。
评估方式包括平时表现、作业和考试。
4-3_Fisher判别
3
13 44.12 15.02 1.08 15.15 103.12 64.8
3
14 54.17 25.03 2.11 25.15 110.14 63.7
3
15 28.07 2.01 0.07 3.02 81.22 68.3
3
待判 50.22 6.66 1.08 22.54 170.6 65.2
.
待判 34.64 7.33 1.11 7.78 95.16 69.3
在此最大特征值所对应的特征向量这里值得注意的是本书有几处利用极值原理求极值时只给出了不要条件的数学推导而有关充分条件的论证省略了因为在实际问题中往往根据问题本身的性质就能肯定有最大值或最小值如果所求的驻点只有一个这时就不需要根据极值存在的充分条件判定它是极大还是极小而就能肯定这唯一的驻点就是所求的最大值或最小值
从而， uBu 的极大值为 。再用 E1 左乘（4.25）式，有
(E1B I)u 0
（ 4.27）
由（4.27）式说明 为 E1B 特征值， u 为 E1B 的特征向量。在此
最大特征值所对应的特征向量 u (u1, u2 ,, u p ) 为我们所求结果。
这里值得注意的是，本书有几处利用极值原理求极值时，只
函数后，对于一个新的样品，将它的 p 个指标值代入线性 判别函数（4.19）式中求出U (X) 值，然后根据判别一定
的规则，就可以判别新的样品属于哪个总体。
二、Fisher判别函数的构造
1、针对两个总体的情形
假设有两个总体 G1, G2 ，其均值分别为 μ1 和 μ 2 ，协方差矩阵为 Σ1 和 Σ 2 。当 X Gi 时，我们可以求出 uX 的均值和方差，即
令
k
b (uμi uμ)2 i 1
fisher判别
Fisher线性判别
问题的提出：
上海大学
Shanghai University
Fisher 线性判别函数的提出：在用统计方法进行模式识别时， 许多问题涉及到维数，在低维空间行得通的方法，在高维空间 往往行不通。因此，降低维数就成为解决实际问题的关键。 Fisher的方法，就是解决维数压缩问题。 对xn的分量做线性组合可得标量
• 在给定样本集 条件下 ， 确定线性判别函数的各项系数 ，以期 对待测样本进行分类时，能满足相应的准则函数J 为最优的要求。 • 用最优化技术确定权向量 向量 阈值权 或 增广权
计算机工程与科学学院
设计线性分类器的主要步骤
给定样本集X，确定线性判别函数 各项系数w和w0。步骤：
收集一组具有类别标志的样本X={x1,x2,…,xN}
计算机工程与科学学院
ห้องสมุดไป่ตู้
线性判别函数的基本概念
上海大学
Shanghai University
设样本d维特征空间中描述，则两类别问题中线性判别函数的 T 一般形式可表示成 x = x1 , x2 ,...xd g ( x) wT x w0 其中 T w= w1 , w2 ,...wd
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
g(x)＝0就是相应的决策面方程，在线性判别函数条件下 它对应d维空间的一个超平面。
计算机工程与科学学院
线性判别函数的基本概念
y1 1 a1 c0 y y2 x ，a a2 c1 如果我们采用映射x→ y ，使 2 y3 x a3 c2
Fisher判别函数
Fisher 判别函数的使用具体步骤Fisher 多类判别模型假定事物由p 个变量描述, 即: x=(p x x x ,...,,21)T该种事物有G 个类型, 从每个类型中顺次抽取p n n n ,...,,21个样品, 共计n=∑=Gi i1n个样品。
即从第g 类取了g n 个样品, g=1,2,⋯, G, 第g 类的第i 个样品, 用向量:gi x =(pgi gi gi x x ,...,,x 21)T (1)( 1) 式中, 第一个下标是变量号, 第二个下标是类型号,第三个下标是样品号。
设判别函数为:T x p p v x v x v x v =+++=...y 2211 （2）其中: V=(p v v v ,...,21)T按照组内差异最小, 组间差异最大同时兼顾的原则, 来确定判别函数系数。
（中间推导过程不在这里介绍了）最终就有个判别函数:,y x V Tj j=1,...,2,1s j = 一般只取前M=min(G- 1,p)个, 即:M j x v x v x v y p pj j j j ,...,2,1,...2211=+++= （3）根据上述M 个判别函数, 可对每一个待判样品做出判别。
),...,,(x 020100p x x ｘ=其过程如下:1、把x0 代入式(3) 中每一个判别函数, 得到M 个数,,...,2,1,...y 202101j 0M j x v x v x v p pj j j =+++=记：TM y y y y ),...,,(020100= 2、把每一类的均值代入式（3）得Gg y y y y G g M j x v x v x v y M gggg pg pg g g g g j g ,...,2,1),,...,,(,...2,1,,...,2,1,...212211====+++=3、计算：∑=-=Mj j j g gy y D 1202)(，从这G 个值中选出最小值：)(min 212g Gg h D D ≤≤=。
Fisher判别法
������1 ������ (1) + ������2 ������ (2) = 10.89718 ������1 + ������2
(3) 判别准则 因为：������ 1 > ������ 2 所以判别准则为：当 y>y0 时，判X ∈ ������1 当 y<������0 时，判X ∈ ������2 当 y=������0 时，待判 (4) 对已知类别的样品判别归类 序号 1 2 3 4 5 6 7 8 9 10 国家 美国 日本 瑞士 阿根廷 阿联酋 保加利亚 古巴 巴拉圭 格鲁吉亚 南非 判别函数 y 的值 12.22 12.48 12.38 11.75 12.00 10.59 10.01 9.55 8.60 9.40 原类号 1 1 1 1 1 2 2 2 2 2 判别归类 1 1 1 1 1 2 2 2 2 2
判别结果与实际情况吻合。
(1) 建立判别函数 ������1 ������1 0.081341 ������2 = ������ −1 ������2 = 0.001664 ������3 ������3 0.001092 所以判别函数为：
y=预期生命 * 0.081341182 + 0.001664436 * 识字率 + 0.001092273 * 人均gdp.
344.228
-252.240
Covariance N 人均 gdp Pearson Correlation Sig. (2-tailed) Sum of Squares and Cross-products
14.006 5 .654 .231
86.057 5 -.119 .848
-63.060 5 1
发达国家
fisher判别的基本步骤
Fisher判别是一种基于线性判别分析的分类方法，用于将样本分为不同的类别。
其基本步骤如下：
1. 确定判别变量：首先需要确定用于判别的变量，即用于分类的特征。
2. 计算判别函数：根据样本数据，计算出判别函数，即用于将样本分为不同类别的函数。
3. 确定判别类别：根据判别函数，将样本分为不同的类别。
4. 计算判别准确率：计算分类准确率，即正确分类的样本数与总样本数之比。
5. 优化判别函数：根据判别准确率，调整判别函数，以提高分类准确率。
6. 重复步骤3~5：重复以上步骤，直到达到所需的分类准确率。
在Fisher判别中，判别函数是基于Fisher线性判别的，即对于每个类别，计算出一个线性函数，使得属于该类别的样本与属于其他类别的样本的距离最大化。
这个过程可以通过矩阵运算和求导来实现。
总之，Fisher判别是一种基于线性判别分析的分类方法，其基本步骤包括确定判别变量、计算判别函数、确定判别类别、计算判别准确率、优化判别函数和重复步骤3~5，直到达到所需的分类准确率。
Fisher判别-jing
i 1
综上（1），（2） Fisher最优判别准则为函数
L(l1 , l2 , l p ) ( y 0 y 1 )2
(y
i 1
s
0 i
y ) ( yi1 y 1 ) 2
0 2 i 1
t
越大越好。从而最优判别函数的系数 c1 , c2 , c p 为函数 L(l1 , l2 ,l p ) 的极大值点。由微分学可知， 1 , c2 , c p 为方 c 程组
编号 1 购 买 者 2 3 4 5 6
式样X1 包装X2 耐久 性X3
编号 8 非 9 购 买 10 者 11
式样X1 包装X2
耐久 性X3
0 0 ( x11 , x12 , x10p )
1 1 1 ( x11 , x12 , x1 p )
组A的数据
0 0 0 ( x21 , x22 , x2 p )
0 ( xs01 , xs02 , xsp )
组B的数据
( x1 , x1 , x1 p ) 21 22 2
1 ( xt11 , xt12 , xtp )
组B的数据矩阵
1 x11 1 1 x21 W 1 xt1
1 1 x12 x1 p x1 x1 p 22 2 1 1 xt 2 xtp
矩阵 W 和 W
0
1
的列平均数分别为 ( x10 , x20 , x p0 ) 和 ( x1 , x2 , x p )
判别分析分为两组判别分析和多组判别分析， 两组判别分析就是将要判别的对象分为两组，例 如，判别一个地区的消费者对某种产品的反应是 “喜欢”还是“不喜欢”，判别一种产品在某地 区是处于“饱和”状态还是“有需求”，多组判 别分析则是将要判别的对象分为三组或更多组， 例如某种产品的市场潜力可分为：“大”，“一 般”，“没有”三种。 判别分析的方法很多，我们这里只涉及 Fisher判别方法，且重点放在两组判别问题上。
Fisher线性判别
3·4 Fisher线性判别多维 Þ Fisher变换 Þ 利于分类的一维对于线性判别函数( 3-4-1)可以认为是矢量在以为方向的轴上的投影的倍。
这里，视作特征空间中的以为分量的一个维矢量希望所求的使投影后，同类模式密聚，不同类模式相距较远。
求权矢量Þ 求满足上述目标的投影轴的方向和在一维空间中确定判别规则。
从另一方面讲，也是降维，特征提取与选择等问题的需要。
（R.A.Fisher，1936）下面我们用表示待求的。
图 (3-4-1) 二维模式向一维空间投影示意图（1）Fisher准则函数对两类问题，设给定维训练模式，其中有个和个模式分属类和类。
为方便，各类的模式又可分别记为和，于是，各类模式均值矢量为( 3-4-2)各类类内离差阵和总的类内离差阵分别为( 3-4-3)( 3-4-4)我们取类间离差阵为( 3-4-5)作变换，维矢量在以矢量为方向的轴上进行投影( 3-4-6)变换后在一维空间中各类模式的均值为( 3-4-7)类内离差度和总的类内离差度为( 3-4-8)( 3-4-9)类间离差度为( 3-4-10)我们希望经投影后，类内离差度越小越好，类间离差度越大越好，根据这个目标作准则函数( 3-4-11)称之为Fisher准则函数。
我们的目标是，求使最大。
（2）Fisher变换将标量对矢量微分并令其为零矢量，注意到的分子、分母均为标量，利用二次型关于矢量微分的公式可得( 3-4-12)令可得当时，通常是非奇异的，于是有( 3-4-13)上式表明是矩阵相应于本征值的本征矢量。
对于两类问题，的秩为1，因此只有一个非零本征值，它所对应的本征矢量称为Fisher最佳鉴别矢量。
由式( 3-4-13)有( 3-4-14)上式右边后两项因子的乘积为一标量，令其为，于是可得式中为一标量因子。
这个标量因子不改变轴的方向，可以取为1,于是有( 3-4-15)此时的是使Fisher准则函数取最大值时的解，即是维空间到一维空间投影轴的最佳方向，( 3-4-16)称为Fisher变换函数。
判别分析(2)费希尔判别
两总体的Fisher判别法 判别法 两总体的
其中， 其中，S 即
jl
= ∑ ( x Aij − x Aj )( x Ail − x Al ) + ∑ ( x Bij − x Bj )( x Bil − x Bl )
i =1 i =1
na
nb
F = ∑ ∑ c j c l s jl
j =1 l =1
Fisher判别 判别
内容：
1、建立判别准则； 2、建立判别函数 3、回代样本； 4、估计回代的错误率； 5、判别新的样本。
Fisher判别 判别
y 是线性函数， 由于 ( X ) 是线性函数，一般可将 y( X )表示为
（4.2） ） 对于线性函数 y( X ) ，它的几何表示就是空间中 的一条直线或平面，或超平面， 的一条直线或平面，或超平面，如果我们把两 B 看成空间的两个点集， 总体 A、 看成空间的两个点集，该平面所起的 B 分开， 作用就是尽可能将空间两个点集 A 、 分开，如 所示。 图4.1所示。 所示
Fisher判别 判别
Fisher判别 判别
Fisher判别 判别
费希尔判别的基本思想是投影（或降维）
Fisher方法是要找到一个(或一组)投 影轴w使得样本投影到该空间后能 在保证方差最小的情况下，将不同 类的样本很好的分开。并将度量类 别均值之间差别的量称为类间方差 (或类间散布矩阵);而度量这些均值 周围方差的量称为类内方差(或类内 散布矩阵)。Fisher判决的目标就是: 寻找一个或一组投影轴，能够在最 小化类内散布的同时最大化类间布。
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
max I = max ( ya − yb )
fisher判别函数
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
模式识别fisher判别
论文(设计)《模式识别》题目Fisher线性判别的基本原理及应用Fisher判别准则一、基本原理思想Fisher线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。
Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。
二、算法的实现及流程图1 算法实现 （1）W 的确定x 1m x, 1,2ii X ii N ∈==∑各类样本均值向量mi样本类内离散度矩阵和总类内离散度矩阵Tx S (x m )(x m ), 1,2ii i i X i ∈=--=∑样本类间离散度矩阵T1212S (m m )(m m )b =--在投影后的一维空间中，各类样本均值。
样本类内离散度和总类内离散度。
样本类间离散度。
Fisher 准则函数满足两个性质：·投影后，各类样本内部尽可能密集，即总类内离散度越小越好。
·投影后，各类样本尽可能离得远，即样本类间离散度越大越好。
根据这个性质确定准则函数，根据使准则函数取得最大值，可求出W ：。
（2）阈值的确定采取的方法：【1】【2】【3】（3）Fisher 线性判别的决策规则对于某一个未知类别的样本向量x ，如果y=W T·x>y0，则x ∈w1；否则x ∈w2。
2 流程图归一化处理载入训练数据三、实验仿真1.实验要求试验中采用如下的数据样本集:ω1类： (22,5),(46,33),(25,30),(25,8),(31, 3),(37,9),(46,7),(49,5),(51,6),(53,3)(19,15),(23,18),(43,1),(22,15),(20,19),(37,36),(22,22),(21,32),(26,36),(23,39)(29,35),(33,32),(25,38),(41,35),(33,2),(48,37)ω2类: (40,25),(63,33),(43,27),(52,25),(55,27),(59,22) ,(65,59),(63,27)(65,30),(66,38),(67,43),(52,52),(61,49) (46,23),(60,50),(68,55) (40,53),(60,55),(55,55) (48,56),(45,57),(38,57) ,(68,24)在实验中采用Fisher线性判别方法设计出每段线性判别函数。
实验1 Fisher线性判别实验
实验1 Fisher线性判别实验一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题，低维特征空间的分类问题一般比高维空间的分类问题简单。
因此，人们力图将特征空间进行降维，降维的一个基本思路是将d维特征空间投影到一条直线上，形成一维空间，这在数学上比较容易实现。
问题的关键是投影之后原来线性可分的样本可能变为线性不可分。
一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分。
如何确定投影方向使得降维以后，样本不但线性可分，而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布），就是Fisher线性判别所要解决的问题。
本实验通过编制程序让初学者能够体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。
二、实验要求1、改写例程，编制用Fisher线性判别方法对三维数据求最优方向W的通用函数。
2、对下面表1-1样本数据中的类别ω1和ω2计算最优方向W。
3、画出最优方向W的直线，并标记出投影后的点在直线上的位置。
表1-1 Fisher线性判别实验数据4、选择决策边界，实现新样本xx1=（-0.7,0.58,0.089），xx2=（0.047,-0.4,1.04）的分类。
5、提高部分（可做可不做）：设某新类别ω3数据如表1-2所示，用自己的函数求新类别ω3分别和ω1、ω2分类的投影方向和分类阈值。
表1-2 新类别样本数据三、部分参考例程及其说明求取数据分类的Fisher投影方向的程序如下：其中w为投影方向。
clear %Removes all variables from the workspace.clc %Clears the command window and homes the cursor.% w1类训练样本，10组，每组为行向量。
w1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0. 011;-0.35,0.47,0.034;...0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0 .12,0.054,-0.063];% w2类训练样本，10组，每组为行向量。
Fisher判别
Fisher判别理论，编程步骤和优缺点1.理论判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。
然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。
判别分析是一种应用性很强的统计数据分析方法。
Fisher判别（1）借助方差分析的思想构造一个线性判别函数：（2）确定判别函数系数时要求使得总体之间区别最大，而使每个总体内部的离差最小。
（3）从几何的角度看，判别函数就是p维向量X在某种方向上的投影。
使得变换后的数据同类别的点“尽可能聚在一起”，不同类别的点“尽可能分离”，以此达到分类的目的。
两类Fisher判别示意图（1）如果有多个类别， Fisher 判别可能需要两个或者更多的判别函数才能完成分类。
（2）一般来说判别函数的个数等于分类的个数减一。
（3）得到判别函数后，计算待判样品的判别函数值，根据判别函数的值计算待判样品到各类的重心的距离，从而完成分类。
2.编程步骤① 把来自两类21/w w 的训练样本集X 分成1w 和2w 两个子集1X 和2X 。
G1 G2X② 由∑∈=i k X x k ii x n M 1，2,1=i ，计算i M 。
③ 由T i X x k i k i M x M x S ik ))((--=∑=计算各类的类内离散度矩阵i S ，2,1=i 。
④ 计算类内总离散度矩阵21S S S w +=。
⑤ 计算w S 的逆矩阵1-w S 。
⑥ 由)(211*M M S w w -=-求解*w 。
3.优点（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后的样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离竟可能的远，同一类别的尽可能的集中分布。
（2）Fisher 方法可以直接求解法向量。
（3）Fisher 的线性判别不仅适用于确定性的模式分类器的训练，而且对于随机的模机也是适用的，Fisher 还可以推广到多类问题中去。
第5章判别分析fisher判别等
Discriminant analysis
判别分析
用于判别样本所属类型的统计分析方法 基因识别：根据某一DNA序列的核苷酸组分、信号特 征等指标，判别是否编码蛋白序列？ 医学诊断：某一病人肺部存在阴影，判别:
肺结核？良性肿瘤？肺癌？ 人类考古学：根据头盖骨的特征，判别：民族、性别、 生活年代？ 股票分析预测： 气象分析预测： 自然灾害分析预测： ……
p k 1
(
x (1) ki
x (1) i
)(
x (1) kj
x
(1) j
)
s(2) ij
1 q 1
q
(
x(2) ki
k 1
x (2) i
)(
x(2) kj
x
( j
2)
)
i, j 1,2,..., n i, j 1,2,..., n
Discriminant analysis
Discriminant analysis
判别分析问题 设有k个m维的总体G1, G2, …, Gk， (1). 它们的分布特征已知，可以表示为F1(x), F2(x), …,
Fk(x) (2). 或者知道来自各个总体的样本（训练样本）。 对于给定的一个未知样本X（检测样本），判别X属于
哪个总体。 多元的、复杂的、高度综合的统计分析问题
ss12((1ll1))
s(l) 12
s(l) 22
... ....
s(l) 1n
s(l) 2n
1ቤተ መጻሕፍቲ ባይዱ
x1 x2
Fisher线性判别分析
Fisher线性判别分析
Fisher线性判别分析
1、概述
在使⽤统计⽅法处理模式识别问题时，往往是在低维空间展开研究，然⽽实际中数据往往是⾼维的，基于统计的⽅法往往很难求解，因此降维成了解决问题的突破⼝。
假设数据存在于d维空间中，在数学上，通过投影使数据映射到⼀条直线上，即维度从d维变为1维，这是容易实现的，但是即使数据在d维空间按集群形式紧凑分布，在某些1维空间上也会难以区分，为了使得数据在1维空间也变得容易区分，需要找到适当的直线⽅向，使数据映射在该直线上，各类样本集群交互较少。
如何找到这条直线，或者说如何找到该直线⽅向，这是Fisher线性判别需要解决的问题。
2、从d维空间变换到1维空间
3、介绍⼏个基本的参量
A. 在d维原始空间
B. 在1维映射空间
4、Fisher准则函数
5、学习算法推导
6、决策分类。
贝叶斯判别Fisher判别法
Loa n R e cord N umbe r
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
17
Yrs a t Yrs a t Yrs a t Yrs a t
Monthly Monthly H ome Pre se nt Pre vious Pre se nt Pre vious N o. of
第二节 贝叶斯判别 Fisher判别法
❖ 贝叶斯判别法是通过计算被判样本x属于k个总体的条件概率
P（n/x),n=1,2…..k. 比较k个概率的大小，将样本判归为来自
出现概率最大的总体（或归属于错判概率最小的总体）的判
别方法。
❖一、最大后验概率准则
设有k个总G体1,G2,G3 Gk 率密度为Gi
q1 q2 qk 1
，样本x来自
qi ,i 1G,且2i 总 k,体
的fi ( x概)
Gi 的 先 验Gi概 率 为
满足
P(Gi
x)
qi fi (x)
k
i 1,2 k
．i利1 qi用fi (x贝) 叶斯理论，x属于
的后验概率
x Gl , 若P(Gl
（即当样本x已知时，它属于
x) m1的iaxk 概P(G率i x为) ：
当先验概率相等，
q1
qk
1 k
mi (x) 1 μ(i)Σ μ 1 (i) μ(i)Σ1x 2
完全成为距离判别法 。 判别准则1：后验概率最大 即判断x来自后验概率最大的总体
❖ 例9：下表是某金融机构客户的个人资料，这些资料对一个金融机构来 说，对于客户信用度的了解至关重要，因为利用这些资料，可以挖掘出 许多的信息，建立客户的信用度评价体系。所选变量为： x1: 月收入 x2：月生活费支出 x3：虚拟变量，住房的所有权，自己的为“1”，租用的“0” x4：目前工作的年限 x5：前一个工作的年限 x6：目前住所的年限 x7：前一个住所的年限 X8: 家庭赡养的人口数 X9：信用程度，“5”的信用度最高，“1”的信用度最低。
Fisher判别
两类Fisher判别示意图
Y
G1
G2
L=b111 x1 l12 x 2 l1m x m y l x l x l x L1 1 L2 2 Lm m L
将原来m个变量综合成L个新变量
Fisher判别法
Fisher判别法(先进行投影)
• 所谓Fisher判别法，就是一种先投影的方法。 • 考虑只有两个（预测）变量的判别分析问题。 • 假定这里只有两类。数据中的每个观测值是二维空间的 一个点。见图（下一张幻灯片）。 • 这里只有两种已知类型的训练样本。其中一类有38个 点（用“o”表示），另一类有44个点（用“*”表示）。 按照原来的变量（横坐标和纵坐标），很难将这两种点 分开。 • 于是就寻找一个方向，也就是图上的虚线方向，沿着这 个方向朝和这个虚线垂直的一条直线进行投影会使得这 两类分得最清楚。可以看出，如果向其他方向投影，判 别效果不会比这个好。 • 有了投影之后，再用前面讲到的距离远近的方法来得到 判别准则。这种首先进行投影的判别方法就是Fisher判 别法。
Fisher判别法
ii)计算判别临界值y0, 然后根据判别准则对 新样品判别分类。
假定所建立的判别函数为
组内离差阵 总体之间样本离差阵
这说明和C恰好是A、E矩阵的广义特征根
及其对应的特征向量，假设其正根的数目为m。
Fisher判别法 （canonical discriminant）
1、两总体Fisher判别法
两类Fisher判别示意图
YG1ຫໍສະໝຸດ G2L=b1X+b2Y
X
假设新建立的判别式为
y c1x1 c2 x2 ....... cp xp
将属于不同两总体的样品观测值带入判别式中去， 则得到
将上边两式分别左右相加，再除以相应的样品个 数，则有
结果来说没有影响。所以取 1 ，于是方程组变为：
有了判别函数之后，欲建立判别准则还要确定判别临界值， 在两总体先验概率相等的假设下，一般取临界值为 y (1) y (2)
的加权平均值即
y0
n1 y (1) n1
n2 y (2) n2
根据 y (1) y (2) 的大小确定判别准则。
两个正态总体等方差情况下的示意图形。
为了使判别函数能够很好的区别来自不同总体 的样品，希望判别式能够满足以下的条件：
综合以上两点，就是要求 越大越好。
由微积分求极值的必要条件（导数为0）可求出使 I 达到最大的值C1,C2…CP，由此就得到满足要求的 判别式。
是常数因子，不依赖于k,它对方程组的解只起到共同扩大
倍的作用，不影响C1,C2…,CP之间的相对比例关系。对判别
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
u 1 aX 1 , u 2 aX 2 1 1 临界值可取为u u 1 u 2 aX 1 aX 2 2 2 ˆ1u 1 ˆ 2u 2 也可取临界值u ˆ1 ˆ2
1 ni i i ˆi u u j ni 1 j 1
则判X G2
若第二个判别函数仍不能确定，再利用第三个判别函数。，直到确定了每个样本的 归属。
判别能力：pl
λ1
λ
i 1
r
，l 1,2， ，r
i m
累计判别能力： pm pl
i 1
m
λ λ
i 1 i 1 r
i
i
如果m个判别函数的累计判别能力达到所要求的值（比如90%），则认为m 个判别函数就够了。
Fisher判别准则 一、两个总体
当仅仅有两个总 时， B的秩为1，A1 B的非零特征值只有一个 记为，对应特征向量记为 a, 则线性判别函数为 u X aX
aBa
X t 和X分别为 Gt t 1,...,k ，的样样本均值和总样 均值，并记
1 k nt t X X j n t 1 j 1
组间离差阵B nt X t -X X t -X
i 1
k nt
k
t j t
合并的组内离差平方和 为A0 aX - aX
Fisher判别法
基本思想：通过将多维数据投影到某一 方向上，使得投影后类与类之间尽可能 的分开，然后再选择合适的判别准则。 费歇尔判别法就是要找一个由p个变量 组成的线性函数，使得各类内点的函数 值尽可能接近，而不同类之间的函数值 尽可能的远离
设从总体 Gt t 1,...,k 分别抽取p元样本如下：
2
ni 1 i i i i a ( X j X )( X j X ) a ni 1 j 1
Fisher判别准则
当u 1 u 2，若u X u （或u ），则判X G1 若u X u （或u ），则判X G2 若u X u （或u ），则X待判。 当u 1 u 2，若u X u （或u ），则判X G2 若u X u （或u ），则判X G1 若u X u （或u ），则X待判。
根据极值的必要条件 0 a
2 Ba 2 Aa 2 Ba 2 Aa aBa aAaaBa 0 2 2 a aAa aAa aAa aAa aAa 2 Ba 2Aa 即 0， aAa aAa Ba Aa， ABa a
即为AB的最大特征根， a为对应的特征向量。 记AB的1 2 ... r 0，对应特征向量a1 , a2 ,...,ar， 于是可以构造 r个判别函数ut X at X，， 1,2， ，r
二、多个总体
首先取判别效率最大的 1的判别函数u1 X a1' X。
’ i K个总体的均值在 a1上的投影为u1i a1 X , i 1,2,...,k，
对待判别样本X，计算其在a1上的投影，若存在唯一 i1 , 使 u1 X u1i1 ˆi
1
min
u1 X u1j ˆj
j 1, 2 ,..., k
则判X G1
如果有t个总体，使其与 u1 X 的距离相等且最小，再 利用判别函数
' u2 X a2 X来判断归属。
用T表示这t个总体的序号集，若在t个总体中，有唯一i2，使
u2 X u2i2 ˆi
2
min
j T
u2 X u2j ˆj
t 1 j1
2
k nt a nt X tj - X t X tj - X t a t 1 j1
aAa
因此，若k个总体的均值有显著差异，则比值
aBa ˆ a 应充分大。转化为求该比值的最大值。 aAa
线性判别函数的求法
1 X nt
t
1 X j , t 1,...,k j 1
nt
每个总体的数据投影后均为一元数据。对这k组一元数据进行一元方差分 析，其组间平方和为：
B0 nt aX -aX
t t 1
k
2
k a nt X t -X X t -X a i 1
X x ,...,xห้องสมุดไป่ตู้
t i t i1
t ip
, t 1,2,...,k; i 1,...,n
t
a a1 ,...,a p 为p维空间的任意向量，
u X aX 为X向以a为法线方向上的投影。 上述k个组中的p元数据投影为：
1 1 k k G1 : aX1 ,...,aX n ;..., G : a X ,..., a X 1 k 1 nk