Fisher判别-jing
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
判别分析(2)费希尔判别
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
max I = max ( ya − yb )
2
∑( y
i =1
na
ai
− y a ) + ∑ ( y bi − y b ) 2
2 i =1
nb
类内散度足够小 类间散度足够大
= max na
(c1 xA1 + L+ cm xAm − c1 xB1 − L− cm xBm)2
两总体的Fisher判别法 判别法 两总体的
m 1 m 2( ∑ c j d j )d j = 2∑ c l s jl I j =1 l =1
令 有 亦即
β=
∑c d
l =1 l
m
l
I
m
βd j = ∑ c l s jl
l =1
( j = 1,2,L , m )
s11 c1 + s12 c 2 + L + s1m c m = βd 1 s 21 c1 + s 22 c 2 + L + s 2 m c m = βd 2 M L M M M s m 1 c1 + s m 2 c 2 + L + s mm c m = βd m
） ( i = 1,2, L , na )（4.3） 的重心， 的重心，记为 （4.4） ）
y( X )平面上投影点 y ai ( i = 1,2, L , na )
ya =
1 ( y a 1 + L + y ana ) = c1 x A1 + L + c m x Am na
fisher判别
Fisher线性判别
问题的提出：
上海大学
Shanghai University
Fisher 线性判别函数的提出：在用统计方法进行模式识别时， 许多问题涉及到维数，在低维空间行得通的方法，在高维空间 往往行不通。因此，降低维数就成为解决实际问题的关键。 Fisher的方法，就是解决维数压缩问题。 对xn的分量做线性组合可得标量
• 在给定样本集 条件下 ， 确定线性判别函数的各项系数 ，以期 对待测样本进行分类时，能满足相应的准则函数J 为最优的要求。 • 用最优化技术确定权向量 向量 阈值权 或 增广权
计算机工程与科学学院
设计线性分类器的主要步骤
给定样本集X，确定线性判别函数 各项系数w和w0。步骤：
收集一组具有类别标志的样本X={x1,x2,…,xN}
计算机工程与科学学院
ห้องสมุดไป่ตู้
线性判别函数的基本概念
上海大学
Shanghai University
设样本d维特征空间中描述，则两类别问题中线性判别函数的 T 一般形式可表示成 x = x1 , x2 ,...xd g ( x) wT x w0 其中 T w= w1 , w2 ,...wd
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
g(x)＝0就是相应的决策面方程，在线性判别函数条件下 它对应d维空间的一个超平面。
计算机工程与科学学院
线性判别函数的基本概念
y1 1 a1 c0 y y2 x ，a a2 c1 如果我们采用映射x→ y ，使 2 y3 x a3 c2
4-3_Fisher判别
整性。
在解决实际问题时，当总体参数未知，需要通过样本来估计，
我们仅对 k2 的情形加以说明。设样本分别为
X(1) 1
,
X(1) 2
,
X(1) n1
和
X(2) 1
,
X(2) 2
,
X(2) n2
，则
X n1X(1) n2X(2) n1 n2
X(1) X n2 (X(1) X(2) ) n1 n2
方法回顾
距离判别法 优点：简单，便于使用。 不足之处：
第一，判别方法与总体各自出现的概率的大小无关； 第二，判别方法与错判之后所造成的损失无关。 Bayes判别法 优点：错判率较小。 不足之处： 需要获取总体的分布及参数值，实现困难。 实际问题中有时也没必要知道其分布。
第四节 费歇（Fisher）判别法
E(uX) E(uX | Gi ) uE(X | Gi ) uμi i ， i 1,2
D(uX) D(uX | Gi ) uD(X | Gi )u uΣiu
2 i
，
i 1,2
在求线性判别函数 时，尽量使得总体之间差异大，也就是要求
uμ1 uμ2 尽可能的大，即 1 2 变大；同时要求每一个总体内
的离差平方和最小，即
2 1
2 2
，则我们可以建立一个目标函数
(u) (1 2 )
2 1
2 2
（4.20）
这样，我们就将问题转化为，寻找 u 使得目标函数 (u) 达到
最大。从而可以构造出所要求的线性判别函数。
2、针对多个总体的情形
假设有 k 个总体 G1, G2 ,, Gk ，其均值和协方差矩阵分别为 μ i
fisher判别准则
fisher判别准则
Fisher判别准则是一种分类算法，主要用于将多维数据分为两
个类别。
该算法的核心是通过最大化类别间距离和最小化类别内部距离来确定决策边界，从而实现对新数据的分类。
具体来说，该算法首先计算每个类别的均值向量和协方差矩阵，然后通过类别间距离和类别内部距离的比值来确定最佳的决策边界。
决策边界可以用一个线性方程表示，因此该算法也称为线性判别分析（LDA）。
由于Fisher判别准则考虑了类别间的差异和类别内部的相似性，因此在处理高维数据时表现出色。
同时，该算法还可以用于特征选择和降维，有助于简化数据处理过程。
总之，Fisher判别准则是一种有效的分类算法，可用于处理多
维数据和进行特征选择。
在实际应用中，可以根据具体问题的性质选择适合的分类算法并进行实验验证。
- 1 -。
数据挖掘——Fisher判别课件
组A
A A ( x11 , x12 ,, x1Ap ) A A A ( x 21 , x 22 ,, x 2 p ) A A ( x sA , x , , x ) 1 s 2 sp
组B
B B B ( x11 , x12 ,, x1 p ) B B B ( x , x , , x ) 21 22 2p B B ( x tB , x , , x ) 1 t 2 tp
9 8.29 7 8.29 10 8.29 A 8 8.29 9 8.29 8 8.29 7 8.29 8 6.43 7 6.00 6 6.43 6 6.00 7 6.43 8 6.00 4 6.43 5 6.00 9 6.43 3 6.00 6 6.43 7 6.00 5 6.43 6 6.00
x2
X X X
X X X X o o o X X
X X X X o o o o o o
？
o o o o o o o
若我们能找到分界直线 C0+c1x1+c2x2=0 则可用其进行预测。即判断（价格， 收入）点落在什么区域。
x1
判别分析的基本思想
假设有p个预测因子
x1, x2 ,, x p
,有n组观测值，
A B c x x 1 0.128 1 1 c S 1 x A x B 0.072 2 2 2 A B 0.099 c x x 3 3 3
Fisher线性判别
3·4 Fisher线性判别多维 Þ Fisher变换 Þ 利于分类的一维对于线性判别函数( 3-4-1)可以认为是矢量在以为方向的轴上的投影的倍。
这里，视作特征空间中的以为分量的一个维矢量希望所求的使投影后，同类模式密聚，不同类模式相距较远。
求权矢量Þ 求满足上述目标的投影轴的方向和在一维空间中确定判别规则。
从另一方面讲，也是降维，特征提取与选择等问题的需要。
（R.A.Fisher，1936）下面我们用表示待求的。
图 (3-4-1) 二维模式向一维空间投影示意图（1）Fisher准则函数对两类问题，设给定维训练模式，其中有个和个模式分属类和类。
为方便，各类的模式又可分别记为和，于是，各类模式均值矢量为( 3-4-2)各类类内离差阵和总的类内离差阵分别为( 3-4-3)( 3-4-4)我们取类间离差阵为( 3-4-5)作变换，维矢量在以矢量为方向的轴上进行投影( 3-4-6)变换后在一维空间中各类模式的均值为( 3-4-7)类内离差度和总的类内离差度为( 3-4-8)( 3-4-9)类间离差度为( 3-4-10)我们希望经投影后，类内离差度越小越好，类间离差度越大越好，根据这个目标作准则函数( 3-4-11)称之为Fisher准则函数。
我们的目标是，求使最大。
（2）Fisher变换将标量对矢量微分并令其为零矢量，注意到的分子、分母均为标量，利用二次型关于矢量微分的公式可得( 3-4-12)令可得当时，通常是非奇异的，于是有( 3-4-13)上式表明是矩阵相应于本征值的本征矢量。
对于两类问题，的秩为1，因此只有一个非零本征值，它所对应的本征矢量称为Fisher最佳鉴别矢量。
由式( 3-4-13)有( 3-4-14)上式右边后两项因子的乘积为一标量，令其为，于是可得式中为一标量因子。
这个标量因子不改变轴的方向，可以取为1,于是有( 3-4-15)此时的是使Fisher准则函数取最大值时的解，即是维空间到一维空间投影轴的最佳方向，( 3-4-16)称为Fisher变换函数。
关于fisher判别的一点理解
关于fisher判别的⼀点理解最近⼀个朋友问这⽅⾯的⼀些问题，其实之前也就很粗略的看了下fisher，真正帮别⼈解答问题的时候才知道原来⾃⼰也有很多东西不懂。
下⾯⼩结下⾃⼰对fisher判别的理解：其实fisher和PCA差不多，熟悉PCA的⼈都知道，PCA其实就是在寻找⼀个⼦空间。
这个空间怎么来的呢，先求协⽅差矩阵，然后求这个协⽅差矩阵的特征空间（特征向量对应的空间），选取最⼤的特征值对应的特征向量组成特征⼦空间（⽐如说k个，相当于这个⼦空间有k 维，每⼀维代表⼀个特征，这k个特征基本上可以涵盖90%以上的信息）。
那么我们把样本投影在这个⼦空间，原来那么多维的信息就可以⽤这k维的信息代替了，也就是说降维了。
⾄于PCA为啥要⽤求协⽅差矩阵然后求特征⼦空间的⽅法，这个数学上有证明，记得在某篇⽂章上看过，有兴趣的可以找找，看看证明。
那么fisher空间⼜是怎么⼀回事呢，其实fisher判别和PCA是在做类似的⼀件事，都是在找⼦空间。
不同的是,PCA是找⼀个低维的⼦空间，样本投影在这个空间基本不丢失信息。
⽽fisher是寻找这样的⼀个空间，样本投影在这个空间上，类内距离最⼩，类间距离最⼤。
那么怎么求这个空间呢，类似于PCA，求最⼤特征值对应的特征向量组成的空间。
当我们取最⼤⼏个特征值对应的特征向量组成特征空间时（这⾥指出，最佳投影轴的个数d<=c-1，这⾥c是类别数），最佳投影矩阵如下：其实在⽂章Eigenfaces vs Fisherfaces ：recognition using class specific linear projection中给出了PCA和LDA⽐较直观的解释，⽂中对⼀个⼆维的数据进⾏分析,PCA和LDA都是把⼆维数据降到⼀个⼀维空间，那么其实PCA使得数据投影在这个⼀维空间总的离散度最⼤，我的理解是这样的，如果数据在某⼀维上⽐较离散，说明这维特征对数据的影响⽐较⼤，也就是说这维特征是主成分。
fisher判别函数
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
模式识别fisher判别
论文(设计)《模式识别》题目Fisher线性判别的基本原理及应用Fisher判别准则一、基本原理思想Fisher线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。
Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。
二、算法的实现及流程图1 算法实现 （1）W 的确定x 1m x, 1,2ii X ii N ∈==∑各类样本均值向量mi样本类内离散度矩阵和总类内离散度矩阵Tx S (x m )(x m ), 1,2ii i i X i ∈=--=∑样本类间离散度矩阵T1212S (m m )(m m )b =--在投影后的一维空间中，各类样本均值。
样本类内离散度和总类内离散度。
样本类间离散度。
Fisher 准则函数满足两个性质：·投影后，各类样本内部尽可能密集，即总类内离散度越小越好。
·投影后，各类样本尽可能离得远，即样本类间离散度越大越好。
根据这个性质确定准则函数，根据使准则函数取得最大值，可求出W ：。
（2）阈值的确定采取的方法：【1】【2】【3】（3）Fisher 线性判别的决策规则对于某一个未知类别的样本向量x ，如果y=W T·x>y0，则x ∈w1；否则x ∈w2。
2 流程图归一化处理载入训练数据三、实验仿真1.实验要求试验中采用如下的数据样本集:ω1类： (22,5),(46,33),(25,30),(25,8),(31, 3),(37,9),(46,7),(49,5),(51,6),(53,3)(19,15),(23,18),(43,1),(22,15),(20,19),(37,36),(22,22),(21,32),(26,36),(23,39)(29,35),(33,32),(25,38),(41,35),(33,2),(48,37)ω2类: (40,25),(63,33),(43,27),(52,25),(55,27),(59,22) ,(65,59),(63,27)(65,30),(66,38),(67,43),(52,52),(61,49) (46,23),(60,50),(68,55) (40,53),(60,55),(55,55) (48,56),(45,57),(38,57) ,(68,24)在实验中采用Fisher线性判别方法设计出每段线性判别函数。
fisher判别解析
引言
非参数判别分类方法的基本原理——有监督学习方法 线性分类器 近邻法 Fisher 准则线 性分类 器 感知准 则函数 线性分 类器 svm
上海大学
Shanghai University
改进的近邻法
非线性 性分类 器
上海大学
Shanghai University
为了说明向量w的意义，我们假设在该决策平面上有两个特 征向量x1与x2，则应有
w x1 w0 w x2 w0 w ( x1 x2 ) 0
T T T
其中(x1-x2)也是一个向量
上式表明向量w与该平面上任两点组成的向量(x1-x2)正交，因 此w就是该超平面的法向量。这就是向量w的几何意义。 而g(x)也就是d维空间中任一点x到该决策面距离的代数度量，该 决策平面将这两类样本按其到该面距离的正负号确定其类别。 至于w0则体现该决策面在特征空间中的位置，当w0=0时，该 决策面过特征空间坐标系原点，而 时，则 表示了坐 标原点到该决策面的距离。
主要内容
1. 线性判别函数
基本概念 几何意义
上海大学
Shanghai University
2. 广义线性判别函数 3. 设计线性分类器的主要步骤 4. Fisher线性判别
问题的提出 算法的实现 Fisher线性判别实验
计算机工程与科学学院
引言
贝叶斯决策理论
上海大学
Shanghai University
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
fisher判别法
1实验1 Fisher 线性判别实验一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，实际上涉及维数压缩。
如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。
问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。
在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。
如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。
这个投影变换就是我们寻求的解向量*w本实验通过编制程序体会Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握Fisher 线性判别问题的实质。
二、实验原理1．线性投影与Fisher 准则函数各类在d 维特征空间里的样本均值向量：∑∈=ik X x kii xn M 1，2,1=i (4.5-2)通过变换w 映射到一维特征空间后，各类的平均值为：∑∈=ik Y y kii yn m 1，2,1=i (4.5-3)映射后，各类样本“类内离散度”定义为：22()k ii k i y Y S y m ∈=-∑，2,1=i (4.5-4)显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。
因此，定义Fisher 准则函数：2122212||()F m m J w s s -=+ (4.5-5) 使F J 最大的解*w 就是最佳解向量，也就是Fisher 的线性判别式。
2．求解*w从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。
2已知：∑∈=ik Y y ki i yn m 1，2,1=i , 依次代入(4.5-1)和(4.5-2)，有：i TX x kiT k X x T ii M wx n w x w n m ik ik ===∑∑∈∈)1(1，2,1=i (4.5-6)所以：221221221||)(||||||||M M w M w M w m m TTT-=-=-w S w w M M M M w b T T T =--=))((2121 (4.5-7) 其中：T b M M M M S ))((2121--= (4.5-8)b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。
第5章判别分析fisher判别等
Discriminant analysis
判别分析
用于判别样本所属类型的统计分析方法 基因识别：根据某一DNA序列的核苷酸组分、信号特 征等指标，判别是否编码蛋白序列？ 医学诊断：某一病人肺部存在阴影，判别:
肺结核？良性肿瘤？肺癌？ 人类考古学：根据头盖骨的特征，判别：民族、性别、 生活年代？ 股票分析预测： 气象分析预测： 自然灾害分析预测： ……
p k 1
(
x (1) ki
x (1) i
)(
x (1) kj
x
(1) j
)
s(2) ij
1 q 1
q
(
x(2) ki
k 1
x (2) i
)(
x(2) kj
x
( j
2)
)
i, j 1,2,..., n i, j 1,2,..., n
Discriminant analysis
Discriminant analysis
判别分析问题 设有k个m维的总体G1, G2, …, Gk， (1). 它们的分布特征已知，可以表示为F1(x), F2(x), …,
Fk(x) (2). 或者知道来自各个总体的样本（训练样本）。 对于给定的一个未知样本X（检测样本），判别X属于
哪个总体。 多元的、复杂的、高度综合的统计分析问题
ss12((1ll1))
s(l) 12
s(l) 22
... ....
s(l) 1n
s(l) 2n
1ቤተ መጻሕፍቲ ባይዱ
x1 x2
费歇尔判别 第三节
（二）Fisher两类判别的计算步骤： 1、输入历史数据，计算 X ( A) 和 X ( B) 2、计算 dk , sk , k 1,2 p. 1 c s d ，建立判别函数 sc d 3、解方程组 ，求出 y( X ) c1x1 c2 x2 cm xm
Q I max R
2
Q I max R
nI nQ nR
max
令 由于 故
nI 0 ck
k 1,2,, p
nI 1 Q 1 R 0 ck Q ck R ck 1 Q R I c k c k
Q y (1) y
x1(1) 8.29 (1) x3 6.43 x (1) 6.00 3
x1( 2) 3.20 ( 2) x2 3.80 x ( 2) 4.00 3
i 1,2,, n1
i 1,2,, n2
p k 1 p
y
1
1 n1 1 y n i 1 i
2 1 y n i 1 i
n2
(1) (1) y 1 c1 x1(1) c2 x2 cp xp ck xk(1) ( 2) ( 2) y ( 2) c1 x1( 2) c2 x2 cp xp ck xk( 2) k 1
4、对新样本作判别 （1）将新样本p个观测值带入判别函数，求出y值 （2）确定临界值 ( A) ( B) y , y 分别将两类总体样本的判别函数之均值 n1 y (1) n2 y ( 2) 求加权平均值 y0 作为临界值。
n1 n2
5、作出判别 ( A) ( B) 假定y y （ 1）
「实验1Fisher线性判别实验」
实验1 Fｉsｈｅr线性判别实验一、实验目的应用统计方法解决模式识别问题的困难之一是维数问题，低维特征空间的分类问题一般比高维空间的分类问题简单。
因此，人们力图将特征空间进行降维，降维的一个基本思路是将ｄ维特征空间投影到一条直线上,形成一维空间，这在数学上比较容易实现。
问题的关键是投影之后原来线性可分的样本可能变为线性不可分。
一般对于线性可分的样本,总能找到一个投影方向，使得降维后样本仍然线性可分。
如何确定投影方向使得降维以后，样本不但线性可分,而且可分性更好（即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布)，就是Fisher线性判别所要解决的问题。
本实验通过编制程序让初学者能够体会Fｉsｈer线性判别的基本思路，理解线性判别的基本思想，掌握Ｆｉsheｒ线性判别问题的实质。
二、实验要求1、改写例程，编制用Fishｅr线性判别方法对三维数据求最优方向W的通用函数。
2、对下面表1-１样本数据中的类别ω1和ω２计算最优方向W。
3、画出最优方向W的直线，并标记出投影后的点在直线上的位置。
表1-1 Fｉｓｈｅr线性判别实验数据４、选择决策边界,实现新样本xx1＝（-0.7,０.５8，0.0８9),xｘ2＝(0．047,-０．４,1.０4)的分类。
５、提高部分（可做可不做)：设某新类别ω3数据如表１-2所示,用自己的函数求新类别ω3分别和ω1、ω２分类的投影方向和分类阈值。
表1-２新类别样本数据三、部分参考例程及其说明求取数据分类的Fiｓher投影方向的程序如下：其中w为投影方向。
clear %Removeｓａll vａriａbleｓfrｏm thｅworksｐaｃe.cｌc %Clｅａrs the ｃommanｄwinｄoｗ anｄｈomｅs thｅ cuｒsor．% ｗ1类训练样本，10组，每组为行向量。
w1=[－０.４,０.5８,0.０89;-0.31,0.27,-0．０4;-0．３8,0．05５,-0.035;－0.１５,0．5３,0.011;-0．３５，0．47,0.0３4；.．.0．１7，０.6９,0．１；-0.０11,0.５5，-０.18;－0.27，0.61,0.12;－０.065,0．４9，0.０012;-0．12,0.054,-0.063];% w2类训练样本，１0组，每组为行向量。
判别分析中Fisher判别法的应用
1 绪 论1.1课题背景随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可少的工具和手段。
多元统计分析是近年来发展迅速的统计分析方法之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。
判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所属类别的情况下有着广泛的应用。
潜在的应用包括预测一个公司是否成功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有某种疾病等等。
它是在已知观测对象的分类结果和若干表明观测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进行判断时，出错的概率很小。
而Fisher 判别方法是多元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。
通常用来判别某观测量是属于哪种类型。
在方法的具体实现上，采用国内广泛使用的统计软件SPSS（Statistical Product and Service Solutions ）,它也是美国SPSS 公司在20世纪80年代初开发的国际上最流行的视窗统计软件包之一 1.2 Fisher 判别法的概述根据判别标准不同，可以分为距离判别、Fisher 判别、Bayes 判别法等。
Fisher 判别法是判别分析中的一种，其思想是投影，Fisher 判别的基本思路就是投影，针对P 维空间中的某点x=(x1，x2，x3，…，xp)寻找一个能使它降为一维数值的线性函数y(x)： ()j j x C x ∑=y然后应用这个线性函数把P 维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。
这个线性函数应该能够在把P 维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。
Fisher判别法课程设计
Fisher判别法课程设计一、课程目标知识目标：1. 理解Fisher判别法的原理和数学推导过程；2. 学会运用Fisher判别法解决实际问题，如对给定的数据集进行判别分析；3. 掌握Fisher判别法在统计学习中的应用范围和限制。
技能目标：1. 能够运用所学软件（如R、Python等）实现Fisher判别法的计算过程；2. 能够通过实际案例，运用Fisher判别法对数据进行预处理和特征提取；3. 能够分析判别结果，对模型的性能进行评估和优化。
情感态度价值观目标：1. 培养学生独立思考、团队协作的能力，激发学生学习统计学习的兴趣；2. 培养学生面对实际问题，敢于尝试、勇于探索的精神；3. 增强学生对我国在统计学习领域取得的成果的认识，提高国家自豪感。
课程性质：本课程为高年级统计学或相关专业的专业课程，旨在让学生掌握Fisher判别法这一经典统计学习方法。
学生特点：学生已具备一定的数学基础和统计学知识，具有一定的编程能力。
教学要求：通过本课程的学习，使学生能够将Fisher判别法应用于实际问题，并具备独立解决实际问题的能力。
教学过程中注重理论与实践相结合，培养学生的实际操作能力和创新精神。
教学评估将以学生在实际案例中的应用表现为主，注重学生的过程学习和能力提升。
二、教学内容1. 引入Fisher判别法的背景和基本概念，介绍Fisher线性判别和Fisher二次判别的原理；- 教材章节：第三章“判别分析”，第一节“Fisher判别法”；- 内容安排：讲解Fisher判别法的数学推导，分析线性与二次判别的区别及适用场景。
2. 讲解Fisher判别法的计算步骤和实际应用案例；- 教材章节：第三章“判别分析”，第二节“Fisher判别法的计算与应用”；- 内容安排：通过实际案例，演示Fisher判别法的计算过程，分析判别效果。
3. 学习使用统计软件（如R、Python）实现Fisher判别法；- 教材章节：第三章“判别分析”，第三节“Fisher判别法的软件实现”；- 内容安排：教授学生如何利用统计软件进行Fisher判别法的计算，掌握相关函数和操作。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i 1
综上（1），（2） Fisher最优判别准则为函数
L(l1 , l2 , l p ) ( y 0 y 1 )2
(y
i 1
s
0 i
y ) ( yi1 y 1 ) 2
0 2 i 1
t
越大越好。从而最优判别函数的系数 c1 , c2 , c p 为函数 L(l1 , l2 ,l p ) 的极大值点。由微分学可知， 1 , c2 , c p 为方 c 程组
编号 1 购 买 者 2 3 4 5 6
式样X1 包装X2 耐久 性X3
编号 8 非 9 购 买 10 者 11
式样X1 包装X2
耐久 性X3
0 0 ( x11 , x12 , x10p )
1 1 1 ( x11 , x12 , x1 p )
组A的数据
0 0 0 ( x21 , x22 , x2 p )
0 ( xs01 , xs02 , xsp )
组B的数据
( x1 , x1 , x1 p ) 21 22 2
1 ( xt11 , xt12 , xtp )
组B的数据矩阵
1 x11 1 1 x21 W 1 xt1
1 1 x12 x1 p x1 x1 p 22 2 1 1 xt 2 xtp
矩阵 W 和 W
0
1
的列平均数分别为 ( x10 , x20 , x p0 ) 和 ( x1 , x2 , x p )
判别分析分为两组判别分析和多组判别分析， 两组判别分析就是将要判别的对象分为两组，例 如，判别一个地区的消费者对某种产品的反应是 “喜欢”还是“不喜欢”，判别一种产品在某地 区是处于“饱和”状态还是“有需求”，多组判 别分析则是将要判别的对象分为三组或更多组， 例如某种产品的市场潜力可分为：“大”，“一 般”，“没有”三种。 判别分析的方法很多，我们这里只涉及 Fisher判别方法，且重点放在两组判别问题上。
判别分析— Fisher判别
景元萍 数理部
一.判别问题 二.两组判别分析基本思想 三.Fisher判别准则和判别函数 四.计算步骤 五.判别函数的检验 六.应用举例
一.判别问题
在我们的日常生活和工作实践中，常常会遇到判别分 析问题，即根据历史上划分类别的有关资料和某种最优准 则，确定一种判别方法，判定一个新的样本归属哪一类。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等 病人的资料，记录了每个患者若干项症状指标数据。现在 想利用现有的这些资料找出一种方法，使得对于一个新的 病人，当测得这些症状指标数据时，能够判定其患有哪种 病。又如，在天气预报中，我们有一段较长时间关于某地 区每天气象的记录资料（晴阴雨、气温、气压、湿度等）， 现在想建立一种用连续五天的气象资料来预报第六天是什 么天气的方法。这些问题都可以应用判别分析方法予以解 决。
1）当 y A y0 时，若 y y0 则判别该对象属于组A，若 y y0 判别该对象属于组B。 2）当 yB y0 时，若 y y0 判别该对象属于组B，则若 y y0 则判别该对象属于组A。
五.判别函数的检验
前面已经说过，在进行两组判别时，首先要求来自两 组的原始数据必须有明显的区别，或者说从统计意义上 讲，两组应给有明显的不同，否则我们所作的判别就没
三.Fisher判别准则和判别函数
假设预测因子有p个指标，即 x1 , x2 , x p ，有n组 观察或调查得到的数据。判别分析就是要根据这些数 据，在适当的判别准则下，确定判别函数：
y c1 x1 c2 x2 c p x p 并找出临界值 y0 。 我们将要判别的两组分别标记为A和B（如A代表 畅销，B代表滞销）.对于p个判别指标。不妨设组A有 s组数据，组B有t组数据，n=s+t，现将数据分组如下：
这种预测分析的方法就是判别分析法。在利用这种方 法时必须要求畅销期的数据和滞销期的数据之间有一条较 明显的分界线，对这一点，我们后面将进一步阐述。 我们令
y c1 x1 c2 x2
称此函数为线性判别函数，称 y0 c0为临界值。 进行判别分析就是要在某种最优准则下，确定线性判
别函数的系数 c1 , c2 以及临界值 c0 。
把这类问题用数学语言来表达，可以叙述如下： 设有n个样本，对每个样本测得p项指标（变量）的数 据，已知每个样本属于k个类别（或总体）G1，G2， …，Gk 中的某一类，且它们的分布函数分别为F1(x)，F2(x)， …，
Fk(x)。我们希望利用这些数据，找出一种判别函数，使得这
一函数具有某种最优性质，能把属于不同类别的样本点尽可 能地区别开来，并对测得同样p项指标（变量）数据的一个新 样本，能判定这个样本归属于哪一类。
即
x10 x11 c1 0 1 c2 x2 x2 S 1 0 c x x1 p p p
（5）写出判别函数
y c1 x1 c2 x2 c p x p
（6）算出组A，组B的代表的判别值
下面反过来思考整个问题，假定用 y l1 x1 l2 x2 l p x p 作为判别函数，则组A的数值对应的判别值为
0 0 y10 l1 x11 l2 x12 l p x10p
0 0 0 0 y2 l1 x21 l2 x22 l p x2 p
二.两组判别问题的基本思想
例如 设某种产品的市场情况有“畅销”，“滞 销”两种，我们要预测产品在一个时期是“畅销” 还是“滞销”。
根据过去的销售情况可知，该产品销路好坏与价格有 关，也和市民的收入有关，因此可以用产品的价格和市民 的收入这两个量去预测该产品的销路的好坏。 以 x1 代表产品的价格，以 x2 表示市民的收入。现在 假定调查了n个时期，得到n组数据。这n组数据反应的有 畅销的也有滞销的，不妨设有r组畅销，l组滞销（l=n-r）， 则可将n组数据分组如下：
0 ys0 l1 xs01 l2 xs02 l p xsp
组B的数值对应的判别值为
1 1 1 1 y1 l1 x11 l2 x12 l p x1 p
y1 l1 x1 l2 x1 l p x1 p 2 21 22 2
1 y l x l2 xt12 l p xtp 1 t 1 1 t1
y1 2 又 y10 , y20 , ys0 同属于组A， 1 , y1 , yt1 同属于组B我们 希望它们于期其代表之间的差距越小越好，即
（2） ( y y ) ( yi1 y 1 )2 越小越好。
s
t
上述（1），（2）就是Fisher提出的最优判别准则。
i 1
0 i
0 2
S1 AA, S2 BB, S S1 S2
（4）可以证明，最优判别函数系数 c1 , c2 , c p 为下 述方程的解
c1 x10 x11 0 1 c2 x2 x2 S 0 c x x1 p p p
0 y A c1 x10 c2 x20 c p x p
1 1 yB c1 x11 c2 x2 c p x p
sy A tyB y0 st
（7）作判别。有一判别的对象若其数据为 ( x01 , x02 ,, x0 p ) ， 则其判别值为
y c1 x01 c2 x02 c p x0 p
有意义，为此需进行统计检验。
首先检验两组在统计意义上是否有明显区别是有一定 困难的，通常转化成检验最优判别函数是否有效。步骤
如下：
（1）计算统计量
s t s t p 1 F y A yB st p
（2）对给定的显著性水平 ，从F分布表里查出
F ( p, s t p 1)
（3）检验结果：若 F F ( p, s t p 1) ，说明所作的判别函 数有效，从而可以用来作判别；若 F F ( p, s t p 1) 说明所作的判别函数无效，不能用来作判别分析。
六.应用举例
例
设某外贸公司生产一种产品，为正式上式之前，将样 品寄往12个国家的进口代理商，并附意见调查表，要求对 该产品进行评估。评估的内容有式样，包装，耐久性三个 方面。评估的结果采用10分制计分，评估后并被要求说明 是否愿意购买，调查结果列入表1中，表中的分数，高者 表示代理商认为其特性良好，否则即较差。 今有第13个国家的进口代理商对该产品的评分分别是： 式样9分，包装5分，耐久性4分，要预测该国是否愿意购 买该产品。
0 0 ( x11 , x12 )
1 1 ( x11 , x12 )
畅销组
(x , x )
0 21 0 r1
0 22
滞销组
( x1 , x1 ) 21 22
( x , xl12 )
1 l1
(x , x )
0 r2
将这n组数据标在平面上，以“ ”表示畅销组所对 应的点，以“ ”表示滞销数据对应的点，若能得到如图 所示的点聚图，即产品畅销时期的数据和滞销时期的数据 x2 有较为明显的区别 l
又作
y0
1 yi0 s i 1
s
，
1 t 1 y 1 yi t i 1
0 1 即 y 为组A的代表， y 为组B的代表。
我们通过判别值y来进行判别，为使组A同组B之间有 明显的区别，自然希望它们的代表值之间的差距越大越 好。即 （1） y 0 y 1 )2 越大越好； (
1
1
1
（2）算出各组数据的代表，即平均值
1 s 0 x xij s i 1 1 s 1 1 x j xij s i 1