4-3_Fisher判别

3
13 44.12 15.02 1.08 15.15 103.12 64.8
3
14 54.17 25.03 2.11 25.15 110.14 63.7
3
15 28.07 2.01 0.07 3.02 81.22 68.3
3
待判 50.22 6.66 1.08 22.54 170.6 65.2
.
待判 34.64 7.33 1.11 7.78 95.16 69.3
在此最大特征值所对应的特征向量这里值得注意的是本书有几处利用极值原理求极值时只给出了不要条件的数学推导而有关充分条件的论证省略了因为在实际问题中往往根据问题本身的性质就能肯定有最大值或最小值如果所求的驻点只有一个这时就不需要根据极值存在的充分条件判定它是极大还是极小而就能肯定这唯一的驻点就是所求的最大值或最小值
从而， uBu 的极大值为 。再用 E1 左乘（4.25）式，有
(E1B I)u 0
（ 4.27）
由（4.27）式说明 为 E1B 特征值， u 为 E1B 的特征向量。在此
最大特征值所对应的特征向量 u (u1, u2 ,, u p ) 为我们所求结果。
这里值得注意的是，本书有几处利用极值原理求极值时，只
函数后，对于一个新的样品，将它的 p 个指标值代入线性 判别函数（4.19）式中求出U (X) 值，然后根据判别一定
的规则，就可以判别新的样品属于哪个总体。
二、Fisher判别函数的构造
1、针对两个总体的情形
假设有两个总体 G1, G2 ，其均值分别为 μ1 和 μ 2 ，协方差矩阵为 Σ1 和 Σ 2 。当 X Gi 时，我们可以求出 uX 的均值和方差，即
令
k
b (uμi uμ)2 i 1
k
k
e uΣiu u( Σi )u uEu
i 1
i 1

其中 μ

1 k
k
μi ，E
i 1
k
Σ i 。这里 b 相当于一元方差分
i 1
析中的组间差 e 相当于组内差，应用方差分析的思想，选择
u 使得目标函数
从 k 个总体中抽取具有 p 个指标的样品观测数据，借助方
差分析的思想构造一个线性判别函数
U (X) u1X1 u2 X 2 u p X p uX （4.19）
其中系数 u (u1, u2 ,, u p ) 确定的原则是使得总体之间
区别最大，而使每个总体内部的离差最小。有了线性判别
的离差平方和最小，即

2 1


2 2
，则我们可以建立一个目标函数
(u) (1 2 )

2 1


2 2
（4.20）
这样，我们就将问题转化为，寻找 u 使得目标函数 (u) 达到
最大。从而可以构造出所要求的线性判别函数。
2、针对多个总体的情形
假设有 k 个总体 G1, G2 ,, Gk ，其均值和协方差矩阵分别为 μ i
E(uX) E(uX | Gi ) uE(X | Gi ) uμi i ， i 1,2
D(uX) D(uX | Gi ) uD(X | Gi )u uΣiu

2 i
，
i 1,2
在求线性判别函数 时，尽量使得总体之间差异大，也就是要求
uμ1 uμ2 尽可能的大，即 1 2 变大；同时要求每一个总体内
标准化的典型判别函数是由标准化的自变量通过Fisher判别法 得到的，所以要得到标准化的典型判别得分，代入该函数的自 变量必须是经过标准化的。
整性。
在解决实际问题时，当总体参数未知，需要通过样本来估计，
我们仅对 k2 的情形加以说明。设样本分别为
X(1) 1
,
X(1) 2
,
X(1) n1
和
X(2) 1
,
X(2) 2
,
X(2) n2
，则
X n1X(1) n2X(2) n1 n2
X(1) X n2 (X(1) X(2) ) n1 n2
求法。设 X 为 p 维空间的样品，那么
其中
μ

1 k
k
μi
i 1

1 M1 k
11 21
M

Leabharlann 1222 1k 1k

p1 p1







μ1 μ2



pk

μ k

1
1

1 1
注意到
单击Continue按钮，返回主界面。 图4.3 Statistics子对话框
4. 单击Classify…按钮，定义判别分组参数和选择输出结果。 选择Display栏中的Casewise results，输出一个判别结果表， 包括每个样品的判别分数、后验概率、实际组和预测组编号 等。其余的均保留系统默认选项。单击Continue按钮。
和 Σ i ( 0)（ i 1,2,, k ）。同样，我们考虑线性判别函数 uX ，
在 X Gi 的条件下，有
E(uX) E(uX | Gi ) uE(X | Gi ) uμi i 1,2,, k
D(uX) D(uX | Gi ) uD(X | Gi )u uΣiu i 1,2,, k
Probabilities of group membership：存放样品属于各组的 Bayes后验概率值。
将对话框中的三个复选框均选中，单击Continue按钮返回。
图4.5 Save子对话框 6. 返回判别分析主界面，单击OK按钮，运行判别分析过程。
（二） 主要运行结果解释
1. Standardized Canonical Discriminant Function Coefficients（给出标准化的典型判别函数系数）
在 uEu 1的条件下，求 u 使得 uBu 式达到极大。
考虑目标函数 (u) uBu (uEu 1)
（ 4.24）
对（ 4.24）式求导，有


u
2(B E)u 0




uEu
1
0
(4.25) (4.26)
对（4.25）式两边同乘 u，有 uBu uEu
给出了不要条件的数学推导，而有关充分条件的论证省略了，
因为在实际问题中，往往根据问题本身的性质就能肯定有最
大值（或最小值），如果所求的驻点只有一个，这时就不需
要根据极值存在的充分条件判定它是极大还是极小而就能肯
定这唯一的驻点就是所求的最大值（或最小值）。为了避免
用较多的数学知识或数学上的推导，这里不追求数学上的完
一 Fisher判别的基本思想 二 Fisher判别函数的构造 三 线性判别函数的求法
Fisher判别法是1936年提出来的，该方法的主要思想是通过 将多维数据投影到某个方向上，投影的原则是将总体与总体 之间尽可能的放开，然后再选择合适的判别规则，将新的样 品进行分类判别。
一、Fisher判别的基本思想
.
待判 33.42 6.22 1.12 22.95 160.31 68.3
.
待判 44.02 15.36 1.07 16.45 105.3 64.2
.
(一) 操作步骤 1. 在SPSS窗口中选择Analyze→Classify→Discriminate，调 出判别分析主界面，将左边的变量列表中的“group”变量选 入分组变量中，将—变量选入自变量中，并选择Enter independents together单选按钮，即使用所有自变量进行判 别分析。
(u) b e
（4.21）
达到极大。
这里我们应该说明的是，如果我们得到线性判别函数 uX ，
对于一个新的样品 X 可以这样构造一个判别规则，如果
uX uμ j

min
1ik
uX
uμi
则判定 X 来自总体 G j 。
（4.22）
三、线性判别函数的求法
针对多个总体的情形，我们讨论使目标函数（4.21）式达到极大的
图4.2 判别分析主界面
2. 点击Define Range按钮，定义分组变量的取值范围。本例 中分类变量的范围为1到3，所以在最小值和最大值中分别输 入1和3。单击Continue按钮，返回主界面。
3. 单击Statistics…按钮，指定输出的描述统计量和判别函数 系数。选中Function Coefficients栏中的Fisher’s和 Unstandardized。这两个选项的含义如下：
图4.4 Classify…子对话框
5. 单击Save按钮，指定在数据文件中生成代表判别分组结果 和判别得分的新变量，生成的新变量的含义分别为：
Predicted group membership：存放判别样品所属组别的值；
Discriminant scores：存放Fisher判别得分的值，有几个典型 判别函数就有几个判别得分变量；
X(2) X n1 (X(2) X(1) ) n1 n2
那么
Bˆ n1(X(1) X)(X(1) X) n2(X(2) X)(X(2) X)
n1n2 (X(1) X(2) )(X(1) X(2) ) n1 n2
当 μ1,μ 2 ,, μ k 和 Σ1, Σ 2 ,, Σ k 均未知时，μ （ 1,2,, k ）的
uM(I 1 J)Mu k
uBu
1 1
这里，
B

M(I

1 k
J)M
，
I
p
p
为 p p 的单位阵， J
1

。 1
即有 (u) uBu （4.23）求使得（4.23）式达到极大的 u 。 uEu
为了确保解的唯一性，不妨设 uEu 1，这样问题转化为，
μ1
MM μ1
μ2

μ
k


μ2 μk


k
μ i μi
i 1
从而
k
b (uμi uμ)2 i 1
k
u (μi μ)(μi μ)u i 1
k
u[ μiμi kμμ]u i 1
u(MM 1 M11M)u k
估计同前， Σ （ 1,2,, k ）的估计为
Σˆ

1 n
1
S
，
1,2,, k
第五节 实例分析与计算机实现
这一节我们利用SPSS对Fisher判别法和Bayes判别法进行计 算机实现。
为研究某地区人口死亡状况，已按某种方法将15个已知地区 样品分为3类，指标含义及原始数据如下。试建立判别函数， 并判定另外4个待判地区属于哪类？
2
8
41.15 10.08 2.32 32.84 172.06 65.85
2
9
53.04 25.74 4.06 34.87 152.03 63.5
2
10 38.03 11.2 6.07 27.84 146.32 66.8
2
11 34.03 5.41 0.07 5.2 90.1 69.5
3
12 32.11 3.02 0.09 3.14 85.15 70.8
X1 ： 0岁组死亡概率 X 2 ：1岁组死亡概率 X 3 ： 10岁组死亡概率
X 4 ： 55岁组死亡概率 X5 ： 80岁组死亡概率 X6 ： 平均预期寿命
表4.1 各地区死亡概率表
X1
X2
X3
X4
X5
X6
类别
1
34.16 7.44 1.12 7.87 95.19 69.3
1
2
33.06 6.34 1.08 6.77 94.08 69.7
Fisher’s：给出Bayes判别函数的系数。（注意：这个选项不是 要给出Fisher判别函数的系数。这个复选框的名字之所以为 Fisher’s，是因为按判别函数值最大的一组进行归类这种思想 是由Fisher提出来的。这里极易混淆，请读者注意辨别。）
Unstandardized：给出未标准化的Fisher判别函数（即典型判 别函数）的系数（SPSS默认给出标准化的Fisher判别函数系 数）。
1
3
36.26 9.24 1.04 8.97 97.3 68.8
1
4
40.17 13.45 1.43 13.88 101.2 66.2
1
5
50.06 23.03 2.83 23.74 112.52 63.3
1
6
33.24 6.24 1.18 22.9 160.01 65.4
2
7
32.22 4.22 1.06 20.7 124.7 68.7
方法回顾
距离判别法 优点：简单，便于使用。 不足之处：
第一，判别方法与总体各自出现的概率的大小无关； 第二，判别方法与错判之后所造成的损失无关。 Bayes判别法 优点：错判率较小。 不足之处： 需要获取总体的分布及参数值，实现困难。 实际问题中有时也没必要知道其分布。
第四节 费歇（Fisher）判别法