Fisher判别法距离判别法Bayes判别法逐步判别法

… xi1(2) … xq1(2)
属性
2
x12(1) … xi2(1) …
xp2(1) x12(2)
… xi2(2) … xq2(2)
（分量） …
… … … … … … … … … …
目标：求解在n维空间中总体G1和总体G2的最优分界平面。
n
x1n(1) … xin(1) …
xpn(1) x1n(2)
1 A B 0 i 1,2,..., n
I Ci Ci
A
( y (1) y (2) )2
n
Ck
(
x (1) k
x (2) k
)
2
k 1
p
q
B
y
(1) j
y (1)
2
y
(2) j
y (2)
2
j 1
j 1
p
n
Ck
(
x
(1) jk
xk(1) ) 2
q
n
Ck
(
x
(2) jk
确定判别值C
判别函数已知，不妨写成：
y C1x1 C2 x2 ... Cn xn
将G1的p个点、 G2的q个点分别代入判别函数：
y (1) i
C1
x (1) i1
C2
x (1) i2
...
Cn
x (1) in
i 1,..., p
y(2) i
C1
x(2) i1
C2
x(2) i2
...
Cn
x(2) in
i 1,2,3, ,k
关键的问题是寻找D1，D2，┅，Dk分划，这个分划
应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。
p( j / i) P( X Dj / Gi ) fi (x)dx i j Dj
C(j/i)表示相应错判所造成的损失。
变量的选择是判别分析中的一个重要的问题， 变量选择是否恰当，是判别分析效果有列的关键。 如果在某个判别问题中，将起最重要的变量忽略 了，相应的判别函数的效果一定不好。而另一方 面，如果判别变量个数太多，计算量必然大，回 影响估计的精度。特别当引入了一些判别能力不 强的变量时，还会严重地影响判别的效果。
二、 考虑错判损失的Bayes判别分析
设有总体 Gi (i 1,2, , k ) ，Gi 具有概率密度函 数 fi (x) 。并且根据以往的统计分析，知道 Gi 出现的概 率为 qi 。 q1 qk 1
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
X Di
则平均错判损失为：
k
ECM qi C( j / i)P( j / i) i1 ji
使ECM最小的分划，是Bayes判别分析的解。
§4.4 Fisher线性判别法
Fisher判别的基本思想 将 m组n维的数据投影到某一个方向，使得投影后的组 与组之间尽可能地分开。
Fisher线性判别法
x2
G1
x(2) in
i 1,..., q
其中，
y (1)
C1 x1(1)
C2
x (1) 2
...
Cn
x (1) n
y (2)
C1 x1( 2 )
C2
x (2) 2
...
Cn
x (2) n
xi(1)
1 p
p k 1
x (1) ki
i 1,2,..., n
xi(2)
1 q
q k 1
x(2) ki
y (1)
7
目录 上页 下页 返回 结束
§4.2 距离判别
2020/6/22
8
目录 上页 下页 返回 结束
§4.2 距离判别
2020/6/22
9
目录 上页 下页 返回 结束
§4.2 距离判别
2020/6/22
10
目录 上页 下页 返回 结束
§4.2
4.2.2 多总体情况 1. 协差阵相同。
距离判别
2020/6/22
y (1) 1.5080x1(1) 1.5418x2(1) y (2) 1.5080x1(2) 1.5418x2(2)
C 0.5264
1.5080x1 1.5418x2 0.5264
Discriminant analysis
1.5080x1 1.5418x2 0.5264
§4.5 变量选择和逐步判别
1 p
p i 1
yi(1)
y ( 2)
1 q
q i 1
yi(2)
i 1,2,..., n
令：
A ( y (1) y (2) )2
A与G1和G2两类点的几何中心的距离相关。显然，判别函数F (x1, x2, …, xn)应该使A值越大越好。
令：
p
q
B
yi(1) y (1) 2
• 判别分析在识别一个个体所属类别的情况 下有着广泛的应用。
2020/6/22
2
目录 上页 下页 返回 结束
§4.1判别分析的基本理论
• 判别分析的假设条件 • 判别分析最基本的要求是,分组类型在两组以上；在第一阶段
工作是每组案例的规模必须至少在一个以上。解释变量必须 是可测量的，才能够计算其平均值和方差，使其能合理地应 用于统计函数。
d1 2.6 d2 0.6
S
3.8857 2.1143
22..14154731
3.8857C1 2.1143C2 2.6 2.1143C1 2.4571C2 0.6
C1 1.5080 C2 1.5418
y 1.5080x1 1.5418x2
x (1)
4.0 6.0
x (2)
6.6 5.4
I
消去非零的因子，得到求解待定系数(C1, C2, …, Cn)的线性方程组：
S11C1 S12C2 ... S1nCn x1(1) x1(2) S21C1 S22C2 ... S2nCn x2(1) x2(2) ...... Sn1C1 Sn2C2 ... SnnCn xn(1) xn(2)
xk( 2 )
2 )
j1 k 1
j1 k 1
1 I
A
Ci
2 ( y (1) I
y
(
2)
)(
x (1) i
x (2) i
)
B
Ci
p
2 ( yk(1)
k 1
q
y (1)
)(
x (1) ki
xi(1)
)
2
( yk(2)
k 1
y
(
2)
)(
x(2) ki
xi(2) )
pn
2
C
j
(
x (1) kj
2020/6/22
3
目录 上页 下页 返回 结束
§4.1判别分析的基本理论
判别分析的假设之一，是每一个判别变量（解释变量）不 能是其他判别变量的线性组合。即不存在多重共线性问题。 判别分析的假设之二，是各组变量的协方差矩阵相等。判 别分析最简单和最常用的形式是采用线性判别函数，它们 是判别变量的简单线性组合。在各组协方差矩阵相等的假 设条件下，可以使用很简单的公式来计算判别函数和进行 显著性检验。 判别分析的假设之三，是各判别变量之间具有多元正态分 布，即每个变量对于所有其他变量的固定值有正态分布。 在这种条件下可以精确计算显著性检验值和分组归属的概 率。当违背该假设时，计算的概率将非常不准确。
x
(1) j
)(
x (1) ki
xi(1) )
k 1 j1
qn
2
C
j
(
x(2) kj
x
( j
2)
)(
x(2) ki
xi( 2 )
)
k 1 j1
n
2 SijC j j 1
p
q
Sij
(
x (1) ki
xi(1)
)(
x (1) kj
x
(1) j
)
(
x(2) ki
xi(
2)
)(
x(2) kj
x
2020/6/22
4
目录 上页 下页 返回 结束
训练样本 训练集
学习
检测 判别准则
检测样本 检测集
评价
判别效率
Fisher判别法 距离判别法 Bayes判别法 逐步判别法
……
§4.2
4.2.1 两总体情况
距离判别
2020/6/22
6
目录 上页 下页 返回 结束
§4.2 距离判别
2020/6/22
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。。
P(好人 / 做好事）
P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.9
0.82
0.5 0.9 0.5 0.2
P(坏人/ 做好事）
P坏人P做好事/ 坏人 P好人P(做好事/ 好人) P(坏人)P(做好事
/
坏人)
0.5 0.2
0.18
0.5 0.9 0.5 0.2
(2) j
)
k 1
k 1
S11C1 S12C2 ... S1nCn (x1(1) x1(2) ) S21C1 S22C2 ... S2nCn (x2(1) x2(2) )
......
Sn1C1 Sn2C2 ... SnnCn (xn(1) xn(2) ) 1 ( y (1) y (2) )
y (2)
2
i 1
i 1
选择合适的待定系数Ci (i = 1, 2, …, n)， 使得函数I(C1, C2, …, Cn)达到极大值。
I 0 i 1,2,..., n Ci
ln
I
ln
A B
ln A
ln B
(ln I ) 1 A 1 B 0 i 1,2,..., n
Ci
A Ci B Ci
1、确定待定系数Ci (i = 1, 2, …, n) 2、确定判别值C
确定待定系数Ci
将类G1的p个点、类G2的q个点分别代入判别函数：
y (1) i
C1
x (1) i1
C2
x (1) i2
...
Cn
x (1) in
i 1,..., p
y(2) i
C1
x(2) i1
C2
x(2) i2
...
Cn
已知总体数据分为两类： G1和G2 ，总体G1有p个样本点，总体G2有q 个样本点。
总体G1 (i=1, …, p)
1 X1(1) …
i Xi(1) …
总体G2 (i=1, …, q)
p Xp(1) 1 X1(2)
…
i Xi(2) …
q Xq(2)
1
x11(1) … xi1(1) …
xp1(1) x11(2)
yi(2) y (2) 2
i 1
i 1
B与G1和G2两类点的相对于各自几何中心的离差相关。显然，判别函 数F (x1, x2, …, xn)应该使B值越小越好。
构造函数I：
I
I (C1, C2 ,...,Cn )
A B
p
y (1) y (2) 2
q
y (1) i
y (1)
2
y(2) i
… xin(2) … xqn(2)
定义线性判别函数为：
F (x1, x2,..., xn ) C1x1 C2x2 ... Cn xn
其中Ci (i = 1, 2, …, n)为常数（待定系数）。 若判别值为 C ， 对于任何未知数据点X(x1, x2, …, xn)，代入判别函数， 依据F (x1, x2, …, xn)与C值的比较，可以判别点X属于哪一类。
均值之间，也等价于两类点的总体几何中心的判别函数值。因此，将
判别值C取为值：
C py (1) qy (2) pq
Fisher线性判别的应用举例
x2
样本序号 x1
1
5
x2 类别
7
1
2
43
2
3
78
2
4
86
2
5
36
1
6
25
1
7
66
1
8
96
2
9
54
2
x1
x (1)
4.0 6.0
x (2)
6.6 5.4
第四章
判别分析
• §4.1 判别分析的基本理论
• §4.2 距离判别
• §4.3 Bayes判别
• §4.4 Fisher判别
• §4.5 逐步判别
• §4.6 判别分析方法步骤及框图
• §4.7 判别分析的上机实现
• §4.8 判别分析应用的几个例子
2020/6/22
1
第四章
判别分析
• 回归模型普及性的基础在于用它去预测和 解释度量(metric)变量。但是对于非度量 (nonmetric)变量，多元回归不适合解决此 类问题。本章介绍的判别分析来解决被解 释变量是非度量变量的情形。
11
目录 上页 下页 返回 结束
§4.2 距离判别
2. 协差阵不相同。
2020/6/22
12
目录 上页 下页 返回 结束
§4.2 距离判别
2020/6/22
13
目录 上页 下页 返回 结束
§4.2 距离判别
2020/6/22
14
目录 上页 下页 返回 结束
§4.3 贝叶斯判别法
一 、标准的Bayes判别
L: c1x1+c2x2－c=0
令：F(x1,x2)=c1x1+c2x2 F(x1,x2): 判别函数 c：判别值
G2
x1 平面上两类数据训练样本的散点图
（两组数据样本在平面上存在一个合理的分界线L）
Discriminant analysis 已知：数据属性有n个，每个数据点为n维向量X：
X (x1, x2 ,..., xn )
i 1,..., q
y (1)
1 p
p i 1
yi(1)
y ( 2)
1 q
q i 1
yi(2)
对G1、G2的(p+q)个点的判别函数值取总体的平均值：
p
1
q
Βιβλιοθήκη Baidu
p i 1
y (1) i
q i 1
yi(2)
1 py(1) qy(2) pq
显然，值是两类点的判别函数值的加权平均，处于两类判别函数平