判别分析与聚类分析方法

⎪⎩∞
如果G P 和Gq 是近邻 否则
聚类方法比较
综合特性最好的聚类方法为类平均法或Ward 最小方差法，而最差的则为最短距离法。 Ward最小方差法倾向于寻找观察数相同的类。 类平均法偏向寻找等方差的类。 拉长的或无规则的类使用最短距离法比其他 方法好。 非参数问题的聚类方法为密度估计法。
5
类的统计量
3
修改后的程序
data newiris;/*测试新数据*/
input sepallen sepalwid petallen petalwid @@;
cards;
56 30 41 13
51 35 14 23
67 25 18 15
run;
proc discrim data=iris pool=test outstat=plotiris testdata=newiris testout=plotp;
样品聚类法2：动态(快速)聚类法
K-means cluster ①选择若干个观察作为“凝聚点”或称类的中心点，作
proc candisc <选项列表>； class 变量； by 变量表； freq 变量； var 变量表； weight 变量； run；
candisc选项
out=数据集名——生成一个包含原始数据和 典型变量得分的SAS数据集。 ncan＝——指定将被计算的典型变量的个数。
实例分析
Fisher鸢尾花（Iris）数据 修改后的程序chap8_01B
∑ ( ) k exp i =1
−
0.5Di2
( x, Gi
)
广义平方距离
Di2 (x)
=
d
2 i
(
x)
+
gi
+
hi
gi
=
⎧log ⎨
Σi
⎩0
若各组协方差阵Σi不全相等 若各组协方差阵Σi全相等
判别准则：h(i D= ⎧⎨⎩与−2dlo0稍g p有i 不若若各同各组组)先先验验概概率率pip不i全全相相等等
两类聚类问题
1. 对样品的聚类: 统计指标是类与类之间的距 离，它是把每一个样品看成高维空间中的 一个点，类与类之间用某种原则规定它们 的距离，将距离近的点聚合成一类，距离 远的点聚合成另一类。
2. 对变量的聚类: 统计指标是变量间相似系 数，根据这个统计指标将比较相似的变量 归为一类，而把不怎么相似的变量归为另 一类。
第八章
判别和聚类分析
第八章 判别和聚类分析
第一节 判别分析 第二节 聚类分析
第一节 判别分析
判别分析: 根据已掌握的一批分类明确的 样品，建立一个判别函数，使得用此判别 函数进行判别时错判事例最少，进而能用 此判别函数对给定的新样品判别它来自哪 个总体。
距离判别分析方法 Fisher线性函数判别方法
class species;
var petallen petalwid sepalwid sepallen; proc print data=plotp;/*判别结论新数据*/ proc print data=plotiris;/*输出数据包含二次判别函数*/
run;
SAS典型Fisher判别分析 candisc
4
样品间的距离
设有n组样品，每组样品有m个变量，第i样
品第k变量数据为xik,
1
∑ ( ) Euclid距离：dij
= ⎜⎛ m ⎝ k =1
xik
− x jk
2 ⎟⎞ 2 ⎠
1
∑ Minkowski距离：dij
= ⎜⎛ m ⎝ k =1
xik − x jk
g ⎟⎞ ⎠
g
Mahalanobis距离： dij = (xi − x j )′S −1(xi − x j ) S为样品的协方差矩阵
均匀核估计法
d * (xi , x j )
=
⎧(1 / ⎩⎨∞
f
(xi )
+1/
f
(x j )) / 2
Wong混合法
如果d (xi , x j ) ≤ r 否则
d *(xp , xq ) =
⎧ ⎪
(
D
p
⎨
+
Dq
+
( p + q)d 2 (x p , xq ) / 4)v / 2 ( p + q)1+v / 2
−2(x − u1 + u2
2
u1
+ 2
u2
)′V
−1 (u1
)′V −1(u1 − u2 )
−
u2
)
判别准则： 若 w( y) ≥ 0，则判定y属于G1.
多类线性判别函数
wj
(x)
=
x 'V
−1u j
−
1 2
uj
'V
−1u j
)
判别规则：判给函数值最大的类。
注：这里V用 pooled covariance 计算
线性判别
45
40
35
30
25
20
10
20
30
40
50
60
70
协方差不同：二次判别函数
Zi(x)=-0.5 D2i(x)
判别准则： 若Zk(y)最大，则判定y属于Gk.
当各组方差相等，退化为线性判别函数
二次判别
45
40
35
30
25
20
10
20
30
40
50
60
70
2
误判的概率
样品x来自G1 , 被误判来自G2
设有k个组 G1,G2 ,L,Gk，每一组的先验概率pi已 知，且在x处的组Gi密度fi(x)可以估计。样品
属于组Gi的后验概率为：
∑ p(Gi | x) =
pi f i(x)
k i =1
pi
fi
(x)
设每组内样品为多维正态分布，那么
( ) fi (x)
=
(2π ) − p / 2
Σi
−1/ 2
exp
−
0.5d
2 i
(
x,
Gi
)
d
2 i
(
x,
Gi
)
=
(
x
−
μi
)′Σ
−1 i
(x
−
μi
)
Bayes判别
后验估计
∑ ( ( ) ) p(Gi | x) =
pi
exp
−
0.5d
2 i
(
x,
Gi
)
Σi
−1/ 2
p k
i=1 i
exp
−
0.5d
2 i
(
x,
Gi
)
Σi
−1/ 2
( ) = exp − 0.5Di2 (x,Gi )
样品聚类法1：系统(递阶)聚类法
系统聚类法（Hierarchical clustering method） 是目前使用最多的一种方法。 基本思想是首先将n个样品看成n类，然后规 定样品之间的距离和类与类之间的距离。
将距离最近的两类合并为一个新类，再计算 新类和其他类之间的距离，从中找出最近的 两类合并，继续下去，最后所有的样品全在 一类。将上述并类过程画成聚类图，便可以 决定分多少类，每类各有什么样品。
伪F统计量: 伪F值大表示对应分类显著。 (峰顶好)
伪t2统计量: 伪t2值大表示上一次分类显著。(谷底 好)
立方聚类准则CCC(Cubic Clustering Criterion): CCC大表示对应分类显著。 (峰顶好)
综合分析: CCC统计量和伪F统计量的局部峰值所 对应的聚类数，与这个聚类数伪t2统计量的一个 较小值和下一个聚类数的一个较大伪t2统计量相 吻合。
距离判别分析
Mahalanobis距离(统计距离)
Euclid Vs Mahalanobis
按照Mahalanobis距离判别
0.08 0.07 0.06 0.05 0.04 0.03 0.02 0.01
0 50 55 60 65 70 75 80 85 90 95 100
1
理论基础: 贝叶斯公式
Ward最小方差法一般是在多元正态混合型、 等球形协方差、等抽样概率假设下合并类。
密度估计法
非参数概率密度的聚类方法。
k最近邻估计法
d * (xi ,
xj
)
=
⎧(1/ ⎩⎨∞
f
(xi )
+1/
f
(x j
)) /
2
如果d (xi , x j ) ≤ max(rk (xi ), rk (x j )) 否则
run ;
选项及语句
method＝normal | npar——当指定method= normal时，基 于类内服从多元正态分布，并导出线性或二次判别函数；当 指定method=npar时，采用非参数方法。 pool= no| test | yes——pool=test要求对组内协方差阵的齐性 的似然比检验进行Bartlett修正，线性判别函数会直接给 出，而二次型判别函数需通过建立输出数据集方式获得。 Outstat=数据集名——指定输出数据集名 testdata=数据集名——指定欲分类观测的一般SAS数据集 testout=数据集名——生成一个输出SAS数据集。 listerr表示要求仅仅输出由后验概率产生错误分类的那些样 品点的有关信息 crosslisterr表示要求以交叉表的形式输出实际类别与分类结 果之间一致和不一致的有关信息。 priors语句——指定先验概率
1. 基本用法 2. 判别新数据集 3. 较多选项