距离判别 sas
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
距离判别
一、实验目的和要求
掌握距离判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS 过程解决有关实际问题.
实验要求:编写程序，结果分析． 实验容：
要求:1题必做,2,3,4题可选1-2题
1.写出几种距离公式,两总体距离判别准则; 一．几种距离公式：
1． 欧氏距离
2
121]
)([),(jk ik p
k j i x x d -=∑=x x
2． 绝对距离
∑=-=p
k jk ik j i x x d 1
),(x x
3． Minkowski 距离
m
p
k m jk ik j i x x d 11
]||[),(∑=-=x x
其中1≥m ．Minkowski 距离又称m L 距离，2L 距离即欧氏距离，1L 距离即绝对距离． 4． Chebyshev 距离
jk ik p
k j i x x d -=≤≤1m ax ),(x x
Chebyshev 距离是Minkowski 距离当+∞→m 时的极限．
以上距离与各变量的量纲有关．为消除量纲的影响，可对数据进行标准化，然后用标准化数据计算距离．标准化数据即
p k n i s x x x k k
ik ik ,...,2,1;,...,2,1,*
==-=
其中∑∑==--==n i n i k ik k ik k x x n s x n x 11
22
)(11,1. 5． 方差加权距离
2
112
2
])([),(∑
=-=p
k k
jk ik j i s
x x d x x
易证，标准化数据*
ik x 的欧氏距离既是方差加权距离． 6． 马氏距离
2
11
)]()),(j i T j i j i d x x S x [(x x x --=-
其中S 是由样品n x x x ,...,,21算得的样本协方差矩阵：
∑=---=n
i T i i n 1
))((11x x x x S ， 其中.11
∑==n
i i n x x
令nxn ij j i ij d D d d )(),,(==x x 形成n 个样品n x x x ,...,,21两两之间的距离矩阵
⎥
⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=0002
1
221
112 n n n n d d d d d d D 其中ij d =ji d
二．两个总体的距离判别准则
1．距离判别准则
21,G G 为两个p 维已知总体，均值向量21,μμ, 协方差矩阵21,ΣΣ，
T p x x x ),,,(21 =x 为待判样品，距离判别准则为
⎩⎨
⎧>∈≤∈)
()(,
)
()(,121221G x,G x,G x G x,G x,G x d d d d 若若 (5.1)
说明：马氏距离思想——极大似然思想
一般p 维总体,),(~),,(~2211ΣμΣμp p N G N G ,协方差矩阵同为Σ,概率密度为
⎭⎬⎫⎩⎨⎧-∑--∑
=-)()(21exp )2(11112
12
1μx μx T p f π
⎭
⎬⎫⎩⎨⎧-∑--∑
=
-)()(21exp )2(12122
12
2μx μx T p f π
则 )()(21G x,G x,d d ≤
⇔)()()()(212111μx μx μx μx -∑-≤-∑---T T )()(21x x f f ≥⇔
距离判别准则转化为
⎪⎪⎩
⎪⎪⎨⎧
<∈≥∈1)()(,1)()(,21221x x G x x x G x 1f f f f 若若 与似然比准则一致． 2．ΣΣΣ==21情形
（1）线性判别函数
样品x 到总体21,G G 的马氏平方距离之差
)()(1222G x,G x,d d -
)()()()(111212μx μx μx μx -∑---∑-=--T T
)
2()2(11
1111212121μΣμx Σμx Σx μΣμx Σμx Σx ------+--+-=T T T T T T
]2
1[2]21[21111
1
21212μΣμx ΣμμΣμx Σμ-----+--=T T T T )]()([212x x W W --=
其中 ⎪⎩
⎪⎨⎧+=+=----2
12221
2222111111
1111
21b ,)(21b ,)(μΣμμΣa x a x μΣμμΣa x a x T T T T b W b W ＝－，＝＝－，＝ (5.2) )(),(21x x W W 称为x 的线性判别函数．
距离判别准则化为线性判别准则
⎩⎨
⎧<∈≥∈)
()(,)
()(,21221x x G x x x G x 1W W W W 若若 (5.3) 另一方面
)()(1222G x,G x,d d -111212121)(2μμμμx μμ---∑-∑+∑-=T
T T 112111*********)(2μμμμμμμμx μμ-----∑-∑-∑+∑+∑-=T
T
T
T
T
)()()(221121121μμμμx μμ+∑--∑-=--T T
)()(2121μx μμ-∑-=-T )(2)(21x μx a W T
=-=
其中)(2
121μμμ+=，)(211
μμΣa +-＝，而)()(1μx a x -=T W 为x 的线性判别函数．
判别准则化为线性判别准则 ⎩⎨
⎧<∈≥∈0
)(,0
)(,2x G x x G x 1W W 若若 (5.4)
)(),(),(21x x x W W W 皆为x 的线性判别函数，简单易求．
（2）样品判别函数
实际中21,μμ, 协方差矩阵Σ未知，设)
1()
1(2111,,,n x x x ）
（和)
2()
2(2212,,,n x x x ）
（来自总体
21,G G 的训练样本，则21,μμ,Σ的估计为
∑∑======2
11
)
2()1(2
21)1()1(111
ˆ,1ˆn i i n i i n n x
x μ
x x μ
2
)1()1(ˆ212111-+-+-==n n n n S S Σ
S ——为Σ的联合估计 其中 T i
n i i n )()(11)1()
1(1
)1()1(111x x x x S ---=∑=