判别分析(3)贝叶斯判别

C k = S X k = (C 1 k , C 2 k ,L , C mk )
§4.3.1 判别函数
式中， 式中，
C ok
− C jk = ∑ S lj 1 x k ⋅ j l =1 m
( j = 1,2,L , m )
1 T −1 1 m m −1 1 m = − X k S X k = − ∑ ∑ S jl x k ⋅l ⋅ x k ⋅ j = − ∑ C kj x k ⋅ j 2 2 j =1 l =1 2 j =1
判对样品数 ( N 1 ) η= 总样品数 ( N )
此外， 此外，还可采用统计方法对判别函数效果进行 检验。 检验。
对于判别函数的显著检验， 对于判别函数的显著检验，我们可用马氏距 离来检验总体间差异是否显著。 离来检验总体间差异是否显著。若总体间差异不 显著， 显著，显然建立在各总体基础之上的判别函数用 于归类其结果就不可靠。 于归类其结果就不可靠。马氏距离的计算公式如 下： 2 m
1 2 g
可以进行判别归类，为了计算方便， 可以进行判别归类，为了计算方便，我们对式 （4.19）进行化简，即对式 进行化简， 取对数， 进行化简 即对式（4.19）取对数， 取对数
§4.3.1 判别函数
| S −1 | 1 / 2 1 ln q k f k ( X ) = ln − ( X − X k ) T S −1 ( X − X k ) + ln q k m/2 2 ( 2 π) | S −1 | 1 / 2 1 1 T 1 1 T = ln − ( X T S −1 X − X k S −1 X − X T S −1 X k + X k S −1 X k ) + ln q k 2 2 2 2 (2π) m / 2
对式中的同类项合并，去掉与分组无关的项。 对式中的同类项合并，去掉与分组无关的项。 Fk ( X ) = ln q k f k ( X ) ( k = 1,2, L , g ) 并令 故上式可写成 1 T Fk ( X ) = X T S −1 X k − X k S −1 X k + ln q k （4.20） ） 2 令 T −1
设有k个总体 设有 个总体G1,G2,…,Gk.假设事先对所研究的问 个总体 , 题有一定的认识，这种认识常用先验概率来描述. 题有一定的认识，这种认识常用先验概率来描述.即已 知这k个总体各自出现的概率 验前概率) 个总体各自出现的概率( 知这 个总体各自出现的概率(验前概率)为q1,q2,…,qk 显然q 0,q (显然 i>0, 1+q2+…+qk=1). + 比如研究人群中得癌( 和没有得癌( 比如研究人群中得癌(G1)和没有得癌(G2)两类群体 的问题，由长期经验知: =0.001,q =0.999.这组验前 的问题，由长期经验知:q1=0.001, 2=0.999.这组验前 概率q 概率 1,…,qk 称为先验概率.先验概率是一种权重(比 , 称为先验概率.先验概率是一种权重( ).所谓 先验” 所谓“ 例).所谓“先验”是指先于我们抽取样品作判别分析 之前. 之前. Bayes判别准则要求给出 =1,2, 判别准则要求给出q =1,2,…, 的值. Bayes判别准则要求给出 i(i=1,2, ,k)的值.
S jl = ∑ ( x kij − x k ⋅ j )( x kil − x k ⋅l )
k =1 nk
( k = 1,2, L , g; i = 1,2, L , n i ; j , l = 1,2, L , m )
µ ˆ 均为已知， 此时， 此时，ˆ k , ∑ k 均为已知，k 总体的密度函数可表 为
qi的赋值方法有以下几种: 的赋值方法有以下几种:
利用历史资料及经验进行估计. (a) 利用历史资料及经验进行估计.例如某地区 成年人中得癌症的概率为P( )=0.001= P(癌 P(无癌 成年人中得癌症的概率为P(癌)=0.001 q1,而P(无癌 )=0.999 = q2 . 利用训练样本中各类样品占的比例n 做为 做为q (b) 利用训练样本中各类样品占的比例 i/n做为 i 的值, =1,…, ),其中n 是第i类总体的样品 ),其中 的值,即qi=ni/n(i=1, ,k),其中 i是第 类总体的样品 ( =1, 个数， 个数，而n=n1+ n2 + … + nk .这时要求训练样本是通 = 过随机抽样得到的, 过随机抽样得到的,各类的样品被抽到的机会大小就 是验前概率. 是验前概率. (c) 假定q1=q2=…=qk=1/k. 假定 = =1 .
§4.3.2 判别效果的检验 个总体的判别函数后， 建立 k 个总体的判别函数后，这些判别函数的 判别效果如何需要检验。在实际应用中， 判别效果如何需要检验。在实际应用中，可将已 知类别的样品代入判别函数进行回判。 知类别的样品代入判别函数进行回判。如果判对 率在75％以上，则认为判别函数有效， 率在 ％以上，则认为判别函数有效，其常用的 公式为
i
fi ( X )
（4.18） ）
q 式中， 式中， i ——归入第 i 总体的先验概率， i = k 时 归入第 总体的先验概率， 为 q k。
§4.3.1 贝叶斯准则
问题：待判样品X属于哪一类？？ qk f k ( X ) P (t | X ) = max P (k | X ) = max g ∑ qi fi ( X )
第四章 判别分析
贝叶斯（ Bayes ）判别
贝叶斯（ Bayes ）判别
距离判别只要求知道总体的特征量(即参数)--距离判别只要求知道总体的特征量(即参数) 均值和协差阵,不涉及总体的分布类型. 均值和协差阵,不涉及总体的分布类型. 当参数未知 就用样本均值和样本协差阵来估计. 时,就用样本均值和样本协差阵来估计. 距离判别方法简单,结论明确,是很实用的方法. 距离判别方法简单,结论明确,是很实用的方法. 但该方法也有缺点: 但该方法也有缺点: 该判别法与各总体出现的机会大小( 1. 该判别法与各总体出现的机会大小(先验概 完全无关; 率)完全无关; 判别方法没有考虑错判造成的损失, 2. 判别方法没有考虑错判造成的损失,这是不 合理的.
不妨设 max{q1 f 1 ( X ),L , q f ( X )} = q f ( X ) ，则待判 样品 X 就归入第 l 类总体 Al 。 因此式（ 因此式（4.19）称为判别函数，按照条件概率 ）称为判别函数， 最大进行归类的准则，称为贝叶斯判别准则 贝叶斯判别准则。 最大进行归类的准则，称为贝叶斯判别准则。 在式（ 在式（4.19）中，为了给出判别函数 q k f k ( X ) ） 的具体表达式， 的具体表达式，下面以 X 服从多元正态分布情 况来讨论。 况来讨论。 设x kij是第 k 类总体第 i 个样品第 j 个变量的 观测值， 观测值，且各总体样品都是相互独立的正态随 ( k = 1,2, L , g ) 机向量， 机向量，即 X ~ N ( µ , ∑ )
中的元素。 这里 S −1 为矩阵 S −1中的元素。于是最终得化简后 jl 的 k 类总体的判别函数为
Fk ( X ) = X C k + C ok + ln q k = ∑ C jk x j + C ok + ln q k
T j =1 m
（ k = 1,2, L , g）
（4.21） 4.21）
d kl = ∑ (c jk − c jl )( x k ⋅ j − x l ⋅ j )
j =1
( k = 1,2,L , g; l = k + 1,L , g )
（4.22） ） 应用统计量
f kl = ( n − g − m + 1)nk n1 2 d kl ~ F ( m , n − g − m + 1) ( n − g )m ( n k + n l )
Bayes判别法正是为解决这两方面问题而 Bayes判别法正是为解决这两方面问题而 提出的判别方法. 提出的判别方法.
Bayes的统计思想 Bayes的统计思想总是假定对所研究的
对象已有一定的认识, 对象已有一定的认识,常用先验概率分布来描 然后我们抽取一个样本, 述这种认识 .然后我们抽取一个样本,用样本 来修正已有的认识(先验概率分布) 来修正已有的认识(先验概率分布)，得到后 验概率分布. 验概率分布. 各种统计推断都通过后验概率分布来进 行.将贝叶斯思想用于判别分析就得到贝叶斯 判别法.
i= i =1
(k = 1,2, L, g )
对于诸总体，显然分母（全概率）都是相同的，因此只要比 较式分子的大小，即可判断条件概率的大小，进而对待判样 品作出归类。
qt f t ( X ) = max{q1 f1 ( X ),L , q g f g ( X )}
则X属于第t个总体。
§4.3.1 判别函数
g g l l
k
k
§4.3.1 判别函数
在该假设条件下，由于 µ k , ∑ k 均未知，为此 在该假设条件下， 均未知， 总体的样品数据， 我们可根据第 k 总体的样品数据，计算出总体的 ˆ 样本均值 µ k 及总体样本的协方差矩阵 ∑ ，用 ^ 的估计。由统计理论知， ˆ µ k , ∑ 作为总体 µ k , ∑ k 的估计。由统计理论知， k
§4.3.1 判别函数
| S − 1 |1 / 2 1 fk (X ) = exp[− ( X − X k )T S −1 ( X − X k )] 2 ( 2 π) m / 2
| 这里， 的逆矩阵的行列式。 这里，S −1 |为矩阵 S 的逆矩阵的行列式。上式表 是一个具体已确定的函数。 明 f k ( X )是一个具体已确定的函数。下面的问题 是要确定式（4.19）中的先验概率 q k ，对于q k 是要确定式 中的先验概率 的确定，实际应用中常用其频率来估计， 的确定，实际应用中常用其频率来估计，即 qk = nk 由此式（4.19）完全确定，于是 完全确定， 。由此式 完全确定 n + n +L+ n
§4.3.1 贝叶斯准则
问题： 待判样品X 属于哪一 类？？
§4.3.1 贝叶斯准则
判别方法是， 判别方法是，先由贝叶斯准则计算待判样品 X 来 个总体的条件概率（也称后验概率） 自t 个总体的条件概率（也称后验概率）为
P (k | X ) = qk f k ( X )
未知
∑qwk.baidu.com
i =1
g
( k = 1,2, L , g )
对于给定水平 α 查 F 分布表得其临界值 Fα 。
如果求得的 f kl > Fα ，则说明 k总体与 l 总 体间差异显著，两总体的判别函数效果明显， 体间差异显著，两总体的判别函数效果明显， 否则为不显著。 否则为不显著。
在正态总体的假设下， Bayes判别的思 在正态总体的假设下，按Bayes判别的思 想，在错判造成的损失认为相等情况下得到 的判别函数其实就是马氏距离判别在考虑先 验概率及协差阵不等情况下的推广. 验概率及协差阵不等情况下的推广. m 所谓判别方法,就是给出空间R 所谓判别方法,就是给出空间 的一种划 ={D 分:D={ 1,D2,…,Dk}.一种划分对应一种判 ={ , }.一种划分对应一种判 别方法,不同的划分就是不同的判别方法. 别方法,不同的划分就是不同的判别方法. m Bayes判别法也是给出空间 判别法也是给出空间R Bayes判别法也是给出空间 的一种划分.
^ k
ˆ µ k = X k = ( x k ⋅1 , x k ⋅2 ,L , x k ⋅m )T
g 1 ∑ k = ∑ = N − g ∑ Sk = S k =1
X 式中， 式中， k——第 k 类总体样品均值向量。 第 类总体样品均值向量。 1 n j x k⋅ j = x kij —— k 总体第 个变量均值 ∑ n k i =1 （ j = 1,2,L , m ）
k
§4.3.1 判别函数
N = ∑ nk
k =1 g
S 11 S 1 Sk = [ S kl ] = 21 M nk − 1 S m1
S 12 S 22 M Sm2
S 1m L S 2m L M L S mm L
——称为 k总体组内方差 协方差矩阵，式中， 称为 总体组内方差—协方差矩阵 式中， 协方差矩阵，