扩散先验分布下Bayes多总体分类判别方法的构造

扩散先验分布下 Bayes 多总体分类判别方法的构造 联合分布密度函数为 f ( xi , V i μ i , ∑ i ; A i) μ = f 1 ( x i i , ∑i ; A i ) f 2 ( V i μi , ∑i ; A i ) =
35
1 T ni ( x i - μ ∑i - 1 ( x i - μi ) + t r ∑i - 1 V i ( 4) exp i) 2 ∑i ( n i + 1) / 2 为了确定 (μi , ∑i ) 的后验分布 , 须先确定 (μi , ∑i ) 的先验分布 , 此处取 (μi , ∑i ) 的先验分
( x ) , 那么在观测到样品 z = ( z 1 , z 2 , …, z P) 的情况下 , 可用 Bayes 公式计算它来自第 g 个总
体 A g 的后验概率
G
P ( A g z ) = qgf g ( z )
1 ΦgΦG
i =1
∑q f
i i
( z ) , g = 1 , 2 , …, G
T
(n + 2) / 2 i
( 7)
在上述关于 6 i 的积分运算中 ,利用了 W ishart 分布密度函数的有关性质 , 式中 T V i + ni ( xi - μi ) ( xi - μi ) T + (z - μ i ) (z - μ i) T T T T T T μ μ = Vi + ni xi xi T + ( ni + 1)μ i i + zz - ni xμ i i - nμ i i xi - z i -μ iz μiT - μi ( ni xi + z) T = Vi + ni xi xi T + zz T + [ ( ni + 1)μ i - ( ni x i + z) ] ( ni xi + z) ( ni x i + z) T ni xi + z ni xi + z μ )( μ ) = Vi + ni xi xi T + zz T + ( ni + 1) ( i i ni + 1 ni + 1 ni + 1
∝
ki
( 1)
Vi
( n - p - 1) / 2 i
( 2π )
p/ 2
( 6)
三、 预报密度函数的推算 μi , ∑ 如果待判样品 z 来自第 i 个总体 A i , 则 z～N ( i ) ,其条件密度函数为 1 1 T - 1 (z - μ (z - μi ) f (z μ i , ∑ i ;Ai ) = i) ∑ i 1/ 2 ex p 2 (2 π) p/ 2 ∑ i 从而 , z 在 A i 中的预报度函数为 μi , ∑ μ f (z xi ,Vi ;Ai ) = κ f (z μi , ∑ i xi ,V i ,Ai ) d i ,Ai )π( id ∑ i p
34
中文核心期刊 数理统计与管理 22 卷 1期 2003 年 1 月
G G
E( g z) =
j =1 j ≠g
∑
qj f j ( z ) L ( j g )
i =1
∑q f
i i
( z)
( 2)
其中损失函数 L ( j g) 表示将实际上属于 A g 而将其错划入 A j 所造成的损失 。 显然 , 如果 E ( h z ) = min { E ( g z ) }
The design of bayesian classif ication and discrimination method among several populations based on diffuse prior distribution
ZHU Hui2ming ,HAN Yu2qi
( School of management ,Nanjing University of Science & Technology ,Nanjing 210094) Abstract :In t his paper ,t he aut hors study a met hod on how to classify a sample into one of t he several known normal populations in terms of posterior probability ratio established by t he sampleπs predictive density functions when t he unknown parametersπ prior distributions are diffuse prior distribution. The met hod doesnπt require t he consistency of each populationπs covariance and it remains valid when t he training sample size is not very large. Key words :prior distribution ;wishart distrbution ;discrimination analysis ;posterior probability ratio
G
E ( h z ) = c ( 1 - q h f h ( Z) )
i =1
∑q f
i i
( z)
由上式可以看出 ,寻找 h 使后验概率 P ( A h z ) 最大和使错判的平均损失 E ( h z ) 最小是 等价的 , 即 P ( A h z ) max Ζ E ( h z ) min 在以上讨论中 ,未涉及各总体分布中参数的有关信息 ,如果将分布中的示知参数看作随机 变量 ,并给定其先验分布 ,那么如何结合参数分布的信息来对样品 z 的分类作出判别 ? 本文下 面讨论各总体均服从正态分布 ,未知参数的先验分布均为扩散先验分布 ,损失函数取为 ( 3 ) 式 中的形式时该问题的解决方法 。 二、 参数的分布 设总体 A 1 , A 2 , …, A G 中的每一个都服从 P 维正态分布 , 总体 A i 的数学期望为μi , 协方 差阵为 ∑i ,μi 和 ∑i 都是未知参数 , x i1 , x i 2 , …, x i n i 是来自总体 A i 的预试样本 ,并记
ni
式中 W p ( n i , ∑i ) 为 Wishart 分布 [ 1 ] 。由于 ( x i , V i ) 是参数 (μi , ∑i ) 的充分统计量 , 因此 利用 ( x i , V i ) , i = 1 ,2 , …, G 来分析问题即可 。 根据正态分布和 Wishart 分布的密度函数 , x i , V i 各自的密度函数分别为
( 1)
并且当 P ( A h z ) = max { P ( A g z ) } 时判 z 来自第 h 个总体 A h 。 有时还可以利用错判损失最小的概念来作判决函数 ,这时把 z 错判为第 g 个总体 A g 的平 均损失定义为
Ξ
收稿日期 :2001 - 09 - 13 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
1 ΦgΦG
则应判 z 来自第 h 个总体 A h 。 原则上讲 , 考虑损失函数更为合理 , 但在实际中 L ( j g ) 不易确定 , 因此通常假定各种错 判所造成的损失均相等 ,即 0, j = g ( 3) L ( j g) = c, j ≠g 此时 , ( 2) 式中的平均损失函数 E ( h z ) 可以简化为
xi = Vi =
h h
1
ni
n
i
n
i
j =1
∑x
ij
j =1
∑( x
ij
- x i ) ( x ij - x i )
T
则由 Fisher - Neyman 因子分解定理 , ( x i , V i ) 是参数 (μi , ∑i ) 的充分统计量 ,并且 1 x i ～ N (μi , ∑i ) , V i ～ W p ( n i , ∑i )
∝
μ ∈Rp , ∑ > 0
i i
κ
∑ i
(n + p + 3) / 2 i
1
ex p { -
1 t r 6 i- 1 [ V i + ni ( xi - μ i ) ( xi - μ i) 2
T
+ (z -
μi ) (z - μi ) T ]}di 6 i d μi ∝∫ P
μ: R i
ห้องสมุดไป่ตู้
μi d T | V i + ni ( xi - μ + (z - μ i ) ( xi - μ i) i) (z - μ i) |
μ ∈R , ∑ > 0 i i
∝
μ ∈R , ∑ > 0{ i i
p
κ
∑ i
(n + p + 3) / 2 i
1
ex p { -
1 [ n ( x - μi ) 2 i i
T
- 1 ( xi - μ ∑ i i) + (z - μ i)
T
- 1 - 1 (z - μ μi d ∑ ∑ V i ]}d i i) + t r ∑ i i
( 2π )
p/ 2
ki
( 1)
ni
p/ 2
Vi
( n - p - 1) / 2 i
布为扩散先验分布 [ 2 ] , 其密度函数为 π(μi ,
∑) ∝
i
1
∑
i
( p +1 ) / 2
,μ i ∈R ,
p
∑
i
> 0
( 5)
式中 “∝” 表示该符号两边仅差一个常数因子 。根据 Bayes 定理 , 由 ( 4 ) 式和 ( 5 ) 式便得 (μi , ∑i ) 的联合后验分布密度 π(μi , ∑i x i , V i ; A i ) ∝π(μi , ∑i ) f ( x i , V i μi , ∑i ; A i )
一、 引 言
Bayes 判别分析是多元统计中判别样品归属的一种方法 , 它是通过在事物已知分类的基
础上建立判别函数 ,对样品进行分类 ,将其划归为已知的类别之一 ; 如果有 G 个总体 A 1 , A 2 , …, A G , 它们的先验概率分别为 q1 , q2 , …, q G , 各自的分布密度函数为 f 1 ( x ) , f 2 ( x ) , …, f G
f 1 ( x i μi ,
∑
; A i) = i
ni ( 2π )
p/ 2
p/ 2
∑
i
1/ 2 exp
( 1)
-
ni
2
ni / 2
( xi - μ i)
T
∑
i
-1
( xi - μ i)
-1
和 f 2 ( V i μi ,
∑
p i=1
; A i) = i
ki
Vi
- 1
( n - p - 1) / 2 i
扩散先验分布下 Bayes 多总体分类判别方法的构造
文章编号 :1002 — 1566 ( 2003) 01 — 0033 — 05
33
扩散先验分布下 Bayes 多总体分类判别方法的构造
朱慧明 , 韩玉启
( 南京理工大学管理学院 ,江苏 南京 210094)
Ξ
摘 要 :本文研究了各总体服从多元正态分布 ,其未知参数的先验分布均为扩散先验分布时 ,如何 利用待判样品的预报密度函数 、 构造后验概率比并据此对样品进行分类与判别 ; 此方法并不需要 假设各总体分布的协方差相同 ,而且在预试样本容量较小时仍然可行 。 关键词 : 先验分布 ; Wishart 分布 ; 判别分析 ; 后验概率比 中图分类号 :O212. 8 文献标识码 :A
∑
i
exp -
1 tr 2
∑
i
Vi
式中 k i ( 1) = 2 n i p πp ( p - 1) / 4 Π Γ(
ni - j + 1
2
)
。由于 x i 与 V i 是相互独立的 , 因此它们的
http://www.cnki.net
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
1 T ni ( x i - μ ∑i - 1 ( x i - μi ) + t r ∑i - 1 V i exp i) 2 ∑i ( n i + p + 2) / 2 若去掉 ( 6) 式中与 (μi , ∑i ) 无关的项 , 则有 1 1 T - 1 - 1 π(μi , ∑i x i , V i ; A i ) ∝ n i ( x i - μi ) ∑i ( x i - μi ) + t r ∑i V i exp 2 ∑i ( n i + p + 2) / 2 μi , ∑ 至此 ,我们对参数 ( i ) 的后验分布有了初步的了解 。