压缩主成分估计的一些性质_李胜宏

2） 0 < θ p λ p ≤ L ≤ θ 1λ1 < 1 . ~ 称 â = PAP ′ ∠为 â 的 压 缩 主 成 分 估 计 ， 这 里 A = diag (θ 1λ1 , θ 2 λ 2 , L ,θ p λ p ) ， P ′X ′XP =
−1 diag( λ1 , λ 2 L , λ p ) ， ∠= ( X ′X ) X ′Y .
其中 h1 , h p 为 H = ( G ′CG )[( I − G ) ′ X ′X ( I − G )] −1 的最大、最小特征值.于是 h pâ ′( I − G ) ′ X ′X ( I − G ) â ≤ â ′ E ′CGâ ≤ h1â ′( I − G ) ′ X ′X ( I − G ) â . 因为 âˆ* ~ N (0, σ 2 I ), 其中 λ = 故 1 ˆ ( â * +â * ) ′( ∠* +â * ) ~ χ 2 p(λ)， σ2
第 17 卷 第 4 期 2003 年 12 月
JOURNAL
OF
五邑大学学报（自然科学版） WUYI UNIVERSITY (Natural Science Edition)
Vol.17 No.4 Dec. 2003
文章编号：1006-7302（2003）04-0019-04
Fra Baidu bibliotek
压缩主成分估计的一些性质
李胜宏，周占功
（湘潭大学 数学系，湖南 湘潭 411105）
摘要：讨论了压缩主成分估计的一些性质，证明了在一定条件下，此估计比最小二乘估计 有更小的广义均方误差并且在 PC 准则下也优于最小二乘估计． 对 Y 的预测量做了比较． 关键词：压缩主成分估计；广义均方误差；ＰＣ 准则 中图分类号：O212.0 设有线性模型 Yn×1 = X n× pâ p×1 + å n×1 å ~ N (0, σ 2 I n ) （1） 其中 Y 为观测阵， X 为设计阵， â 为待估参数， å 为随机误差阵，设 R( X ) = p. 当设计阵 X 含有多重共线性时， X ′X 接近奇异，它的某些特征值接近于 0. 这使最小二乘 2 1 估计（ LS ） ∠= ( X ′X ) − X ′Y 的均方误差变得很大 ，使平均模 E ( âˆ′ âˆ) = MSE( âˆ) + â 过长，其中 λ1 ≥ λ 2 ≥ L λ p > 0 为 X ′X 的特征值，因此使得对 ∠的改进变得十分重要. 为了改进 ∠，人们提出了一些有偏压缩估计，如岭估计、岭型组合主成分估 计 [1] 、 stein 压 缩估计、变根有偏估计 [2] 等 . 由张启全在文献 [3] 中提出的压缩主成分估计，包含了以上估计， 定义如下: 定 义 １ 对 （ 1 ） 式 的 线 性 模 型 ， 若 ∃r ,1 ≤ r ≤ p, 使 λ1 ≥ λ 2 ≥ L ≥ λ r ≥ 1 > λ r +1 ≥ L ≥ λ p > 0, θ i (i = 1,2, L , p) 满足： 1） 0 < θ1 ≤ θ 2 ≤ L ≤ θ p < 1 ； 文献标识码：A
１ ＧＭＳＥ 下压缩主成分估计相对于 ＬＳ 的优良性
~ 定理 １ 在椭球 á ′( I − A ) 2Ëá ≤ ó 2 ( P − tr A 2 ) 内， GMSE( â ) ≤ GMSE( âˆ) 其中 á = P ′â ， P 、 A 如定义 1，以下也如此. 证明 ˆ − â ) ′ X ′X ( ∠− â ) = tr{cov[( X ′X ) 2 ( ∠− â )]} = pσ 2 GMSE( âˆ) = E ( â ~ ˆ− â ) = GMSE( â ) = E ( PAP ′∠− â ) ′ X ′X ( PAP ′â ˆ − PAP ′â + PAP ′â − â ) ′ X ′X ( PAP ′â ˆ − PAP ′â + PAP ′â − â ) = E ( PAP ′â ˆ − PAP ′â ) ′ X ′X ( PAP ′â ˆ − PAP ′â ) + E ( PAP ′â − â ) ′ X ′X ( PAP ′â − â ) = E ( PAP ′â ˆ − â ) + â ′( I − PAP ) ′ X ′X ( I − PAP )â = E ( ∠− â ) ′ PAP ′X ′XPA P ′( â
收稿日期：2003－04－27 作者简介：李胜宏（1977－ ） ，女，山东菏泽人，硕士研究生，主要从事数理统计的研究．
20
五邑大学学报（自然科学版）
2003 年
~ −1 当θ i = λk i , i = 1, L , p, 0 < k < 1 时， â 为根方有偏估计. ~ 张启全在文献 [3] 中对 â 的优良性作了很多工作，本文做一些补充 . 证明了此估计在一定条 ~ ~ ~ ，且有更好的优效性，在 PC 准则下也优于 â . 件下， â 比 â 有更小的广义均方误差（GMSE）
2 2 2 2 2 2 ⇔ á ′( I − A ) Ëá ≤ pσ − σ tr( A ) = σ ( p − tr A ) . 得证. 相对效率是比较两个估计量好坏的另一主要标准，采用文献[4] 中的相对效率概念如下： ˆ) cov(θ 1 ˆ 相对于 θ ˆ 的效率，其中 • = tr(•) ，θ ˆ ,θ ˆ ˆ ˆ ˆ ˆ 为θ 称 e(θ 1 | θ 2 ) = 1 2 1 2 为 θ 的估计 . e(θ 1 | θ 2 ) ˆ) cov(θ 2
2 设 U 服从自由度为 l 的非中心参数为 λ 的非中心卡方分布， 即 U ~ χ l2 (λ ) ，χ 0 .5 (l , λ )
表示非中心 χ l2 (λ ) 的中位数，则有
2 2 2 min ( χ 0 .5 (l , λ ) − λ ) = l − 1 ， max ( χ 0.5 ( l , λ ) − λ ) = χ 0 .5 (l ) ， λ λ 2 此处 χ 0 .5 (l ) 为自由度为 l 的中心卡方分布，此时显然有 2 P(U ≥ l − 1 + λ ) ≥ P(U ≥ χ 0 .5 (l , λ )) = 0. 5 . 证明 （3）式见文献[4] ，而（4）式是（3）式的结果. 定理 ３ 设仍令在损失(2)下： 2σ 2 ( p − 1)[1 − (θ 1λ1 ) 2 ](θ p λ p ) 2 ~ 时， â 在 PC 准则下优于 ∠. 1）若 á ′[ I − ( I + A ) −1 ] 2Ëá ≤ 2 2 2 2 − 3(θ p λ p ) + (θ 1λ1 ) (θ p λ p )
第 17 卷
第4期
李胜宏等：压缩主成分估计的一些性质
21
L ( d ,â ) = ( d − â ) ′ X ′X ( d − â ) = d − â ~ ˆ ~ 记 W ( â ,â ,â ) = â − â 引理 １
2 X ′X
2 X ′X
，
（2）
− ∠− â
2 X ′X
.
为证下面定理需要以下引理.
1
ˆ − â ) + â ′ P ( I − A ) 2 Ë P ′â = E ( ∠− â ) ′ PA 2Ë P ′( â ˆ) ] + â ′ P ( I − A ) 2 Ë P ′â = ó 2 tr( A 2 ) + á ′( I − A ) 2 Ëá . tr[ PA 2 P ′ cov(â ~ GMSE( â ) ≤ GMSE( âˆ) ⇔ σ 2 tr( A 2 ) + á ′( I − A ) 2 Ëá ≤ pσ 2
≤
σ 2 tr( AË −1 ) p −1 + σ 2θ P + á ′ á σ 2 tr( AË −1 ) P −1 + σ 2 / λ P
上式成立，因为当 a < b 时，
x+a 是 x 的递增函数. ( AË −1 ) p −1 为 AË −1 的前 p − 1 阶矩阵. x+b ~ 以上定理证明了在一定条件下， â 改进了 ∠.
２ ＰＣ 准则下的优良性
ˆ 、θ ˆ 是 参 数 θ 的 两 个 不 同 估 计 ， θ ∈ Θ , L (•, θ ) 为 损 失 函 数 ， 如 果 满 足 定义 ２ 设θ 1 2 ˆ ˆ ˆ 在 PC 准则下优于 θ ˆ . 此处 Θ P( L (θ1 , θ ) ≤ L (θ 2 , θ )) ≥ 0.5 且严格不等式至少对一个成立， 则称 θ 1 2 为参数空间. 本节取损失函数
（3）
（4）
2 ）若 á ′[ I − ( I + A ) −1 ] 2 Ëá ≥
2σ 2 p[1 − (θ p λ p ) 2 ](θ1λ1 ) 2 2 − 3(θ1λ1 ) + (θ p λ p ) (θ1λ1 )
2 2 2
~ 时， â 在 PC 准则下不可能优于 ∠.
则
证明 利用文献[5] 的方法，取 C = ( X ′X ) − PAP ′X ′XPAP ′, G = ( X ′X )( I − PAP ′)C −1 ~ W ( â ,âˆ,â ) ≤ 0 ⇔ âˆ′ C∠− âˆ′ CGâ − â ′ G ′C∠+ â ′ G ′CGâ ≥ â ′ G ′CGâ ˆ − Gâ ) ≥ â ′ G ′CGâ ⇔ (∠− Gâ ) ′C ( â
当θ i =
1 ~ , i = 1,2, L , p 时， â 为岭估计. λi + k
1 , i = 1,2, L , r ~ λi + k 当θ i = 时， â 为岭组合主成分估计. 1 , i = r, r + 1, L , p 1 + k c ~ 当θ i = , i = 1,2, L , p,0 < c < 1 时， â 为 stein 估计. λi
ˆ 对θ ˆ 的改进程度越好. 越小， θ 1 2 定理 ２ 证明 故 pθ p λ p + λ pα ′α / σ 2 ~ ˆ )≥ . 若 (θ p + á ′ á / σ 2 )λ p ≤ 1 时， e(â | â 1 + ( p − 1)θ p λ p ~ ˆ) = σ 2 ( X ′X ) −1 , cov(â ) = σ 2 PA 2Ë −1 P ′ + P ( I − A) P ′â â ′ P ( I − A) P ′ 因为 cov(â ~ ~ cov(â ) ~ ˆ tr[cov( â )] σ 2 tr( A 2Ë −1 ) + á ′( I − A ) 2 á e(â | â )= = = ˆ) tr[cov( âˆ)] σ 2 tr( Ë −1 ) cov(â ≤ σ 2θ P ( p − 1) + σ 2θ p + á ′ á σ 2θ p ( p − 1) + σ 2 / λ p ≤ pθ p λ p + λ pá ′ á / σ 2 1 + ( p − 1)θ p λ p
又因为 ( X ′X ) −1 正定，故 ( X ′X ) −1 = LL′ ，使 RL′CLR ′ = D 为对角阵，若将上式左边记为 U ， ˆ − â ),â * = RL−1 ( I − G )â ˆ * +â * ) 则 U = ( ∠* +â * ) ′ D( â 其中 âˆ* = RL−1 ( â 由 Courant 定理可知 1 − (θ1λ1 ) 2 = d p ≤ ˆ * +â *) ′D ( â ˆ * +â * ) (â ≤ d1 = 1 − (θ p λ p ) 2 ˆ ˆ ′ (â * +â * ) ( â * +â * ) 其中 d1 , d p 为 D 的最大、最小特征值.于是 ˆ * +â * ) ≥ U ≥ d p ( â ˆ * +â * ) ′( ∠* +â * ) . d 1 ( ∠* +â * ) ′( â 再由 Courant 定理 1 â ′ G ′CGâ 1 − 1 = hp ≤ ≤ h1 = −1， 2 ′ ′ ′ ( ) ( ) â I − G X I − G â θ (θ 1λ1 ) pλp （6） （5）