约束线性回归参数极大似然估计的渐进性

设（10）式的最优解为 θ n 布。
( m +1)
，则 θ n
( m +1)
= n 2 ( β n ( m +1) − β 0 ) 。下面我们求（10）式的极限分
1
3.1 目标函数 Qn (θ ,θ n ( ) ) 的极限分布 Qn (θ ,θ n
( m)
) 的极限分布，由 Wang[4]定理 1 有如下假设：
1 1
其中 θn
( m)
= n2 (βn( m) − β0 ), 令 Q θ,θn( m) ) =θ '[n−1∑Xi 'Σi−1Xi ]θ −2θ ' n 2 ∑Xi 'Σi−1[E(Yi | Yobs,θn( m) ) − Xiβ0]， n(
1
n
−1
n
i=1
i=1
S n 是问题（9）的可行解集，则问题(9)等价于
数据 Y 含有不完全数据。即约束回归模型为：
（2）
我们将证明模型（1）在（2）约束下回归参数 β 的极大似然估计的渐进性，其中观测
⎧Yi = X i β + ε i , i = 1,L , n, ⎪ ⎨h j ( β ) ≥ 0, j = 1,L , r , ⎪ ⎩ g j ( β ) = 0, j = r + 1,L , q.
由 Jensen 不等式得
H (β (m+1) | β (m ) ) − H (β (m ) | β (m ) ) = E [ln
f ( YmisYobs , β (
) m f ( Ymis |Yobs , β ( ) )
f (Ym
is
m +1)
]
+1)
≤ ln [ E
由 l (β
( m +1)
m |Y o b s , β (
根据 Kim 和 Taylor[5]的注释, 令 Y = (Yobs , Ymis ) , 其中 Yobs 是 Y 的可观测部分, Ymis 表 示 Y 的未知部分, 则完全数据 Y 的分布可分解为: f (Y | β) = f (Y ,Ymis| β) = f (Y ,β). obs obs| β) f (Y mis| Y obs 因此在（2）的基础上, 对数似然函数为：

n n ⎧ (m) −1 min Q ( β ; β ) β ' X ' X β 2 β X i ' Σi −1 E (Yi | Yobs , β ( m ) ) = Σ − ∑ ∑ i i i ⎪ i =1 i =1 ⎪ ⎪ ⎨h j ( β ) ≥ 0, j = 1,L , r , ⎪ ⎪ g j ( β ) = 0, j = r + 1,L , q. ⎪ ⎩
1. 引 言
约束回归问题已经引起了人们的广泛关注，例如 Liew[1]考虑了含有线性约束的线性回 归问题， Nagaraj 和 Fuller[2]研究了满足非线性等式约束的时间序列模型， Eicker[3]对线性回 归模型回归参数的最小二乘估计的渐进正态性和一致性进行了研究，Wang[4]给出了非线性 不等式约束下非线性回归的最小二乘估计的渐进性， 即模型：yi = f ( x, β ) + ε i ， i = 1,L , n ，
−1 L( β | Y ) = − 1 2 ∑ (Yi − X i β ) ' Σ i (Yi − X i β ) + C0 . i =1 n
（7）
其中 C0 是常数，首先 E-步求期望：
Q (β | β
(m )
) = −∫
1 2
∑ (Y
i
− X β ) ' Σ − 1 (Y i − X β ) f ( Y m is | Y o b s , β
定义 2。2：若 {S n }, S 满足下列关系
lim sup Sn ⊂ S ⊂ lim inf Sn .
其中 lim sup S n = {z | ∃{znk }, 使得 znk ∈ S nk , z nk → z}.
lim inf Sn = {z | ∃{zn }, 使得 zn ∈ Sn , zn → z}.
n
(m )
) d Y m is + C 0
=−1 E (Yi ' Σ −1Yi | Yobs , β (m ) ) + ∑ E (Yi ' Σ −1 Xβ | Yobs , β (m ) ) 2∑
i =1 i =1
n
-1 2 β ' X ' Σ X β + C0 .
−1
则约束极大似然问题转化为：
-2-
1
( m)
) 依分布收敛到 Q(θ,θ ( m) ) = θ ' Kθ − 2θ 'T ( m) .
对任意的 β ∈ W ， θ = n 2 ( β − β 0 ) ，因此有
n
Qn (θ , θ n ( m ) ) = θ '[ n −1 ∑ X i ' Σi −1 X i ]θ − 2θ ' n
i =1
n n ⎧ −1 ( m) −1 −1 2 min Q ( θ ; θ ) = θ '[ n X ' Σ X ] θ − 2 θ ' n X i ' Σi −1[ E(Yi | Yobs ,θn( m) ) − X i β0 ] + ∑ ∑ n i i i ⎪ i =1 i =1 ⎪ n n ⎪ ⎪β0 ' ∑ X i ' Σi −1 X i β0 − 2β0 ' ∑ X i ' Σi −1E(Yi | Yobs ,θn( m) ) （9） ⎨ i=1 i =1 ⎪ −1 ⎪hj (n 2θ + β0 ) ≥ 0, j = 1,L , r, ⎪ −1 2 ⎪ ⎩ g j (n θ + β0 ) = 0, j = r + 1,L , q.
（8）
用迭代法求 β 的极大似然估计，设 β n
( m +1)
是（8）式的最优解， β 0 满足： Yi = Xi β + εi ,
i = 1,L , n. , 我们主要想研究 n 2 ( β n (
1
m +1)
− β 0 ) 的渐进性。因为约束条件的出现，尤其是非线
1
性不等式约束使得我们不能象无约束回归那样得到 n 2 ( β n 究约束条件下 n 2 ( β n
−1 2
∑X
i =1 n i
n
i
' Σ i −1[ E (Yi | Yobs , θ n ( m ) ) − X i β 0 ]
m
= θ '[n −1 ∑ X i ' Σ i −1 X i ]θ − 2θ ' n
i =1
n
−1 2
∑X
i =1
' Σ i −1[ E (ε i | Yobs ,θ n ( ) ) 。
-3-

定理 2。1 设 limn−1
∑XiΣi−1Xi = K 存在， T( ) = limn
m i=1 n→∞
n
−1 2
∑X Σ
i =1
n
−1
i i
[E(Yi | Yobs ,θn( ) ) − Xi β0 ],
m
且 K 是正定矩阵则对每一个 θ ∈ Ω, Qn (θ ,θ n 证明
n n ⎧ −1 (m) −1 −1 2 Q ( θ , θ ) θ '[ n X ' X ] θ 2 θ ' n X i ' Σi −1[ E (Yi | Yobs , θ n( m ) ) − X i β 0 ] = Σ − ∑ ∑ n i i i ⎪ n i =1 i =1 ⎪ ⎪ −1 （10） ⎨h j (n 2θ + β 0 ) ≥ 0, j = 1,L , r , ⎪ −1 ⎪ g j (n 2θ + β 0 ) = 0, j = r + 1,L , q. ⎪ ⎩
yi , i = 1,L n 为观测数据，约束条件为关于参数 β 的非线性不等式。所有以上研究均是在观
测数据没有丢失的情况下进行的，本文我们考虑一般的线性回归模型：
Y = X β + ε.
含有不等式约束
（1）
⎧ ⎪h j ( β ) ≥ 0, j = 1,L , r , ⎨ ⎪ ⎩ g j ( β ) = 0, j = r + 1,L , q.
1 2 1
( m +1)
− β 0 ) 的渐进正态性，为了研
( m +1)
− β 0 ) 的极限分布，我们下面研究问题（8）的极限问题，并证明
n ( β n ( m +1) − β 0 ) 将收敛到极限问题的最优解。
令 θ = n 2 ( β − β 0 ) ，这种设置方法经常在统计文献中出现，例如：Prakasa[6], Wang[4], Liu 和 Wang[7],将 θ = n 2 ( β − β 0 ) 带入（8）式得
( m) Q(β (m) | β (m) ) , 则有 l (β (m+1) | Yobs ) > l (β (m) | Yobs ) ， 而 EM 算法中每一步迭代均提高 Q(β | β ) ,
因此对数似然函数 l ( β | Yobs ) 是严格增加的。
3．约束极大似然估计
求模型（3）的参数 β 的极大似然估计，我们首先给出对数似然：
由 Jennrich[8]定理 4 和定理 5 得
n
−1 2
∑X
i =1
n
i
' Σi −1ε i → L N (0, K )( n → ∞).