第七章 带有线性约束的多元线性回归模型及其假设检验(金融计量-浙大 蒋岳祥)

第七章 带有线性约束的多元线性回归模型及其假设检验

在本章中，继续讨论第五章的模型，但新的模型中，参数β满足J 个线性约束集，R β=q ，矩阵R 有和β相一致的K 列和总共J 个约束的J 行，且R 是行满秩的，我们考虑不是过度约束的情况，因此，J ＜K 。

带有线性约束的参数的假设检验，我们可以用两种方法来处理。第一个方法，我们按照无约束条件求出一组参数估计后，然后我们对求出的这组参数是否满足假设所暗示的约束，进行检验，我们在本章的第一节中讨论。

第二个方法是我们把参数所满足的线性约束和模型一起考虑，求出参数的最小二乘解，尔后再作检验，后者就是参数带有约束的最小二乘估计方法，我们在本章的第二节中讨论。

第一节 线性约束的检验 从线性回归模型开始，

εβ+=X y （1）

我们考虑具有如下形式的一组线性约束，

J

K JK J J K K K K q r r r q r r r q r r r =+++=+++=+++βββββββββ

22112

22221211

1212111

这些可以用矩阵改写成一个方程

q R =β （2）

作为我们的假设条件0H 。

R 中每一行都是一个约束中的系数。矩阵R 有和β相一致的K 列和总共J 个约束的J 行，且R 是行满秩的。因此，J 一定要小于或等于K 。R 的各行必须是线性无关的，虽然J =K 的情况并不违反条件，但其唯一决定了β，这样的约束没有意义，我们不考虑这种情况。

给定最小二乘估计量b ，我们的兴趣集中于“差异”向量d=Rb －q 。d 精确等于0是不可能的事件（因为其概率是0），统计问题是d 对0的离差是否可归因于抽样误差或它是否是显著的。

由于b 是多元正态分布的，且d 是b 的一个线性函数，所以d 也是多元正态分布的，若原假设为真，d 的均值为0，方差为

R X X R R b Var R q Rb Var d Var ''='=-=-12)(])[(][][σ （3）

对H 0的检验我们可以将其基于沃尔德（Wald ）准则：

d d Var d J W 12])[()(-'==χ

=)(])([)(1

1

2

q Rb R X X R q Rb -'''---σ （4）

在假设正确时将服从自由度为J 的2χ分布(为什么?)。

直觉上，d 越大，即最小二乘满足约束的错误越大，则2

χ统计量越大，所以，一个大的2

χ值将加重对假设的怀疑。

⎪⎭

⎫

⎝⎛'

⎪⎭⎫ ⎝⎛='=

-σεσεσσM e

e s K n 2

2

2

)( （5） 由于σ未知，（4）中的统计量是不可用的，用s 2替代σ2，我们可以导出一个F[J ，（n －K ）]样本统计量，令

)

/(]/)[(/)(])([)(2

2112K n s K n J

q Rb R X X R q Rb F ---'''-=--σσ （6） 分子是（1/J ）乘（4）中的W ，分母是1/（n －K ）乘（5）中的幂等二次型。所以，F 是两个除以其自由度的卡方变量的比率。如果它们是独立的，则F 的分布是F[J ，（n －K ）]，我们前边发现b 是独立于s 2分布的，所以条件是满足的。

我们也可以直接推导。利用（5）及M 是幂等的这一事实，我们可以把F 写为

)

/()]/([])/([/}/)({])([}/)({11K n M M J

b R R X X R b R F -'-'''-=--σεσεσβσβ （7）

由于

⎪⎭

⎫

⎝⎛=⎪⎭⎫ ⎝⎛''=--σεσεσ

βT X X X R b R 1)()

(

F 统计量是)/(σε的两个二次型的比率，由于M )/(σε和T )/(σε都服从正态分布且它们的协方差TM 为0，所以二次型的向量都是独立的。F 的分子和分母都是独立随机向量

的函数，因而它们也是独立的。这就完成了证明。

消掉（6）中的两个σ2，剩下的是检验一个线性假设的F 统计量，

)

/(/)(])([)(11K n e e J

q Rb R X X R q Rb F -'-'''-=

-- J

q Rb R X X R s q Rb )(])([)(112-'''-=-- （8）

我们将检验统计量

J

q Rb R X X s R q Rb K n J F )

(}])([{)(],[112-'''-=---

和F 分布表中的临界值相比较，一个大的F 值是反对假设的证据。

注意：将wald 统计量中的2

σ用2

s 去替代，相应的就将J 维的卡方分布转换为维度为（J,n-K ）的F 分布。

第二节 参数带有约束的最小二乘估计 一、带有约束的最小二乘函数

在许多问题中，要求其中的未知参数β满足某特定的线性约束条件：R β=q ，这里R 是

J ×K 矩阵（J ＜K ），并假定它的秩为J 维向量，常常希望求β的估计β

ˆ，使得 2

}

:{2

min ˆββ

ββX Y X Y q R -=-= （9）

满足条件（9）的称为β的具有线性约束R β=q 的最小二乘估计。

解β

ˆ的问题实际上是在约束条件 R β=q

下求 ∑∑==⎪⎪⎭⎫ ⎝⎛-=-=n

i m

j j ij i x Y X Y f 12

12

ββ 的限制极值点问题。

这个问题的一个拉格朗日解可写作

)(2)()(*q R X y X y S -'+-'-=βλββ

解b *和λ将满足必要条件