5第三章多元线性回归模型分析(三)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 在正态假设下，设 S kk 是 (X X) 的第 k 个主对角元。
则下述随机变量服从标准正态概率分布： bk k zk 2 S kk 如果 是已知的，则上述随机变量可以直接用于参数
2
k 的推断，但是一般情况下，我们不知道参数 ，则需要
2
利用 2 的估计量 s 2 进行替代，为此我们需要推出用于推断 的统计量。
(n K ) s 2
2
2 M xMx ， ee
其中 M I n X(XX) 1 X 是幂等矩阵。 因为 ~ N(0, 2In ) ，所以 x ~ N(0,I n ) 且 tr (M) tr (In ) tr (X(XX)1X) n tr ((XX)1XX) n k 所以
（2）定义：A 是对称幂等阵，称 xAx 为幂等二次型； （3）命题：若 xi ~ N(0,1) ，rank（A）=r，则 xAx ~ 2 (r ) （4）定义：设 x ~ N(0,1) ， Y ~ (n ) ，则 t
2
iid
x Y n
~ t (n )
由此可见，t 分布是对正态分布的污染，但污染的并 不彻底，即仍为单峰对称的。当 n 趋向于无穷大时， t 分布变成标准正态分布。
wk.baidu.com
假设检验的重点在于构造检验统计量，是一 个不含有未知参数的样本函数。 假设检验有很多方法，如F检验、t检验等。 它们的区别在于构造的统计量不同，即设计 的“事件”不同。 统计量的构造要根据要检验的假设来进行。 如t检验、F检验等。
2、关于变量显著性检验
为了进行统计推断和假设检验，我们需要知道参数 所服从的概率分布。假设随机误差服从多元正态概率分布， 则可以得到：
T统计量的概率分布
引理 假设 x 是标准正态随机向量， Lx 是 x 的线性组合， 而 x Ax 是 x 的幂等二次型，即 A 是对称幂等矩阵。 如果 LA 0 ，则 Lx 与 x Ax 是相互独立的。 证明：我们只需要证明 Lx 与 Ax 是相互独立的即可 （因为 xAx (Ax)Ax ）。注意到这是两个正态随机变量， 其独立性等价于两个随机变量之间的不相关，即
b | X ~ N[ β , 2 (XX) 1 ]
多元正态分布的分量仍然服从正态分布，因此可知： 1 bk | X ~ N[ β k , 2 (XX) kk ] ， k 1, , K 如果没有确切指定随机误差的分布，上述参数分布的 大样本性质将在以后讨论。
命题：正态分布的线性组合亦服从正态分布。
因此可知： b 与 s 2 之间相互独立。其余结论可以类推。
根据上述结果，我们可以构造下述随机变量的比为：
tk
(bk k ) / S
2 kk
[(n K )s 2 / 2 ] /(n K )
(bk k ) s 2 S kk
~ t (n K )
COV(Lx, AX) LCOV(x, x)A LA 0
X的方差为1
因此可以推断它们之间的独立性。
引理 假设随机误差 服从正态分布，则下述统计量服从 自由度为 ( n K ) 的 2 -分布。
(n K ) s 2
2
证明：该随机变量可以表示为标准正态随机变量的幂等 二次型形式：
y N ( , ) ，则 Ay N ( A , A A ) p p
提出原假设与备择假设： H0：i=0, H1: i0 用以进行变量显著性检验的方法主要有三种：F检 验、t检验、z检验。它们的区别在于构造的统计量 不同。应用最为普遍的t检验。
（1）构造系数检验统计量
如果 2 未知，则上式就不是统计量，因为含有未 e e 2 知参数。如果用s （ n k ）替代 2 的话，我们就 希望s2是 2 分布，且与b无关。因为这样可构造t统 计量。
回顾
（1）定义：设 xi ~ N(0,1) ，称 χ 2
iid
i 1
i n
xi2 ~χ 2(n) ；
M I n X(XX)1 X
这是一个标准正态随机向量 ( / ) 的幂等二次型。又因为：
b β ε (X X) 1 X Lx 这也是一个标准正态随机向量 ( / ) 的线性组合。并且：
LM (XX)1 X[I n X(XX) 1 X] 0
§3.4 单方程模型的统计检验（二）
一、拟合优度检验
二、变量显著性检验
三、方程显著性检验
二、变量显著性检验 Testing the Overall Significance
1、关于假设检验
假设检验是统计推断的一个主要内容，它的基本任务 是根据样本所提供的信息，对未知总体分布的某些方 面的假设作出合理的判断。 假设检验的程序是，先根据实际问题的要求提出一个 论断，称为统计假设；然后根据样本的有关信息，对 真伪进行判断，作出拒绝或接受的决策。 假设检验的基本思想是概率性质的反证法，即根据小 概率事件原理。该原理认为“小概率事件在一次试验 中几乎是不可能发生的”。 从而在原假设下构造一 个小概率事件。随机抽取一组容量为n的样本观察值 进行该事件的试验，如果该事件发生了，则有理由认 为原假设不正确。
(n K ) s 2
2
xMx ~ 2 (n K )
定理 b 与 s 2 之间的独立性 如果随机误差 服从正态分布，则最小二乘系数估计 b 与残差向量 e 是相互独立的，因此 b 与 e 的任何函数也相互 独立，其中自然包括 b 与 s 2 的独立性。 证明：根据方差无偏估计 s 2 的定义，可以得到： (n K )s 2 ee 2 M xMx ， e My M ， 2
则下述随机变量服从标准正态概率分布： bk k zk 2 S kk 如果 是已知的，则上述随机变量可以直接用于参数
2
k 的推断，但是一般情况下，我们不知道参数 ，则需要
2
利用 2 的估计量 s 2 进行替代，为此我们需要推出用于推断 的统计量。
(n K ) s 2
2
2 M xMx ， ee
其中 M I n X(XX) 1 X 是幂等矩阵。 因为 ~ N(0, 2In ) ，所以 x ~ N(0,I n ) 且 tr (M) tr (In ) tr (X(XX)1X) n tr ((XX)1XX) n k 所以
（2）定义：A 是对称幂等阵，称 xAx 为幂等二次型； （3）命题：若 xi ~ N(0,1) ，rank（A）=r，则 xAx ~ 2 (r ) （4）定义：设 x ~ N(0,1) ， Y ~ (n ) ，则 t
2
iid
x Y n
~ t (n )
由此可见，t 分布是对正态分布的污染，但污染的并 不彻底，即仍为单峰对称的。当 n 趋向于无穷大时， t 分布变成标准正态分布。
wk.baidu.com
假设检验的重点在于构造检验统计量，是一 个不含有未知参数的样本函数。 假设检验有很多方法，如F检验、t检验等。 它们的区别在于构造的统计量不同，即设计 的“事件”不同。 统计量的构造要根据要检验的假设来进行。 如t检验、F检验等。
2、关于变量显著性检验
为了进行统计推断和假设检验，我们需要知道参数 所服从的概率分布。假设随机误差服从多元正态概率分布， 则可以得到：
T统计量的概率分布
引理 假设 x 是标准正态随机向量， Lx 是 x 的线性组合， 而 x Ax 是 x 的幂等二次型，即 A 是对称幂等矩阵。 如果 LA 0 ，则 Lx 与 x Ax 是相互独立的。 证明：我们只需要证明 Lx 与 Ax 是相互独立的即可 （因为 xAx (Ax)Ax ）。注意到这是两个正态随机变量， 其独立性等价于两个随机变量之间的不相关，即
b | X ~ N[ β , 2 (XX) 1 ]
多元正态分布的分量仍然服从正态分布，因此可知： 1 bk | X ~ N[ β k , 2 (XX) kk ] ， k 1, , K 如果没有确切指定随机误差的分布，上述参数分布的 大样本性质将在以后讨论。
命题：正态分布的线性组合亦服从正态分布。
因此可知： b 与 s 2 之间相互独立。其余结论可以类推。
根据上述结果，我们可以构造下述随机变量的比为：
tk
(bk k ) / S
2 kk
[(n K )s 2 / 2 ] /(n K )
(bk k ) s 2 S kk
~ t (n K )
COV(Lx, AX) LCOV(x, x)A LA 0
X的方差为1
因此可以推断它们之间的独立性。
引理 假设随机误差 服从正态分布，则下述统计量服从 自由度为 ( n K ) 的 2 -分布。
(n K ) s 2
2
证明：该随机变量可以表示为标准正态随机变量的幂等 二次型形式：
y N ( , ) ，则 Ay N ( A , A A ) p p
提出原假设与备择假设： H0：i=0, H1: i0 用以进行变量显著性检验的方法主要有三种：F检 验、t检验、z检验。它们的区别在于构造的统计量 不同。应用最为普遍的t检验。
（1）构造系数检验统计量
如果 2 未知，则上式就不是统计量，因为含有未 e e 2 知参数。如果用s （ n k ）替代 2 的话，我们就 希望s2是 2 分布，且与b无关。因为这样可构造t统 计量。
回顾
（1）定义：设 xi ~ N(0,1) ，称 χ 2
iid
i 1
i n
xi2 ~χ 2(n) ；
M I n X(XX)1 X
这是一个标准正态随机向量 ( / ) 的幂等二次型。又因为：
b β ε (X X) 1 X Lx 这也是一个标准正态随机向量 ( / ) 的线性组合。并且：
LM (XX)1 X[I n X(XX) 1 X] 0
§3.4 单方程模型的统计检验（二）
一、拟合优度检验
二、变量显著性检验
三、方程显著性检验
二、变量显著性检验 Testing the Overall Significance
1、关于假设检验
假设检验是统计推断的一个主要内容，它的基本任务 是根据样本所提供的信息，对未知总体分布的某些方 面的假设作出合理的判断。 假设检验的程序是，先根据实际问题的要求提出一个 论断，称为统计假设；然后根据样本的有关信息，对 真伪进行判断，作出拒绝或接受的决策。 假设检验的基本思想是概率性质的反证法，即根据小 概率事件原理。该原理认为“小概率事件在一次试验 中几乎是不可能发生的”。 从而在原假设下构造一 个小概率事件。随机抽取一组容量为n的样本观察值 进行该事件的试验，如果该事件发生了，则有理由认 为原假设不正确。
(n K ) s 2
2
xMx ~ 2 (n K )
定理 b 与 s 2 之间的独立性 如果随机误差 服从正态分布，则最小二乘系数估计 b 与残差向量 e 是相互独立的，因此 b 与 e 的任何函数也相互 独立，其中自然包括 b 与 s 2 的独立性。 证明：根据方差无偏估计 s 2 的定义，可以得到： (n K )s 2 ee 2 M xMx ， e My M ， 2