应用回归分析_第3章课后习题参考答案

第3章 多元线性回归

思考与练习参考答案

见教材P64-65

讨论样本容量n 与自变量个数p 的关系，它们对模型的参数估计有何影响？

答：在多元线性回归模型中，样本容量n 与自变量个数p 的关系是：n>>p 。如果n<=p 对模型的参数估计会带来很严重的影响。因为： 1. 在多元线性回归模型中，有p+1个待估参数β，所以样本容量的个数应该大于解释变量的个数，否则参数无法估计。

2. 解释变量X 是确定性变量，要求()1rank p n =+

()1rank p <+X ，则解释变量之间线性相关，1()X X -'是奇异阵，则β

的估计不稳定。

证明 随机误差项ε的方差2

的无偏估计。

证明:

2

21

2

2

2

2

21

1

1

1

1

2

22

1

111

ˆ(),111()()(1)(1)()(1)1

ˆ()()1n

i i n n n

n

n

i

i ii ii

ii i i i i i n

i i SSE e e e n p n p n p E e D e h h n h n p E E e n p σσσ

σ

σσσ======='===------∴==-=-=-=--∴==--∑∑∑∑∑∑∑Q

一个回归方程的复相关系数R=，样本决定系数R 2

=，我们能断定这个回归方程就很理想吗？

答：不能。复相关系数R 与样本决定系R 2

数都是用来表示回归方程对原始数据拟合程度的好坏。样本决定系数取值在【0,1】区间内，

一般来说，R2越接近1，即R2取值越大，说明回归拟合的效果越好。但由于R2的大小与样本容量n和自变量个数p有关，当n与p的值接近时，R2容易接近1，说明R2中隐含着一些虚假成分。而当样本容量n较小，自变量个数p较大时，尽管R2很大，但参数估计效果很不稳定。所以该题中不能仅仅因为R2很大而断定回归方程很理想。如何正确理解回归方程显著性检验拒绝H0，接受H0？

答：一般来说，当接受假设H0时，认为在给定的显著性水平α之下，自变量x1,x2,…,x p对因变量y无显著性影响，则通过x1,x2,…,x p 去推断y就无多大意义。此时，一方面可能该问题本应该用非线性模型描述，我们误用线性模型描述了，使得自变量对因变量无显著影响；另一方面可能是在考虑自变量时，由于认识上的局限性把一些影响因变量y的自变量漏掉了，这就从两个方面提醒我们去重新考虑建模问题。

当拒绝H0时，也不能过于相信该检验，认为该模型已经很完美。其实当拒绝H时，我们只能认为该回归模型在一定程度上说明了自变量x1,x2,…,x p与因变量y的线性关系。因为这时仍不能排除我们漏掉了一些重要自变量。此检验只能用于辅助性的，事后验证性的目的。（详细内容可参考课本P95～P96评注。）

数据中心化和标准化在回归分析中的意义是什么？

答：原始数据由于自变量的单位往往不同，会给分析带来一定的困难；又由于设计的数据量较大，可能会以为舍入误差而使得计算结果并不理想。中心化和标准化回归系数有利于消除由于量纲不同、数量级不

同带来的影响，避免不必要的误差。

验证ˆˆ,1,2,,j

j

j p ββ*==L 证明：多元线性回归方程模型的一般形式为：

01122p p y x x x ββββε

=+++++L

其经验回归方程式为

01122ˆˆˆˆˆp p

y x x x ββββ=++++L ，

又01122ˆˆˆˆp p

y x x x ββββ=----L ， 故111222ˆˆˆˆ()()()p p p

y y x x x x x x βββ=+-+-++-L ， 中心化后，则有111222ˆˆˆˆ()()()i p p p

y y x x x x x x βββ-=-+-++-L ，

=

令21

(),1,2,,n

jj ij j i L x x i n ==-=∑L ，1,2,,j p =L

12()ˆˆˆp x x y x x βββ-=++L 样本数据标准化的公式为

1,2,,ij i x x y x y i n **-=

=

=L ，1,2,,j p =L

则上式可以记为

1

1

2

2

1122ˆˆˆˆˆˆi i i p

ip

i i p ip

y x x x x x x ββββββ*

*

*

*******=+++=⨯+⨯++⨯L L

则有

ˆˆ,1,2,,j

j

j p β*==L 验证

验证决定系数R 2与F 值之间的关系式：p

p n F F

R /)1(2--+=

验证决定系数R 2与F 值之间的关系式：p

p n F F

R /)1(2--+=

证明：

2/,

/(1)1

1

1(1)/1

SSR p

F SSE n p F SSE

SSR p

n p F SSE

p

SSR SSR F p F n p R F SSE SST SSR SSE F p n p F n p p

p SSE n p =

--⋅∴=⨯--⋅⨯⨯--∴=====

⋅+⨯+--+--⨯+--Q