应用回归分析-整理课后习题参考答案

第二章 一元线性回归分析

思考与练习参考答案

2.1 一元线性回归有哪些基本假定?

答： 假设1、解释变量X 是确定性变量，Y 是随机变量；

假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi )=0 i=1,2, …,n Var (εi )=σ2 i=1,2, …,n Cov(εi, εj )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X 之间不相关： Cov(X i , εi )=0 i=1,2, …,n

假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, σ2 ) i=1,2, …,n 2.2 考虑过原点的线性回归模型 Y i =β1X i +εi i=1,2, …,n

误差εi （i=1,2, …,n ）仍满足基本假定。求

β1的最小二乘估计 解： 得：

2.3 证明（2.27式），∑e i =0 ，∑e i X i =0 。

证明：∑∑+-=-=n

i

i i n

i X Y Y Y Q 1

2102

1

))ˆˆ(()ˆ(ββ

其中：

即： ∑e i =0 ，∑e i X i =0

211

1

2)ˆ()ˆ(i

n

i i n

i i i e X Y Y Y Q β∑∑==-=-=0)ˆ(2ˆ11

1

=--=∂∂∑=i

i n

i i e

X X Y Q ββ)

()

(ˆ1

2

1

1

∑∑===n

i i n

i i

i X Y X β01ˆˆˆˆi i

i i i

Y X e Y Y ββ=+=-0

1

00ˆˆQ

Q

β

β

∂∂==∂∂

2.4回归方程E （Y ）=β0+β1X 的参数β0，β1的最小二乘估计与最大似然估计在什

么条件下等价?给出证明。

答：由于εi ~N(0, σ2 ) i=1,2, …,n

所以Y i =β0 + β1X i + εi ~N （β0+β1X i , σ2 ) 最大似然函数：

使得Ln （L ）最大的0

ˆβ，1ˆβ就是β0，β1的最大似然估计值。 同时发现使得Ln （L ）最大就是使得下式最小，

∑∑+-=-=n

i

i i n i X Y Y Y Q 1

21021

))ˆˆ(()ˆ(ββ

上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在εi ~N (0, σ2 )的假设下求得，最小二乘估计则不要求分布假设。

所以在εi ~N(0, σ2 ) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。

2.5 证明0

ˆβ是β0的无偏估计。 证明：)1[)ˆ()ˆ(1

110∑∑==--=-=n

i i xx i n i i

Y L X X X Y n E X Y E E ββ )] )(1

([])1([1011i i xx i n i i xx i n

i X L X X X n E Y L X X X n E εββ++--=--=∑∑==

1010)()1

(])1([βεβεβ=--+=--+=∑∑==i xx i n

i i xx i n

i E L X X X n

L X X X n E 2.6 证明 证明：

)] ()1([])1([)ˆ(102110i i xx i n

i i xx i n

i X Var L X X X n

Y L X X X n Var Var εβββ++--=--=∑∑== ()

)

1()1()ˆ(2

2

2

1

2

2

xx n

i i

L X n X X

X n

Var +=-+=∑=σσβ

2

2221

2]1[])(2)1[(σσxx xx i xx i n

i L X n L X X X nL X X X n +=-+--=∑=

2.7 证明平方和分解公式：SST=SSE+SSR

证明：

2.8 验证三种检验的关系，即验证： （1）2

1)2(r r n t --=

；（2）22

2

1

ˆˆ)2/(1/t L n SSE SSR F xx ==-=σ

β 证明：（1）

ˆt ===

=

=

=

（2）

2

2

2

22011111

1

1

1

ˆˆˆˆˆˆ()()(())(())n

n

n

n

i i i

i xx i i i i SSR y y x y y x x y x x L βββββ=====-=+-=+--=-=∑∑∑∑2212ˆ/1

ˆ/(2)xx L SSR F t SSE n βσ

∴===-g

2.9 验证（2.63）式：2

211σ)L )x x (n ()e (Var xx i i ---=

证明：

11

222

2

222

ˆˆˆvar()var()var()var()2cov(,)ˆˆˆvar()var()2cov(,())()()11[]2[]()1[1]i i i i i i i i

i

i

i

i i xx xx

i xx

e y y

y y y y y x y y x x x x x x n L n L x x n L β

ββσσσσ

=-=+-=++-+---=++-+-=--

()()

∑∑==-+-=-=n i i

i i n i i Y Y Y Y Y Y SST 1212

]ˆ()ˆ[()

()

()

∑∑∑===-+--+-=n

i i

i n

i i i i n

i i

Y Y Y Y Y Y Y Y 1

2

1

12

)ˆˆ)(ˆ2ˆ(

)()

SSE

SSR )Y ˆY Y Y ˆn

1

i 2

i

i n

1

i 2i +=-+-=∑∑

==