应用回归分析第章课后习题参考复习资料

2.1 一元线性回归模型有哪些基本假定？

答：1. 解释变量 1x ,Λ,2x ,p x 是非随机变量，观测值,1i x ,,2Λi x ip x 是常数。

2. 等方差及不相关的假定条件为

⎪

⎪

⎩

⎪

⎪

⎨

⎧⎪⎩⎪⎨⎧≠=====j i n j i j i n i E j i i ,0),,2,1,(,),cov(,,2,1,

0)(2ΛΛσεεε 这个条件称为高斯-马尔柯夫(Gauss-Markov)条件，简称G-M 条件。在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差2σ估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。

3. 正态分布的假定条件为

⎩⎨⎧=相互独立

n i n i N εεεσε,,,,,2,1),,0(~212ΛΛ 在此条件下便可得到关于回归系数的最小二乘估计及2σ估计的进一步结果，如它们分别是回归系数的最及2σ的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。

4. 通常为了便于数学上的处理，还要求,p n >及样本容量的个数要多于解释变量的个数。

在整个回归分析中，线性回归的统计模型最为重要。一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。因此，线性回归模型的理论和应用是本书研究的重点。 1. 如何根据样本),,2,1)(;,,,(21n i y x x x i ip i i ΛΛ=求出p ββββ,,,,210Λ及方差2σ的估计;

2. 对回归方程及回归系数的种种假设进行检验；

3. 如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。

2.2 考虑过原点的线性回归模型 n i x y i i i ,,2,1,1Λ=+=εβ误差n εεε,,,21Λ仍满足基本假定。求1β的最小二

乘估计。

答：∑∑==-=-=n

i n

i i i i x y y E y Q 1

1

2112

1)())(()(ββ

∑∑∑===+-=--=∂∂n i n i n

i i i i i i i x y x x x y Q

111

211122)(2βββ 令,01=∂∂βQ

即∑∑===-n i n

i i i i x y x 11

210β 解得,ˆ1

21

1

∑∑===n

i i

n

i i i x

y

x β即1ˆβ的最小二乘估计为.ˆ1

21

1

∑∑===n

i i

n

i i

i x

y

x β

2.3 证明： Q (β

，

β1

)= ∑(y i

-β0-β1x i

)2

因为Q (∧

β0,∧

β1)=min Q (β0,β1 )

而Q (

β0

,β1

) 非负且在R

2

上可导,当Q 取得最小值时，有 即-2∑(

y i -∧

β0-∧β1

x i )=0 -2∑(y i

-∧

β0

-∧

β1x i ) x i

=0

又∵e i =y

i -( ∧

β0+∧

β

1x i )= y

i -∧

β0-∧

β

1x i ∴∑e i =0，∑e i x i =0

（即残差的期望为0，残差以变量x 的加权平均值为零）

2.4 解：参数β0，β1的最小二乘估计与最大似然估计在εi~N(0, 2 ) i=1,2，……n 的条件下等价。 证明：因为

n

i N i ,.....2,1),,0(~2

=σε

所以)

,(~2

110110σβ

βεβ

βX X Y N i i +++=

其最大似然函数为

已知使得Ln （L ）最大的0

ˆβ，1ˆβ就是β0

，β1

的最大似然估计值。 即使得下式最小 ：

∑∑+-=-=n

i

i i n i X Y Y Y Q 1

2102

1

))ˆˆ(()ˆ(ββ ①

因为①恰好就是最小二乘估计的目标函数相同。 所以，在

n

i N i ,.....2,1),,0(~2

=σε 的条件下， 参数β0，β1的最小二

1

00ˆˆQ

Q

ββ

∂∂==∂∂

乘估计与最大似然估计等价。

2.5.证明0β)

是0β的无偏估计。

证明：若要证明0β)是0β的无偏估计，则只需证明E(0β)

)=0β。

因为0β)，1β)

的最小二乘估计为⎪⎩⎪⎨⎧-==x y L L xx

xy 101/βββ))) 其中

∑∑∑∑∑∑∑∑∑-=-=-=-

=-=--=2

2

222)(1)(1

))((i i i i xx i i i i i i i i xy x n

x x n x x x L y x n

y x y x n y x y y x x L

E(0ˆβ)=E(x y 1ˆβ-)=E(∑∑==--n i i xx i n i i y L x x x y n 111)=E[∑=--n

i i xx i y L x x x n 1)1

(]

=E[

∑=++--n

i i i xx

i x L x x x n 110))(1

(εββ]

=E(∑=--n

i xx i L x x x n 10)1(β)+E(∑=--n i i xx i x L x x x n 11)1(β)+E(∑=--n

i i xx i L x x x n 1)1(ε)

其中

∑=--n

i xx i L x x x n 10)1(β=∑=--n

i xx i L x x x n 10)1

(β=)

)(1(1

0∑=--n

i i

xx x x

L x n n β

由于

∑=-n

i i x x 1

)

(=0，所以∑=--n

i xx i L x x x n 10)1

(β=0β

∑=--n

i i xx i x L x x x n 11)1

(β=∑=--n

i i

xx i i x L x x x n x 11)(β=

)

)((1

1∑=--n

i i i

xx x x x

L x x β

=

)

-)(((1

1∑=--

n

i i i

xx

x x x x

L x

x β)=)(1x x -β=0

又因为一元线性回归模型为⎩⎨

⎧++=),0(210σεεββN x y i i i i 独立同分布，其分布为各

所以E(

i

ε)=0所以

E(∑=--n

i xx i L x x x n 10)1(β)+E(∑=--n i i xx i x L x x x n 11)1(β)+E(∑=--n

i i xx i L x x x n 1)1(ε