应用回归分析课后习题参考答案

应用回归分析课后习题参
考答案
The following text is amended on 12 November 2020,
J ：
Si =0 , eyX=O
第二章一元线性回归分析 思考与练习参考答案
一元线性回归有哪些基本假定答：假设1、解释变量X 是确定性变量，Y 是随机变 量； 假设2、随机误差项e 具有零均值、同方差和不序列相关性：
E(£j=O
i=l f 2, •: n
Cov( J. 6)=0
iHj
i 打二1, 2,…小
假设3、随机误差项£与解释变量X 之间不相关：
CoV (Xif £ i)二 0
假设4、£服从零均值、同方差、零协方差的正态分布
考虑过原点的线性回归模型
E 〃北# J 21, 2,…，11
误差£ (212…〃丿仍满足基本假定。

求伏的最小一乘估计 解:
(■I
do : /
-
=-2y (r,- Ax, ； x ，=o
dp, 台
Z ⑶
B\ = -
饷2)
证明(式)，&i ™0 p GiX 产 Q O
0二工亿-汀二工(再- (A+AXj) ) 2 证明： I 1
其中：2二瓦+毗e ・=Y. -K
V (角+巧一忙0
1-1
得:
回归方程E <n 包r 的参数5已的最小二乘佔计与最大似然估计在什么条件下等价给岀证 明。

答：山于e fN(O, 2)
所以乙二Oo+ 0/+ E i~NW&BK , 2 最大似然函数：
2
2b j. i
使得Ln (L)最大的，B\就是％伙的最大似然估计值。

同时发现使得Ln (L)最大就是使得下式最小，
/J ” A A
Q 二工厲-£)2二工(乙一(0° +AXi))2
i I
上式恰好就是最小二乘估讣的u 标函数相同。

值得注意的是：最大似然估 计是在6 *(0,')的假设下求
得，最小二乘佔计则不要求分布假设。

所以在r . :Vfa 2丿的条件下，参数00,角的最小-乘佔汁与最大似然估计等价。

证明A 是几的无偏佔计。

I /! X
证明：£ (AJ =£ (y-QX) _
= E [一》Z_¥
》T"Z) 〃i-1 j. 1
« [ _ Y _N
"1 —
-X _x
=E 【2?- - 乂
片]=E [》(一 -x-^ 7 {p.
+队Xi +勺)]
ml "
XX
〈・IN
L 拓
H] _ K- X
—X — X
呕+孕匚
一 x^K]
=A-Z (— ¥牙叫)二A
XX
证明
3
-、，1 k 、2 2/1 刃、
畑(Ou) -
( +
)<r -a7 + )
证明：
>-1
八
91 I _ X —X
i — x — X
畑(仇)
-vMgH-xr") y ；]
=[gH-x 卡二)％『(凤+戸兀+旬)]
E (0»Q, b2)
二nUa2 (2耐2严2t 相_斗£
»
y- (Oo+QO° ,Xf) ] 2} 2b i
I «
二£[(丄)2 - 2X
+ (X 牛兰)2 02二［丄+啓］/
证明平方和分解公式：SST 二SSE+SSR
证明'ssT = (「-yy 二乂 L(r, —「丿 + (「一F
=z 伉-对 +2八(r, -y j (r, -F)4「(y, 一讨
r~l
r. 1
r. 1
二L 仗-可 +Z (Yi-2))2 USSR + SSE
j-1
i-1
验证三种检验的关系，即验证:
(1) r =
证明：(1)
yjn-2r _ yfij-2r
7"717 A /SSE/(M-2)) JSS®("-2)加 SE 汨 ST "飞〒
SST?二 f ◎ - y )2 =X(A+ Db -刃 2 = E (y + 〃◎ -元)-y 厂二X 仏(齐一功？二叽 r-1
r-] /-) r-1
■ F_ SSR/l ••
SSE/{n-2)却
验证()式：Var(G. ) = (1 -------------------- ~
« E XT
证明：
var (£)二 var (} \ ~ £) = vnr ( ” ) + var ( £) 一 2 coW M • A)
A A
A
=v£ir (升)+ var (炕+0K)_2cov()hy + Oi (Xf_x))
. ~1
(x —x)\ c "1 U~x)\
=b +b [-+
----- ]_2 “一+
-- ]
二［1丄色斗
y B
A
⑵ CT
XX
Coy （xj + £］（“ -牙））二6 卩（几，刃 + Coy （儿,£］（ “ 一可）
+心爲24也邑）,
用第9题证明■ -2是2的无偏估计量
证明：
Eg
士£时掰二；；八§时
士 i 吨）二丄勿亠
= ---------- =<T-
〃一9
为了调査某广告对销售收入的影响，某商店记录了5个月的销售收入y （万
元）和广告费用X （万元），数据见表，要求用手工计算： 表
画散点图（略）
（2） X 与Y 是否大致呈线性关系
答：从散点图看，X 上jY 大致呈线性关系。

（3）
用最小二乘法估计求出回归方程。

讣算表
其中：=G>P （
、y,丄壬几）+ （乙一丘）如,丈；'X\）
H ml
L XM
均20 均20
70八一八一
0\二产二話二7, & =y~B]X= 20-3x7 = -1.回归方e 为:r二A
+ Ax二-i+7X
(4)求回归标准误差
先求SSR(Qe)见汁算表。

4二罟〃曲
所以
第三章
证明F二SSE/S_p随肌误差项£的方差2的无偏估计。

证明:
SSE- ---- !—（” <?）二—！— v e ，
n- p-\刀一门一1 n _ ” _ 1 彳司
n n n n n
••・£ （》才）二》£> （©）二工〈72 （1—九）二〈72 工（1 一你）二〈72 （八一工/切）二〈7 讹-卩一1）
i-1 r-1 /-）r. ）r-1
••• E (&,)二一E (XO 二b2
样本决定系数Mr我们能判断这个回归方程就很理想吗答：不能断定这一个回归另鞠七复相关系数
Rr
个回归方程理想。

因为:
1•在样木容量较少，变量个数较大时，决定系数的值容易接近1,
而此时可能F检验或者关于回归系数的t检验，所建立的回归方程都没能通过。

2•样本决定系数和复相关系数接近于1只能说明Y与自变量
XI, X2,…，Xp整体上的线性关系成立，而不能判断回归方程和每
个自变量是显着的，还需进行F检验和t检验。

和 15
100
和 Lxx=10
Lyy=600
和 Lxy=70和 100 SSR 二 190 SSE 二110
3•在应用过程中发现，在样木容量一定的情况下，如果在模型中增
加解释变量必定使得自由度减少，使得F 往往增大，因此增加 解释变量（尤苴是不显着的解释变量）个数引起的F 的增大与拟 合好坏无关。

验证
证明：多元线性回归方程模型的一般形式为：
）uA ） + OZ+OrE+ ・・・ + Op©
其经验回归方程式为X 齢BE 七BEivBpXp
又A 二 • + 瓦（©_
——BpXp,故 y = y+A （Xi_召）+鸟 2 （乳 2—无 2） +•
中心化后，则有5；-歹二人（斗-召）+ A （勺-戈2） +・・・
+
£（X •-刃
r-l
左右同时除以
令（切-兀）1心12-M » j = 12…,卩
1-1
样木数据标准化的公式为
x.. — X <
V. — V
X ； =
, y* : - J ■ u = 1,2, •— ■,«, i = 1,2, ・・・，/?
—耳），
则上式可以记为
-0； XX ： +0； XX ： 2+- • • +0； XX ； P 则有
研究货运总量y （万吨）与工业总产值XI （亿元）、农业总产值
x2 （亿元）、居民非商品支出x3 （亿元）的关系。

数据见表
（1）计算出y, XI, x2, x3的相关系数矩阵。

SPSS 输出如下：
LOGO
0. 556 0. 731 0-724
0. 556
1.000 0. 113 0. 398 则相关系数矩阵为：2
0. 731 0. 113 1.000
0. 547
0. 724
0398
0. 547 LOGO
相关系数表
y
XI
x2 x3 y
Pears on Correlation
1 .556 .731* .724* Sig. (2-tailed)
.095 .016 .018
N
10
10 10 10 XI
Pears on Correlation .556
1
J13 • 398
Sig. (2 • tailed)
.095
756
.254
N
10 10 10 10 x2
Pears on Correlation ,731* ・113
1
• 547
Sig. (2 • tailed)
.016 .756
JOI
N
10 10 10 10 x3
Pears on Correlation 724* .398 • 547
1
Sig. (2 • tailed)
.018
.254 J 01
N
10
10
10
10
t Correlation is significant at the 0.05 level (2 • tailed)・
（2）求出y 与xl, x2, x3的三元回归方程。

升=01才肩X 斗i+AjzjX 斗2+_ • + Op 才:X 易"
* A J A I • A J A 2 •…A A A
Coefficients
对数据利用SPSS 做线性回归，得到回归方程为y 二-34&38 + 3・754大|+7・10
必+ 12・447兀3
(3) 对所求的方程作拟合优度检验。

Model Summary
由上表可知，调整后的决定系数为，说明回归方程对样本观测值的拟合程度较好。

(4) 对回归方程作显着性检验；
方差分析表b
原假设：肌5二角二角二。

F 统计量服从自由度为(3, 6)的F 分布，给定显着性水平a ",查表
得尬(3.6)二4. 76,由方查分析表得，F 值二〉，P 值二，拒绝原假设血
由方差分析表可以得到F 二8283, P = 0.015 < 0, 05 t 说明在置信水平为95%下，回 归方程显着。

(5) 对每一个回归系数作显着性检验;
回归系数表。

做t检验：设原假设为
0统计量服从自由度为n-p-> 6的t分布，给定显着性水平，查得
单侧检验临界值为，XI的t值二 <,处在否定域边缘。

X2的t值二>o拒绝原假设。

市上表可得，在显着性水平〃0・05时，只有“2的P值〈，通过检验，即只有A的回归
系数较为显着；英余自变量的P值均大于，即XI, x2
的系数均不显着。

第四章
简述用加权最小二乘法消除一元线性回归中异方差性的思想与方
法。

答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。

其中每个平方项的权数相同，是普通最小一乘回归参数估计方法。

在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。

然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程
度就差。

山OLS 求岀的仍然是的无偏估计，但不再是最小方差线性无偏估计。

所以就 是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。

这样对 残差所提供信息的重要程度作一番校正，以提高参数估计的精度。

加权最小二乘法的方法:
OH = L 叱o —必）一工叱（几一 A 一加；）2 <H1 i ・1
N
一
-
工匕（曲一心，）（必一儿）
N
#1
So 楸二儿-瓦小
1硯2 ■如
UT — — _
'
'：2 阳
简述用加权最小二乘法消除多元线性回归中异方差性的思想与方
法
°
答：运用加权最小1•乘法消除多元线性回归中异方差性的思想与一元线性
回归的类似。

多元线性回归加权最小一乘法是在平方和中加入一个适当的权数 叫，以调整各
项在平方和中的作用，加权最小一乘的离差平方和为：
a, （00,01,・・・〃p ）二X 叫（儿—A 一叽----- 0 丹）—
（2）
1-1
加权最小二乘佔计就是寻找参数久久…心的佔计•值方訪W …沏使式
（2）的离差平方和e"达极小。

所得加权最小一乘经验回归方程记做
只 八
八
)2
1表示1
九二乐+人0+-+九耳
多元回归模型加权最小二乘法的方法：
首先找到权数W「理论上最优的权数叫为误差项方差b：的倒数,BIJ
（4
）误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用；误
差项方差小的项接受大的权数，以提高其在平方和中的作用。

山（2）式求出的加权最小二乘佔好方訪w 就是参数00,环…心的最小方差线性无偏估ih
一个需要解决的问题是误差项的方差b：是未知的，因此无法真正按照式
（4）选取权数。

在实际问题中误差项方差b：通常与自变量的水平有关（如误差
项方差b：随着自变量的增大而增大），可以利用这种关系确定权数。

例如b；与第7个自变量取值的平方成比例时，即册场时,这时取权数为
（5
）
更一般的悄况是误差项方差与某个自变量勺（与gj的等级相关系数最大的自变量）取值的幕函数硝成比例，即b冷叔訂真中m是待定的未知参数。

此时权数为
⑹这时确定权数的问题转化为确定幕参数2ZZ的问题，可以借助SPSS软件解决。

N N八八
Q.二Z叱（必一氏）2 =工叫1片-關-BE） 2
Z. 1 /-I
o式一元加权最小二乘回归系数估计公式。

证明：N N
Q二工叱（几-记）2二工叱（几-A-恥）2
r・1
其中,
验证()式多元加权最小二乘回归系数估计公式。

证明：对于多元线性回归模型y二x卩+& (1)
3£ (£)二0, COV (£,£')二CT-W ,即存在异方差。

W = DD；
屈・・・
用D〃左乘(1)式两边，得到一个新的的模型：
D 'y 二D-'X 卩 + D7£,即y•二X* 卩+ £=
因为E (B) = E (DTBD ・〃)二D *£；(££*) D** 二D= <rl,
故新的模型具有同方差性，故可以用广义最小一乘法估计该模型，得
p,, = (x"x*) X*y = (X(TLX) j X D= (X"WX) " X Wy
原式得证。

有同学认为当数据存在异方差时，加权最小二乘回归方程与普通最
小二乘回归方程之间必然有很大的差异，异方差越严重，两者之间
的差异就越大。

你是否同意这位同学的观点说明原因。

答：不同意。

当回归模型存在异方差时，加权最小一乘估计(WLS)只是普通最小二乘佔计(0LS)的改进，这种改进可能是细微的，不能理解为WLS-定会得到与OLS截然不同的方程来，或者大幅度的改进。

实际上可以构造这样的数据，回归模型存在很强的异方差，但WLS与0LS的结果一样。

加权最小一乘法不会消除异方差，只是消除异方差的不ft影响，从而对模型进行一点改进。

第五章
试述前进法的思想方法。

答：前•进法的基本思想方法是：首先因变量Y对全部的自变量XI, x2,. . . , xni建
立m个一元线性回归方程，并计算F检验值，选择偏回归平方和显着的变量（F值最大且大于临界值）进入回归方程。

每一步只引入一个变量，同时建立m—1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显着的两变量变量（F值最大且大于临界值）进入回归方程。

在确定引入的两个自变量以后，再引入一个变量，建立01-2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显着的三个变量（F值最大）进入回归方程。

不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值Fa （l,n-p-l），回归过程结束。

试述后退法的思想方法。

答：后退法的基本思想是：首先因变量Y对全部的自变量XI, x2,.・・，xni建立一
个ni元线性回归方程，并计算t检验值和F检验值，选择最不显着（P值最大且大于临界值）的偏回归系数的自变量剔除出回归方程。

每一步只剔除一个变量，再建立m—1 元线性回归方程，计算t检验值和F检验值，剔除偏回归系数的t检验值最小（P值最大）的自变量，再建立新的回归方程。

不断重复这一过程，直到无法剔除自变量时，即所有剩余P个自变量的F检验值均大于F检验临界值Fa （l,n-p-l），回归过程结束。

前进法•后退法各有哪些优缺点
答：前•进法的优点是能够将对因变量有影响的自变量按显着性量小。

前选入，计算进法的缺点是不能反映引进新变量后的变化，而且选入的变量就算不显
着也不能删除。

后退法的优点是是能够将对因变量没有显着影响的自变量按不显着性一一剔除，保留的自变量都是显着的。

后退法的缺点是开始订•算量大，当减少一个自变量时，它再也没机会进入了。

如果碰到自变量间有相关关系时，前进法和后退法所作的回归方程均会出现不同程度的问题。

试述逐步回归法的思想方法。

答：逐步回归的基本思想是有进有岀。

具体做法是将变量一个一个的引入，当每引入一个自变量后，对已选入的变量要进行逐个检验，当原引入变量山于后面变量的应纳入而变得不再显着时，要将其剔除。

引入一个变量或从回归防方程中剔除一个变量，为逐步回归的一步，每一步都要进行F检验，以确保每次引入新的变量之前回归方程中只包含显着的变量。

这个过程反复进行，直到无显着变量引入回归方程，也无不显着变量从回归方程中剔除为止。

这样就避免了询进法和后退法各自的缺陷，保证了最后得到的回归子集是最优回归子集。

在运用逐步回归法时，a进和a出的赋值原则是什么如果希望回归方程中多保留一些自变量，a罐应如何赋值
答：原则是要求引入自变量的显着水平a进小于剔除自变量的显着性水平a出，否则可能出现死循环：若想回归方程多保留自变量，可以增大a逆的值，使得更多自变量的P 值在a迷的范H内，但要注意，a遥的值不得超过a出的值。