应用回归分析课后习题参考答案

应用回归分析课后习题参考答案Document number【SA80SAB-SAA9SYT-SAATC-SA6UT-SA18】第二章一元线性回归分析思考与练习参考答案一元线性回归有哪些基本假定答：假设1、解释变量X是确定性变量，Y是随机变量；假设2、随机误差项ε具有零均值、同方差和不序列相关性：E(εi)=0 i=1,2, …,nVar (εi)=2i=1,2, …,nCov(εi,εj)=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X之间不相关：Cov(Xi, εi)=0 i=1,2, …,n假设4、ε服从零均值、同方差、零协方差的正态分布εi~N(0, 2) i=1,2, …,n考虑过原点的线性回归模型Yi=β1Xi+εii=1,2, …,n误差εi（i=1,2, …,n）仍满足基本假定。

求β1的最小二乘估计解：得：证明（式），e i =0 ，e i X i=0 。

证明：∑∑+-=-=niiiniXYYYQ12121))ˆˆ(()ˆ(ββ其中：即：e i =0 ，e i X i=021112)ˆ()ˆ(iniiniiieXYYYQβ∑∑==-=-=)ˆ(2ˆ111=--=∂∂∑=iiniie XXYQββ)()(ˆ1211∑∑===niiniiiXYXβ01ˆˆˆˆi i i i iY X e Y Yββ=+=-0100ˆˆQ Qββ∂∂==∂∂回归方程E （Y ）=β0+β1X 的参数β0，β1的最小二乘估计与最大似然估计在什么条件下等价给出证明。

答：由于εi ~N(0, 2 ) i=1,2, …,n所以Y i =β0 + β1X i + εi ~N （β0+β1X i , 2 ) 最大似然函数：使得Ln （L ）最大的0ˆβ，1ˆβ就是β0，β1的最大似然估计值。

同时发现使得Ln （L ）最大就是使得下式最小，∑∑+-=-=nii i n i X Y Y Y Q 121021))ˆˆ(()ˆ(ββ上式恰好就是最小二乘估计的目标函数相同。

值得注意的是：最大似然估计是在εi ~N (0, 2 )的假设下求得，最小二乘估计则不要求分布假设。

所以在εi ~N(0, 2 ) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。

证明0ˆβ是β0的无偏估计。

证明：)1[)ˆ()ˆ(1110∑∑==--=-=ni i xx i ni i Y L X X X Y n E X Y E E ββ)] )(1([])1([1011i i xx i n i i xx i ni X L X X X n E Y L X X X n E εββ++--=--=∑∑==1010)()1(])1([βεβεβ=--+=--+=∑∑==i xx i ni i xx i ni E L X X X nL X X X n E 证明 证明：)] ()1([])1([)ˆ(102110i i xx i ni i xx i n i X Var L X X X nY L X X X n Var Var εβββ++--=--=∑∑== ())1()1()ˆ(222122xx ni iL X n X XX nVar +=-+=∑=σσβ222212]1[])(2)1[(σσxx xx i xx i ni L X n L X X X nL X X X n +=-+--=∑=证明平方和分解公式：SST=SSE+SSR证明：验证三种检验的关系，即验证： （1）21)2(r r n t --=；（2）2221ˆˆ)2/(1/t L n SSE SSR F xx ==-=σβ 证明：（1）ˆt ======（2）22222011111111ˆˆˆˆˆˆ()()(())(())nnnni i ii xx i i i i SSR y y x y y x x y x x L βββββ=====-=+-=+--=-=∑∑∑∑2212ˆ/1ˆ/(2)xx L SSR F t SSE n βσ∴===-验证（）式：2211σ)L )x x (n ()e (Var xx i i ---=证明：112222222ˆˆˆvar()var()var()var()2cov(,)ˆˆˆvar()var()2cov(,())()()11[]2[]()1[1]i i i i i i i iiiii i xx xxi xxe y yy y y y y x y y x x x x x x n L n L x x n L βββσσσσ=-=+-=++-+---=++-+-=--()()∑∑==-+-=-=n i ii i n i i Y Y Y Y Y Y SST 1212]ˆ()ˆ[()()()∑∑∑===-+--+-=ni ii ni i i i ni iY Y Y Y Y Y Y Y 12112)ˆˆ)(ˆ2ˆ()()SSESSR )Y ˆY Y Y ˆn1i 2ii n1i 2i +=-+-=∑∑==其中：222221111))(1()(1))(,()()1,())(ˆ,(),())(ˆ,(σσσββxxi xx i ni i xx ii i ni i i ii i i i L x x n L x x n y L x x y Cov x x y n y Cov x x y Cov y y Cov x x y y Cov -+=-+=--+=-+=-+∑∑==用第9题证明2ˆ22-=∑n e iσ是2的无偏估计量证明：2221122112211ˆˆ()()()22()111var()[1]221(2)2n n i i i i n n i i i i xx E E y y E e n n x x e n n n L n n σσσσ=====-=---==----=-=-∑∑∑∑为了调查某广告对销售收入的影响，某商店记录了5个月的销售收入y （万元）和广告费用x （万元），数据见表，要求用手工计算： 表（1） 画散点图（略）（2） X 与Y 是否大致呈线性关系 答：从散点图看，X 与Y 大致呈线性关系。

（3） 用最小二乘法估计求出回归方程。

计算表（4） 求回归标准误差 先求SSR （Q e ）见计算表。

所以 第三章证明 随机误差项ε的方差2的无偏估计。

证明:22122222111112221111ˆ(),111()()(1)(1)()(1)1ˆ()()1ni i n n nnnii ii iiii i i i i i ni i SSE e e e n p n p n p E e D e h h n h n p E E e n p σσσσσσσ======='===------∴==-=-=-=--∴==--∑∑∑∑∑∑∑一个回归方程的复相关系数R=，样本决定系数R 2=，我们能判断这个回归方程就很理想吗答：不能断定这个回归方程理想。

因为：1. 在样本容量较少，变量个数较大时，决定系数的值容易接近1，而此时可能F 检验或者关于回归系数的t 检验，所建立的回归方程都没能通过。

2. 样本决定系数和复相关系数接近于1只能说明Y 与自变量X1,X2,…,Xp 整体上的线性关系成立，而不能判断回归方程和每个自变量是显着的，还需进行F 检验和t 检验。

()1ˆ2--=p n SSE σ3. 在应用过程中发现，在样本容量一定的情况下，如果在模型中增加解释变量必定使得自由度减少，使得 R 2往往增大，因此增加解释变量（尤其是不显着的解释变量）个数引起的R 2的增大与拟合好坏无关。

验证证明：多元线性回归方程模型的一般形式为：01122p p y x x x ββββε=+++++其经验回归方程式为01122ˆˆˆˆˆp py x x x ββββ=++++，又01122ˆˆˆˆp py x x x ββββ=----， 故111222ˆˆˆˆ()()()p p py y x x x x x x βββ=+-+-++-， 中心化后，则有111222ˆˆˆˆ()()()i p p py y x x x x x x βββ-=-+-++-，=令21(),1,2,,njj ij j i L x x i n ==-=∑，1,2,,j p =12()ˆˆˆpx x y x x βββ-=++样本数据标准化的公式为1,2,,ij i x x y x y i n **-===，1,2,,j p =则上式可以记为21ˆ*,1,2,...,)n jj j i j p L X β====-∑j j i j 其中: (X 21ˆˆ*,1,2,...,)n jj j i j p L X β===-∑jj i j 其中: (X11221122ˆˆˆˆˆˆi i i pipi i p ipLy x x x L x x x ββββββ**********=+++=⨯+⨯++⨯则有ˆˆ,1,2,,jjj p β*==研究货运总量y （万吨）与工业总产值x1（亿元）、农业总产值x2（亿元）、居民非商品支出x3（亿元）的关系。

数据见表（略）。

（1）计算出y ，x1，x2，x3的相关系数矩阵。

SPSS 输出如下：则相关系数矩阵为： 1.0000.5560.7310.7240.556 1.0000.1130.3980.7310.113 1.0000.5470.7240.3980.547 1.000r ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦（2）求出y 与x1，x2，x3的三元回归方程。

对数据利用SPSS 做线性回归，得到回归方程为123ˆ348.38 3.7547.10112.447yx x x =-+++ （3）对所求的方程作拟合优度检验。

由上表可知，调整后的决定系数为，说明回归方程对样本观测值的拟合程度较好。

（4）对回归方程作显着性检验；原假设：0:3210===βββHF 统计量服从自由度为（3，6）的F 分布，给定显着性水平α=，查表得76.4)6.3(05.0=F ,由方查分析表得，F 值=>，p 值=，拒绝原假设0H ，由方差分析表可以得到8.283,0.0150.05F P ==<，说明在置信水平为95%下，回归方程显着。

（5）对每一个回归系数作显着性检验；做t 检验：设原假设为0:0=i H β，it 统计量服从自由度为n-p-1＝６的t 分布，给定显着性水平，查得单侧检验临界值为，X1的t 值=<，处在否定域边缘。

X2的t 值＝>。

拒绝原假设。

由上表可得，在显着性水平0.05α=时，只有2x 的P 值<,通过检验，即只有2x 的回归系数较为显着 ；其余自变量的P 值均大于，即x1，x2的系数均不显着。