多元线性回归模型

2 u
的无偏估计量
σ
2 u
=
∑e
2 i
个无偏估计量 （证明略） 证明略）
n 3
是 σ
2 u
的一
第三节 显著性检验
一、拟合优度检验 （一）总离差平方和分解
∑ (Y
即ห้องสมุดไป่ตู้
i
Y ) = ∑
2
(
Yi Y
) + ∑ (Y Y )
2 i
2
TSS = ESS + RSS
总离差平方和分解为回归平方和与残差平 方和两部分。
对于模型：Y= β 0+ b 1X1+b 2X2+u 对于模型：
F检验的步骤： （一）提出原假设H0 ： b 1= b 2=….=bk=0 备择假设 H1： b1 、 b 2 、…、bk不同时为0 （二）计算F统计量
F =
∑y
2 i
2 i
∑e
2
~F（k ，n-k-1）
( n k 1)
（三）给定显著性水平α ，查自由度为（k，n-k-
0
)
ki
∑e = ∑[Yi(b0+b1X1i+b2 X 2i+...+bk X ki)]
达到最小的充分必要条件是： 达到最小的充分必要条件是：
2
j=0、1、2…k j=0、
1
∑ e
2 i j
= 0
即：
2
b
∑ (Y
i
(b + b
0
X
1
1i
+b
1i
X
2
2i
+ ... + b
kX
ki
为什么需要研究 多元线性回归模型？ 多元线性回归模型？ 现实经济问题是复杂的，用一个解释变 量去说明往往是不够的。 例如：粮食产量Q 例如：粮食产量Q，不仅取决于种植面积 还取决于施肥量Y以及投入的农机动力W M，还取决于施肥量Y以及投入的农机动力W等 因素。如果用线性回归模型， 因素。如果用线性回归模型，表示为：
b0 + b1 X 1i + b2 X 2 i + .... + bK X Ki
2.Var(ui)=σ2 ，i=1，2，…，n， )=σ i=1， 3.Cov(ui,uj)=E(ui，uj)=0， )=0， i≠j，i，j=1，2，…，n， ≠j， j=1， 4. Cov(Xij,uj)=0， )=0，
Q = b0 + b1 M + b2 Y + b3W + u
这就是一个多元（三元）线性回归模型
第一节 多元线性回归模型
一、 基本概念 假定被解释变量Y是解释变量X 假定被解释变量Y是解释变量X1， X2，…， XK和 随机误差项U 随机误差项U的线性函数，它们可以表示为：
Y = b + b X + b X + ....+ b X + U
写成矩阵形式即为： 写成矩阵形式即为： XTe=0
整理后得正规方程： (XX) b =XY (X =X
由基本假定可知： 由基本假定可知： 由于 X1、X2、…、Xk 之间不是完全 线性相关的， 的秩为k+1， k+1 线性相关的，所以 X的秩为k+1， k+1阶方阵 阶方阵， （XTX）为k+1阶方阵，则:(XTX）-1 存在。正规方程两边乘以(X 存在。正规方程两边乘以(XTX）-1 则得到估计量 b
1
1
1
1
1
M是一阶对称幂等矩阵：即M=M M2=M 是一阶对称幂等矩阵：即M=M 于是残差平方和 ee=(MU)MU=UMMU e=(MU)MU=U =UMU =U =U[In-X ( X ' X ) X ' ]U =U
1
E(ee)= In-X ( X ' X ) X '] ' = σ2[Intr-trX ( X ' X ) X ] trσ2tr[
被解释变量的实际样本观测值与 回归值的残差为： e=Y- 回归值的残差为： e=Y- Y e=Y- =(Xb+U)e=Y-X b =(Xb+U)-X( ( X ' X ) X 'Y) = (Xb+U)-X[ ( X ' X ) X ' ( Xb + U ) ] (Xb+U)=Xb+U=Xb+U-X[b+ ( X ' X ) X 'U ] =U-X ( X ' X ) X 'U =U=[In-X( X ' X ) X ' ]U =MU
分别为参数b 分别为参数b1，b2，….bk的估计量。跟一元 线性回归模型同样，应用最小二乘法求估 计量求得：
... b 0，b1，b 2，，bk
由最小二乘法可知：估计量应使全部观测 值Yi与回归值 Yi 的残差平方和最小。
因为： ei=Yi-Yi
所以使：
2 i
= i (b + b1 X 1i + b2 X 2i + ...+ bk X Y
（二）样本决定系数 R2
对两变量模型，同样有 ：
∑ y = ∑ y + ∑e
2 2 i i
2
2
i
定义 ： Y . X 1 X 2 R
2
2
∑ y = 为拟合优度的度量 ∑ y
i 2 i
接近1，回归直线拟合样本点好； 接近0，回归直线拟合样本点差。
R
Y .X 1X 2
可以证明： 对一元模型： = R
i=1，2，…，k， j=1，2，…，n， i=1， j=1，
5.rank(X)=k+1<n 6.随机误差项服从正态分布： 6.随机误差项服从正态分布： 随机误差项服从正态分布 ui~N（0， σ2） ~N（
第二节 参数估计及统计性质
一、回归参数的最小二乘估计 对于多元线性回归模型 （1）， 设
... b 0，b1，b 2，，bk
设（X 设（X1i，X2i
，….Xki，Yi）i=1,2,…n是总体 i=1,2,…n是总体
（ X1， X2，…， XK，Y）的n次独立观测值，将 ）的n 其代入多元线性回归模型（1 其代入多元线性回归模型（1）。即为样本数 据结构形式的多元线性回归模型（3 据结构形式的多元线性回归模型（3）， Yi= i=1,2…n 它是由n个方程，k+1未知参数组成的一个线性 它是由n个方程，k+1未知参数组成的一个线性 方程组。
b
=
b b
0 1
b
k
=（XX）-1 XY
这就是多元线性回归模型的OLS估计量 这就是多元线性回归模型的OLS估计量 的一般表达式， 的一般表达式，同样可以证明该估计量 具有：线性性、无偏性、最小方差性 具有：线性性、无偏性、
二、随机扰动项U的方差σ 二、随机扰动项U的方差σ2u的估计量
)) = ∑ ei = 0
∑ X (Y (b +b X +b X
1i i 0
2i
…………………………………………….
ki i 0 1 1i 2 2i
k ki +...+ b X )) = ∑ X1i ei = 0
∑X (Y (b +b X +b X
k ki +...+b X )) = ∑Xkiei = 0
2
n 1 ) n k 1
2；
修正的样本决定系数 。
R >R
2
2
二、 变量的显著性检验（t检验） 变量的显著性检验（ 检验 检验）
（1）构造 t 统计量 由数理统计知识可以证明：
t =
b
j
b
j
j
S (b
~ t（n-k-1）
)
（2）. t检验的步骤：
（i）提出提出原假设H0 ：b j=0 备择假设H1 b j≠ 0 ： （ii）计算 t 统计量 （iii）给定显著性水平α ，查自由 度为n-k-1的t分布表，得到临界值
b0 + b1 X 1i + b2 X 2i + .... + bK X Ki +ui ，
方程组： Y1=b 0+ b 1X11+ b 2X21+…+ b kXk1+u1 Y2= b 0+ b 1X12+ b 2X22+…+ b kXk2+u2 … … … …. …. …. …. …. .. Yn= b 0+ b1 β 1n+ b 2X2n+…+ bkXkn+un
第三章 多元线性回归模型
目的要求 :1.掌握多元线性回归模型的概念 掌握多元线性回归模型的概念
2. 掌握多元线性回归模型的最小二乘估计 3.掌握多元线性回归模型的最小二乘估计量 掌握多元线性回归模型的最小二乘估计量 的统计性质 4.掌握多元线性回归模型的统计检验 掌握多元线性回归模型的统计检验 5.会用多元线性回归模型分析简单经济问题 会用多元线性回归模型分析简单经济问题
0 1 1 2 2 K K
即为多元线性回归模型（1 即为多元线性回归模型（1）。
描述被解释变量Y的期望值与解释变量X 描述被解释变量Y的期望值与解释变量X1， X2，…， XK的线性关系方程为： E（Y）= b0 + b1 X 1 + b2 X 2 + .... + bK X K 称为多元总体线性回归方程，简称总体 回归方程（2 回归方程（2）。
2
2
∑y ∑y
2 i 2 i
2 i 2 i
=
b ∑x y ∑y
1 i 2 i
1i i 2 2
i
… …
∑y 对二元模型： = R ∑y
….
b ∑ x y +b ∑ x y = ∑y
1 2i i
i
对k元模型：
∑ y = b ∑ x y + b ∑ x y + ... + ∑ b x y R= ∑y ∑y
t α ( n k 1)
2
（iiii）判断：（a）若
|t|>
t α ( n k 1)
2
则在1- α水平下拒绝原假设H0 ，即b j对应的 变量xj是显著的； （b）若 | t | < t α (n k 1)
2
则在1- α水平下接受原假设H0 ，即 b j对应的 变量xj是不显著的
三、方程显著性的F检验 方程显著性的 检验
F
五、多元线性回归分析实例
我国20年的人均消费性支出、人均现金 我国20年的人均消费性支出、人均现金 收入和人均实物收入的数据，对其三者之 间的关系可以利用多元回归的方法进行分 析研究。 人均消费性支出看作被解释变量，人均现 金收入和人均实物收入看作解释变量 具体过程参见p57 具体过程参见p57
三、 OLS 估计量的统计性质
可以证明两变量模型的最小二乘估计量同样 具有如下性质：
1. 线性性：B = ( X ' X ) 1 X 'Y是Y的线性函数 2. 无偏性：
= E（B） B
∧
3.最小方差性： 3.最小方差性：在所有线性无偏估计量 中，最小二乘估计量具有最小的方差。 。 （证明略）
四、u项方差 σ 项方差 定理： 定理：
2 2 i 2 i 1 1i i 2 2i i 2 k ki i
i
存在一个问题： 存在一个问题：
R2的大小与解释变量的个数相关，要想改进R2使
其接近1，只需增加解释变量的数目就可以了。
为了消除这种影响，定义修正的样本决定系数：
2
讨论：（1）n很大，k较小时，
R
= 1 (1 R
2
R ≈ R 要考虑 （2）在k与n相比较大时，
1
1
= σ2(n-(k+1)) (ntr 表示矩阵的迹，它被定义为矩阵主对角线 上元素的和。于是
σ2
= E(ee)/(n-(k+1))= ∑ e i /(n-(k+1)) e)/(n/(n定义S 定义Se为残差的标准差 =ee/(nSe2=ee/(n-(k+1)) E(Se2)= σ2u
2
ee=(Y-X b )(Y-X b)=YY- ' XY e=(Y- )(Y- )=Y b
1）的F分布表，得到临界值
(k , n k 1) Fα
（四）判断：（i）若 F
≥Fα (k, n k 1)
则在1- α水平下拒绝原假设H0 ， b i 不同时为 0，即模型的线性关系显著成立，模型是显著的； （ii）若 F < 则在1- α水 (k, n k 1) 平下接受原假设H0 α，即模型的线性关系不是显 著成立的，模型是不显著的。
Y为n×1阶列向量；X为n×（k+1)阶矩阵，b 阶列向量；X k+1)阶矩阵，b 为（k+1) 为（k+1) ×1阶列向量；U为n×1阶列向量。 阶列向量；U
Yi = b + b 而称
0
1
X +b X
1i 2
2i
+ ... + b
k X ki
为多元样本线性回归方程（ ）。称 为多元样本线性回归方程（4）。称
向量形式为：Y=Xb 向量形式为：Y=Xb+U
Y 1 Y 2 其中，Y= 其中，Y= Y n
1 X= 1 1
X X
11 12
X X X
21 22
X X
X
1n
2n
k 2 X kn
k1
b0 u1 b1 u2 U= b= un bk
样本回归值或样本拟合值、样本估计值。估计 样本回归值或样本拟合值、样本估计值。 的样本回归方程的矩阵形式为： 的样本回归方程的矩阵形式为：
i为Yi 的 Y
Y = Xb
二、模型的基本假定
1. E(Ui)=0，i=1，2，…，n， )=0，i=1， 即随机误差项是一个期望值为零的随机变量， 即随机误差项是一个期望值为零的随机变量，从而 E（Yi）=