第三章-多元线性回归模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 多元线性回归模型
本章介绍多元线性回归模型的概念、 矩阵表示形式、参数估计方法、模型检验、 预测及应用实例。
多元线性回归模型在经济实践中有着广 泛的应用，比如著名的C-D生产函数，其 取对数后即为多元线性回归模型的形式。 再比如GDP关于消费与投资的线性回归 模型等。
第三章
第一节
§3.1 多元线性回归模型
X ) 1 I n (X
2
2 ( X X) 1
ˆ 的方差与协方差矩阵为 2 与 (X X) 1 即β ˆ 的方差为 2与 ( X X) 1 之积，因此估计量 j 的第j个对角线元素之积(j=1,2,…,k)。 令 C ( X X) 1 则
ˆ ) 2 C Var( j jj j 1,2, , k
另一方面，从标准差的计算公式可知，标 准差的大小主要取决于总体方差估计量的
大小及 X) 对角线上的元素 ，而 X) (X (X 与解释变量的线性相关的程度有关，当总 体方差估计量较大以及解释变量的线性相 关程度较高时，参数估计量的标准差的估 计量也就较大，这时会影响参数的显著性。
1
1
第三章
第三章
第三节
§3.3 多元线性回归模型的矩阵表示
一、多元总体线性回归模型的矩阵表示
Y Xβ U
Y1 Y2 Y Yn 1 2 β k
1 X 21 1 X 22 X 1 X 2 n u1 u 2 U u n
与一元线性回归模型的原理完全 一样可导出： j 以 95% 的可能性落在区间：
ˆ S T , S T ] ˆ [j ˆ ˆ j /2 /2
j j
(j=1,2,…,k) 上，称该区间为 ˆ j 的置信区间，或 称区间估计，置信度为95% .
很显然，置信区间越小则可信度越高，而置 信区间的半径中临界值变化不大，因此估计 量的可信度主要取决于其标准差的估计量， 标准差越小，则可信度越高，标准差越大， 则可信度越低。这与 t - 检验的显著性是等 价的，从T 统计量的计算可知，标准差越小， 则t - 统计量的绝对值越大，即t -值通过临界 值的可能性也大，从而t - 检验显著的可能性 也大。
n
j 1,2, , k
ˆ 故 j 为Yi的线性组合，即线性性成立。
二、无偏性 由零均值及解释变量为非随机可知：
ˆ ) E[( X X) -1 X Y ] E( β E[( X X) X ( Xβ U)]
-1
E[( β ( X X) X ( U)]
-1
即无偏性得证。 β
ˆ ˆ ˆ ˆ 1 , 2 , 3 , , k 称为样本回归参 数，n 称为样本容量。称e i 为残差 项，它是扰动项 u i 的估计量。 总体模型是理论意义上的，是在
做定性研究时所使用的，在做定量 分析时具体使用的模型也即可操作 的是样本模型。
第三章
第二节
§3.2 多元线性回归模型的经典假设 10 解释变量X1, X2, …,Xk 是非随机的；
一、多元线性回归模型的引入
一元：一个因素X； 多元：多个因素---X1, X2, …, X k
被解释变量还是一个：Y
比如：
被解释变量：某商品的需求量Y； 解释变量：该商品的价格P、消费者 收入DPI、替代商品价格P2； 未考虑的量：消费偏好等；
Y 0 1 P 2 DPI 3 P2 U
二、正规方程组
上面导出的是矩阵式的普通最小二
乘解(OLS)，然而有时我们需要用到其 分量方程组形式,即正规方程组,下面我 们导出正规方程组。 由极值原理可导出多元线性回归模型 的正规方程组：
ˆ ˆ ˆ ˆ n1 2 X 2i 3 X 3i k X ki Yi ˆ ˆ ˆ ˆ n1 2 X 2i 3 X 3i X 2i k X ki X 2i Yi X 2i 2 ˆ ˆ X X ˆ X X ˆ n X 2 Yi X ki k ki 1 2 2i ki 3 3i ki
~ F ( k -1 , n - k )
“自由度”是指当以 在一般计量软件的参数估计输出结 样本的统计量来估计 果中均有F-统计量的值，不必用手工 总体的参数时，样本 ，回归方 计算。当F-值大于临界值时 中独立或能自由变化 程是显著的，否则，为不显著的。 的数据的个数。
第三章
第八节
§3.8 拟合优度检验及修正的R2值 在一元线性回归模型中，我们用样本 决定系数来衡量回归方程对样本观察值的 拟合程度，即拟合优度检验，这一方法对 多元线性回归模型仍然适用。 与一元线性模型类似，可以证明： TSS = ESS + RSS 即样本总离差可以分解为回归总离差 与残差平方和之和。
第七节
§3.7 回归方程的显著性检验 对于一元线性回归模型，回归参 数的显著性与回归方程的显著性是等 价的，而对于多元线性回归模型，单 个回归参数是显著的并不等于整个回 归方程是显著的，因此还要作回归方 程的显著性检验。 回归方程的显著性检验也称为F – 检验，也是一种假设检验。
F –检验是检验所有解释变量合 起来对被解释变量线性影响的显著 性，单个解释变量对被解释变量的 线性影响是显著的，合起来之后即 线性组合对被解释变量的影响未必 是显著的，这相当于我们通常所说 的整体效率。因此对于多元模型， 回归方程的显著性检验与回归参数 显著性检验是不能相互替代的，
由于总体分布未知，于是 2 也未知， 2 ei 2 ˆ 令
nk
可以证明 为总体方差 的 ˆ 无偏估计量。 最小方差的证明省略。
2
2
第三章
第六节
§3.6 估计量的显著性检验及置信区间
对于多元线性回归模型的参数估 计量，其在统计上是否显著，也需要 作显著性检验，即t-显著性检验，其 检验方法与一元线性模型的参数显著 性检验基本相同，所不同的是现在要 对所有解释变量前的参数进行显著性 检验。
解方程时的系数行列式：
x2i x3i 2 x2i x3i x3i
2 x 2i
ˆ 解 2 时的分子行列式：
yi x2i x2i x3i 2 yi x3i x3i
第三章
第五节
§3.5 最小二乘估计量的特征
上一章中谈到，经典一元线性回归模 型的OLS估计量满足线性、无偏及方差最 小性，即高斯——马尔可夫定理，对于经 典多元线性回归模型的普通最小二乘估计 量，这一性质仍然存在，换言之，对于满 足经典假设的多元线性回归模型，采用 OLS方法所得估计量 也满足线性、无偏 及方差最小性。
20 E(u i) = 0
30 Var(ui)=σ2 i=1,2,… ,n
Cov(ui,uj)= 0 i≠j,i,j=1,2,… ,n
40 解释变量 X1, X2, …,Xk 线性无关；
50 ui～N(0,σ2 )
对上述假设条件的理解基本上与一 元线性回归模型类似，因此不再赘述 。 假设30 中实际上包含了两条假设， 这样写的原因是为了以后的多元线性 回归模型经典假设的矩阵表示。 以上假设 10 ～ 50 合称为多元线性 回归模型的经典假设，也称为基本假 设。满足经典假设的模型称为经典多 元线性回归模型。
一、矩阵式的普通最小二乘估计量
设
Q
i 1
n
ˆ ˆ ei2 ee (Y Xβ )(Y Xβ )
由极值原理可知：
Q ˆ ˆ [(Y Xβ )(Y Xβ ) ] 0 ˆ ˆ β β
最后可得：
ˆ β ( X X) X Y
1
称上式为多元线性回归模型矩阵式的普 通最小二乘估计量（OLS）。 由经典假设可知，X 的秩等于k，而 ( X X ) 为正定矩阵，于是 ( X X ) 可逆， 即满足解释变量线性无关的多元线性回 ˆ 归模型的普通最小二乘估计量 β 有解。
一、线性性
由OLS估计可知
ˆ ( X X) -1 X Y β
令 M (X X) -1 X 由解释变量的非随机性可知M为非随机 ˆ 矩阵。则 j ( j 1,2,, k ) 为M 中的第j+1 行与Y 的对应元素乘积之和，即
ˆ j M j 1,i Yi
i 1
二、多元总体线性回归模型 总体模型：
1、分量式：
Yi 0 1 X1i 2 X 2i k X ki u i
2、总量式
Y 0 1 X 1 2 X 2 k X k U
称 之 为 变 量 Y 关 于 变 量 X1 , X2, …, Xk的k元总体线性回 归模型，Y称为被解释变量 ，X1, X2, …, Xk称为解释变 量，k 称为解释变量个数， U 称为随机扰动项，或随机 项，或扰动项。
X k1 Xk2 X kn
二、多元样本线性回归模型的矩阵表示
ˆ Y Xβ e
Y1 Y Y 2 Yn ˆ 1 ˆ ˆ 2 β ˆ k
1 1 X 1 e1 e 2 e e n
当k=2时，OLS解为：
ˆ ˆ ˆ 1 Y ( 2 X1 3 X 2 ) 2 ˆ yi x2i x3i yi x3i x2i x3i 2 2 2 2 x2i x3i ( x2i x3i ) 2 yi x3i x2i yi x2i x2i x3i ˆ 3 2 2 2 x2i x3i ( x2i x3i )
即使对回归方程中每个参数分别进 行的t - 检验都不显著，F –检验也 可能是显著的。比如当解释变量之 间高度相关时就可能出现这种情况， 其结果可能是参数的标准差大而t 值小，但整个模型仍然能对数据拟 合得很好。
F-统计量的计算公式为：
F
2 ˆ y i /(k 1) 2 e i /(n k )
三、多元样本线性回归模型 由于经济变量的总体分布大多数 是未知的，与一元模型类似，我们只 能根据样本观察值进行统计推断，以 此来估计多元总体回归方程和总体回 归参数。这时导出的模型式为：
ˆ ˆ ˆ ˆ Yi 1 2 X 2i 3 X 3i k X ki e i (i 1,2,...,n)
X 21 X 22 X 2n
X k1 Xk2 X kn
三、多元模型经典假设的矩阵表示
0 2 0 3ห้องสมุดไป่ตู้
E(U)= 0 E(U
2I Uˊ)=σ n
即扰动项的方差与协方差矩 阵等于σ2 与单位矩阵之积。
0 4
秩(X)= k，且 k≤ n 。
第三章
第四节
§3.4 普通最小二乘估计 对于多元线性回归模型，最常用 的参数估计方法也是普通最小二乘方 法（OLS）。其原理与一元线性回归 模型的普通最小二乘估计的原理类似 ，也是使拟合误差平方和为最小。
三、方差最小性（也称有效性）
ˆ 首先导出 β 的方差与协方差矩阵：
由于
ˆ ( X X) -1 X Y β X) -1 X ( Xβ U) (X X) -1 X U β (X
ˆ 于是OLS估计量 β 的方差与协方差矩阵为：
ˆ ˆ ˆ Var Cov(β ) E[(β β ) (β β ) ] X ) -1 X U U X ( X X ) -1 ] E[( X ( X X ) -1 X E (U U ) X ( X X ) -1
本章介绍多元线性回归模型的概念、 矩阵表示形式、参数估计方法、模型检验、 预测及应用实例。
多元线性回归模型在经济实践中有着广 泛的应用，比如著名的C-D生产函数，其 取对数后即为多元线性回归模型的形式。 再比如GDP关于消费与投资的线性回归 模型等。
第三章
第一节
§3.1 多元线性回归模型
X ) 1 I n (X
2
2 ( X X) 1
ˆ 的方差与协方差矩阵为 2 与 (X X) 1 即β ˆ 的方差为 2与 ( X X) 1 之积，因此估计量 j 的第j个对角线元素之积(j=1,2,…,k)。 令 C ( X X) 1 则
ˆ ) 2 C Var( j jj j 1,2, , k
另一方面，从标准差的计算公式可知，标 准差的大小主要取决于总体方差估计量的
大小及 X) 对角线上的元素 ，而 X) (X (X 与解释变量的线性相关的程度有关，当总 体方差估计量较大以及解释变量的线性相 关程度较高时，参数估计量的标准差的估 计量也就较大，这时会影响参数的显著性。
1
1
第三章
第三章
第三节
§3.3 多元线性回归模型的矩阵表示
一、多元总体线性回归模型的矩阵表示
Y Xβ U
Y1 Y2 Y Yn 1 2 β k
1 X 21 1 X 22 X 1 X 2 n u1 u 2 U u n
与一元线性回归模型的原理完全 一样可导出： j 以 95% 的可能性落在区间：
ˆ S T , S T ] ˆ [j ˆ ˆ j /2 /2
j j
(j=1,2,…,k) 上，称该区间为 ˆ j 的置信区间，或 称区间估计，置信度为95% .
很显然，置信区间越小则可信度越高，而置 信区间的半径中临界值变化不大，因此估计 量的可信度主要取决于其标准差的估计量， 标准差越小，则可信度越高，标准差越大， 则可信度越低。这与 t - 检验的显著性是等 价的，从T 统计量的计算可知，标准差越小， 则t - 统计量的绝对值越大，即t -值通过临界 值的可能性也大，从而t - 检验显著的可能性 也大。
n
j 1,2, , k
ˆ 故 j 为Yi的线性组合，即线性性成立。
二、无偏性 由零均值及解释变量为非随机可知：
ˆ ) E[( X X) -1 X Y ] E( β E[( X X) X ( Xβ U)]
-1
E[( β ( X X) X ( U)]
-1
即无偏性得证。 β
ˆ ˆ ˆ ˆ 1 , 2 , 3 , , k 称为样本回归参 数，n 称为样本容量。称e i 为残差 项，它是扰动项 u i 的估计量。 总体模型是理论意义上的，是在
做定性研究时所使用的，在做定量 分析时具体使用的模型也即可操作 的是样本模型。
第三章
第二节
§3.2 多元线性回归模型的经典假设 10 解释变量X1, X2, …,Xk 是非随机的；
一、多元线性回归模型的引入
一元：一个因素X； 多元：多个因素---X1, X2, …, X k
被解释变量还是一个：Y
比如：
被解释变量：某商品的需求量Y； 解释变量：该商品的价格P、消费者 收入DPI、替代商品价格P2； 未考虑的量：消费偏好等；
Y 0 1 P 2 DPI 3 P2 U
二、正规方程组
上面导出的是矩阵式的普通最小二
乘解(OLS)，然而有时我们需要用到其 分量方程组形式,即正规方程组,下面我 们导出正规方程组。 由极值原理可导出多元线性回归模型 的正规方程组：
ˆ ˆ ˆ ˆ n1 2 X 2i 3 X 3i k X ki Yi ˆ ˆ ˆ ˆ n1 2 X 2i 3 X 3i X 2i k X ki X 2i Yi X 2i 2 ˆ ˆ X X ˆ X X ˆ n X 2 Yi X ki k ki 1 2 2i ki 3 3i ki
~ F ( k -1 , n - k )
“自由度”是指当以 在一般计量软件的参数估计输出结 样本的统计量来估计 果中均有F-统计量的值，不必用手工 总体的参数时，样本 ，回归方 计算。当F-值大于临界值时 中独立或能自由变化 程是显著的，否则，为不显著的。 的数据的个数。
第三章
第八节
§3.8 拟合优度检验及修正的R2值 在一元线性回归模型中，我们用样本 决定系数来衡量回归方程对样本观察值的 拟合程度，即拟合优度检验，这一方法对 多元线性回归模型仍然适用。 与一元线性模型类似，可以证明： TSS = ESS + RSS 即样本总离差可以分解为回归总离差 与残差平方和之和。
第七节
§3.7 回归方程的显著性检验 对于一元线性回归模型，回归参 数的显著性与回归方程的显著性是等 价的，而对于多元线性回归模型，单 个回归参数是显著的并不等于整个回 归方程是显著的，因此还要作回归方 程的显著性检验。 回归方程的显著性检验也称为F – 检验，也是一种假设检验。
F –检验是检验所有解释变量合 起来对被解释变量线性影响的显著 性，单个解释变量对被解释变量的 线性影响是显著的，合起来之后即 线性组合对被解释变量的影响未必 是显著的，这相当于我们通常所说 的整体效率。因此对于多元模型， 回归方程的显著性检验与回归参数 显著性检验是不能相互替代的，
由于总体分布未知，于是 2 也未知， 2 ei 2 ˆ 令
nk
可以证明 为总体方差 的 ˆ 无偏估计量。 最小方差的证明省略。
2
2
第三章
第六节
§3.6 估计量的显著性检验及置信区间
对于多元线性回归模型的参数估 计量，其在统计上是否显著，也需要 作显著性检验，即t-显著性检验，其 检验方法与一元线性模型的参数显著 性检验基本相同，所不同的是现在要 对所有解释变量前的参数进行显著性 检验。
解方程时的系数行列式：
x2i x3i 2 x2i x3i x3i
2 x 2i
ˆ 解 2 时的分子行列式：
yi x2i x2i x3i 2 yi x3i x3i
第三章
第五节
§3.5 最小二乘估计量的特征
上一章中谈到，经典一元线性回归模 型的OLS估计量满足线性、无偏及方差最 小性，即高斯——马尔可夫定理，对于经 典多元线性回归模型的普通最小二乘估计 量，这一性质仍然存在，换言之，对于满 足经典假设的多元线性回归模型，采用 OLS方法所得估计量 也满足线性、无偏 及方差最小性。
20 E(u i) = 0
30 Var(ui)=σ2 i=1,2,… ,n
Cov(ui,uj)= 0 i≠j,i,j=1,2,… ,n
40 解释变量 X1, X2, …,Xk 线性无关；
50 ui～N(0,σ2 )
对上述假设条件的理解基本上与一 元线性回归模型类似，因此不再赘述 。 假设30 中实际上包含了两条假设， 这样写的原因是为了以后的多元线性 回归模型经典假设的矩阵表示。 以上假设 10 ～ 50 合称为多元线性 回归模型的经典假设，也称为基本假 设。满足经典假设的模型称为经典多 元线性回归模型。
一、矩阵式的普通最小二乘估计量
设
Q
i 1
n
ˆ ˆ ei2 ee (Y Xβ )(Y Xβ )
由极值原理可知：
Q ˆ ˆ [(Y Xβ )(Y Xβ ) ] 0 ˆ ˆ β β
最后可得：
ˆ β ( X X) X Y
1
称上式为多元线性回归模型矩阵式的普 通最小二乘估计量（OLS）。 由经典假设可知，X 的秩等于k，而 ( X X ) 为正定矩阵，于是 ( X X ) 可逆， 即满足解释变量线性无关的多元线性回 ˆ 归模型的普通最小二乘估计量 β 有解。
一、线性性
由OLS估计可知
ˆ ( X X) -1 X Y β
令 M (X X) -1 X 由解释变量的非随机性可知M为非随机 ˆ 矩阵。则 j ( j 1,2,, k ) 为M 中的第j+1 行与Y 的对应元素乘积之和，即
ˆ j M j 1,i Yi
i 1
二、多元总体线性回归模型 总体模型：
1、分量式：
Yi 0 1 X1i 2 X 2i k X ki u i
2、总量式
Y 0 1 X 1 2 X 2 k X k U
称 之 为 变 量 Y 关 于 变 量 X1 , X2, …, Xk的k元总体线性回 归模型，Y称为被解释变量 ，X1, X2, …, Xk称为解释变 量，k 称为解释变量个数， U 称为随机扰动项，或随机 项，或扰动项。
X k1 Xk2 X kn
二、多元样本线性回归模型的矩阵表示
ˆ Y Xβ e
Y1 Y Y 2 Yn ˆ 1 ˆ ˆ 2 β ˆ k
1 1 X 1 e1 e 2 e e n
当k=2时，OLS解为：
ˆ ˆ ˆ 1 Y ( 2 X1 3 X 2 ) 2 ˆ yi x2i x3i yi x3i x2i x3i 2 2 2 2 x2i x3i ( x2i x3i ) 2 yi x3i x2i yi x2i x2i x3i ˆ 3 2 2 2 x2i x3i ( x2i x3i )
即使对回归方程中每个参数分别进 行的t - 检验都不显著，F –检验也 可能是显著的。比如当解释变量之 间高度相关时就可能出现这种情况， 其结果可能是参数的标准差大而t 值小，但整个模型仍然能对数据拟 合得很好。
F-统计量的计算公式为：
F
2 ˆ y i /(k 1) 2 e i /(n k )
三、多元样本线性回归模型 由于经济变量的总体分布大多数 是未知的，与一元模型类似，我们只 能根据样本观察值进行统计推断，以 此来估计多元总体回归方程和总体回 归参数。这时导出的模型式为：
ˆ ˆ ˆ ˆ Yi 1 2 X 2i 3 X 3i k X ki e i (i 1,2,...,n)
X 21 X 22 X 2n
X k1 Xk2 X kn
三、多元模型经典假设的矩阵表示
0 2 0 3ห้องสมุดไป่ตู้
E(U)= 0 E(U
2I Uˊ)=σ n
即扰动项的方差与协方差矩 阵等于σ2 与单位矩阵之积。
0 4
秩(X)= k，且 k≤ n 。
第三章
第四节
§3.4 普通最小二乘估计 对于多元线性回归模型，最常用 的参数估计方法也是普通最小二乘方 法（OLS）。其原理与一元线性回归 模型的普通最小二乘估计的原理类似 ，也是使拟合误差平方和为最小。
三、方差最小性（也称有效性）
ˆ 首先导出 β 的方差与协方差矩阵：
由于
ˆ ( X X) -1 X Y β X) -1 X ( Xβ U) (X X) -1 X U β (X
ˆ 于是OLS估计量 β 的方差与协方差矩阵为：
ˆ ˆ ˆ Var Cov(β ) E[(β β ) (β β ) ] X ) -1 X U U X ( X X ) -1 ] E[( X ( X X ) -1 X E (U U ) X ( X X ) -1