3第三章多元线性回归模型分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
线性回归模型的意义在于把Y分成两部分：确定 性部分和非确定性部分。
在研究中，我们根本无法了解式（1）所示的总体 模型的特征，而只能通过样本特征来近似考察。
设经过n次试验，得到n个样本，如下所示：
y1
x11 x12 … x1 k
y2
x21 x22 … x2 k
……
yn
x n1 x n2 … x nk
（间接影响：收入流动资产拥有量消费额） 但在模型中这种间接影响应归因于流动资产，而不是收入，因 而，β2只包括收入的直接影响。 在下面的模型中：
C t D t u t, t 1 ,2 ,.n ..,
这里，β是可支配收入对消费额的总影响，显然β和β2的含义 是不同的。偏回归系数bj就是xj本身变化对y的直接（净）影响。
一、参数的OLS估计
▪ 普通最小二乘估计原理：使样本残差平方和最小
我们的模型是：
Y= x11 + x22 +…+ xk k +
关键问题是选择的估计量b（或 βˆ ），使得残差平方和最
小。 残差为：
ei Yi Yˆi Yi β ˆ1Xi1.... β ˆKXiK
要使残差平方和
Q e i2 Y i β ˆ 1 X i1 . .β ˆ.K X iK 2
为最小，则应有：
Q
Q
ˆ10, ...,ˆK0
于是得到关于待估参数估计值的K个方程（即正规方程组）：
β1
Xi
2 1
......
βK
Xi1XiK
Xi 1Yi
ቤተ መጻሕፍቲ ባይዱ
β1 Xi2Xi1 ...... βK Xi2XiK Xi2Yi
......
......
......
......
2
β1 XikXi1 ...... βK XiK XikYi
... XnK Yn
(X' X)
β
X' Y
即 (X' X)β X'Y
上述结果，亦可从矩阵表示的模型
YXu 出发，完全用矩阵代数推导出来。
按矩阵形式，上述方程组可表示为：
X
2 i1
...
...
XiK Xi1
...
...
...
...
X i1 ... ... X
X iK
2 iK
βββ.ˆˆˆ.k21.＝
X11 X12 ...
X1K
X 21 X 22 ...
X2K
... Xn1 Y1
...
X
n2
Y2
... ... ...
称为多元回归方程（函数）。
多元回归分析（multiple regression analysis） 是以多个解释变量的固定值为条件的回归分析，并
且所获得的是诸变量X值固定时Y的平均值。诸i称
为偏回归系数（partial regression coefficients）。
▪偏回归系数的含义如下： 1度量着在X2,X3,…,Xk保持不变的情况下，X1
（3）回归性。x与不相关。
（4）x的DGP是外生的。x相对于y是外生的，是非随 机的。 （5）球形扰动。同方差性和非自相关性。 （6）正态假设。
2、多元回归方程及偏回归系数的含义
在经典回归模型的诸假设下，对（1）式两边求 条件期望得
E（Y|X1,X2,…Xk)= x11 + x22 +…+ xk k
需要说明的是，如果令x1≡1，则1便是常数项。
习惯上把常数项看成为一个虚变量的系数，在参数估 计过程中该虚变量的样本观测值始终取1。
通常，一定要假设在模型中有常数项，即尽量让模 型包含常数项，以中心化误差。
§3.2 参数的OLS估计
•参数的OLS估计
附录：极大似然估计和矩估计
投影和投影矩阵 分块回归和偏回归 偏相关系数
型相同，只是计算更为复杂。
以多元线性回归模型的一般形式——K元线性回归 模型入手进行讲解，其模型结构如下：
Y= x11 + x22 +…+ xk k + (1)
其中，Y是被解释变量（因变量、相依变量、内 生变量），x是解释变量（自变量、独立变量、外生
变量）， 是随机误差项，i, i = 1, … , k 是回归参 数。
第三章 多元线性回归模型**
▪ 多元线性回归模型是我们课程的重点，原因 在于：
多元线性回归模型应用非常普遍； 原理和方法是理解更复杂计量经济学模型的基础； 内容较为丰富。
▪ 从而，我们应不遗余力地学，甚至是不遗余 力地背！！！
本章主要内容
▪ 多元线性回归模型的描述 ▪ 参数的OLS估计 ▪ OLS估计量的有限样本性质 ▪ 参数估计量的方差-协方差矩阵和随机误
从而得到表达式如下：
Yi= xi11 + xi22 +…+ xik k + i (2)
其中，式（1）称为总体线性模型；式（2）称为 样本线性模型。
在计量经济学分析中，通常会借助矩阵工具，在此亦将 多元线性模型表示成矩阵形式，以便于下一步的数学运算。
y1
y2
yn(n1)
x11 x1j x1k x21 x2j x2k
1 1 2 2
xn1 xnj xnk(nk)k(k1) n(n1)
（3）
写成一般形式为：
Y= X +
(4)
针对式（4），在这里主要讲参数估计和统计推断，但在 此之前，我们要先回顾一下什么模型才是多元线性回归模型， 即了解线性回归模型的6大假设，这一点十分重要。
（1）线性性。即要求模型关于参数是线性的，关于扰 动项是可加的。 （2） 满秩。说明解释变量之间是线性无关的，这一假 设很重要，在后面会经常受到。
差项方差2的估计 ▪ 单方程模型的统计检验 ▪ 多元线性回归模型实例
§3.1 多元线性回归模型的描述
1、多元线性回归模型的形式
▪ 由于在实际经济问题中，一个变量往往受到多个原因 变量的影响；
▪ “从一般到简单”的建模思路。 ▪ 所以，在线性回归模型中的解释变量有多个，至少开
始是这样。这样的模型被称为多元线性回归模型。 ▪ 多元线性回归模型参数估计的原理与一元线性回归模
每变化1个单位时，Y的均值E(Y)的变化，或者说 1给出X1的单位变化对Y均值的“直接”或“净” （不含其他变量）影响。
其他参数的含义与之相同。
例： C t β 1 β 2D t β 3L t u t
其中，Ct=消费，Dt=居民可支配收入 Lt=居民拥有的流动资产水平
β2的含义是，在流动资产不变的情况下，可支配收入变动一个 单位对消费额的影响。这是收入对消费额的直接影响。 收入变动对消费额的总影响=直接影响+间接影响。
在研究中，我们根本无法了解式（1）所示的总体 模型的特征，而只能通过样本特征来近似考察。
设经过n次试验，得到n个样本，如下所示：
y1
x11 x12 … x1 k
y2
x21 x22 … x2 k
……
yn
x n1 x n2 … x nk
（间接影响：收入流动资产拥有量消费额） 但在模型中这种间接影响应归因于流动资产，而不是收入，因 而，β2只包括收入的直接影响。 在下面的模型中：
C t D t u t, t 1 ,2 ,.n ..,
这里，β是可支配收入对消费额的总影响，显然β和β2的含义 是不同的。偏回归系数bj就是xj本身变化对y的直接（净）影响。
一、参数的OLS估计
▪ 普通最小二乘估计原理：使样本残差平方和最小
我们的模型是：
Y= x11 + x22 +…+ xk k +
关键问题是选择的估计量b（或 βˆ ），使得残差平方和最
小。 残差为：
ei Yi Yˆi Yi β ˆ1Xi1.... β ˆKXiK
要使残差平方和
Q e i2 Y i β ˆ 1 X i1 . .β ˆ.K X iK 2
为最小，则应有：
Q
Q
ˆ10, ...,ˆK0
于是得到关于待估参数估计值的K个方程（即正规方程组）：
β1
Xi
2 1
......
βK
Xi1XiK
Xi 1Yi
ቤተ መጻሕፍቲ ባይዱ
β1 Xi2Xi1 ...... βK Xi2XiK Xi2Yi
......
......
......
......
2
β1 XikXi1 ...... βK XiK XikYi
... XnK Yn
(X' X)
β
X' Y
即 (X' X)β X'Y
上述结果，亦可从矩阵表示的模型
YXu 出发，完全用矩阵代数推导出来。
按矩阵形式，上述方程组可表示为：
X
2 i1
...
...
XiK Xi1
...
...
...
...
X i1 ... ... X
X iK
2 iK
βββ.ˆˆˆ.k21.＝
X11 X12 ...
X1K
X 21 X 22 ...
X2K
... Xn1 Y1
...
X
n2
Y2
... ... ...
称为多元回归方程（函数）。
多元回归分析（multiple regression analysis） 是以多个解释变量的固定值为条件的回归分析，并
且所获得的是诸变量X值固定时Y的平均值。诸i称
为偏回归系数（partial regression coefficients）。
▪偏回归系数的含义如下： 1度量着在X2,X3,…,Xk保持不变的情况下，X1
（3）回归性。x与不相关。
（4）x的DGP是外生的。x相对于y是外生的，是非随 机的。 （5）球形扰动。同方差性和非自相关性。 （6）正态假设。
2、多元回归方程及偏回归系数的含义
在经典回归模型的诸假设下，对（1）式两边求 条件期望得
E（Y|X1,X2,…Xk)= x11 + x22 +…+ xk k
需要说明的是，如果令x1≡1，则1便是常数项。
习惯上把常数项看成为一个虚变量的系数，在参数估 计过程中该虚变量的样本观测值始终取1。
通常，一定要假设在模型中有常数项，即尽量让模 型包含常数项，以中心化误差。
§3.2 参数的OLS估计
•参数的OLS估计
附录：极大似然估计和矩估计
投影和投影矩阵 分块回归和偏回归 偏相关系数
型相同，只是计算更为复杂。
以多元线性回归模型的一般形式——K元线性回归 模型入手进行讲解，其模型结构如下：
Y= x11 + x22 +…+ xk k + (1)
其中，Y是被解释变量（因变量、相依变量、内 生变量），x是解释变量（自变量、独立变量、外生
变量）， 是随机误差项，i, i = 1, … , k 是回归参 数。
第三章 多元线性回归模型**
▪ 多元线性回归模型是我们课程的重点，原因 在于：
多元线性回归模型应用非常普遍； 原理和方法是理解更复杂计量经济学模型的基础； 内容较为丰富。
▪ 从而，我们应不遗余力地学，甚至是不遗余 力地背！！！
本章主要内容
▪ 多元线性回归模型的描述 ▪ 参数的OLS估计 ▪ OLS估计量的有限样本性质 ▪ 参数估计量的方差-协方差矩阵和随机误
从而得到表达式如下：
Yi= xi11 + xi22 +…+ xik k + i (2)
其中，式（1）称为总体线性模型；式（2）称为 样本线性模型。
在计量经济学分析中，通常会借助矩阵工具，在此亦将 多元线性模型表示成矩阵形式，以便于下一步的数学运算。
y1
y2
yn(n1)
x11 x1j x1k x21 x2j x2k
1 1 2 2
xn1 xnj xnk(nk)k(k1) n(n1)
（3）
写成一般形式为：
Y= X +
(4)
针对式（4），在这里主要讲参数估计和统计推断，但在 此之前，我们要先回顾一下什么模型才是多元线性回归模型， 即了解线性回归模型的6大假设，这一点十分重要。
（1）线性性。即要求模型关于参数是线性的，关于扰 动项是可加的。 （2） 满秩。说明解释变量之间是线性无关的，这一假 设很重要，在后面会经常受到。
差项方差2的估计 ▪ 单方程模型的统计检验 ▪ 多元线性回归模型实例
§3.1 多元线性回归模型的描述
1、多元线性回归模型的形式
▪ 由于在实际经济问题中，一个变量往往受到多个原因 变量的影响；
▪ “从一般到简单”的建模思路。 ▪ 所以，在线性回归模型中的解释变量有多个，至少开
始是这样。这样的模型被称为多元线性回归模型。 ▪ 多元线性回归模型参数估计的原理与一元线性回归模
每变化1个单位时，Y的均值E(Y)的变化，或者说 1给出X1的单位变化对Y均值的“直接”或“净” （不含其他变量）影响。
其他参数的含义与之相同。
例： C t β 1 β 2D t β 3L t u t
其中，Ct=消费，Dt=居民可支配收入 Lt=居民拥有的流动资产水平
β2的含义是，在流动资产不变的情况下，可支配收入变动一个 单位对消费额的影响。这是收入对消费额的直接影响。 收入变动对消费额的总影响=直接影响+间接影响。