最小二乘估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
0 1 1 K K
S11b1 S12b2 S1K bK S10 S K 1b1 S K 2b2 S KK bK S K 10
其中 Sk 0 X ki X k Yi Y , Skj X kj X k X ji X j , k , j 1,K
i i
12
该正规方程组有K+1个方程，未知数也 是K+1个。只要满足模型假设（5），解 释变量之间不存在严格线性关系，就可 以解出 b0 ,, bK 的唯一一组解。 该解就是 0 ,, K 的最小二乘估计。
13
特别地，对于两个解释变量的线性回归模型： Y 0 1 X1 2 X 2 ˆ b b X b X 样本回归方程是： Y
1974
1975
0.199
0.163
1.246
1.232
1982
1983
0.204
0.210
1.475
1.500
18
投资函数EViews回归输出结果
Dependent Variable: Y Method: Least Squares Date: 07/13/04 Time: 19:44 Sample: 1968 1983 Included observations: 16 Variable Coefficient Std. Error t-Statistic C -0.486463 0.053836 -9.035936 X1 -0.016593 0.001819 -9.122606 X2 0.639117 0.052896 12.08262 R-squared 0.958362 Mean dependent var Adjusted R-squared 0.951957 S.D. dependent var S.E. of regression 0.007246 Akaike info criterion Sum squared resid 0.000683 Schwarz criterion Log likelihood 57.79393 F-statistic Durbin-Watson stat 1.313453 Prob(F-statistic)
24
克服决定系数上述缺陷的方法，是对决 定系数进行适当的调整，采用如下“调 整的决定系数”：
n 1 R 1 (1 R 2 ) n K 1 2 e i n 1 i ＝1 n K 1 (Yi Y ) 2
2
i
25
根据上述公式可以看出，当n 较大和K 较小时， 2 2 和R R 差别不大，但当 n并不是很大而K又较大时， 两者的差别是比较明显的。 用这个调整的决定系数作为评价多元线性回归 拟合度的评价标准，可以基本消除由于解释变 量数目差异造成的影响。 根据上述公式计算决定系数，需要先根据回归 直线计算 Yi 的理论值，然后计算回归残差序列， 再结合样本数据进行计算。
Y 0 1 X1
K X K
K 2
X1,, X K 是K个认为对Y有 其中Y是被解释变量， 显著影响的解释变量（K 2）， 0 ,, K 是K+1个待定参数，是计量经济分析首先要估 是随机误差项。 计的对象，
4
多元线性回归模型的建立也需要有理论 和现实的根据。 多元线性回归模型中包括哪些变量、因 素，哪个指标是被解释变量，有几个解 释变量或哪几个指标作为解释变量，既 要考虑理论分析和研究目的的需要，也 应该根据所研究问题的具体情况、相关 经济理论，以及以往研究经验等确定。
第四章 多元线性回归分析
1
本章主要内容
第一节 第二节 第三节 第四节
多元线性回归模型 参数估计 回归拟合度评价和决定系数 统计推断和预测
2
第一节 多元线性回归模型
一、模型的建立 二、模型的假设
3
一、模型的建立
多元线性回归模型就是研究多因素关系，有多 个解释变量的线性回归模型。一般形式是：
i
YY BXY YXB BXXB
15
当 V 对 b0 , b1 ,bK 的一阶偏导数都等于0
V b 0 BV V bK 2 XY 2 XXB 0
XXB XY
1 B XX XY
26
第四节 统计推断和预测
一、参数估计量的标准化
二、统计推断和检验 三、预测
27
一、参数估计量的标准化
在满足模型假设的情况下，多元线性回归模型 参数的最小二乘估计量是线性无偏估计。 参数估计量服从以参数真实值为中心的正态分 布： bk ~ N[k , var(bk )] bk可以通过下列变换转化为标准正态分布的统 计量：
0 1 1 2 2
可推导出参数最小二乘估计的公式如下：
b0 Y b1 X 1 b2 X 2 b1
i i 2 1i 2 ( yi x1i )( x2 i ) ( yi x2 i )( x1i x2 i ) 2 2 ( x )( x2 ) ( x x ) i 1i 2 i i i i i i
ˆ Y b b X b X ei Yi Y i i 0 1 1i K Ki
2 e i i
加以估计，公式是：
S ＝
2
n3
23
第三节 回归拟合度评价和决定 系数
分析两变量线性回归决定系数公式
R2 1
2 e i
Y
i
i
i
Y
2
可以发现，该决定系数只与被解释变量的观测 值以及回归残差有关，而与解释变量无直接关 系。 多元模型解释变量的数目有多有少，该决定系 数是解释变量数目的增函数，意味着不管增加 的解释变量是否真是影响被解释变量的重要因 素，都会提高决定系数的数值，解释变量个数 越多，决定系数一定会越大。
Y1 Y Yn
X i1 X i Xin
0 1 l 1 K
1 n
1 X 11 X K 1 X l , X 1 , , X K 1 X 1n X Kn
Y 0 1 X 1 2 X 2 K X K X
9
第二节 参数估计
一、最小二乘估计 二、投资函数模型参数估计 三、参数估计的性质和方差估计
Prob. 0.0000 0.0000 0.0000 0.203750 0.033061 -6.849241 -6.704381 149.6088 0.000000
19
三、参数估计的性质和方差估计
只要变量关系符合多元回归模型的假设， 多元回归分析参数的最小二乘估计量也 有优良的性质，也是BLUE估计和一致估 计。 因此在模型假设成立的前提下，最小二 乘估计也是多元线性回归分析基本的参 数估计方法，并能为相关统计推断和预 测分析提供基础。
ˆ Y 1 ˆ Y Y ˆ n
e1 e en
ˆ XB 回归方程的向量表示 Y ˆ Y XB 回归残差向量 e Y Y 残差平方和 V ei2 ee Y XB Y XB
Var (b1 )
2 x 2i 2 x 1i x ( x1i x2i ) i i i
2 x 1i 2 x 1i x ( x1i x2i ) i i i i 2 2i
i 2 2i
2 2
Var(b2 )
2 2
22
上述参数估计量方差中的 2是模型误差 项 i 的方差，一般可以用多元线性回归 最小二乘估计的残差序列：
7
对假设的进一步分析
上述六条假设中（2）、（3）、（4）和（6） 与两变量模型相同。 第（1）条是关于模型基本变量关系的。 第（5）条不仅针对的解释变量数目增加了， 而且多了一个要求解释变量之间没有线性关系 的假设，这是多元线性回归模型的重要特点。
8
多元线性回归模型的矩阵表示
Y1 0 1 X 11 K X K 1 1 Yn 0 1 X 1n K X K n
16
二、投资函数模型参数估计
作为例子，我们估计[例4-1]的投资函数 多元线性回归模型的参数。 假设已获得该地区1968-1983年期间实际 投资和实际GNP数据。
17
表4.1 某地区投资和GNP数据
年份 1968 1969 1970 1971 1972 1973 实际投资 0.161 0.172 0.158 0.173 0.195 0.217 实际GNP 1.058 1.088 1.086 1.122 1.186 1.254 年份 1976 1977 1978 1979 1980 1981 实际投资 0.195 0.231 0.257 0.259 0.225 0.241 实际GNP 1.298 1.370 1.439 1.479 1.474 1.503
20
要进一步对多元线性回归模型进行统计 推断和检验，同样需要先估计参数估计 量的方差。 据最小二乘估计公式和模型假设，可以 导出两个解释变量的多元回归模型各个 参数的最小二乘估计量的方差。
21
2 2 2 X12 x2 X x i 2 1i 2 X 1 X 2 x1i x2i 1 2 i i i Var (b0 ) 2 2 2 n x x ( x x ) 1i 2i 1i 2i i i i
5
虽然一个经济指标受到其他几个经济指标线性 影响在现实经济中是存在的，但更多的情况下 多变量关系往往是非线性的，需要经过数学变 换才能转化为多元线性回归模型的标准形式。
例：
Y A X i e ln Y ln A i ln X i
i 1 i 1
p
p
Z 0 1S1 p S p
10
一、最小二乘估计
wk.baidu.com
参数估计也是多元线性回归模型的基本 步骤。 最小二乘法也是多元线性回归的基本方 法。 对于多元线性回归模型 Y 0 1 X1 K X K
11
ˆ b b X b X 得到样本回归方程： Y 0 1 1 K K
回归残差平方和V ei2 Yi b0 b1 X 1i bK X Ki 2 i i 当 V 对b0 , b1 ,bK的一阶偏导数都等于0，得到 正规方程组：b Y b X b X
6
二、模型的假设
(1)、变量 Y 和 X 1 , X K 之间存在多元线性随 机函数关系 Y 0 1 X 1 K X K ； (2)、E i 0 对任意 i 都成立； (3)、Var i 2 ,与 i 无关； E i j 0 (4)、误差项不相关，当 i j 时， (5)、解释变量都是确定性的而非随机变量， 且解释变量之间不存在线性关系； (6)、误差项 i 服从正态分布。
b2
( yi x2i )( x12i ) ( yi x1i )( x1i x2i )
i 2 2 ( x12i )( x2 ) ( x x ) 1i 2i i i i i i i i
14
最小二乘估计的向量、矩阵形式
向量表示
b0 b B 1 bK
S11b1 S12b2 S1K bK S10 S K 1b1 S K 2b2 S KK bK S K 10
其中 Sk 0 X ki X k Yi Y , Skj X kj X k X ji X j , k , j 1,K
i i
12
该正规方程组有K+1个方程，未知数也 是K+1个。只要满足模型假设（5），解 释变量之间不存在严格线性关系，就可 以解出 b0 ,, bK 的唯一一组解。 该解就是 0 ,, K 的最小二乘估计。
13
特别地，对于两个解释变量的线性回归模型： Y 0 1 X1 2 X 2 ˆ b b X b X 样本回归方程是： Y
1974
1975
0.199
0.163
1.246
1.232
1982
1983
0.204
0.210
1.475
1.500
18
投资函数EViews回归输出结果
Dependent Variable: Y Method: Least Squares Date: 07/13/04 Time: 19:44 Sample: 1968 1983 Included observations: 16 Variable Coefficient Std. Error t-Statistic C -0.486463 0.053836 -9.035936 X1 -0.016593 0.001819 -9.122606 X2 0.639117 0.052896 12.08262 R-squared 0.958362 Mean dependent var Adjusted R-squared 0.951957 S.D. dependent var S.E. of regression 0.007246 Akaike info criterion Sum squared resid 0.000683 Schwarz criterion Log likelihood 57.79393 F-statistic Durbin-Watson stat 1.313453 Prob(F-statistic)
24
克服决定系数上述缺陷的方法，是对决 定系数进行适当的调整，采用如下“调 整的决定系数”：
n 1 R 1 (1 R 2 ) n K 1 2 e i n 1 i ＝1 n K 1 (Yi Y ) 2
2
i
25
根据上述公式可以看出，当n 较大和K 较小时， 2 2 和R R 差别不大，但当 n并不是很大而K又较大时， 两者的差别是比较明显的。 用这个调整的决定系数作为评价多元线性回归 拟合度的评价标准，可以基本消除由于解释变 量数目差异造成的影响。 根据上述公式计算决定系数，需要先根据回归 直线计算 Yi 的理论值，然后计算回归残差序列， 再结合样本数据进行计算。
Y 0 1 X1
K X K
K 2
X1,, X K 是K个认为对Y有 其中Y是被解释变量， 显著影响的解释变量（K 2）， 0 ,, K 是K+1个待定参数，是计量经济分析首先要估 是随机误差项。 计的对象，
4
多元线性回归模型的建立也需要有理论 和现实的根据。 多元线性回归模型中包括哪些变量、因 素，哪个指标是被解释变量，有几个解 释变量或哪几个指标作为解释变量，既 要考虑理论分析和研究目的的需要，也 应该根据所研究问题的具体情况、相关 经济理论，以及以往研究经验等确定。
第四章 多元线性回归分析
1
本章主要内容
第一节 第二节 第三节 第四节
多元线性回归模型 参数估计 回归拟合度评价和决定系数 统计推断和预测
2
第一节 多元线性回归模型
一、模型的建立 二、模型的假设
3
一、模型的建立
多元线性回归模型就是研究多因素关系，有多 个解释变量的线性回归模型。一般形式是：
i
YY BXY YXB BXXB
15
当 V 对 b0 , b1 ,bK 的一阶偏导数都等于0
V b 0 BV V bK 2 XY 2 XXB 0
XXB XY
1 B XX XY
26
第四节 统计推断和预测
一、参数估计量的标准化
二、统计推断和检验 三、预测
27
一、参数估计量的标准化
在满足模型假设的情况下，多元线性回归模型 参数的最小二乘估计量是线性无偏估计。 参数估计量服从以参数真实值为中心的正态分 布： bk ~ N[k , var(bk )] bk可以通过下列变换转化为标准正态分布的统 计量：
0 1 1 2 2
可推导出参数最小二乘估计的公式如下：
b0 Y b1 X 1 b2 X 2 b1
i i 2 1i 2 ( yi x1i )( x2 i ) ( yi x2 i )( x1i x2 i ) 2 2 ( x )( x2 ) ( x x ) i 1i 2 i i i i i i
ˆ Y b b X b X ei Yi Y i i 0 1 1i K Ki
2 e i i
加以估计，公式是：
S ＝
2
n3
23
第三节 回归拟合度评价和决定 系数
分析两变量线性回归决定系数公式
R2 1
2 e i
Y
i
i
i
Y
2
可以发现，该决定系数只与被解释变量的观测 值以及回归残差有关，而与解释变量无直接关 系。 多元模型解释变量的数目有多有少，该决定系 数是解释变量数目的增函数，意味着不管增加 的解释变量是否真是影响被解释变量的重要因 素，都会提高决定系数的数值，解释变量个数 越多，决定系数一定会越大。
Y1 Y Yn
X i1 X i Xin
0 1 l 1 K
1 n
1 X 11 X K 1 X l , X 1 , , X K 1 X 1n X Kn
Y 0 1 X 1 2 X 2 K X K X
9
第二节 参数估计
一、最小二乘估计 二、投资函数模型参数估计 三、参数估计的性质和方差估计
Prob. 0.0000 0.0000 0.0000 0.203750 0.033061 -6.849241 -6.704381 149.6088 0.000000
19
三、参数估计的性质和方差估计
只要变量关系符合多元回归模型的假设， 多元回归分析参数的最小二乘估计量也 有优良的性质，也是BLUE估计和一致估 计。 因此在模型假设成立的前提下，最小二 乘估计也是多元线性回归分析基本的参 数估计方法，并能为相关统计推断和预 测分析提供基础。
ˆ Y 1 ˆ Y Y ˆ n
e1 e en
ˆ XB 回归方程的向量表示 Y ˆ Y XB 回归残差向量 e Y Y 残差平方和 V ei2 ee Y XB Y XB
Var (b1 )
2 x 2i 2 x 1i x ( x1i x2i ) i i i
2 x 1i 2 x 1i x ( x1i x2i ) i i i i 2 2i
i 2 2i
2 2
Var(b2 )
2 2
22
上述参数估计量方差中的 2是模型误差 项 i 的方差，一般可以用多元线性回归 最小二乘估计的残差序列：
7
对假设的进一步分析
上述六条假设中（2）、（3）、（4）和（6） 与两变量模型相同。 第（1）条是关于模型基本变量关系的。 第（5）条不仅针对的解释变量数目增加了， 而且多了一个要求解释变量之间没有线性关系 的假设，这是多元线性回归模型的重要特点。
8
多元线性回归模型的矩阵表示
Y1 0 1 X 11 K X K 1 1 Yn 0 1 X 1n K X K n
16
二、投资函数模型参数估计
作为例子，我们估计[例4-1]的投资函数 多元线性回归模型的参数。 假设已获得该地区1968-1983年期间实际 投资和实际GNP数据。
17
表4.1 某地区投资和GNP数据
年份 1968 1969 1970 1971 1972 1973 实际投资 0.161 0.172 0.158 0.173 0.195 0.217 实际GNP 1.058 1.088 1.086 1.122 1.186 1.254 年份 1976 1977 1978 1979 1980 1981 实际投资 0.195 0.231 0.257 0.259 0.225 0.241 实际GNP 1.298 1.370 1.439 1.479 1.474 1.503
20
要进一步对多元线性回归模型进行统计 推断和检验，同样需要先估计参数估计 量的方差。 据最小二乘估计公式和模型假设，可以 导出两个解释变量的多元回归模型各个 参数的最小二乘估计量的方差。
21
2 2 2 X12 x2 X x i 2 1i 2 X 1 X 2 x1i x2i 1 2 i i i Var (b0 ) 2 2 2 n x x ( x x ) 1i 2i 1i 2i i i i
5
虽然一个经济指标受到其他几个经济指标线性 影响在现实经济中是存在的，但更多的情况下 多变量关系往往是非线性的，需要经过数学变 换才能转化为多元线性回归模型的标准形式。
例：
Y A X i e ln Y ln A i ln X i
i 1 i 1
p
p
Z 0 1S1 p S p
10
一、最小二乘估计
wk.baidu.com
参数估计也是多元线性回归模型的基本 步骤。 最小二乘法也是多元线性回归的基本方 法。 对于多元线性回归模型 Y 0 1 X1 K X K
11
ˆ b b X b X 得到样本回归方程： Y 0 1 1 K K
回归残差平方和V ei2 Yi b0 b1 X 1i bK X Ki 2 i i 当 V 对b0 , b1 ,bK的一阶偏导数都等于0，得到 正规方程组：b Y b X b X
6
二、模型的假设
(1)、变量 Y 和 X 1 , X K 之间存在多元线性随 机函数关系 Y 0 1 X 1 K X K ； (2)、E i 0 对任意 i 都成立； (3)、Var i 2 ,与 i 无关； E i j 0 (4)、误差项不相关，当 i j 时， (5)、解释变量都是确定性的而非随机变量， 且解释变量之间不存在线性关系； (6)、误差项 i 服从正态分布。
b2
( yi x2i )( x12i ) ( yi x1i )( x1i x2i )
i 2 2 ( x12i )( x2 ) ( x x ) 1i 2i i i i i i i i
14
最小二乘估计的向量、矩阵形式
向量表示
b0 b B 1 bK