第四章 多元线性回归模型 管理预测与决策课件
财经-财务会计专业计量经济学-第四章多元线性回归分析课件
两变量回归决定系数的公式
ei2
R 2 1
i
Yi Y 2
i
调整的决定系数
R 2 1 n 1 1 R2 1 n 1
n K 1
n K 1
ei2
i
Yi Y 2
i
10
第四节 统计推断和预测
一、参数估计量的标准化和误差方差估计 二、统计推断和检验 三、预测
11
一、参数估计量的标准化
13
（一）单个参数的置信区间
给定置信度要求，下面的不等式应该成立：
tk
bk k
2
XX
1 k 1,k 1
t 2
因此参数 k 置信度为 1 的置信区
间（或称区间估计）为：
bk t 2
S2
XX
1 k 1,k 1
k
bk
t 2
S2
XX
1 k 1,k 1
14
（二）参数的显著性
第4章
多元线性回归分析
1
第一节 多元线性回归模型 第二节 多元线性参数估计 第三节 参数估计量的性质 第四节 回归拟合度评价和决定系数 第五节 统计推断和预测
2
第一节 多元线性回归模型
一、模型的建立 二、模型的假设 三、多元线性回归模型的矩阵表示
3
一、模型的建立
模型形式
Y 0 1X1 K X K K 2
解释变量都是确定性的而非随机变量， 而且解释变量之间不存在线性关系
i 服从正态分布
5
第二节 多元线性回归参数估计
一、最小二乘估计 二、最小二乘估计的向量、矩阵形式 三、最大似然估计 四、投资函数模型参数估计
6
一、最小二乘估计
样本回归方程
(整理)第四章 多元线性回归模型
第四章 多元线性回归模型在一元线性回归模型中，解释变量只有一个。
但在实际问题中，影响因变量的变量可能不止一个，比如根据经济学理论，人们对某种商品的需求不仅受该商品市场价格的影响，而且受其它商品价格以及人们可支配收入水平的制约；影响劳动力劳动供给意愿（用劳动参与率度量）的因素不仅包括经济形势（用失业率度量），而且包括劳动实际工资；根据凯恩斯的流动性偏好理论，影响人们货币需求的因素不仅包括人们的收入水平，而且包括利率水平等。
当解释变量的个数由一个扩展到两个或两个以上时，一元线性回归模型就扩展为多元线性回归模型。
本章在理论分析中以二元线性回归模型为例进行。
一、预备知识（一）相关概念对于一个三变量总体，若由基础理论，变量21,x x 和变量y 之间存在因果关系，或21,x x 的变异可用来解释y 的变异。
为检验变量21,x x 和变量y 之间因果关系是否存在、度量变量21,x x 对变量y 影响的强弱与显著性、以及利用解释变量21,x x 去预测因变量y ，引入多元回归分析这一工具。
将给定i i x x 21,条件下i y 的均值i i i i i x x x x y E 2211021),|(βββ++= （4.1） 定义为总体回归函数（Population Regression Function,PRF ）。
定义),|(21i i i i x x y E y -为误差项（error term ）,记为i μ，即),|(21i i i i i x x y E y -=μ，这样i i i i i x x y E y μ+=),|(21，或i i i i x x y μβββ+++=22110 （4.2）（4.2）式称为总体回归模型或者随机总体回归函数。
其中，21,x x 称为解释变量（explanatory variable ）或自变量（independent variable ）；y 称为被解释变量（explained variable ）或因变量（dependent variable ）；误差项μ解释了因变量的变动中不能完全被自变量所解释的部分。
第四章 多元线性回归模型 管理预测与决策课件
2019/10/18
1
内容提要
第一节 多元线性回归模型的建立及假定条件 第二节 最小二乘法 第三节 最小二乘估计量的特性 第四节 可决系数 第五节 显著性检验与置信区间 第六节 预测 第七节 案例分析
2019/10/18
2
第一节 多元线性回归模型的 建立及假定条件
2019/10/18
0
2019/10/18
13
（2）同方差
对于解释变量X1，X2，┅，Xk的所有观测 值，随机误差项具有相同方差。
Var(i)=E(i2) =2 i=1,2, ┅
则，Yi与i具有相同的方差：
Var(Yi)=2
i=1,2, ┅
2019/10/18
14
（3）无序列相关
Cov(i,j)=E(ij)=0 i≠j i，j=1,2, ┅ 则，Cov(Yi,Yj)=E(ij)=0
2019/10/18
15
假设（2）和（3）矩阵表达式为：
Var (U ) E[U E (U )] n1[U E (U )]1n E (U U ) nn
E
u1 u 2 ... u n
u1
,u2
, ... , u n
3
一、基本概念
• 假设被解释变量Y是解释变量X1，X2，┅，Xk和 随机误差项u的线性函数，表达式为：
Y β 0 β 1 X 1 β 2 X 2 . .β k .X k u
——总体回归模型
E ( Y ) β 0 β 1 X 1 β 2 X 2 . .β . k X k
则，Yi的期望值或平均值为：
第四章 多元线性回归模型 管理预测与决策课件
Y ˆ i β ˆ0 β ˆ1 X 1 i β ˆ2 X 2 i . .β ˆ.kX ki
残差为：
i1,2,...n,
ei Yi Y ˆi
Yi ˆ0β ˆ1X1i ....β ˆkXk i
问题是选择 ˆ0,ˆ1,....ˆ,k ，使得残差平方和最小。
2020/1/2
到参数估计量，不管其质量如何，所要求的样本容量的下 限。
n ≥ k+1
即样本容量必须不少于模型中解释变量的数 目（包括常数项）。这就是最小样本容量。
2.满足基本要求的样本容量
一般经验认为，当n ≥ 30或者至少n ≥ 3（k+1） 时，才能满足模型估计的基本要求。
2020/1/2
26
第三节 最小二乘估计量 的特性
E (u nu1 )
E (u nu 2 ) ......
E
(u
2 n
)
0
0 ...... 2
2020/1/2
——方差-协方差矩阵
16
（4）解释变量X1，X2，…，Xk是确定性变 量，不是随机变量；并且解释变量与随 机误差项之间不相关。即:
Cov(Xij ，j)=0 i=1,2,┅,k; j= 1,2,┅,n
2020/1/2
5
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下：
价格不变的情况下，个人可支配收入每上升10亿 美元（1个billion），食品消费支出平均增加1.12亿 元（0.112个 billion）。
收入不变的情况下，价格指数每上升一个点，食品 消费支出平均减少7.39亿元（0.739个billion）
... ˆk Xki)(Xki) 0
第四章--多元线性回归模型
第四章 多元线性回归模型在一元线性回归模型中，解释变量只有一个。
但在实际问题中，影响因变量的变量可能不止一个，比如根据经济学理论，人们对某种商品的需求不仅受该商品市场价格的影响，而且受其它商品价格以及人们可支配收入水平的制约；影响劳动力劳动供给意愿（用劳动参与率度量）的因素不仅包括经济形势（用失业率度量），而且包括劳动实际工资；根据凯恩斯的流动性偏好理论，影响人们货币需求的因素不仅包括人们的收入水平，而且包括利率水平等。
当解释变量的个数由一个扩展到两个或两个以上时，一元线性回归模型就扩展为多元线性回归模型。
本章在理论分析中以二元线性回归模型为例进行。
一、预备知识（一）相关概念对于一个三变量总体，若由基础理论，变量21,x x 和变量y 之间存在因果关系，或21,x x 的变异可用来解释y 的变异。
为检验变量21,x x 和变量y 之间因果关系是否存在、度量变量21,x x 对变量y 影响的强弱与显著性、以及利用解释变量21,x x 去预测因变量y ，引入多元回归分析这一工具。
将给定i i x x 21,条件下i y 的均值i i i i i x x x x y E 2211021),|(βββ++= （4.1） 定义为总体回归函数（Population Regression Function,PRF ）。
定义),|(21i i i i x x y E y -为误差项（error term ）,记为i μ，即),|(21i i i i i x x y E y -=μ，这样i i i i i x x y E y μ+=),|(21，或i i i i x x y μβββ+++=22110 （4.2）（4.2）式称为总体回归模型或者随机总体回归函数。
其中，21,x x 称为解释变量（explanatory variable ）或自变量（independent variable ）；y 称为被解释变量（explained variable ）或因变量（dependent variable ）；误差项μ解释了因变量的变动中不能完全被自变量所解释的部分。
多元线性回归课件
线性关系
自变量与因变量之间存在线性 关系。
无异方差性
误差项的方差在所有观测值中 保持恒定。
无异常值
数据集中没有异常值。
02
多元线性回归的参 数估计
最小二乘法
最小二乘法是一种数学优化技术，其 基本思想是寻找一个函数，使得该函 数与已知数据点的总误差（或总偏差 ）的平方和最小。
最小二乘法通过构建残差平方和பைடு நூலகம்数 学模型，并对其求最小值来估计参数 ，这种方法具有简单、直观和易于计 算的特点。
在多元线性回归中，最小二乘法的目 标是找到最佳参数值，使得实际观测 值与通过模型预测的值之间的残差平 方和最小。
参数的估计值与估计量的性质
参数的估计值是通过最小二乘法 或其他优化算法从样本数据中得
多元线性回归课件
目录
CONTENTS
• 多元线性回归概述 • 多元线性回归的参数估计 • 多元线性回归的评估与诊断 • 多元线性回归的进阶应用 • 多元线性回归的软件实现 • 多元线性回归的案例分析
01
多元线性回归概述
定义与模型
定义
多元线性回归是一种统计学方法，用于 研究多个自变量与因变量之间的线性关 系。
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接近1表示模型拟合度越好。
调整决定系数（Adjusted R^2）
考虑了模型中自变量的增加，对R^2进行调整后的拟合度指标。
均方误差（MSE）
衡量模型预测误差大小的指标，值越小表示模型预测精度越高。
变量的显著性检验
t检验
通过t统计量检验自变量对因变量 的影响是否显著，值越大表明该 变量越重要。
用于判断自变量之间是否存在多重共线性的指标，值小于阈值时可能存在多重共线性问 题。
多元线性回归分析课件
42
极大似然估计的优化一阶条件：
结论： 回归系数的ML估计量与OLS估计量完全等价。 在有限样本下是有偏的，大样本下具有一致性。
43
二、参数约束的似然比检验
例子：柯布－道格拉斯生产函数
无约束方程： 受约束方程：
待检验假设：
无约束方程进行 ML估计，得到极大对数似然函数值：
回忆：P值是检验结论犯第一类“弃真”错误的概率。 P值非常小的含义是什么呢？
17
二、随机误差项方差的估计
的无偏估计量可以表述为：
自由度为什么是N-(K+1)？ 多元回归模型的OLS估计中，我们基于正规方程 组中的K+1个约束估计了K+1个回归系数，所以损失 了K+1个自由度，独立的观测信息只剩下N-(K+1)个。
34
3 ：参数的线性约束检验： F检验一般形式
对于多元线性回归模型：
参数的多个约束：
待检验假设：
原假设中至少有一个约束条件不成立。
35
检验统计量
基于 和 有
，在原假设成立的情况下，
如果原假设为真，我们会倾向于得到较小的F值。
反之，我们会倾向于得到较大的F值。
判定：若F值大于临界值，或p值小于显著性水平， 则拒绝原假设。
36
4 ：经济关系的结构稳定性检验： F检验的一 个例子——邹检验
n 例：中国宏观生产函数在1992年前后是否不同？ 无约束回归：参数可以不同
1978~1992年： 1993~2006年：
受约束回归：参数不变 1978~2006年：
37
待检验假设：
： 原假设中约束条件至少有一个不成立。
04第四章 预测与决策技术
2019年11月22日星期五
中国矿业大学力建学院工程管理研究所
Page 2/118
第二节 定量预测方法
1、算术平均数法
n
Fi
F i1 n
式中：
适用范围：预测对象
变化不大且比较平稳 时采用此法较宜，且 只能用于近期预测。
F－－预测数；
其统计数据如表3所示，当分段数据点数或序时项数N ＝5和N＝10时，求其一次移动平均值。
2019年11月22日星期五
中国矿业大学力建学院工程管理研究所
Page 18/118
期数(t)
1
2
3 4 5
6
7
8
9
表3
10
11
12 13 14 15
16
17 18 19
20
21
22 23 24
2019年11月22日星期五 25
如取每段间距为5，第一段对Ｘ1Ｘ2Ｘ3Ｘ4Ｘ5取均值， 第二段对Ｘ2Ｘ3Ｘ4Ｘ5Ｘ6取均值，第三段对Ｘ3Ｘ4Ｘ5 Ｘ6Ｘ7取均值，依次类推。
这种把统计数据逐点推移、分段平均的方法称为移动 平均法。移动平均法又分为一次移动平均法和二次移 动平均法等，本节只讨论一次移动平均法。
2019年11月22日星期五
2019年11月22日星期五
中国矿业大学力建学院工程管理研究所
Page 26/118
第二节 定量预测方法
※ 一元线性回归分析 当以x为自变量，y为因变量，把一组组相互对应的 实际统计数据，标示在平面坐标图上时，如果发现数 据点有线性趋势，就可以着手建立一元线性回归方程。 分析的目的就是要找出一直线，使其与各已知点靠得 最近。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Yi βˆ0 βˆ1X1i βˆ 2 X2i ...βˆ k Xki ei
——样本回归模型
ˆ0, ˆ1,...,ˆk — —0, 1,...,k的估计值或估计量； ei —残差项，拟合误差，是i 的估计值。
2019/9/21
10
Y ˆ i β ˆ0 β ˆ1 X 1 i β ˆ2 X 2 i . .β ˆ.kX ki
——样本回归线（方程）
其矩阵形式为： Yˆ Xˆ
其中:
Yˆ
Y
ˆ
1
Yˆ2
..
Yˆn
n
1
ˆ
ˆ ˆ
0 1
.....
β0
Xki β1
XkiX1i ...... βk
2
Xki
XkiYi
2019/9/21
23
按矩阵形式，上述方程组可表示为：
n
X1i
...
X1i X1i 2
...
... ... ...
Xki
XkiX1i
...
2
2 2
) )
...... ......
E
(u1u
n
)
E (u2un )
.......... .......... .......... ...
2 0 ......
0
2 ......
.......... ..........
0 0 ....
2019/9/21
27
一、线性性
证明： • 令A=（X’X）-1X’ • 由古典假定（4），X1，X2，┅，Xk是非随机变
量，所以矩阵A是一个非随机的（k+1）×n阶 常数矩阵。
则：
ˆ(XX)1 XYAY
2019/9/21
28
二、无偏性
证明：
因为βˆ (XX)1XY
(XX)1X(X U) (XX)1(XX) (XX)1XU (XX)1XU E(βˆ) E( (XX)1XU) (XX)1XE(U)
2019/9/21
30
三、最小方差性（有效性）
为求Var( ˆ ),我们考虑：
Va (ˆ)rE ˆˆ
这是一个（K+1）×(K+1)矩阵，其主对角线上元素
即构成 Var(β ˆ ), 非主对角线元素是相应的协方差, 如下
所示:
2019/9/21
31
2019/9/21
15
假设（2）和（3）矩阵表达式为：
Var (U ) E[U E (U )] n1[U E (U )]1n E (U U ) nn
E
u1 u 2 ... u n
u1
,u2
, ... , u n
第四章 多元线性回归模型
2019/9/21
1
内容提要
第一节 多元线性回归模型的建立及假定条件 第二节 最小二乘法 第三节 最小二乘估计量的特性 第四节 可决系数 第五节 显著性检验与置信区间 第六节 预测 第七节 案例分析
2019/9/21
2
第一节 多元线性回归模型的 建立及假定条件
2019/9/21
则，Yi的期望值或平均值为：
E(Yi)=0+1X1i +2X2i + ┅ + kXki
i=1,2, ┅
2019/9/21
12
矩阵表达式为：
u1 E(u1) 0
E(U)
Eu2
E(u2)
0
0
... ... ...
un
E(un)
2019/9/21
21
即：
Q
ˆ0
2(Yi
ˆ0
ˆ1X1i
... ˆk Xki)(1) 0
Q
ˆ1
2(Yi
ˆ0
ˆ1X1i
... ˆk Xki)(X1i )
0
...
Q
ˆk
2(Yi
ˆ0 ˆ1X1i
E
u u
2 1
2u1
u1u 2
u
2 2
...... ......
u1u n
u2un
..........
..........
..........
...
u nu1 u nu 2
......
u
2 n
E E
( (
u12 ) u 2u1
)
E
(u1u E (u
Xk2
... Xkn Yn
XkiYi
(X' X)
ˆ
X ' Y X'Y
即:
XXˆ XY
正规方程组
2019/9/21
24
则参数的最小二乘估计值为：
ˆ(XX)1XY
—β的OLS估计量
2019/9/21
25
补充：样本容量问题
1.最小样本容量：是指从最小二乘原理出发，欲得
β
0
β
1
..
1
=
X11 ...
1 X12 ...
... ... ...
1 Y1 Yi X1n Y2X1iY ... ... ...
Xki
XkiX1i ...
Xki2
β
k
Xk1
到参数估计量，不管其质量如何，所要求的样本容量的下 限。
n ≥ k+1
即样本容量必须不少于模型中解释变量的数 目（包括常数项）。这就是最小样本容量。
2.满足基本要求的样本容量
一般经验认为，当n ≥ 30或者至少n ≥ 3（k+1） 时，才能满足模型估计的基本要求。
2019/9/21
26
第三节 最小二乘估计量 的特性
20
要使残差平方和:
Q ( ˆ 0 , β ˆ 1 ,β ˆ . k ) .e . i 2 ,Y i ˆ 0 β ˆ 1 X 1 i . . β ˆ k X . k 2 . i
为最小，则应有：
Q ˆ00 , Q ˆ10 , ..., Q ˆk0
Y2
β0
β1X12β2X22. ......
.
.βk
Xk2
u2
Yn β0 β1X1n β2X2n ...βkXknun
2019/9/21
8
其矩阵形式为： YXU
其中：
Y1
Y
Y
2
1 X 1
X11 ... X k1
X12
...
E (u nu1 )
E (u nu 2 ) ......
E
(u
2 n
)
0
0 ...... 2
2019/9/21
——方差-协方差矩阵
16
（4）解释变量X1，X2，…，Xk是确定性变 量，不是随机变量；并且解释变量与随 机误差项之间不相关。即:
Cov(Xij ，j)=0 i=1,2,┅,k; j= 1,2,┅,n
0
2019/9/21
13
（2）同方差
对于解释变量X1，X2，┅，Xk的所有观测 值，随机误差项具有相同方差。
Var(i)=E(i2) =2 i=1,2, ┅
则，Yi与i具有相同的方差：
Var(Yi)=2
i=1,2, ┅
2019/9/21
14
（3）无序列相关
Cov(i,j)=E(ij)=0 i≠j i，j=1,2, ┅ 则，Cov(Yi,Yj)=E(ij)=0
3
一、基本概念
• 假设被解释变量Y是解释变量X1，X2，┅，Xk和 随机误差项u的线性函数，表达式为：
Y β 0 β 1 X 1 β 2 X 2 . .β k .X k u
——总体回归模型
E ( Y ) β 0 β 1 X 1 β 2 X 2 . .β . k X k
2019/9/21
29
即：
E
βˆ βˆ 10 ...
E E
(βˆ 0 (βˆ 1
) )
......
β 0
β
1
...
βˆ k
E
(βˆ k
)
β
k
这表明，OLS估计量 ˆ 是无偏估计量。
E X X 1 X U U X X X 1
... ...
Co(vβˆk,βˆ0) Co(vβˆk,βˆ1) ...
Va(βrˆk)
下面推导此矩阵的计算公式。
2019/9/21
32
由上一段的结果，我们有： ββ(XX)1XU
因此： E β β β β E X X 1X U X X 1X U