第三章 多元线性回归模型PPT课件
合集下载
第三章多元线性回归-PPT课件
ˆ b ˆ x b ˆ x ... b ˆ x yb 0 1 1 2 2 k k
四、拟合优度
与简单线性回归一样，可以定义 2 总平方和： TSS yi y i 2 ˆ RSS y y 解释（回归）平方和： i
ˆi 残差平方和： ESS yi y i 并有：TSS=RSS+ESS
2 ESS n k 1 n 1 (1 R ) 2 R 1 1 TSS n 1 n k 1
注意：R方虽然属于0～1，但调整R方的值却可能是负的。 调整R方为负表明是一个很差的拟合模型。
如：R2=0.1,n=51,k=10,验证一下调整R方=？ 其他例子见3.1和3.2
xik
i 1
y
i
多元回归的解释
ˆ b ˆ x b ˆ x ... b ˆ x , 因此 ˆb y 0 1 1 2 2 k k ˆ x b ˆ x ... b ˆ x , ˆ b y
1 1 2 2 k k
所以，如果保持 x2 ,..., xk 固定不变， ˆ x 也就是说每个 b 都具有 ˆ b 意味着y
min
i 1
ˆ b ˆ x ...b ˆ x yi b 0 1 i1 k ik
2
y
i i 1 i1
FOC：
i
ˆ b ˆ x ...b ˆ x =0 b 0 1 i1 k ik
i
x y
......
ˆ b ˆ x ...b ˆ x =0 b 0 1 i1 k ik ˆ b ˆ x ...b ˆ x =0 b 0 1 i1 k ik
第三章
计量经济学庞皓课件(第三章 多元线性回归模型)
2
怎样分析多种因素的影响？
分析中国汽车行业未来的趋势,应具体分析这样一些问题： 中国汽车市场发展的状况如何？（用销售量观测） 影响中国汽车销量的主要因素是什么？
（如收入、价格、费用、道路状况、能源、政策环境等）
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
ˆk
k
c jj
~
N (0,1)
21 21
2 未知时βˆ 的标准化变换
因 2 是未知的， 可用 ˆ 2 代替 2 去估计参数的
标准误差:
●
当为大样本时，用估计的参数标准误差对
^
β
作
标准化变换，所得 Z 统计量仍可视为服从正态分
布
●当为小样本时，用估计的参数标准误差对 βˆ 作标 准化变换，所得的 t 统计量服从 t 分布：
( X X )1 X 2 IX ( X X )1
2 ( X X )1
注意
βˆ 是向量
(i 1, 2,L ( j 1, 2,L
n) n)
(由无偏性)
(由OLS估计式)
(由同方差性)
其中：
ˆ ( X X )1 X Y ( X X )1 X ( Xβ + u) β ( X X )1 X u
0
两边左乘 X
X Y = X Xβˆ + X e
根据最小二乘原则 则正规方程为
Xe = 0
X Xβˆ = X Y
14
OLS估计式
怎样分析多种因素的影响？
分析中国汽车行业未来的趋势,应具体分析这样一些问题： 中国汽车市场发展的状况如何？（用销售量观测） 影响中国汽车销量的主要因素是什么？
（如收入、价格、费用、道路状况、能源、政策环境等）
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
ˆk
k
c jj
~
N (0,1)
21 21
2 未知时βˆ 的标准化变换
因 2 是未知的， 可用 ˆ 2 代替 2 去估计参数的
标准误差:
●
当为大样本时，用估计的参数标准误差对
^
β
作
标准化变换，所得 Z 统计量仍可视为服从正态分
布
●当为小样本时，用估计的参数标准误差对 βˆ 作标 准化变换，所得的 t 统计量服从 t 分布：
( X X )1 X 2 IX ( X X )1
2 ( X X )1
注意
βˆ 是向量
(i 1, 2,L ( j 1, 2,L
n) n)
(由无偏性)
(由OLS估计式)
(由同方差性)
其中：
ˆ ( X X )1 X Y ( X X )1 X ( Xβ + u) β ( X X )1 X u
0
两边左乘 X
X Y = X Xβˆ + X e
根据最小二乘原则 则正规方程为
Xe = 0
X Xβˆ = X Y
14
OLS估计式
第三章(1) 多元线性回归模型课件
分离差的大小
解释的那部分离差的大小。也
称剩余平方和。
第三章 多元线性回归模型
§ 3-3 多元线性回归模型的统计检验 一、 拟合优度检验 检验模型对样本观测值的拟合程度。用在总离差分解 基础上确定的可决系数R2 (调整的可决系数 ) 度量。 1、总离差平方和的分解
总离差平方和TSS 回归平方和ESS
3、随机误差项在不同 样本点之间是独立的，
Cov( i,
不存在序列相关
因为 i与 j相互独立，有：
j)=0 i≠j
无自相关假定表明：产生 误差(干扰)的因素是完 全随机的，此次干扰与彼 次干扰互不相关，互相独 立。由此应变量Yi的序列 值之间也互不相关。
第三章 多元线性回归模型
§ 3-1 多元线性回归模型及其基本假定
3、有效性(最小方差性)：
指在所有线性、无偏估计量中， OLS参数估计量的 方差最小。
4、 服从正态分布，即：
其中，
， G2是随机误差项的方差，
Cjj是矩阵(X’X)-1 中第j行第j列位置上的元素。
第三章 多元线性回归模型
§ 3-2 多元线性回归模型的参数估计
一、 参数的最小二乘估计
二、 OLS估计量的统计性质及其分布
三、随机误差项方差Q2的估 计
参数估计的另一项任务是： 求随机误差项 i 的分布参数
称作回归标准差 (standard error of regression)， 常作为对所估计回归线的拟
合优度的简单度量。
i~N(0, Q2)
随机误差项 i 的 方差的估计量为：
可以
证明：
说明 是QS 的无偏估计量。
t-Statistic 6.411848 22.00035 4.187969
计量经济学第3章-多元线性回归模型PPT课件
第2页/共63页
第三章 经典单方程计量经济学模型：多元线性回 归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测
第3页/共63页
第一节 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
第4页/共63页
一、多元线性回归模型
因为n < 30时构造不出用于检验的服从标准正态分布的统计量；
t 检验在 n k 8 时才比较有效，因为 n k 8 时 t 分布才比较稳定。 一般经验认为，当 n 30或者至少 n （3 k 1）时，才能满足基本要求。
第27页/共63页
第三节 多元线性回归模型的统计检验
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
X X1i
X
ki
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11
X k1
1 X 12
X k2
1 Y1 X 1n Y2 X kn Yn
即
(XX)βˆ XY
由于X’X满秩，故有 βˆ (XX)1 XY
第19页/共63页
⃟正规方程组 的另一种写法 对于正规方程组
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。
一般表现形式：
Yi 0 1 X 1i 2 X 2i k X ki i i=1,2…,n 其中:k为解释变量的数目，j称为回归系数
（regression coefficient）。
第5页/共63页
习惯上：把常数项（或截距项）看成为 一虚变量的系数，该虚变量的样本观测值始 终取1。于是： 模型中解释变量的数目为（k+1）
第三章 经典单方程计量经济学模型：多元线性回 归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测
第3页/共63页
第一节 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
第4页/共63页
一、多元线性回归模型
因为n < 30时构造不出用于检验的服从标准正态分布的统计量；
t 检验在 n k 8 时才比较有效，因为 n k 8 时 t 分布才比较稳定。 一般经验认为，当 n 30或者至少 n （3 k 1）时，才能满足基本要求。
第27页/共63页
第三节 多元线性回归模型的统计检验
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
X X1i
X
ki
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11
X k1
1 X 12
X k2
1 Y1 X 1n Y2 X kn Yn
即
(XX)βˆ XY
由于X’X满秩，故有 βˆ (XX)1 XY
第19页/共63页
⃟正规方程组 的另一种写法 对于正规方程组
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。
一般表现形式：
Yi 0 1 X 1i 2 X 2i k X ki i i=1,2…,n 其中:k为解释变量的数目，j称为回归系数
（regression coefficient）。
第5页/共63页
习惯上：把常数项（或截距项）看成为 一虚变量的系数，该虚变量的样本观测值始 终取1。于是： 模型中解释变量的数目为（k+1）
第三章-多元线性回归模型ppt课件
32
§3.5 最小二乘估计量的特征
上一章中谈到，经典一元线性回归模
型的OLS估计量满足线性、无偏及方差最
小性，即高斯——马尔可夫定理，对于经
典多元线性回归模型的普通最小二乘估计
量，这一性质仍然存在，换言之，对于满
足经典假设的多元线性回归模型，采用
OLS方法所得估计量 也满足线性、无偏
及方差最小性。 ppt精选版
ˆ 3
yi x3i
x
2 2i
x
2 2i
yi x2i
x2i x3i
x32i ( x2i x3i ) 2
ppt精选版
30
解方程时的系数行列式：
x22i
x2ix3i
x2ix3i
x32i
解 ˆ2 时的分子行列式：
yix2i
x2ix3i
yix3i
x32i
ppt精选版
31
第三章 第五节
ppt精选版
Y 01P2D P 3P I 2 U
ppt精选版
5
二、多元总体线性回归模型 总体模型： 1、分量式：
Y i 0 1 X 1 i 2 X 2 i k X k u ii
2、总量式
Y 01X 1 ppt精选版2X 2 kX k 6U
称 之 为 变 量 Y 关 于 变 量 X1, X2, …, Xk的k元总体线性回 归模型，Y称为被解释变量 ，X1, X2, …, Xk称为解释变 量，k 称为解释变量个数， U 称为随机扰动项，或随机 项，或扰动项。
一、多元总体线性回归模型的矩阵表示
YX βU Y1
Y
Y
2
Yn
1 X 21 X k1
X
1
X 22
第三章多元线性回归模型课件
的元素
故有：βˆ j ~ N ( β j , σ 2c jj ) j 1, 2,..., k
3、估计量的性质
多元回归中σ 2 的无偏估计为：
σˆ2
ei2
或表示为 σˆ2 ee
n-k -1
n-k 1
将 βˆk 作标准化变换：
zk
βˆk - βk SE( βˆk )
βˆk σ
- βk c jj
给定显著性水平 ，查F分布表得临界值 F (k, n - k 1)
并通过样本观测值计算 F 值
▼如果 F F (k,n - k 1) (小概率事件发生了) 则拒绝 H0 : β2 = β3 = ...= βk = 0 ，说明回归模型 有显著意义，即所有解释变量联合起来对
（如收入、价格、费用、道路状况、能源、政策环境等）
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
x1i yi βˆ 2
x2i yi ... βˆ k yi2
xki yi
证明详见附录A.3
可决系数
R 2 ESS 1 RSS TSS TSS
• 该统计量越接近于1，模型的拟合优度越高。
• 从R2的表达式中发现，如果在模型中增加解释 变量， R2往往增大。
这就给人一个错觉：要使得模型拟合得好，只 要增加解释变量即可。
u1
u
u2
un
X1k
X
2k
X nk
1、模型的数学形式
总体回归函数 E(Y) = Xβ 或 Y = Xβ + u
故有：βˆ j ~ N ( β j , σ 2c jj ) j 1, 2,..., k
3、估计量的性质
多元回归中σ 2 的无偏估计为：
σˆ2
ei2
或表示为 σˆ2 ee
n-k -1
n-k 1
将 βˆk 作标准化变换：
zk
βˆk - βk SE( βˆk )
βˆk σ
- βk c jj
给定显著性水平 ，查F分布表得临界值 F (k, n - k 1)
并通过样本观测值计算 F 值
▼如果 F F (k,n - k 1) (小概率事件发生了) 则拒绝 H0 : β2 = β3 = ...= βk = 0 ，说明回归模型 有显著意义，即所有解释变量联合起来对
（如收入、价格、费用、道路状况、能源、政策环境等）
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
x1i yi βˆ 2
x2i yi ... βˆ k yi2
xki yi
证明详见附录A.3
可决系数
R 2 ESS 1 RSS TSS TSS
• 该统计量越接近于1，模型的拟合优度越高。
• 从R2的表达式中发现，如果在模型中增加解释 变量， R2往往增大。
这就给人一个错觉：要使得模型拟合得好，只 要增加解释变量即可。
u1
u
u2
un
X1k
X
2k
X nk
1、模型的数学形式
总体回归函数 E(Y) = Xβ 或 Y = Xβ + u
多元线性回归模型.ppt
2019年8月25
感谢你的观看
21
注解：k与k+1
凡是按解释变量的个数为k的，那么共有k+1 个参数要估计。而按参数个数为k的，则实 际有k-1个解释变量。总之两者相差1而已！ 要小心所用的k是什么意思！
所以如果本来是用解释变量个数的k表示的 要转换成参数个数的k则用k-1代换原来的k就 可以了！
nbˆ bˆ X bˆ X bˆ X Y
0
1
1i
2
2i
k
ki
i
bˆ0
X bˆ
1i
1
X 2 bˆ
1i
2
X X bˆ
2i 1i
k
XX ki 1i
XY 1i i
bˆ0
X bˆ
获取样本需要成本，企图通过样本容量的确定 减轻收集数据的困难。
最小样本容量：满足基本要求的样本容量
2019年8月25
感谢你的观看
26
最小样本容量 n ≥ k+1
Bˆ ( X X )1 X Y
(X`X)-1存在| X`X | 0
X`X 为k+1阶的满秩阵 R(AB) ≤ min(R(A),R(B)) R(X) ≥ k+1 因此，必须有n≥k+1
kk
解释变量 Xi 是确定性变量，不是随机变量；解释变量 之间互不相关，即无多重共线性。
随机误差项具有0均值和同方差 随机误差项不存在序列相关关系 随机误差项与解释变量之间不相关 随机误差项服从0均值、同方差的正态分布
2019年8月25
感谢你的观看
5
多元模型的解析表达式
2019年第三章多元线性回归分析4.ppt
参数解释：
1
在x2不变的条件下，x1每增加一个单位 ，y平均增加（或减少） 1 个单位
在x1不变的条件下，x2每增加一个单位 ，y平均增加（或减少） 2 个单位
2
也叫做偏回归参数。
（2）随机误差向 u
随机误差项主要包括下列因素的影响： 在解释变量中被忽略的因素的影响； 变量观测值的观测误差的影响； 模型关系的设定误差的影响； 其他随机因素的影响；
很明显，工作经历，个人能力等对工资的影 响也相当重要
（2） 巴特勒公司面临的问题
（2）
模型假设
ቤተ መጻሕፍቲ ባይዱ
y 0 1 x
采用最小二乘法估计，得到估计方程：
ˆ 1.27 0.0678x y
F=15381 ,p(F)=0.004 R2=0.664 在0.05的水平下，方程显著。且司机每天行驶时 间变异性的62.4%可被行驶英里数的线性影响解 释。 问如果管理人员希望知道剩余的变异主要由谁 决定的，该如何办 ？-------增加第二个自变量
选择运输货物的次数x2,数据见15-2
模型设定为：
y 0 1x1 2 x2
二元回归模型
估计方程为：
ˆ 0.869 0.061x1 0.923x2 y
二、多元回归模型
1. 基本概念 假定因变量y 与K个字变量x1，x2……xk 之间的回归关系可用线性函数来近似反映， 多元线性总体回归模型的一半形式为：
第三章 多元线性回归分析
第一节
多元线性回归模型 第二节 最小二乘参数估计及性 质 第三节回归方程的统计检验 第四节回归中注意的一些问题 第五节 预测与案例分析
第一节
多元线性回归模型
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
X2i X2iX1i
X2i Xki
XX XkiXkk2ii1iˆˆˆˆ1k20 XXY1kiiYYiiY，这就是向量 的OLS估计值 。
(二) 随机干扰项方差估计值 ˆ的2 普通最小二乘估计
随机干扰项的方差的无偏估计为 ˆ2 ei2
(一) 普通最小二乘估计
对于多元线性回归模型，利用最小二乘法估计模 型的参数，同样应该使残差平方和达到最小，即
R S S : Q e i 2 ( Y i Y ˆ i ) 2 ( Y i ˆ 0 ˆ 1 X 1 i ˆ 2 X 2 i ˆ k X k i ) 2
取最小值。
根据多元函数的极值原理，Q 分别对ˆ0,ˆ1,ˆ2,,ˆk
C(o ui,u v j)E (ui,uj)0 ,i j, i,j1,2, ,n
用矩阵形式表示就是随机干扰项的方差—协方差矩阵
形如： u1
E(uu)
E
u2
u1
u2
un
2 0 0
un
0
2
0
2In
0
0
2
假定4：随机干扰项服从正态分布。即
ui ~N(0,2) i1,2,,n
nk 1
其中，(nk1)为自由度，这是因为在估计
RSS ei2 时，必须先求出 0,1,2, ,k，
即消耗了(k 1)个自由度。
三、参数估计量的性质
（一）线性性 参数估计量是线性估计量，即是随机变量的线性函数。 由于
ˆ(XX)1XYCY
可见，参数估计量是被解释变量 Y 的线性组合。
（二）无偏性
n1
1 X1n
X2n
Xknn(k1)
k
(k
1 )1
u
n
n
1
Y1 0 1X112X21kXk1 u1 以上多元Y Y2n线性回00 归模11X X型11n2也可22 表X X22示n2向 量表达kkX X式kk2的n形uun2式
其中， Y 01 X 1kX k u
Y1
Y
Y
2
C
假定2：随机干扰项与解释变量之间不相关。
Co(uvi,Xji)0 j 1 ,2 , ,k;i 1 ,2 , ,n
这个假定说明 Xji与随机干扰项ui相互独立，互不相 关，它们对被解释变量yi的影响同样也是独立的。
假定3：随机干扰项服从零均值，同方差，零协方差。
E(ui ) 0 i1,2,,n
V(u ai)rE(ui2)2, i1,2,,n
第一节 第二节 第三节 第四节 第五节 第六节
多元线性回归模型及假定 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的置信区间 受约束回归 案例分析
第一节 多元线性回归模型及假定
一、多元线性回归模型
其一般形式为：
Y i 0 1 X 1 i 2 X 2 i k X k iu i i1,2,,n
0
C
X j1
(C为 常 数 )
X
j
X
j2
( j 1,2,
, k.)
u1
u
u
2
Y
n
n1
C
n1
X
j
n
n1
u
n
n1
二、多元线性回归模型的若干假定
假定1：解释变量是非随机的，即在重复抽样中， 解释变量 X1i,X2i,,Xki取固定值，且相互之间互不 相关。这表明模型中的解释变量和随机干扰项对被 解释变量的影响是完全独立的。
假定5：正确设定回归模型。 与一元回归模型一样，多元回归模型的正确设定也 有三个方面的要求： 1.选择正确的变量进入模型； 2.对模型的形式进行正确的设定；3.对模型的解释 变量被解释变量及随机干扰项做了正确的假定。
上述假定条件称为多元线性回归模型的经典假定。
第二节 多元线性回归模型的参数估计
一、 普通最小二乘法
多元总体回归函数：Y 的总体条件均值表示为多个解
释变量 X ji 的函数；
E ( Y iX 1 i,X 2 i, ,X k ) i 0 1 X 1 i 2 X 2 i k X ki
该方程被称为条件期望函数或总体回归函数或简称
总体回归。它仅仅表明在给定 X ji 下的 Y 分布的均值
与 X ji 存在着函数关系。
第三章 多元线性回归模型
学习目标：
• 熟悉多元线性回归模型的设定。 • 掌握多元线性回归的普通最小二乘估计法和极大似然估计法
的原理。 • 掌握多元线性回归参数估计量的性质和模型的各种统计检验
方法。 • 了解多元线性回归模型的置信区间的计算方法。 • 熟悉受约束回归的检验方法与检验步骤。 • 熟悉EViews软件进行多元线性回归模型估计的详细步骤。
Y2
0
1X122X22kXk2
u2
Yn 0 1X1n 2X2n kXknun
Y1 0 1X112X21kXk1u1
Y2
0
1X1
22X22kXk2
u2
Yn 0 1X1n 2X2n kXknun
经济意义：Y i 与 X ji 存在线性关系,X ji是Y i 的重要解释
变量。
代数意义：Y i 与 X ji 存在线性关系。 几何意义：Y i表示一个多维平面。
求一阶偏导数，并令其为零。
即：Q0, j0,1,2,,k
j
得到下列方程组：
(Y(iYi ˆ0ˆ0 ˆ1ˆX1X1i1i ˆX ˆ22iX2 i ˆkˆXkXki)kXi)1i 00 (Yi ˆ0 ˆ1X1i ˆ2X2i ˆkXki)Xki0
可写成矩阵形式：
n
X1i Xki
X1i X12i
X1iXki
将YX u,E (u)0代入 E (ˆ ) ，得
E(ˆ)E(XX)1XY
E ( X X ) 1 X ( X u )
Y1 0 1X112X21kXk1 u1 多元线Y Y性2n回归00模型11表X X11示n2的n22 个X X2随2n2机 方程的kkX X 矩kk2阵n表uun2达式为：
YXu
其中，
Y1
1 X11 X21 Xk1
0
u1
Y
Y
2
X
1
X12
X22
Xk2
1
u
u
2
Y
n
由于习惯上把常数项看成为一个虚变量的系数，在 参数估计过程中该虚变量的样本观测值始终取1。这 样，模型中解释变量的数目为（K+1）。
u i 代表众多影响变化的微小因素。
当给定一个样本 (Y i,X 1 i,X 2 i, ,X k)ii ,1 ,2 , ,n 时，上 述模型表示为
Y1 0 1X112X21kXk1u1