第三章(1)_多元线性回归模型(计量经济学_浙江大学_韩菁)
合集下载
第三章(1)_多元线性回归模型(计量经济学_浙江大学_韩菁)
se (49.4603) (0.0294) (5.2022)
Included observations: 18
t (1.0112) (2.9442) (10.067)
Variable
Coefficient
Std. Error t-Statistic Prob.
C
-50.01638
49.46026 -1.011244 0.3279
§3-2 多元线性回归模型的参数估计 四、样本容量问题
i 1,2, , n
1、最小样本容量 ——从OLS原理出发，欲得到参数估计量，
不管其质量如何，所要求的样本容量的下限。
欲使 ˆ (X' X)1X' Y 存在，必须使得(X’X)-1存在。
欲使(X’X)-1存在，必须满足|X’X|≠0，即(X’X)为 1 X11 X21 Xk1
§3-4 多元线性回归模型的置信区间
一、参数估计量的置信区间 二、应变量预测值的置信区间
第三章 多元线性回归模型
§3-1 多元线性回归模型及其基本假定 一、多元回归模型及其表示
含有两个及以上解释变量的回归模型称为多元回归模型。 多元线性回归模型的一般式为：
Yi 0 1X1i 2X2i kXki i
(X’X)-1存在。
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
§3-2 多元线性回归模型的参数估计 一、参数的最小二乘估计
i 1,2, , n
Q ei2 (Yi Yˆ i )2 (Yi (ˆ0 ˆ1X1i ˆ2X2i ˆ kXki ))2
ei2 k
) 1
2
称作回归标准差（standard error of regression）， 常作为对所估计回归线的拟 合优度的简单度量。
计量经济学-3章：多元线性回归模型PPT课件
YXβ ˆe
Y ˆ Xβ ˆ
4/5/2021
.
17
2 模型的假定
(1) 零均值假设。随机误差项的条件期望为零，即 E(ui)=0 ( i=1,2,…,n)
其矩阵表达形式为:E(U)=0 (2)同方差假设。随机误差项有相同的方差，即
Var(ui)E(ui2) 2 （i=1,2,…,n）
(3)无自相关假设。随机误差项彼此之间不相关，即
（i=1,2,…,n）
上式为多元样本线性回归函数（方程）,简称样本回归函 数（方程）(SRF, Sample Regression Function).
ˆ j (j=0,1,…,k)为根据样本数据所估计得到的参数估计量。
4/5/2021
.
13
(4)多元样本线性回归模型
对应于其样本回归函数（方程）的样本回归模型:
4/5/2021
.
3
教学内容
一、模型的建立及其假定条件 二、多元线性回归模型的参数估计：OLS 三、最小二乘估计量的统计性质 四、拟合优度检验 五、显著性检验与置信区间 六、预测 七、案例分析
4/5/2021
.
4
回顾: 一元线性回归模型
总体回归函数 E (Y i|X i)01X i
总体回归模型 Y i 01Xiui
0 0
2 0 0 2
0
0
0 0 0 2
2I n
4/5/2021
.
u1un
u2un
un2
20
(4)解释变量X1,X2,…,Xk是确定性变量,不是随机 变量,与随机误差项彼此之间不相关,即
Cov(Xji,ui)0 j=1,2…k , i=1,2,….,n
计量经济学3 多元回归模型hf
ˆ1
x1 y x22 x2 y x1 x2
x12 x22
x1 x2 2
ˆ2
x2 y x12 x1 y x1 x2
x12 x22
x1 x2 2
ˆ0 Y ˆ1 X 1 ˆ2 X 2
23/120
3、随机误差项的方差2的无偏估计
2tr(I X(XX)1 X)
2 (trI tr(X(XX)1 X)) 2 (n (k 1))
tr()为矩阵的迹， 满足交换律
Tr(AB)=tr(BA)
2 E(ee)
nk 1
ˆ 2 ee
nk 1
25/120
二、参数估计量的性质
2/120
§3.1 多元线性回归模型概述 (Regression Analysis)
一、多元线性回归模型 二、多元线性回归模型的基本假设
3/120
一、多元线性回归模型
4/120
总体回归函数(PRF)
• 总体回归函数：描述在给定解释变量Xi条件下 被解释变量Yi的条件均值。
E(Yi Xi1,Xik ) 0 1Xi1 2 Xi2 k Xik
Cov(Xij μi X1,Xk ) 0
E(X'μ X) 0
由确定性假设可以推断。
j 1,, k
15/120
• 假设6：μ服从多维正态分布。The μ’s follow the normal distribution.
μi X1,Xk ~N(0,σ 2 )
μ X ~ N(0, 2I)
第三章 经典单方程计量经济学模型： 多元线性回归模型
The Classical Single Equation Econometric Model: Multiple Linear
计量经济学多元线性回归的简化模型
小概率事件的判断
y Y=f(x)：密度函数
F(k,n-k-1) x
Eviews上的判断，见前页。
想一下，这个小 概率事件的面积 所处位置可以任 意选择吗？为何 选择尾部？
要从两点思考上述问 题：一是直观上“仪 器”的构造；二是 “密度”的含义。
• 3.单个解释变量系数的显著性检验
• （1）检验目的：仍与一元的一样，看一下某一个 解释变量是否对被解释变量真的具有重要影响？
直观解释
——被解释变量的波动（总平方和）=已解释的被解释变量估计值的波动（回 归平方和）+未解释的残差的波动（残差平方和），具体推导过程见课本66页。
——“仪器”的构造思想是这样的：如果这些解释变量联合起来真的对被解释 变量的波动具有显著的解释能力，那么，已解释的波动与未解释的波动之比 应比较大。
——但无论是已解释的波动也好，未解释的波动也罢，这种波动受组成“仪 器”的模块的可自由变动的随机变量个数的影响。显然，自由变动的随机变 量越多，波动就越大，故要去掉这种个数所带来的影响。
需思考的问题
• 为什么只要加入另外一些与已有解释变量 相关的新解释变量就可保证我们所关注参 数的一致性呢？
• 由于这些新加入的新解释变量与原解释变 量是相关的，这不会对原解释变量的参数 估计形成影响吗？
• 如果直观的理解上述问题，留待后面章节。
第二节 多元线性回模型的参数估计
• 1.基本模型设定 • Y=α+β1X1+ β2X2+ β3X3+…βkXk+εi （3） • 这里：Yi-被解释变量，Xji-第j(j=1，2 …k）
– 直观解释：首先，一致性要求的是，随着调查 样本容量的增大，我们的参数估计量具有“越 来越靠近”真实值的特征，或统计意义上说， 具有偏离真实值的可能性越来越小的特征。
计量经济学(第三章多元线性回归)
X
1i
X
2i
...
k
X
ki
( 2 ) 估 计 值 Y i 的 均 值 等 于 实 际 观 测 值 Y i的 均 值 ( 3 ) 剩 余 项 （ 残 差 ） e i的 均 值 为 0
（ 4） 应 变 量 估 计 值 Y i 与 残 差 e i 不 相 关 ； （ 5） 解 释 变 量 X i 与 残 差 e i 不 相 关
第一节 第二节 第三节 第四节 第五节
多元线性回归模型及古典假定 多元线性回归模型的估计 多元线性回归模型的检验 多元线性回归模型的预测 实例
第一节 多元线性回归模型及 古典假定
主要介绍 1.1 多元线性回归模型及其矩阵表示 1.2 模型的古典假定
1.1.1 多元线性回归模型形式
一般形式（随机扰动形式，注意X的下 标）：
j
（ u i 正态 , Y 是 u i的线性函数
Y 正态，又
j
是 Y 的线性函数
j
正态）
2.4 随机扰动项方差的估计
扰动项的方差 估计：
2 2
ei
2
n k 1
其中n为样本容量，k为待估参数个数。 （比较：一元情形：
2
ei
2
n2
，待估参数有2个）
第三节 多元线性回归模型的 检验
Yi 0 1 X 1i 2 X 2 i ...... k X ki u i 模型中， （ j 1, 2, ..., k） 是 偏 回 归 系 数 ： j 控制其他解释变量不变的条件下， 第 j个 解 释 变 量 的 单 位 变 动 对 应 变 量 平 均 值的影响。
多元的线性回归
多元线性回归模型一、多元线性回归模型的一般形式设随机变量y 与一般变量p x x x ,,,21 的线性回归模型为：εββββ+++++=p p x x x y 22110写成矩阵形式为：εβ+=X y 其中：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21 ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=np n n p p x x x x x x x x x X 212222********* ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=p ββββ 10 ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n εεεε 21 二、多元线性回归模型的基本假定1、解释变量p x x x ,,,21 是确定性变量，不是随机变量，且要求n p X r a n k <+=1)(。
这里的n p X rank <+=1)(表明设计矩阵X 中自变量列之间不相关，样本容量的个数应大于解释变量的个数，X 是一满秩矩阵。
2、随机误差项具有0均值和等方差，即：⎪⎩⎪⎨⎧⎩⎨⎧=≠====),,2,1,(,,0,),cov(,,2,1,0)(2n j i j i j i n i E j i i σεεε 0)(=i E ε，即假设观测值没有系统误差，随机误差i ε的平均值为0，随机误差iε的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即为独立），不存在序列相关，并且具有相同的精度。
3、正态分布的假定条件为：⎩⎨⎧=相互独立n i ni N εεεσε ,,,,2,1),,0(~212，矩阵表示：),0(~2n I N σε,由该假定和多元正态分布的性质可知，随机变量y 服从n 维正态分布，回归模型的期望向量为：βX y E =)(；n I y 2)var(σ= 因此有),(~2n I X N y σβ 三、多元线性回归方程的解释对于一般情况含有p 个自变量的回归方程p p x x x y E ββββ++++= 22110)(的解释，每个回归系数i β表示在回归方程中其他自变量保持不变的情况下，自变量i x 每增加一个单位时因变量y 的平均增加程度。
5、计量经济学【多元线性回归模型】
二、多元线性回归模型的参数估计
2、最小二乘估计量的性质 当 ˆ0, ˆ1, ˆ2, , ˆk 为表达式形式时，为随机变量， 这时最小二乘估计量 ˆ0, ˆ1, ˆ2, , ˆk 经过证明同样也 具有线性性、无偏性和最小方差性（有效性）。 也就是说，在模型满足那几条基本假定的前提 下，OLS估计量具有线性性、无偏性和最小方差性 （有效性）这样优良的性质， 即最小二乘估计量
用残差平方和 ei2 最小的准则： i
二、多元线性回归模型的参数估计
1、参数的普通最小二乘估计法（OLS） 即：
min ei2 min (Yi Yˆi )2 min Yi (ˆ0 ˆ1X1i ˆ2 X 2i ˆk X ki )2
同样的道理，根据微积分知识，要使上式最小，只 需求上式分别对 ˆj ( j 0,1, k) 的一阶偏导数，并令 一阶偏导数为 0，就可得到一个包含 k 1 个方程的正 规方程组，这个正规方程组中有 k 1个未知参数 ˆ0, ˆ1, ˆ2, , ˆk ；解这个正规方程组即可得到这 k 1 个参数 ˆ0, ˆ1, ˆ2, , ˆk 的表达式，即得到了参数的最小 二乘估计量；将样本数据代入到这些表达式中，即可 计算出参数的最小二乘估计值。
该样本回归模型与总体回归模型相对应，其中残差 ei Yi Yˆi 可看成是总体回归模型中随机误差项 i 的 估计值。
2、多元线性回归模型的几种形式： 上述几种形式的矩阵表达式： 将多元线性总体回归模型 (3.1) 式表示的 n 个随机方 程写成方程组的形式，有：
Y1 0 1 X11 2 X 21 .Y.2.........0.......1.X...1.2........2.X...2.2. Yn 0 1 X1n 2 X 2n
ˆ0, ˆ1, ˆ2, , ˆk 是总体参数真值的最佳线性无偏估计 量（ BLUE ）；即高斯—马尔可夫定理 (GaussMarkov theorem)。
多元线性回归模型(精)
型通过最小二乘法进行参数估计，以寻求被解释变量与多个解释变量之间的线性关系。在模型中，各个解释变量对被解释变量的影响程度由回归系数表示，这些系数反映了变量之间的边际关系。然而，关于r值，它通常用于衡量回归模型的拟合优度，表示模型中解释变量与被解释变量之间的线性相关程度。在多元线性回归中，r值可以扩展为复相关系数或决定系数，以更全面地评估模型的解释能力。尽管本文档未直接讨论r值，但理解多元线性回归模型的基本框架和参数估计方法，对于深入探究r值在模型中的应用和解释具有重要意义。
计量经济学第三章多元线性回归模型
解该（k+1） 个方程组成的线性代数方程组，即
$ ,, 可得到(k+1) 个待估参数的估计值 j , j 012,, k 。
正规方程组的矩阵形式
n X 1i X ki
X X
1i 2 1i
X X X
ki
X
ki
X 1i
ˆ 0 1 1 ˆ X 11 X 12 1i ki 1 2 ˆ X ki k X k1 X k 2
假设2，随机误差项具有零均值、同方差及不 序列相关性。
E ( i ) 0
Var ( i ) E ( i2 ) 2
i j i, j 1,2,, n
Cov ( i , j ) E ( i j ) 0
假设3，解释变量与随机项不相关
Cov ( X ji , i ) 0
随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏估 计量为：
e e ˆ n k 1 n k 1
2
e i2
二、参数估计量的性质 在满足基本假设的情况下，其结构参 数的普通最小二乘估计仍具有： 线性性、无偏性、有效性。
同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。
i 1
n
2
• 于是得到关于待估参数估计值的正规方程组：
ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) Yi ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 i X 2 i k X ki ) X 2 i Yi X 2 i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
计量经济学-第三章-多元线性回归-PPT精选文档
第一节 模型的建立及其假定条件
2. 多元线性回归模型与一元模型的形式有什么不同？
Y X u i 0 1 i i Y X X X u 0 1 1 2 2 k k
多元总体线性回归方程，简称总体回归方程。
设 ( 是对总体 X , X , , X ; Y ), i 1 , 2 , , n 1 i 21 i ki i
X X u 21 K 1 0 1 X X u 22 K 2 1 2 X X (k u 2 n kn n ( k 1 ) k 1 ) 1 n ( n 1 )
第一节 模型的建立及其假定条件
1. 为什么要引入多元线性回归模型？ 在实际经济问题中，一个经济变量往往不只受到一个 经济因素的影响，而是受到多个经济因素的影响。如，商 品的需求量不但受到商品本身价格的影响，还会受到消费 者偏好、消费者收入以及其它相关商品价格、预期价格等 因素的影响。 引入多元线性回归模型，为我们深入探究某经济问题 如何被多个经济因素所影响提供了可能，并有助于我们解 析出经济问题背后存在的内在规律。 多元线性回归模型是一元线性回归模型的推广，其基 本原理和方法同一元模型完全相似。
第一节 模型的建立及其假定条件
5. 多元线性回归模型的假定条件 假定2和假定3可以由下列矩阵表示：
2 E(u1 ) E(u u2) E(u un) 1 1 2 E ( u u ) E ( u ) E ( u u ) 2 1 2 n 2 E(u u ) E(u u ) E(u2) n 1 n 2 n 2 0 0 2 0 0 2I
《计量经济学》第三章-多元线性回归模型(1)
两边乘 X 有： X Y = X Xβˆ + X e
因为 Xe = 0 ，则正规方程为：
X Xβˆ = X Y
22
OLS估计式
由正规方程 多元回归中 二元回归中
X Xβˆ = X Y ( X X )kk 是满秩矩阵,其逆存在
βˆ = (X X)-1 X Y
ˆ1 Y - βˆ2 X2 - βˆ3X3
注意： x 和 y为 X,Y 的离差
23
二、OLS估计式的性质
OLS估计式
1.线性特征: βˆ = (X X)-1 X Y
βˆ 是 Y的线性函数，因 ( X X)-1 X 是非随机
或取固定值的矩阵
2.无偏特性: E(βˆk ) βk
24
3. 最小方差特性
在 βk 所有的线性无偏估计中，OLS估计 βˆk具有
E
u2
E
u2
0
un
E
un
0
假设２＆３：
Var(U ) E(U EU)(U EU) E(UU )
E(u1u1) E(u1u2 ) E(u1un ) 2 0 0
E
(u2u1
)
E(u2u2 )
E
(u2un
)
0
2
0
E
(unu1
)
E(unu2 )
E(unun )
求偏导,令其为0:
( ei2 )
ˆ j
0
20
即
-2 Yi - (ˆ1 ˆ2 X2i ˆ3X3i ... ˆki Xki ) 0
-2 X2i Yi - (ˆ1 ˆ2X2i ˆ3X3i ... ˆki Xki ) 0
ei 0 X2iei 0
三章多元线回归模型
X 11 X 12
X 1n
X 21
X 22
X 2n
X k1
X k2
X kn
u1
U
u
2
u n
二. 参数估计(OLS)
参数值估计 参数估计量旳性质 偏回归系数旳含义 正规方程 样本容量问题
1.参数值估计(OLS)
e n
Q
n
2
i
yi
2
yˆi
i 1
i 1
n
Q (Y BˆX )(Y XBˆ )
(Y Y Y XBˆ BˆX Y BˆX XBˆ ) 为什么Y XBˆ BˆX Y ？
Y Y 2BˆX Y BˆX XBˆ
Q Bˆ
0
X Y X XBˆ 0
Bˆ X X 1 X Y
ˆ 2 ee n k 1
2.1最小二乘估计量旳性质
多元模型旳矩阵体现式
Y 1 1
Y
2
1
Y n 1
X 11 X 12
X 1n
X 21
X 22
X 2n
XXX bbbb uuu
k1 k2
kn
0
1 2
k
1
2
n
Y XB U
矩阵形式
Y XB U
Y 1
Y
Y 2
Y n
b0
b1
B
b2
bk
1
X
1
1
0
bˆ
1
bˆ2
Y
X
i
Y
1i i
X 2 ki
bˆk
X
Y
ki i
正规方程
矩阵形式
n
X
庞浩 计量经济学3第三章 多元线性回归模型
4
2.样本回归函数SRF
条件均 值形式
ˆ ˆ X ˆ Y i 1 2 i
ˆ ˆ X ˆ X ˆ X ˆ Y i 1 2 2i 3 3i k ki
ˆ ˆ X e Yi 1 2 i i
个别值 ˆ ˆ X ˆ X ˆ X e 形式 Yi 1 2 2i 3 3i k ki i
16
X e 0
多元线性回归模型参数的 最小二乘估计
ˆ e Y X
ˆ X e X Y X X
X e 0
ˆ X Y X X
ˆ ( X X )1 X Y
17
二、参数最小二乘估计的性质
在古典假定下，多元线性回归模型的最小二乘估 计式是最佳线性无偏估计（BLUE）。 1.线性 参数的最小二乘估计式是被解释变量Yi的线性 组合。 ˆ ( X X )1 X Y
X 31 X k 1 1 X 32 X k 2 2 X 3 n X kn nk k k 1
Y X U
8
总体回归函数与样本回归函数 的矩阵形式
总体回归函数 条件期 望形式
E (Y ) X Y X U
20
三、参数最小二乘估计的分布
依据线性，参数的最小二乘估计是被解 1 ˆ ( X X ) X Y 释变量Y 的线性函数
i
Yi 1 2 X 2i 3 X 3i k X ki ui
ui ~ N (0, ) (i 1,2,, n) ˆ ( j 1,2,, k ) 服从正态分布
9
三、多元线性回归模型的古典假定
u1 Eu1 0 u Eu 0 2 2 E (U ) E E ( ui ) 0 un Eun 0 n1 2.同方差和无自相关假定
2.样本回归函数SRF
条件均 值形式
ˆ ˆ X ˆ Y i 1 2 i
ˆ ˆ X ˆ X ˆ X ˆ Y i 1 2 2i 3 3i k ki
ˆ ˆ X e Yi 1 2 i i
个别值 ˆ ˆ X ˆ X ˆ X e 形式 Yi 1 2 2i 3 3i k ki i
16
X e 0
多元线性回归模型参数的 最小二乘估计
ˆ e Y X
ˆ X e X Y X X
X e 0
ˆ X Y X X
ˆ ( X X )1 X Y
17
二、参数最小二乘估计的性质
在古典假定下，多元线性回归模型的最小二乘估 计式是最佳线性无偏估计（BLUE）。 1.线性 参数的最小二乘估计式是被解释变量Yi的线性 组合。 ˆ ( X X )1 X Y
X 31 X k 1 1 X 32 X k 2 2 X 3 n X kn nk k k 1
Y X U
8
总体回归函数与样本回归函数 的矩阵形式
总体回归函数 条件期 望形式
E (Y ) X Y X U
20
三、参数最小二乘估计的分布
依据线性，参数的最小二乘估计是被解 1 ˆ ( X X ) X Y 释变量Y 的线性函数
i
Yi 1 2 X 2i 3 X 3i k X ki ui
ui ~ N (0, ) (i 1,2,, n) ˆ ( j 1,2,, k ) 服从正态分布
9
三、多元线性回归模型的古典假定
u1 Eu1 0 u Eu 0 2 2 E (U ) E E ( ui ) 0 un Eun 0 n1 2.同方差和无自相关假定
计量经济学课件：第三章 多元线性回归模型
第三章 多元线性回归模型第一节 多元线性回归模型及基本假定问题：只有一个解释变量的线性回归模型能否满足分析经济问题的需要？简单线性回归模型的主要缺陷是：把被解释变量Y 看成是解释变量X 的函数是前提是，在其它条件不变的情况下，并且，所有其它影响Y 的因素都应与X 不相关，但这在实际情况中很难满足。
怎样在一元线性回归的基础上引入多元变量的回归？ 看教科书第72—73页关于汽车销售量的影响因素的讨论。
一、多元线性回归模型的意义1、建立多元线性回归模型的意义，即一元线性回归模型的缺陷，多个主要影响因素的缺失对模型的不利影响。
在一元线性回归模型中，如果总体回归函数的设定是正确的，那么，根据样本数据得到的样本回归模型就应该有较好的拟合效果，这时，可决系数就应该较大。
相反，如果在模型设定时忽略了影响被解释变量的某些重要因素，拟合效果可能就会较差，此时可决系数会偏低，并且由于忽略了一些重要变量而对误差项的影响会加大，这时误差项会表现出一些违背假定的情况。
2、从一个解释变量到多个解释变量的演变。
一个生产函数的例子，一个商品需求函数的例子，（教材第74页）。
二、多元线性回归模型及其矩阵表示1、一般线性回归模型的数学表达式。
设 12233i ii k k ii Y XXXu ββββ=+++++i=1，2，3，…，n在模型表达式里，1β仍是截距项，它反映的是当所有解释变量取值为零时，被解释变量Y 的取值；j β（j=2，3，…，k ）为斜率系数，它的经济含义：在其它变量不变的情况下，第j 个解释变量每变动一个单位，Y 平均增加（或减少）j β个单位，这就是所谓的运用边际分析法对多元变量意义下回归参数的解释。
因此，称j β为偏回归系数，它反映了第j 个解释变量对Y 的边际影响程度。
4、2、总体回归函数，即12233(|)i i i k ki E Y X X X X ββββ=++++3、样本回归函数，即12233ˆˆˆˆˆi i k k iY X X Xββββ=++++ 4、将n 个样本观测值代入上述表达式，可得到从形式上看，像似方程组的形式。
精编多元线性应用回归资料
浙江财经学院 倪伟才
18
Stata命令
数据：ch05pr04.dta gen one=1 mkmat y,mat(y) mkmat (one x),mat(x) mat list x mat list y mat b=inv(x'*x)*x'*y mat list b reg y x
浙江财经学院 倪伟才
浙江财经学院 倪伟才
2
3.1多元线性回归模型
一 多元线性回归模型的一般形式：
y=0+1 x1+2 x2+……p x p +ε y为被解释变量，是随机变量；
x1, x2 , ……,x p 为解释变量，确定性变量，可以控制 和测量；
0 ,1 , … , p 是（p+1）个未知参数； 0回归常数， 1 , … , p 回归系数。 n组样本观测值（xi 1 , xi 2 , xi 3 , …, x i p ; y i）
bn
浙江财经学院 倪伟才
11
(a 'b)
(a 'b) a
a1 (a 'b)
a2
b1
b2
b
(a
'
b)
bn
an
练习: (a 'b) _______, (a 'b) _______, (a 'b) _______ .
1.X 是设计矩阵：其中的元素是预先设定的，是可控制的
2.rank(X ) p 1 n : X 列满秩，( p 1)个列向量是线性无关，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(X’X)-1存在。
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
§3-2 多元线性回归模型的参数估计 一、参数的最小二乘估计
i 1,2, , n
Q ei2 (Yi Yˆ i )2 (Yi (ˆ0 ˆ1X1i ˆ2X2i ˆ kXki ))2
i 1,2, , n
§3-1 多元线性回归模型及其基本假定
一、多元回归模型及其表示
将n组观测样本值代
多元线性回归模型的矩阵表示形式： 入模型一般式，得：
Y1 0 1X11 2X21 kXk1 1
Y2
0
1X12 2X22
kXk2
2
Yn 0 1X1n 2X2n kXkn n
含有两个及以上解释变量的回归模型称为多元回归模型。 多元线性回归模型的一般式为：
Yi 0 1X1i 2X2i kXki i
i 1,2, , n
E(Y | X1i , X2i , Xki) 0 1X1i 2X2i kXki
多元线性总 体回归方程
Yi E(Y | X1i , X2i , , Xki) i 0 1X1i 2X2i kXki i
i 1,2, , n
§3-1 多元线性回归模型及其基本假定
二、多元回归模型的基本假定
4、随机误差项
与解释变量之 Cov(Xji, i)=0
间不相关
j 1,2, , k
Xji与i相互独立，互不 相关，即随机误差项i
和解释变量Xji是各自独 立对应变量Yi产生影响。 事实上，在回归分析中，
5、随机误差项 服从正态分布
i 1,2, , n
6、各解释变量之间互不相关， 即不存在线性关系
在此条件下，解释变量观测值 矩阵X满秩，Rank(X)=k+1，
1 X11 X21 Xk1
X 1 X12
X22
X
k
2
1 X1n
X2n
X
kn
方阵X’X也满秩，Rank(X’X)=k+1，
行列式|X’X|≠0，方阵X’X可逆，
E(
2 i
)
2
解释变量取不同值时， i相 对各自均值（零均值）的分散
Var (Yi ) EYi E(Yi )2 E0 1Xi i (0 1Xi ) 2
程度是相同的。应变量Yi具有 与i相同的方差。应变量Yi可 能取值的分散程度也是相同的。
E(
2 i
)
2
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
第三章 多元线性回归模型
§3-1 多元线性回归模型及其基本假定
一、多元回归模型及其表示 二、多元回归模型的基本假定
§3-2 多元线性回归模型的参数估计
一、参数的最小二乘估计 二、OLS估计量的统计性质及其分布 三、随机误差项方差2的估计
§3-3 多元线性回归模型的统计检验
一、拟合优度检验 二、回归参数的显著性检验（t检验） 三、回归方程的显著性检验（F检验）
§3-1 多元线性回归模型及其基本假定 二、多元回归模型的基本假定
i 1,2, , n
3、随机误差项在不同 样本点之间是独立的，
Cov(i,
j)=0
i≠j
i, j 1,2, , n
不存在序列相关
无自相关假定表明：产生
因为i与j相互独立，有： E(i j ) E(i )E( j ) 0 Cov(i , j ) E[i E(i )][ j E( j )]
Yˆ i ˆ 0 ˆ1X1i ˆ 2X2i ˆ kXki
多元线性样 本回归方程
多元线性总 体回归模型
Yi Yˆ i ei ˆ 0 ˆ1X1i ˆ 2X2i ˆ kXki ei
多元线性样 本回归模型
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
多元线性样本回归 模型的矩阵表示
Y1
Y2
1 X11 X21 Xk1
1 X12
X22
X
k
2
0
1
1
2
Y
Xˆ e
Yn
n1
Y
1 X1n
X2n
X
kn
n(
k1)
X
k
k1
Y X U
n
n1多元线性总体回归
U 模型的矩阵表示
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
Q
ˆ 0
0
(Yi (ˆ 0 ˆ1X1i ˆ 2X2i ˆ kXki )) 0
i～N(0, 2)
Xji在重复抽样（观测） 中固定取值，是确定性
变量，该假定自动满足。
(结合假定1、2)
随机误差项i正态分布的假定 对模型的统计检验是很重要的。
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i
§3-1 多元线性回归模型及其基本假定 二、多元回归模型的基本假定
§3-4 多元线性回归模型的置信区间
一、参数估计量的置信区间 二、应变量预测值的置信区间
第三章 多元线性回归模型
§3-1 多元线性回归模型及其基本假定 一、多元回归模型及其表示
含有两个及以上解释变量的回归模型称为多元回归模型。 多元线性回归模型的一般式为：
Yi 0 1X1i 2X2i kXki i
§3-1 多元线性回归模型及其基本假定 二、多元回归模型的基本假定
i 1,2, , n
1、随机误差 项具有零均值
E(i)=0
表明：平均地看，随机误 差项有互相抵消的趋势。
2、随机误差 项具有同方差
Var(i)=2
表明：对每个Xi，随机误差项 i的方差等于一个常数2。即
Var (i ) Ei
E(i )2
i 1,2, , n
k为解释变量的个数，如果将常数项看成取值始终为1的虚 变量，则解释变量的数目为(k+1)。
模型中的回归系数j(j=1,2, ,k)表示：当其它解释变量 保持不变时，第j个解释变量变动一个单位对应变量的影
响。多元线性回归模型中的回归系数称为偏回归系数。
第三章 多元线性回归模型
§3-1 多元线性回归模型及其基本假定 一、多元回归模型及其表示
误差（干扰）的因素是完
全随机的，此次干扰与彼
次干扰互不相关，互相独
立。由此应变量Yi的序列 值之间也互不相关。
E(i j ) 0
Cov(Yi , Yj ) E[Yi E(Yi )][ Yj E(Yj )] E(i j ) 0
第三章 多元线性回归模型
Yi 0 1X1i 2X2i kXki i