第3章 多元线性回归模型
多元线性回归模型
本节重点内容
1.多元线性回归模型一般形式 2.偏回归系数的含义 3.多元线性回归模型的基本假设（与一元
相比,多元的基本假设的不同点）
多元线性回归模型的一般形式
• P72例3.2.2：考虑2006年中国内地城镇居民家 庭全年人均消费支出与人均可支配收入及其上 一年人均消费支出的关系
总体回归模型——一般采用的形式
• 总体回归模型：总体回归函数的随机表达形式
Y 0 1X1 2 X2 k X k
该模型表示Y可表现为对总体均值的波动。源自样本回归函数与样本回归模型
• 从一次抽样中获得的总体回归函数的近似，称为样 本回归函数（sample regression function）。
3. 理解以一元为基础，注意多元中出现的新概 念及其与一元的不同点。
本章内容
• 多元线性回归模型概述 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测 • 可化为线性的非线性模型 • 受约束回归 • 注：本章矩阵表述部分不涉及
§3.1 多元线性回归模型概述 (Regression Analysis)
• 样本回归函数：
Yˆ ˆ0 ˆ1X1 ˆ2 X2
• 样本回归模型： Y ˆ0 ˆ1X1 ˆ2X2 e
总体回归函数
• 总体回归函数：描述在给定解释变量X条件下 被解释变量Y的条件均值。
E(Y | X1, X 2, X k ) 0 1X1 2 X 2 k X k
k为解释变量的数目（采用此说法）。 习惯上，把常数项看成为虚变量的系数，该虚 变量的样本观测值始终取1。 于是，模型中解释变量的数目为（k+1）。
• 多元模型（二元） • PRF-某类家庭人均消费支出与两个相关因素之
多元线性回归模型
第三章多元线性回归模型一、名词解释1、多元线性回归模型：在现实经济活动中往往存在一个变量受到其他多个变量影响的现象，表现在线性回归模型中有多个解释变量，这样的模型被称做多元线性回归模型，多元是指多个解释变量2、调整的可决系数R2:又叫调整的决定系数，是一个用于描述多个解释变量对被解释变量的联合影响程2 2-2 2 门度的统计量‘克服了R随解释变量的增加而增大的缺陷，与R的矢系为R2=1 -（1 -R2）-n — k —1 3、偏回归系数：在多元回归模型中，每一个解释变量前的参数即为偏回归系数，它测度了当其他解释变量保持不变时，该变量增加1单位对被解释变量带来的平均影响程度。
4、正规方程组：采用OLS方法估计线性回归模型时，对残差平方和矢于各参数求偏导，并令偏导数为0后得到的方程组，其矩阵形式为XX A XYo5、方程显著1•生检验：是针对所有解释变量对被解释变量的联合影响是否显著所作的检验，旨在对模型中被解释变量与解释变量之间的线性矢系在总体上是否显著成立作岀判断。
、单项选择题1、C ： F统计量的意义2、A： F统计量的定义22 Z ei3、B ：随机误差项方差的估计值:? ・n _k_14、A :书上P92和P93公式5、C： A参看导论部分内容；B在判断多重共线等问题的时候，很有必要；D在相同解释变量情况下可以衡量6、C ：书上P99,比较F统计量和可决系数的公式即可7、A ：书P818、D ： A截距项可以不管它；B不考虑betaO ；C相矢矢系与因果矢系的辨析9、B ：注意！只是在服从基本假设的前提下，统计量才服从相应的分布10、 D : AB不能简单通过可决系数判断模型好坏，还要考虑样本量、异方差等问题；三、多项选择题1、ACDE ：概念性2、BD :概念性3、BCD :总体显著，则至少一个参数不为04、BC :参考可决系数和F统计量的公式5、AD :考虑极端情况，ESS=O,可发现CE错四、判断题、1 ' " 2、” 3 > X 4 > X：调整的可决系数5、”五、简答题1、答：多元线性回归模型与一元线性回归模型的区别表现在如下几个方面：一是解释变量的个数不同；二是模型的经典假设不同，多元线性回归模型比一元线性回归模型多了个“解释变量之间不存在线性相矢尖系”的假定：三是多元线性回归模型的参数估计式的表达更为复杂。
(整理)计量经济学 第三章 多元线性回归与最小二乘估计
第三章 多元线性回归与最小二乘估计3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理1、多元线性回归模型：y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。
u t 代表众多影响y t 变化的微小因素。
使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。
当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1,y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ………..y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T经济意义：x t j 是y t 的重要解释变量。
代数意义：y t 与x t j 存在线性关系。
几何意义：y t 表示一个多维平面。
此时y t 与x t i 已知，βj 与 u t 未知。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k jT T u u u x x x x x x x x x y y yβββ (3.3) Y = X β + u (3.4)2假定条件为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。
第三章 多元线性回归模型 知识点
第三章 多元线性回归模型一、知识点列表二、关键词1、多元线性回归模型的代数和矩阵表示形式 关键词： 多元线性总体回归模型多元线性总体回归模型是指被解释变量y 与多个解释变量12,,,n x x x 之间具有线性关系，是解释变量的多元线性函数。
可以表达为：01122(1,2,3,,)i i i k ki iy x x x i n ββββμ=++++=多元线性回归模型相对于一元线性回归模型来说，其解释变量较多，因而计算公式比较复杂。
必要时需要借助计算机来进行。
2、多元线性回归模型的基本假设 关键词： 线性于参数总体回归模型是关于参数是线性的，因此称其为线性于参数。
关键词：完全共线性在样本中，没有一个自变量是常数，自变量之间也不存在严格（完全）的线性关系。
如果方程中有一个自变量是其他自变量的线性组合，那么我们说这个模型遇到了完全共线性问题。
关键词：零条件数学期望给定解释变量的任何值，误差的期望值为零，即：12(|,,,)0n E u x x x =。
关键词：内生解释变量和外生解释变量如果解释变量满足零条件数学期望，则称该自编为内生解释变量；反之，则为外生解释变量。
关键词：同方差对于解释变量的所有观测值，随机误差项有相同的方差，即：22()(),(1,2,3,,)i i Var u E u i n δ===关键词：无序列相关性随机误差项两两不相关。
即(,)(,)0,(,,1,2,3,,)i i i i Cov u u E u u i j i j n ==≠=关键词：最优线性无偏估计量满足以下假设条件的OLS 估计量称为最优线性无偏估计量：（1）线性与参数；（2）X 固定；（3）X 有变异；（4）不存在完全共线性；（5）零条件数学期望；（6）同方差；（7）无序列相关性。
关键词：经典正态线性回归模型如果回归模型的OLS 估计量为最优线性无偏估计量，并且随机误差项u 服从均值为零，方差为2δ的正态分布，则称该线性回归模型为经典正态线性回归模型。
计量经济学-3章：多元线性回归模型PPT课件
YXβ ˆe
Y ˆ Xβ ˆ
4/5/2021
.
17
2 模型的假定
(1) 零均值假设。随机误差项的条件期望为零，即 E(ui)=0 ( i=1,2,…,n)
其矩阵表达形式为:E(U)=0 (2)同方差假设。随机误差项有相同的方差，即
Var(ui)E(ui2) 2 （i=1,2,…,n）
(3)无自相关假设。随机误差项彼此之间不相关，即
（i=1,2,…,n）
上式为多元样本线性回归函数（方程）,简称样本回归函 数（方程）(SRF, Sample Regression Function).
ˆ j (j=0,1,…,k)为根据样本数据所估计得到的参数估计量。
4/5/2021
.
13
(4)多元样本线性回归模型
对应于其样本回归函数（方程）的样本回归模型:
4/5/2021
.
3
教学内容
一、模型的建立及其假定条件 二、多元线性回归模型的参数估计：OLS 三、最小二乘估计量的统计性质 四、拟合优度检验 五、显著性检验与置信区间 六、预测 七、案例分析
4/5/2021
.
4
回顾: 一元线性回归模型
总体回归函数 E (Y i|X i)01X i
总体回归模型 Y i 01Xiui
0 0
2 0 0 2
0
0
0 0 0 2
2I n
4/5/2021
.
u1un
u2un
un2
20
(4)解释变量X1,X2,…,Xk是确定性变量,不是随机 变量,与随机误差项彼此之间不相关,即
Cov(Xji,ui)0 j=1,2…k , i=1,2,….,n
第三章多元线性回归模型(stata)
一、邹式检验（突变点检验、稳定性检验）1.突变点检验1985—2002年中国家用汽车拥有量（t y ，万辆）与城镇居民家庭人均可支配收入（t x ，元），数据见表。
表 中国家用汽车拥有量（t y ）与城镇居民家庭人均可支配收入（t x ）数据年份 t y （万辆） t x （元）年份 t y （万辆） t x （元）1985 1994 1986 1995 4283 1987 1996 1988 1997 1989 1998 1990 1999 5854 1991 2000 6280 1992 2001 19932002下图是关于t y 和t x 的散点图：从上图可以看出，1996年是一个突变点，当城镇居民家庭人均可支配收入突破元之后，城镇居民家庭购买家用汽车的能力大大提高。
现在用邹突变点检验法检验1996年是不是一个突变点。
：两个字样本（1985—1995年，1996—2002年）相对应的模型回归参数相等HH：备择假设是两个子样本对应的回归参数不等。
1在1985—2002年样本范围内做回归。
在回归结果中作如下步骤(邹氏检验)：1、 Chow 模型稳定性检验（lrtest）用似然比作chow检验，chow检验的零假设：无结构变化，小概率发生结果变化* 估计前阶段模型* 估计后阶段模型* 整个区间上的估计结果保存为All* 用似然比检验检验结构没有发生变化的约束得到结果如下;(如何解释)2.稳定性检验（邹氏稳定性检验）以表为例，在用1985—1999年数据建立的模型基础上，检验当把2000—2002年数据加入样本后，模型的回归参数时候出现显著性变化。
* 用F-test作chow间断点检验检验模型稳定性* chow检验的零假设：无结构变化，小概率发生结果变化* 估计前阶段模型* 估计后阶段模型* 整个区间上的估计结果保存为All* 用F 检验检验结构没有发生变化的约束*计算和显示 F 检验统计量公式，零假设：无结构变化然后 dis f_test 则 得到结果;* F 统计量的临界概率然后 得到结果* F 统计量的临界值然后 得到结果(如何解释)二、似然比（LR ）检验有中国国债发行总量（t DEBT ，亿元）模型如下：0123t t t t t DEBT GDP DEF REPAY u ββββ=++++其中t GDP 表示国内生产总值（百亿元），t DEF 表示年财政赤字额（亿元），t REPAY 表示年还本付息额（亿元）。
第三章(1) 多元线性回归模型课件
分离差的大小
解释的那部分离差的大小。也
称剩余平方和。
第三章 多元线性回归模型
§ 3-3 多元线性回归模型的统计检验 一、 拟合优度检验 检验模型对样本观测值的拟合程度。用在总离差分解 基础上确定的可决系数R2 (调整的可决系数 ) 度量。 1、总离差平方和的分解
总离差平方和TSS 回归平方和ESS
3、随机误差项在不同 样本点之间是独立的，
Cov( i,
不存在序列相关
因为 i与 j相互独立，有：
j)=0 i≠j
无自相关假定表明：产生 误差(干扰)的因素是完 全随机的，此次干扰与彼 次干扰互不相关，互相独 立。由此应变量Yi的序列 值之间也互不相关。
第三章 多元线性回归模型
§ 3-1 多元线性回归模型及其基本假定
3、有效性(最小方差性)：
指在所有线性、无偏估计量中， OLS参数估计量的 方差最小。
4、 服从正态分布，即：
其中，
， G2是随机误差项的方差，
Cjj是矩阵(X’X)-1 中第j行第j列位置上的元素。
第三章 多元线性回归模型
§ 3-2 多元线性回归模型的参数估计
一、 参数的最小二乘估计
二、 OLS估计量的统计性质及其分布
三、随机误差项方差Q2的估 计
参数估计的另一项任务是： 求随机误差项 i 的分布参数
称作回归标准差 (standard error of regression)， 常作为对所估计回归线的拟
合优度的简单度量。
i~N(0, Q2)
随机误差项 i 的 方差的估计量为：
可以
证明：
说明 是QS 的无偏估计量。
t-Statistic 6.411848 22.00035 4.187969
第三章 多元线性回归模型
其中：n-k-1为残差平方和的自由度，n-1为总体平 方和的自由度。
检验) 三、方程的显著性检验(F检验 方程的显著性检验 检验
方程的显著性检验， 方程的显著性检验，旨在对模型中被解释变 量与解释变量之间的线性关系在总体上 在总体上是否显著 量与解释变量之间的线性关系在总体上是否显著 成立作出推断。 成立作出推断。 即检验模型
写成矩阵形式： 写成矩阵形式：
Y = Xb + µ
其中
Y1 Y2 Y = M Yn
1 1 X = M 1 X 11 X 12 M X 1n X 21 X 22 M X 2n L L L X k1 X k2 M X kn n × ( k +1 )
回归系数的显著性检验（ 检验 检验） 第五节 回归系数的显著性检验（t检验）
方程的总体线性 总体线性关系显著≠每个解释变量 总体线性 ≠每个解释变量对被 解释变量的影响都是显著的 因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。 检验完成的。 这一检验是由对变量的 t 检验完成的。
或
1 x ′x → Q n
其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量 的离差为元素组成的n×k阶矩阵
x11 L x k1 x= M L M x 1n L x kn
假设6，回归模型的设定是正确的。
第二节 参数的最小二乘估计
一、回归参数的最小二乘估计 二、随机项µ的方差的估计量 随机项 的方差的估计量
( )
( )
( )
= E ( X ′X
)
多元线性回归模型分析
多元线性回归模型分析
例：
Ct
β 1
Hale Waihona Puke β2Dtβ3Lt
ut
其中，Ct=消费，Dt=居民可支配收入 Lt=居民拥有的流动资产水平
β2的含义是，在流动资产不变的情况下，可支配收入变动一个 单位对消费额的影响。这是收入对消费额的直接影响。
收入变动对消费额的总影响=直接影响+间接影响。
（间接影响：收入流动资产拥有量消费额）
但在模型中这种间接影响应归因于流动资产，而不是收入，因 而，β2只包括收入的直接影响。 在下面的模型中：
Ct Dt ut , t 1,2,..., n
这里，β是可支配收入对消费额的总影响，显然β和β2的含义 是不同的。偏回归系数bj就多是元x线j性本回身归模变型分化析对y的直接（净）影响。
多元线性回归模型分析
要使残差平方和
Q ei2 Yi βˆ1Xi1 ... βˆK XiK 2
为最小，则应有：
Q
ˆ1
0,
...,
Q
ˆK
0
于是得到关于待估参数估计值的K个方程（即正规方程组）：
多元线性回归模型分析
β1
X
2 i1
......
βK
Xi1XiK
X i1Yi
β1 Xi2Xi1 ...... β K Xi2XiK Xi2Yi
且所获得的是诸变量X值固定时Y的平均值。诸i称
为偏回归系数（partial regression coefficients）。
多元线性回归模型分析
▪偏回归系数的含义如下： 1度量着在X2,X3,…,Xk保持不变的情况下，X1
每变化1个单位时，Y的均值E(Y)的变化，或者说1 给出X1的单位变化对Y均值的“直接”或“净”（不含 其他变量）影响。
第3章 多元线性回归
2 n 1 1 1 2 = ∑1 e i ∆ n − p − 1 SSE = n − p − 1 e ′e n − p − 1 i=
③ σˆ
− 因为（X′X）1存在，即X′X为一非奇异矩阵，即 X ′X ≠ 0
5 813.5 7 227.0 9 138.6 11 323.8 14 930.0 17 947.2 20 427.5 23 028.7 25 173.5 27 037.7 29 904.6 33 153.0 36 074.8 39 188.0 43 720.6
考虑国内生产总值GDP和三次产业增加值的关系， GDP=x1 + x2+ x3 现在做GDP对第二产业增加值x2的一元线性回归， 得回归方程
ε1 ε 2 ε= M ε n
写成矩阵形式为:
y=Xβ+ε,
n*(p+1)
n*1
X称为回归设计阵。在实验设计中X的元素是预先 设定并可以控制的。人的主观因素可作用于其中，因 而称X为设计矩阵。
※2、基本假定 、
① 解释变量x1,x2,…, xp是确定性变量,而非随机变量, 且rank(X)=p+1＜n。 表明设计矩阵X中的自变量列之间不相关, X是列满秩矩阵。 ② 随机误差项具有0均值和等方差,即
n ∂Q ˆ ˆ ˆ ˆ = −2∑ ( yi − β 0 − β1 xi1 − β 2 xi 2 − L − β p xip ) = 0 ˆ i =1 ∂β 0 β 0 = β 0 n ∂Q ˆ ˆ ˆ ˆ = −2∑ ( yi − β 0 − β1 xi1 − β 2 xi 2 − L − β p xip ) xi1 = 0 ˆ ∂β1 β1 = β1 i =1 n ∂Q ˆ ˆ ˆ ˆ = −2∑ ( yi − β 0 − β1 xi1 − β 2 xi 2 − L − β p xip ) xi 2 = 0 ˆ i =1 ∂β 2 β 2 = β 2 LL n ∂Q ˆ ˆ ˆ ˆ = −2∑ ( yi − β 0 − β1 xi1 − β 2 xi 2 − L − β p xip ) xip = 0 ˆ i =1 ∂β p β p = β p
第三章多元线性回归模型
( y x )( x ) ( y x )( x x ) i 2 i 1 i i 1 i 2 i 1 i ˆ 2 2 2 2 ( x x ( x 1 i)( 2 i) 1 ix 2 i) ˆx ˆx ˆ y β β 0 11 2 2
解此联立方程既可求得参数估计值
1
e i2
ˆ 2
0
正规方程
求解正规方程组可得：
( y x )( x ) ( y x )( x x ) i 1 i 2 i i 2 i 1 i 2 i ˆ 1 2 2 2 ( x )( x ) ( x x ) 1 i 2 i 1 i 2 i
OLS估计量的方差和标准误
Var ( ˆ 1 ) Var ( ˆ 2 )
2 12i (1 r1 22 ) x 2 22 i (1 r1 22 ) x
r1 2 (1 r1 2 )
2
Se ( ˆ 1 ) Var ( ˆ 1 ) Se ( ˆ 2 ) Var ( ˆ 2 )
ˆ) ˆ) ( Y X β ( Y X β 0 ˆ β
ˆ X Y X X β 0
得到： 于是最小二乘估计量为：
最小二乘估计量的 方差-协方差阵为：
ˆ ——正规方程 X Y X X β
1 ˆ β ( X X )X Y
⃟随机误差项的方差的无偏估计
自变量相关程度越高， 参数估计量的方差越大。 当x2和x3完全共线时，方 差趋于无穷。
Cov ( ˆ 1 i , ˆ 2 i )
12i x
1i 2i
22 i x
计量经济学第3章-多元线性回归模型PPT课件
第三章 经典单方程计量经济学模型：多元线性回 归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测
第3页/共63页
第一节 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
第4页/共63页
一、多元线性回归模型
因为n < 30时构造不出用于检验的服从标准正态分布的统计量；
t 检验在 n k 8 时才比较有效，因为 n k 8 时 t 分布才比较稳定。 一般经验认为，当 n 30或者至少 n （3 k 1）时，才能满足基本要求。
第27页/共63页
第三节 多元线性回归模型的统计检验
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
X X1i
X
ki
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11
X k1
1 X 12
X k2
1 Y1 X 1n Y2 X kn Yn
即
(XX)βˆ XY
由于X’X满秩，故有 βˆ (XX)1 XY
第19页/共63页
⃟正规方程组 的另一种写法 对于正规方程组
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。
一般表现形式：
Yi 0 1 X 1i 2 X 2i k X ki i i=1,2…,n 其中:k为解释变量的数目，j称为回归系数
（regression coefficient）。
第5页/共63页
习惯上：把常数项（或截距项）看成为 一虚变量的系数，该虚变量的样本观测值始 终取1。于是： 模型中解释变量的数目为（k+1）
计量经济学第三章第3节多元线性回归模型的显著性检验
人均国内生 产总值 1602.3 1727.2 1949.8 2187.9 2436.1
1983
1984 1985
572.8
635.6 716
931.4
1059.2 1185.2
1995
1996 1997
1213.1
1322.8 1380.9
2663.7
2889.1 3111.9
1986 1987
1988 1989
(2) 当k =0时，即只有截距项式时，R = R (3) 当k 0时，R R
2 2 2 2 2
2 k (4) R 会出现负值，当R < 时，会出现 R <0的情况 n-1 2
此时，将理解为R =0
2
（5）对调整后拟合优度的补充说明：
RSS n k 1 n 1 RSS R 1 1 TSS n 1 n k 1 TSS
第三节 显著性检验及预测
一、拟合优度检验
二、变量的显著性检验 三、回归方程的显著性检验
四、利用方程进行预测
一、多元线性回归模型的统计检验
<一> 拟合优度
• 类似一元回归，多元回归同样可以用拟合优度R2度量样本 回归方程拟合样本观察值的程度。R2越接近1，拟合的越好。
（1）总离差平方和分解 设多元线性回归模型为：
(6) 修正的拟合优度总结
• 解释变量的增加，有可能导致样本回归方程与 样本观察值拟合程度的提高，也会由于变量的个数 的增加导致拟合优度虚假的提高。 • 调整后的拟合优度，是剔除由于解释变量个数 增加导致拟合数值虚假提高，而拟合程度并没有实 际提高的部分。 由此可见，修正的拟合优度 R 比一般意义的拟合 优度 R 2 更准确的反映了解释变量对被解释变量的影响 程度。因此在一般情况下修正拟合优度 R 比 R 应用 更广。
[整理版]第三章多元线性回归模型
![[整理版]第三章多元线性回归模型](https://img.taocdn.com/s3/m/5afa1e20a22d7375a417866fb84ae45c3b35c2a3.png)
第三章 多元线性回归模型一、名词解释1、多元线性回归模型2、调整的决定系数2R3、偏回归系数4、正规方程组5、方程显著性检验二、单项选择题1、在模型0112233t t t t t Y X X X ββββμ=++++的回归分析结果中，有462.58F =，0.000000F p =的值，则表明 （ ）A 、解释变量2t X 对t Y 的影响不显著B 、解释变量1t X 对t Y 的影响显著C 、模型所描述的变量之间的线性关系总体上显著D 、解释变量2t X 和1t X 对t Y 的影响显著2、设k 为回归模型中的实解释变量的个数，n 为样本容量。
则对回归模型进行总体显著性检验(F 检验)时构造的F 统计量为 （ ）A 、(1)ESS k F RSS n k =-- B 、(1)()ESS k F RSS n k -=-C 、ESS F RSS =D 、1RSSF TSS=-3、已知二元线性回归模型估计的残差平方和为2800ie=∑，估计用样本容量为23n =，则随机误差项t μ的方差的OLS 估计值为 （ ）A 、33.33B 、 40C 、 38.09D 、36.364、在多元回归中，调整后的决定系数2R 与决定系数2R 的关系为 （ ）A 、22R R <B 、22R R >C 、22R R =D 、2R 与2R 的关系不能确定5、下面说法正确的有 （ ）A 、时间序列数据和横截面数据没有差异B 、对回归模型的总体显著性检验没有必要C 、总体回归方程与样本回归方程是有区别的D 、决定系数2R 不可以用于衡量拟合优度6、根据调整的可决系数2R 与F 统计量的关系可知，当21R =时，有 （ ）A 、F=0B 、F=－1C 、F →+∞D 、F=-∞7、线性回归模型的参数估计量ˆβ是随机向量Y 的函数，即1ˆ()X X X Y β-''=。
ˆβ是 （ ）A 、随机向量B 、非随机向量C 、确定性向量D 、常量8、下面哪一表述是正确的 （ ）A 、线性回归模型01i i i Y X ββμ=++的零均值假设是指110ni i n μ==∑B 、对模型01122i i i i Y X X βββμ=+++进行方程显著性检验（即F 检验），检验的零假设是0012:0H βββ===C 、相关系数较大意味着两个变量存在较强的因果关系D 、当随机误差项的方差估计量等于零时，说明被解释变量与解释变量之间为函数关系9、对于01122ˆˆˆˆi i i k ki iY X X X e ββββ=+++++…，如果原模型满足线性模型的基本假设则在零假设0j β=下，统计量ˆˆ()j j s ββ（其中ˆ()js β是j β的标准误差）服从 （ ）A 、()t n k -B 、(1)t n k --C 、(1,)F k n k --D 、(,1)F k n k --10、下列说法中正确的是 （ ）A 、如果模型的R 2很高，我们可以认为此模型的质量较好B 、如果模型的R 2很低，我们可以认为此模型的质量较差C 、如果某一参数不能通过显著性检验，我们应该剔除该解释变量D 、如果某一参数不能通过显著性检验，我们不应该随便剔除该解释变量三、多项选择题1、残差平方和是指 （ ）A 、随机因素影响所引起的被解释变量的变差B 、解释变量变动所引起的被解释变量的变差C 、被解释变量的变差中，回归方程不能作出解释的部分D 、被解释变量的总离差平方和回归平方之差E 、被解释变量的实际值与拟合值的离差平方和2、回归平方和是指 （ ）A 、被解释变量的观测值i Y 与其均值Y 的离差平方和B 、被解释变量的回归值ˆiY 与其均值Y 的离差平方和C 、被解释变量的总体平方和2i Y ∑与残差平方和2i e ∑之差D 、解释变量变动所引起的被解释变量的离差的大小E 、随机因素影响所引起的被解释变量的离差大小3、对模型满足所有假定条件的模型01122i i i i Y X X βββμ=+++进行总体显著性检验，如果检验结果总体线性关系显著，则很可能出现 （ ）A 、120ββ==B 、120,0ββ≠=C 、120,0ββ≠≠D 、120,0ββ=≠E 、120,0ββ==4、设k 为回归模型中的参数个数（包含截距项）则总体线性回归模型进行显著性检验时所用的F 统计量可以表示为 （ ）A 、22ˆ()/(1)/i i iY Y n k e k---∑∑ B 、22ˆ()//(1)iiiY Y k e n k ---∑∑C 、22/(1)/(1)R kR n k --- D 、22(1)/(1)/R n k R k ---E 、22/(1)(1)/R n k R k---5、在多元回归分析中，调整的可决系数2R 与可决系数2R 之间 （ ）A 、22R R <B 、22R R ≥C 、2R 只可能大于零D 、2R 可能为负值E 、2R 不可能为负值四、判断题1、满足基本假设条件下，样本容量略大于解释变量个数时，可以得到各参数的唯一确定的估计值，但参数估计结果的可靠性得不到保证 （ ）2、在多元线性回归中，t 检验和F 检验缺一不可。
《计量经济学》第三章-多元线性回归模型(1)
两边乘 X 有： X Y = X Xβˆ + X e
因为 Xe = 0 ，则正规方程为：
X Xβˆ = X Y
22
OLS估计式
由正规方程 多元回归中 二元回归中
X Xβˆ = X Y ( X X )kk 是满秩矩阵,其逆存在
βˆ = (X X)-1 X Y
ˆ1 Y - βˆ2 X2 - βˆ3X3
注意： x 和 y为 X,Y 的离差
23
二、OLS估计式的性质
OLS估计式
1.线性特征: βˆ = (X X)-1 X Y
βˆ 是 Y的线性函数，因 ( X X)-1 X 是非随机
或取固定值的矩阵
2.无偏特性: E(βˆk ) βk
24
3. 最小方差特性
在 βk 所有的线性无偏估计中，OLS估计 βˆk具有
E
u2
E
u2
0
un
E
un
0
假设２＆３：
Var(U ) E(U EU)(U EU) E(UU )
E(u1u1) E(u1u2 ) E(u1un ) 2 0 0
E
(u2u1
)
E(u2u2 )
E
(u2un
)
0
2
0
E
(unu1
)
E(unu2 )
E(unun )
求偏导,令其为0:
( ei2 )
ˆ j
0
20
即
-2 Yi - (ˆ1 ˆ2 X2i ˆ3X3i ... ˆki Xki ) 0
-2 X2i Yi - (ˆ1 ˆ2X2i ˆ3X3i ... ˆki Xki ) 0
ei 0 X2iei 0
三章多元线回归模型
X 11 X 12
X 1n
X 21
X 22
X 2n
X k1
X k2
X kn
u1
U
u
2
u n
二. 参数估计(OLS)
参数值估计 参数估计量旳性质 偏回归系数旳含义 正规方程 样本容量问题
1.参数值估计(OLS)
e n
Q
n
2
i
yi
2
yˆi
i 1
i 1
n
Q (Y BˆX )(Y XBˆ )
(Y Y Y XBˆ BˆX Y BˆX XBˆ ) 为什么Y XBˆ BˆX Y ？
Y Y 2BˆX Y BˆX XBˆ
Q Bˆ
0
X Y X XBˆ 0
Bˆ X X 1 X Y
ˆ 2 ee n k 1
2.1最小二乘估计量旳性质
多元模型旳矩阵体现式
Y 1 1
Y
2
1
Y n 1
X 11 X 12
X 1n
X 21
X 22
X 2n
XXX bbbb uuu
k1 k2
kn
0
1 2
k
1
2
n
Y XB U
矩阵形式
Y XB U
Y 1
Y
Y 2
Y n
b0
b1
B
b2
bk
1
X
1
1
0
bˆ
1
bˆ2
Y
X
i
Y
1i i
X 2 ki
bˆk
X
Y
ki i
正规方程
矩阵形式
n
X
计量经济学第三章
多元线性回归模型及其古典假设 参数估计 最小二乘估计量的统计特性 统计显著性检验 解释变量的选择 中心化和标准化回归方程 利用多元线性回归方程进行预测
山东经济学院统计与数学学院计量经济教研室
第一节 多元线性回归模型 及其古典假设
一、多元线性回归模型的一般形式 二、多元线性回归模型的基本假定
山东经济学院统计与数学学院计量经济教研室
一、多元线性回归模型的一般形式
如果被解释变量（因变量）y与k个解释变量（ 自变量）x1, x2, … , xk 之间有线性相关关系，那么 他们之间的多元线性总体回归模型可以表示为：
y 0 1x1 2 x2 k xk u
(3.1)
(
k
1)1
en
n1
对样本回归模型的系统分量的系数进行估计可得样本回归
方程：
yˆi ˆ0 ˆ1x1i ˆ2x2i ˆk xki
yˆ i
其中， 是y的系统分量，即由自变量决定的理论值， ˆ0,ˆ1,ˆ2,,ˆk
分别是0 ,1 ,…,k的无偏估计量。
方程表示：各变量x值固定时y的平均响应。
j也被称为偏回归系数，表示在其他解释变量
保持不变的情况下，xj每变化1个单位时，y的均 值E(y)的变化;
或者说j给出了xj的单位变化对y均值的“直
接”或“净”（不含其他变量）影响。
山东经济学院统计与数学学院计量经济教研室
总体回归模型n个随机方程的为：
y1 0 1x11 2 x21 k xk1 u1 y2 01x12 2x22 kxk2 u2 yn 0 1x1n 2 x2n k xkn un
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 这个模型相应的矩阵表达形式是 •
Y=Xβ+U
2
• 其中
Y1 Y 2 Y Yn n 1
0 1 2 k ( k 1)1
1 X 11 1 X 12 X 1 X 1n
2
u1un u 2u n 2 un
2
2I n n 2
满足这种假定的误差项称为“球形扰动”。
6
§3.2
最小二乘法
• 1.参数的最小二乘估计
• 对于含有k个解释变量的多元线性回归模型 Yi=β0+β1X1i+β2X2i+…+βKXKi+ui,i=1,2,…,n • 和相应的估计的样本回归方程
e1 e 2 e e n n 1
9
ˆ ˆ • 写成等价的向量方程，则为 Y X • 再利用向量、矩阵的运算法则，可以得到残差平方和 为
ˆ ) 2 e e Q e (Y i Y i
2 i
ˆ ˆ ˆ ˆ (Y Y ) (Y Y ) (Y X ) (Y X ) ˆ ˆ ˆ ˆ Y Y X Y Y X X X ˆ ˆ ˆ Y Y 2 X Y X X
1 BB ( X ) 0 X
这意味着 BB ( X X ) 1为半正定矩阵。这样的协方差 矩阵之差 2 1 2 1 2 ˆ Var (b) Var ( ) BB ( X X ) [ BB ( X X ) ] 0 也是半正定矩阵。因此多元线性回归参数的最小二 乘估计是最小方差的线性无偏估计。
第3章
§3.1
• 1.基本概念
• • • •
多元线性回归模型
模型的建立及其假定条件
多元总体线性回归模型： Y=β0+β1X1+β2X2+…+βkXk+u 多元总体线性回归方程： E(Y)=β0+β1X1+β2X2+…+βkXk
1
• • • •
样本数据结构形式的多元总体线性回归模型： Yi=β0+β1X1i+β2X2i+…+βkXki+ui,i=1,2,…,n 它是由n个方程，k+1个未知参数组成的一个线性方程组， 即 Y1 0 1 X 11 2 X 21 k X k 1 u1 Y2 0 1 X 12 2 X 22 k X k 2 u 2 Yn 0 1 u n
4
• 2.模型的假定
• • • • • • • （1）E(ui)=0，i=1,2,…,n （2）Var(ui)=E(ui2)=σ2, i=1,2,…,n （3）Cov(ui,uj)=E(uiuj)=0，i≠j,i,j=1,2,…,n （4）Cov(Xijuj)=0(i=1,2,…,k,j=1,2,…,n)且 Cov(XkXl)=0(k≠l)。 （5）rank(X)=k+1<n （6）ui～N(0,σ2)，i=1,2,…,n
8
• 用向量和矩阵的表示方法和运算，多元线性回归最小二乘估 计的推导会简洁得多。先引进参数估计量、解释变量回归值 和回归残差的下列向量表示：
ˆ 0 ˆ Y1 ˆ ˆ 1 ˆ ˆ Y 2 ˆ Y 2 ˆ Yn n 1 ˆ k ( k 1)1
ˆ ˆ ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2 i k X ki
• 根据最小二乘准则，寻找使下式达到最小的参数估计值
ˆ ˆ ˆ Q ( 0 , 1 , , k )
ei
2
ˆ 2 (Y i Yi )
2 ˆ ˆ ˆ ˆ (Yi 0 1 X 1i 2 X 2 i k X ki )
同时成立时，Q有最小值。 • 对上述方程组加以整理，可得到正规方程组，正规方程组 有k+1个方程，未知数也是k+1个。只要系数矩阵非奇异 (满足模型假设5，解释变量之间不存在严格线性关系即 ˆ ˆ ˆ 可)，就可以解出 0 , 1 , , k 的唯一的一组解，就是β0, β1,…,βK的最小二乘估计值。
17
具体证明： 因为所设b是线性无偏估计向量，因此可以表示为 b=BY 又因为b是无偏估计，因此 E(b)=E(BY)=E[B(Xβ+U)]=E(BXβ+BU) =BXβ+BE(U)=BXβ=β 所以必然有BX=I 计算b的方差，有 Var(b)=Var[B(Xβ+U)]=Var(β+BU) =Var(BU)=BVar(U)B’=BB’σ2
1
14
• 2.无偏性
ˆ ) E[( X X ) 1 X Y ] E[( X X ) 1 X ( X U )] E (
E[( X X ) ( X X X U )] E[ ( X X ) X U ] ) 1 X (U ) (X X E
R
2
RSS TSS
1
ESS TSS
R 1
2
ei
i i
2
(Yi Y )
2
• 不难发现可决系数只与被解释变量的观测值以及 回归残差有关，而与解释变量无直接关系。因此 可以将它直接推广到多元线性回归分析，作为评 价多元线性回归拟合优度的指标。
21
•
但是需注意：多元线性回归模型解释变量的 数目有多有少，而上述可决系数R2又可以证明是 解释变量数目的增函数。这意味着不管增加的解 释变量是否对改善模型、拟合程度有意义，解释 变量个数越多，可决系数一定会越大。因此，以 这种可决系数衡量多元回归模型的拟合优度是有 问题的，而且会导致片面追求解释变量数量的错 误倾向。正是由于存在这种缺陷，可决系数R2在 多元线性回归分析拟合优度评价方面的作用受到 很大的限制。
• （1）矩阵乘法 • 按住鼠标左键拖放选定存放结果的单元格区域，输入计 算公式=MMULT( )按Ctrl+Shift+Enter复合键确认。 • （2）矩阵转臵 • 按住鼠标左键拖放选定存放结果的单元格区域，输入计 算公式=TRANSPOSE( )按Ctrl+Shift+Enter复合键确认。 • （3）逆矩阵 • 按住鼠标左键拖放选定存放结果的单元格区域，输入计 算公式=MINVERSE( )按Ctrl+Shift+Enter复合键确认。
13
§3.3
• 1.线性性
最小二乘估计量的特性
ˆ • 所谓线性性是指最小二乘估计量 是被解释变量Y的观 测值的线性函数。 • 多元线性回归模型参数的最小二乘估计向量为
ˆ ( X X ) 1 X Y ˆ X • 令 A ( X ) X 则 AY • 矩阵A是一个非随机的常数矩阵。线性性得证。
19
• 高斯—马尔可夫定理： ˆ • 如果基本假定(1)-(5)成立，则最小二乘估计量 是β的最优线性无偏估计量(Best Linear Unbiased Estimate，简记为BLUE)，也就是说在 ˆ β的所有线性无偏估计量中， 具有最小方差性。
20
§3.4
可决系数
• 1.总离差平方和的分解公式 • TSS=RSS+ESS • 2.多元样本可决系数
X 21 X 22 X 2n
X k1 X k2 X kn n ( k 1)
u1 u 2 U u n n 1
3
• 多元样本线性回归方程：
ˆ ˆ ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2 i k X ki , i 1, 2 , , n
18
根据矩阵代数知识，任意矩阵与自身转臵的乘积都 是半正定矩阵，因此
[ B ( X ) X ][ B ( X ) X ] X X
1 1
) 1 X ][ B X ( X ) 1 ] [B ( X X X
( X ) 1 X BX ( X ) 1 ( X ) 1 X ( X ) 1 BB X B X X X X
1
1
15
• 3.最小方差性（有效性）
ˆ ) Var[( X X ) 1 X Y ] Var[( X X ) 1 X ( X U )] Var (
Var[ ( X ) X ] Var[( X ) X ] X U X U
( X ) X (U )[( X ) X ] ( X ) X IX ( X ) X Var X X X
• 估计的回归方程的矩阵表达形式是：
• 其中
ˆ Y1 ˆ ˆ Y 2 Y ˆ Yn n 1
ˆ ˆ Y X
ˆ 0 ˆ 1 ˆ ˆ 2 ˆ k ( k 1)1
5
引进向量、矩阵记法后，模型的基本假定1、2、3三条， 可以综合为误差向量U的方差—协方差矩阵为对角矩阵：
Var (U ) E[U E (U )][U E (U )] E (UU ) u1 u12 u2 u2u1 E (u1 , u2 , , un ) E u unu1 n 2 u1u2 u2 unu2
10
Q ˆ ˆ ˆ ˆ (Y Y 2 X Y X X ) 2 X Y 2 X X 0 ˆ ˆ
• 其中矩阵求导：
f ( B) BA f ( B) BAB
f ( B ) B f ( B ) B