第三讲 多元回归分析：估计
第三章多元回归分析：估计
ˆ x ˆ y 1 1
ˆ 为其他因素不变情况下， x1对y的边际影响。 1
多元回归中“保持其他因素不变”的含义
尽管不能在其他条件不变的情况下收集数据，但其提 供的系数可以做其他条件不变的解释。 多元回归分析是我们能在非实验环境中进行自然科学 家在受控实验中所能做的事情：保持其他因素不变。
x1k x2 k xnk n( k 1)
u1 u u 2 u n ( n1 )
ˆ1 u ˆ u2 u ˆn ( n1) u
样本回归模型
ˆ y Xβ u
k+1个方程，求解k+1个未知数？ 存在唯一解的条件是什么？
对OLS回归方程的解释
ˆ ˆ x ˆ x ˆx ˆ y 0 1 1 2 2 k k ˆ x ˆ x ˆ x ˆ y 1 1 2 2 k k
ˆ 、 ˆ、 ˆ 估计值 1 2 、k 具有偏效应或其他情况不变的解释： 例如，保持x2、x3、…、xk 不变的情况下
1
x21 x22 x2 k
1 y1 xn1 y2 xn 2 X' y yn xnk
ˆ X'y X'Xβ
β的最小二乘（OLS）估计量为：
ˆ (X'X)1 X'y β
对于一元回归模型：
y1 y2 y yn ( n1)
第三章 多元回归分析：估计
多元回归分析可以：
更适合于“其他因素不变情况下”的分析 可用于建立更好的因变量预测模型 可用以引入相当一般化的函数关系
多元线性回归模型的估计与解释
多元线性回归模型的估计与解释多元线性回归是一种广泛应用于统计学和机器学习领域的预测模型。
与简单线性回归模型相比，多元线性回归模型允许我们将多个自变量引入到模型中，以更准确地解释因变量的变化。
一、多元线性回归模型的基本原理多元线性回归模型的基本原理是建立一个包含多个自变量的线性方程，通过对样本数据进行参数估计，求解出各个自变量的系数，从而得到一个可以预测因变量的模型。
其数学表达形式为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y为因变量，X1、X2、...、Xn为自变量，β0、β1、β2、...、βn为模型的系数，ε为误差项。
二、多元线性回归模型的估计方法1. 最小二乘法估计最小二乘法是最常用的多元线性回归模型估计方法。
它通过使残差平方和最小化来确定模型的系数。
残差即观测值与预测值之间的差异，最小二乘法通过找到使残差平方和最小的系数组合来拟合数据。
2. 矩阵求解方法多元线性回归模型也可以通过矩阵求解方法进行参数估计。
将自变量和因变量分别构成矩阵，利用矩阵运算，可以直接求解出模型的系数。
三、多元线性回归模型的解释多元线性回归模型可以通过系数估计来解释自变量与因变量之间的关系。
系数的符号表示了自变量对因变量的影响方向，而系数的大小则表示了自变量对因变量的影响程度。
此外，多元线性回归模型还可以通过假设检验来验证模型的显著性。
假设检验包括对模型整体的显著性检验和对各个自变量的显著性检验。
对于整体的显著性检验，一般采用F检验或R方检验。
F检验通过比较回归平方和和残差平方和的比值来判断模型是否显著。
对于各个自变量的显著性检验，一般采用t检验，通过检验系数的置信区间与预先设定的显著性水平进行比较，来判断自变量的系数是否显著不为零。
通过解释模型的系数和做假设检验，我们可以对多元线性回归模型进行全面的解释和评估。
四、多元线性回归模型的应用多元线性回归模型在实际应用中具有广泛的应用价值。
武汉大学 计量经济学 多元回归分析：估计
ˆ 1 ˆ 2
（x
1i
x1 )( yi y ) ( x2i x2 ) 2 ( x2i x2 )( yi y ) （x1i x1 )( x2i x2 ) x2 )( yi y ) ( x1i x1 ) 2 ( x1i x1 )( yi y ) （x1i x1 )( x2i x2 ) （x1i x1 )( x2i x2 ) ( x1i x1 )2 ( x2i x2 )2
2
（x
（x1i x1 )( x2i x2 ) ( x1i x1 )2 ( x2i x2 )2
Note 3： 违背MLR.10的几种情形
c o n s 0 1 in c 2 in c 2 u 并 不 违 背 M L R .1 0
(1) 同一变量在不同单位的度量下几次进入同一回归方程。 y 0 1 x1 2 x2 3 x3 u x3 5x2 (2) 一个解释变量以隐蔽的方式成为另一变量的倍数， 如 log cons 0 1 log inc 2 log inc2 u (3) 一个解释变量恰好能表述成其他几个解释变量的线性函数 如 VoteA 0 1 exp endA 2 exp endB 3total exp end u 其中 total exp end exp endA exp endB 此时，试图在其他条件不变的情况下解释某个参数就会出现问题。
ˆ ( x 2 n( x ) 2 ) ˆ ( x x nx .x ) y x . y x n i 1i 1 1 2 1 1 1i 2 1i 2 i
OLS估计量求解
整理后得， （5） ( x1i x1 )( yi y ) ˆ1 ( x1i x1 )2 ˆ2 ( x1i x1 )( x2i x2 )
多元线性回归——模型、估计、检验与预测
多元线性回归——模型、估计、检验与预测⼀、模型假设传统多元线性回归模型最重要的假设的原理为：1. ⾃变量和因变量之间存在多元线性关系，因变量y能够被x1,x2….x{k}完全地线性解释；2.不能被解释的部分则为纯粹的⽆法观测到的误差其它假设主要为：1.模型线性，设定正确；2.⽆多重共线性；3.⽆内⽣性；4.随机误差项具有条件零均值、同⽅差、以及⽆⾃相关；5.随机误差项正态分布具体见另⼀篇⽂章：回归模型的基本假设⼆、估计⽅法⽬标：估计出多元回归模型的参数注：下⽂皆为矩阵表述，X为⾃变量矩阵(n*k维)，y为因变量向量（n*1维）OLS（普通最⼩⼆乘估计）思想：多元回归模型的参数应当能够使得，因变量y的样本向量在由⾃变量X的样本所构成的线性空间G（x）的投影（即y’= xb）为向量y 在线性空间G(x)上的正交投影。
直⽩⼀点说，就是要使得(y-y’)’(y-y’)最⼩化，从⽽能够使y的预测值与y的真实值之间的差距最⼩。
使⽤凸优化⽅法，可以求得参数的估计值为：b = (x’x)^(-1)x’y最⼤似然估计既然已经在假设中假设了随机误差项的分布为正态分布，那么⾃变量y的分布也可以由线性模型推算出来（其分布的具体函数包括参数b在内）。
进⼀步的既然已经抽取到了y的样本，那么使得y的样本出现概率（联合概率密度）最⼤的参数即为所求最终结果与OLS估计的结果是⼀致的矩估计思想：通过寻找总体矩条件(模型设定时已经有的假设，即⽆内⽣性)，在总体矩条件中有参数的存在，然后⽤样本矩形条件来进⾏推导未知参数的解。
在多元回归中有外⽣性假设：对应的样本矩为：最终估计结果与OLS⽅法也是⼀样的。
三、模型检验1.拟合优度检验（1）因变量y是随机变量，⽽估计出来的y’却不是随机变量；（2）拟合优度表⽰的是模型的估计值y’能够在多⼤程度上解释因变量样本y的变动。
（3）y’的变动解释y的变动能⼒越强，则说明模型拟合的越好y-y’就越接近与假设的随机误差（4）⽽因变量的变动是由其⽅差来描述的。
多元回归分析——估计
使用多元回归的动因
先用两个例子来说明，如何用多元回归分析来 解决简单回归所不能解决的问题。 wage =β 0+β 1educ+β 2exper+u ……(3.1) 其中exper是在劳动市场上以年计的工作经 历。 则工资wage由受教育水平和工作经历这两个解 释变量或自变量及那些观测不到的其他因素来 决定。我们首要感兴趣的，是在保持所有其他 影响工资的因素不变情况下，educ对wage的影 响；即我们只对参数β 1感兴趣。
ˆ ˆ x ˆ x )0 ( y i 0 1 i1 k ik
i 1 n
n
ˆ ˆ x ˆ x )0 x ( y i1 i 0 1 i1 k ik
i 1 n
ˆ ˆ x ˆ x )0 x ( y i 2 i 0 1 i1 k ik
第二个例子
问题：解释在高中阶段对每个学生的平均开支 (expend)对平均标准化考试成绩(avgscore)的影响。 假设平均考试成绩取决于学校基金、平均家庭 收入(avginc)及其他不可观测因素：
avgscore=β 0+β 1expend+β 2avginc+u ………… (3.2) 出于政策目的，所关心的系数是expend在其他条件 不变情况下对avgscore的影响β 1。通过在模型中明 确包括avginc，我们就能控制其对avgscore的影响。 由于平均家庭收入与每个学生的开支趋于相关，所 以加入这个变量可能很重要。简单回归中，avginc 被包括在误差项中，而avginc与expend可能相关，从 而导致在两变量模型中对β1的OLS估计有偏误。
机械地看，用普通最小二乘法去估计方 程(3.1)和(3.4) ，应该没有什么差别。每个 方程都可以写成像(3.3)那样的方程。但重 要的差别在于，人们对参数的解释。
多元线性回归模型的参数估计
在最小二乘法基础上，对不同的观测值赋予不同的权重，以调整其 对回归参数估计的影响。
广义最小二乘法（GLS）
考虑自变量之间的相关性，通过转换自变量和因变量来消除自变量 之间的多重共线性影响。
03
参数估计的方法
普通最小二乘法
最小二乘法是一种常用的参数估计方法，通过最小化误差 平方和来估计参数。在多元线性回归模型中，普通最小二 乘法通过求解线性方程组来得到参数的估计值。
模型选择
选择多元线性回归模型作 为预测模型，以商品价格 和用户评价作为自变量， 销量作为因变量。
参数估计
使用最小二乘法进行参数 估计，通过最小化误差平 方和来求解回归系数。
模型检验
对模型进行假设检验，确 保满足线性回归的前提假 设。
结果解释与模型评估
结果解释
根据回归系数的大小和符号，解释各自变量对因变量 的影响程度和方向。
05
参数估计的实例分析
数据来源与预处理
数据来源
数据来源于某大型电商平台的销售数据，包括商 品价格、销量、用户评价等。
数据清洗
对原始数据进行清洗，去除异常值、缺失值和重 复值，确保数据质量。
数据转换
对连续变量进行离散化处理，对分类变量进行独 热编码，以便进行回归分析。
模型建立与参数估计
01
02
03
THANKS
感谢观看
04
参数估计的步骤
确定模型形式
确定自变量和因变
量
首先需要确定回归模型中的自变 量和因变量，通常因变量是研究 的响应变量，自变量是对响应变 量有影响的预测变量。
确定模型的形式
根据自变量和因变量的关系，选 择合适的回归模型形式，如线性 回归、多项式回归等。
第三章多元线性回归模型的参数估计2-PPT精品文档
Y X X X i 0 1 1 i 2 2 i k ki i i=1,2…,n
其中:k为解释变量的数目，j称为回归参数 （regression coefficient）。
习惯上：把常数项看成为一虚变量的系 数，该虚变量的样本观测值始终取1。于是： 模型中解释变量的数目为（k+1）
n1
用来估计总体回归函数的样本回归函数为：
ˆ ˆ ˆ ˆ X X X e 其随机表示式: Y
ˆ ˆ ˆ ˆ ˆ Y X X X i 0 1 1 i 2 2 i ki ki
i 0 1 1 i 2 2 i ki ki i
如果样本函数的参数估计值已经得到，则有：
ˆ ˆ ˆ ˆ ˆ Y X X X i 0 1 1 i 2 2 i ki Ki
表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变
量保持不变的情况下，X j每变化1个单位时，Y的 均值E(Y)的变化; 或者说j给出了X j的单位变化对Y均值的 “直接”或“净”（不含其他变量）影响。
总体回归模型n个随机方程的矩阵表达式为: 其中
Y X β μ
假设3，E(X’
i E(i ) X1i i X1i E(i ) )=0，即 E 0 X X E( ) Ki i Ki i
假设4，向量 有一多维正态分布，即
1 X11 1 X 12 X 1 X1n
β 1 2 k
0
X21 Xk1 X22 Xk2 X2n Xkn n(k1)
多元线性回归分析的参数估计方法
多元线性回归分析的参数估计方法多元线性回归是一种常用的数据分析方法，用于探究自变量与因变量之间的关系。
在多元线性回归中，参数估计方法有多种，包括最小二乘估计、最大似然估计和贝叶斯估计等。
本文将重点讨论多元线性回归中的参数估计方法。
在多元线性回归中，最常用的参数估计方法是最小二乘估计（Ordinary Least Squares,OLS）。
最小二乘估计是一种求解最优参数的方法，通过最小化残差平方和来估计参数的取值。
具体而言，对于给定的自变量和因变量数据，最小二乘估计方法试图找到一组参数，使得预测值与观测值之间的残差平方和最小。
这样的估计方法具有几何和统计意义，可以用来描述变量之间的线性关系。
最小二乘估计方法有一系列优良的性质，比如无偏性、一致性和有效性。
其中，无偏性是指估计值的期望等于真实参数的值，即估计值不会出现系统性的偏差。
一致性是指当样本容量趋近无穷时，估计值趋近于真实参数的值。
有效性是指最小二乘估计具有最小的方差，即估计值的波动最小。
这些性质使得最小二乘估计成为了多元线性回归中最常用的参数估计方法。
然而，最小二乘估计方法在面对一些特殊情况时可能会出现问题。
比如，当自变量之间存在多重共线性时，最小二乘估计的解不存在或不唯一。
多重共线性是指自变量之间存在较高的相关性，导致在估计回归系数时出现不稳定或不准确的情况。
为了解决多重共线性问题，可以采用一些技术手段，如主成分回归和岭回归等。
另外一个常用的参数估计方法是最大似然估计（Maximum Likelihood Estimation,MLE）。
最大似然估计方法试图找到一组参数，使得给定样本观测值的条件下，观测到这些值的概率最大。
具体而言，最大似然估计方法通过构建似然函数，并对似然函数求导，找到能够最大化似然函数的参数取值。
最大似然估计方法在一定条件下具有良好的性质，比如一致性和渐近正态分布。
但是，在实际应用中，最大似然估计方法可能存在计算复杂度高、估计值不唯一等问题。
第三章多元线性回归模型的参数估计
Q 0 Q 0 Q 0 Q 0
其 中
ˆ )2 Q e (Yi Y i
i 1 2 i i 1
n
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
i 1
n
2
• 于是得到关于待估参数估计值的正规方程组：
由各解释变量的离差为元素组成的nk阶矩阵
x11 x x 1n x k1 x kn
假设6，回归模型的设定是正确的。
§3.2 多元线性回归模型的估计
一、普通最小二乘估计
*二、最大或然估计
*三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例
Yi 0 1 X 1i 2 X 2 i k X ki i
也被称为总体回归函数的随机表达形式。它 的 非随机表达式为:
E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki
e
即为变量Y的或然函数 • 对数或然函数 为 L* Ln( L)
1 ˆ ) (Y Xβ ˆ) nLn ( 2 ) 2 (Y Xβ 2
对对数或然函数求极大值，也就是对
ˆ ) ( Y Xβ ˆ) (Y Xβ
求极小值。
• 因此，参数的最大或然估计为
ˆ ( X X) 1 X Y β
1 Y1 X 1n Y2 Y X kn n
即
ˆ X Y (X X) β
由于X’X满秩，故有 1 ˆ β ( X X) X Y
• 将上述过程用矩阵表示如下：
即求解方程组：
第3章多元回归分析：估计
ˆ ˆ x ˆ x ... ˆ x )2 0 min xi1 ( yi 0 1 i1 2 i2 k ik
i 1
...... ˆ ˆ x ˆ x ... ˆ x )2 0 min xik ( yi 0 1 i1 2 i2 k ik
例3.2：小时工资方程
• 我们在log(wage)的方程中包括educ(教育 水平)，exper（工作经历）， 和tenure(任现职的任期)，估计的方程：
log （wage） 0.284 0.092educ 0.0041exp er 0.022tenure
系数0.092意味着，在保持tenure和exper不 变的情况下，多受一年教育者的log(wage) 提高0.092即9.2%。
ˆ 1 可以表示为：
n n ˆ ˆi1 yi ) / i 1 r ˆi12 1 ( i 1 r
ˆi1 ？ • r
对多元回归“排除其他变量 影响”的解释
• 首先， 将第一个自变量x1对第二个自变量x2 ˆ0 ˆ1x ˆ1 ˆ 进行回归，得到样本回归函数 x ， 2 ˆi1 xi1 x ˆi1 。 ˆi1 ，得到残差 r • 根据xi和拟合值 x 残差表示剔除了x2的影响之后，x1的其他部 分。它与x2不相关,样本均值为0。
OLS的拟合值和残差
• 直接从单变量模型推广，可得OLS拟合值 和残差的某些重要性质。 1. 残差的样本平均值为零 2. 每个自变量和OLS残差之间的样本协方 差为零，于是OLS拟合值和OLS残差之间 的样本协方差也为零 3. 点 ( x1 , x2 ..., xk , y ) 总位于样本OLS 回归线上。
ˆ 1 。 • 然后，将y对 r1 进行简单回归得到 ˆ • 1 衡量的是，剔除了其他自变量的影响之 后，x1对于y的净影响。
第三讲 多元回归分析：估计
27
例子3.1：大学生GPA的决定因素
计量经济学导论
28
例子3.2：小时工资方程
计量经济学导论
29
在多元回归中保持其他因素不变的含义
多元回归分析的作用是，提供了一个“在其他 因素保持不变”下的解释，尽管我们的数据并 非以这种方式搜集。
计量经济学导论
30
同时改变两种以上因素时参数的含义
计量经济学导论
t 2 (n k ) 2.056， 这说明在显著性水平
0.05下，分
别都应当拒绝 H0 : b j 0 ( j 1, 2,3, 4)
说明当在其它解释变量不变的情况下，解释变量“国内生
产总值” 、“财政支出” 、“商品零售价格指数” 分
别对被解释变量“税收收入”Y都有显著的影响。
3.1多重共线性的检验
● 简单相关系数检验法 ● 方差扩大（膨胀）因子法 ● 直观判断法 ● 逐步回归法
10
简单相关系数检验法
含义：简单相关系数检验法是利用解释变量之间的线 性相关程度去判断是否存在严重多重共线性的一种 简便方法。 判断规则：一般而言，如果每两个解释变量的简单相
关系数(零阶相关系数)比较高，例如大于0.8，则可
249529.9
40422.73
49781.35
101
103.8
序列Y、X2、X3、X4的线性图
可以看出Y、X2、X3都是逐年增
长的，但增长速率有所变动，而
且X4在多数年份呈现出水平波动。 说明变量间不一定是线性关系， 可探索将模型设定为以下对数模 型：
ln Yt b1 b2 ln X 2t b2 ln X 3t b3 X 4t ut
多元回归分析：估计
更多关于R2
考虑从一个解释变量开始，然后加入第二个。 OLS性质：最小化残差平方和。 如果OLS恰好使第二个解释变量系数取零，那
么不管回归是否加入此解释变量，SSR相同。 如果OLS使此解释变量取任何非零系数，那么
加入此变量之后，SSR降低了。 实际操作中，被估计系数精确取零是极其罕见
的，所以，当加入一个新解释变量后，一般来 说，SSR会降低。
那么所有系数的OLS估计量都有偏。
4
更一般的情形
假设总体模型
• 满足假定MLR.1~MLR.4。但我们遗漏了 变量x3，并估计了模型
• 假设X2和X3无关， X1和X3相关。 • 是β1的一个有偏估计量，但 是否有偏
？
更一般的情形
此时，我们通常假设X1和X2无关。
当X1和X2无关时，可以证明：
差项u的条件方差都是一样的。
▪ 如果这个假定不成立，我们说模型存在异方
差性。
OLS估计量的方差（续）
用x表示(x1, x2,…xk)
假定Var(u|x) = s2，也就意味着Var(y| x) = s2
假定MLR.1-5共同被称为高斯－马尔可夫假定 (Gauss-Markov assumptions)
效应） OLS的性质 什么时候简单回归和多元回归的估计值
相同 OLS的无偏性
多元回归分析：估计（2） Multiple Regression Analysis: Estimation
(2)
y = b0 + b1x1 + b2x2 + . . . bkxk + u
1
本章大纲
使用多元回归的动因 普通最小二乘法的操作和解释 OLS估计量的期望值 OLS估计量的方差 OLS的有效性：高斯－马尔科夫定理
多元回归分析
多元回归分析在经济学、社会学、心理学、医学等领域的实证研究中，多元回归分析是一种重要的统计方法。
它能够帮助研究者建立模型，估计各个变量的影响力，并对研究问题作出预测。
本文将介绍多元回归分析的概念、基本假设、模型建立、参数估计、模型诊断和解释结果等方面。
一、概念多元回归分析是一种用来研究因变量与多个自变量之间关系的统计方法。
在多元回归分析中，我们以因变量为被解释变量，以自变量为解释变量，建立一个多元线性回归模型，然后用样本数据估计各个系数，进而对总体进行推断。
通常，我们所研究的因变量与自变量之间是存在着某种联系的。
这种联系可以是线性关系，也可以是非线性关系。
我们可以通过多元回归模型来表达和解释完整的联系。
二、基本假设在进行多元回归分析时，我们需要基于以下三个基本假设：1.线性假设：多元回归模型中，因变量与自变量之间的关系是线性的。
2.独立假设：所有观测量之间都是相互独立的。
3.常态假设：模型的误差项服从正态分布。
三、模型建立建立一个多元回归模型通常有以下几个步骤：1.选择自变量：确定那些自变量对目标变量具有影响。
2.确定函数形式：使用线性函数或者非线性函数建立多元回归模型。
3.估计参数：使用样本数据来估计函数中的系数。
4.模型检验：验证模型是否可以拟合样本数据以及是否可以推广到总体。
五、参数估计在确定自变量和函数形式之后，我们需要使用已有数据来估计模型中的系数。
在多元线性回归中，一般采用最小二乘法对模型中的系数进行估计。
最小二乘法会尝试选择一组系数，使得用这组系数确定的模型与观测值之间的残差平方和最小。
残差平方和表示由于模型和观测值之间的差异而产生的差异的度量。
六、模型诊断模型的诊断是一个非常重要的步骤，用于检查多元回归模型的各种假设是否得到满足。
模型诊断的两个步骤：1.检查多元回归模型的基本假设是否得到满足。
这包括线性假设、独立假设和常态假设。
2.分析模型的残差以检查模型是否存在某种偏差。
如果存在偏差，可能会导致模型不准确，预测不可信。
多元线性回归模型：估计
xi1 x1 xi2 xi1 x1 2
so E b~1 b1 b2~1
19
Summary of Direction of Bias
Corr(x1, x2) > 0 Corr(x1, x2) < 0 b2 > 0 Positive bias Negative bias b2 < 0 Negative bias Positive bias
8
Simple vs Multiple Reg Estimate
Compare thesimple regression ~y b~0 b~1x1 with themultiple regression yˆ bˆ0 bˆ1x1 bˆ2x2 Generally, b~1 bˆ1 unless : bˆ2 0 (i.e. no partial effectof x2 ) OR
5
Interpreting Multiple Regression
yˆ bˆ0 bˆ1x1 bˆ2 x2 ... bˆk xk , so yˆ bˆ1x1 bˆ2 x2 ... bˆk xk ,
so holding x2,...,xk fixed implies that
10
Goodness-of-Fit (continued)
How do we think about how well our sample regression line fits our sample data?
Can compute the fraction of the total sum of squares (SST) that is explained by the model, call this the R-squared of regression
第三章多元回归估计
• • • • • • • • • 模型 与简单回归的相似点 多元回归的意义 多元回归的最小二乘法 拟合度 多重共线性 多元回归的代数性质 遗漏变量 多元回归的统计性质
多元回归分析模型
• y = β0 + β1x1 + β2x2 + . . . +βkxk + u
yi = β0 + β1xi1 + β2xi2 +L+ βk xik + μi ⎛ y1 ⎞ ⎛1 x11 L x1k ⎞ ⎛ β0 ⎞ ⎛ μ1 ⎞ ⎜ M ⎟, x = ⎜M M ⎟, β = ⎜ M ⎟ , μ = ⎜ M ⎟ y= M ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ y ⎟ ⎜1 x L x ⎟ ⎜β ⎟ ⎜μ ⎟ nk ⎠ ⎝ n ⎠ ⎝ n1 ⎝ k⎠ ⎝ n⎠ y = xβ + μ
多元回归的统计性质
• 定理1证明（继续）
E[ β ] = E[ β + ( x ' x ) −1 x ' μ ] = β + E[( x ' x ) x ' μ ]
−1
= β + ( x ' x ) x ' E[ μ ]
−1
=β
多元回归的统计性质
• 如果x是随机的
β = β + ( x ' x ) −1 x ' μ
∑( x − x )( β + β x + β x + u ) = β ∑( x − x ) + β ∑( x − x )x + ∑( x
i1 1 0 1 i1 2 i2 i 2 1 i1 1 2 i1 1 i2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
“税收收入”）作为被解释变量；选择国内生产总值（GDP）
作为经济整体增长水平的代表；选择中央和地方“财政支出” 作为公共财政需求的代表；选择“商品零售价格指数”作为物 价水平的代表。
2
年份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992
经验规则
●方差膨胀因子越大，表明解释变量之间的多重共性
越严重。反过来，方差膨胀因子越接近于1，多重 共线性越弱。
●经验表明，方差膨胀因子≥10(R—平方大于等于
0.9)时，说明解释变量与其余解释变量之间有严重 的多重共线性，且这种多重共线性可能会过度地影 响最小二乘估计。
14
直观判断法
1.有些解释变量的回归系数所带正负号与定性 分析结果违背时，很可能存在多重共线性。或
27
例子3.1：大学生GPA的决定因素
计量经济学导论
28
例子3.2：小时工资方程
计量经济学导论
29
在多元回归中保持其他因素不变的含义
多元回归分析的作用是，提供了一个“在其他 因素保持不变”下的解释，尽管我们的数据并 非以这种方式搜集。
计量经济学导论
30
同时改变两种以上因素时参数的含义
计量经济学导论
i i
ˆi u ˆi 0. 0; y
计量经济学导论
33
多元回归参数估计值表达式
ˆ 具有如下的表达式： 在二元回归中，b 1 ˆ= ˆy r ˆ 2 b r
1
i1
i
i1
ˆi1是xi1中与xi 2无关的部分，或者说是 其中，r xi 2的效应被排除(partialled out)之后的xi1。 ˆ 衡量了排除了x 的影响后x 与y的关系。 因此，b
8
本章STATA命令语句
Gen lny=log(y) Gen lnx1=log(x1) Gen lnx2=log(x2) reg lny lnx1 lnx2 x3
Vif(方差膨胀因子) pwcorr x1 x2 x3 x4 x5 stepwise, pe(0.05): regress Y X1 X2 X3 X4 X5 (增加解释变量的显著性) stepwise, pr(0.05): regress Y X1 X2 X3 X4 X5 （删除解释变量的显著性）
3.1多重共线性的检验
● 简单相关系数检验法 ● 方差扩大（膨胀）因子法 ● 直观判断法 ● 逐步回归法
10
简单相关系数检验法
含义：简单相关系数检验法是利用解释变量之间的线 性相关程度去判断是否存在严重多重共线性的一种 简便方法。 判断规则：一般而言，如果每两个解释变量的简单相
关系数(零阶相关系数)比较高，例如大于0.8，则可
17
3.2 使用多元回归的动因
含有两个自变量的模型
计量经济学 2 x2 u
3.3
b 0为截距； b1衡量了当其他因素不变时，x1对y的影响； b 2 衡量了当其他因素不变时，x2 对y的影响；
cons b 0 b1inc b 2inc 2 u
3
1993 1994
4255.30 5126.88
34634.4 46759.4
4642.30 5792.62
113.2 121.7
1995
1996 1997 1998
6038.04
6909.82 8234.04 9262.80
58478.1
67884.6 74462.6 78345.2
6823.72
多元回归分析：估计
y = b0 + b1x1 + b2x2 + . . . bkxk + u
计量经济学导论
1
引例
研究的目的要求
为了研究影响中国税收收入增长的主要原因，分析中央和地方
税收收入增长的数量规律预测中国税收未来的增长趋势， 需要建立计量经济模型。
研究范围：1978年-2007年全国税收收入 理论分析：为了全面反映中国税收增长的全貌，选择包括
t 2 (n k ) 2.056， 这说明在显著性水平
0.05下，分
别都应当拒绝 H0 : b j 0 ( j 1, 2,3, 4)
说明当在其它解释变量不变的情况下，解释变量“国内生
产总值” 、“财政支出” 、“商品零售价格指数” 分
别对被解释变量“税收收入”Y都有显著的影响。
249529.9
40422.73
49781.35
101
103.8
序列Y、X2、X3、X4的线性图
可以看出Y、X2、X3都是逐年增
长的，但增长速率有所变动，而
且X4在多数年份呈现出水平波动。 说明变量间不一定是线性关系， 可探索将模型设定为以下对数模 型：
ln Yt b1 b2 ln X 2t b2 ln X 3t b3 X 4t ut
7
t 检验
分别针对 H0 : b j 0
0.05, ( j 1, 2,3, 4) ，给定显著性水平
查t分布表得自由度为n-k=26的临界值 t 2 (n k ) 2.056 。 ˆ b ˆ ˆ b b b 由回归结果已知与 、2 、ˆ 对应的 t值分别为：
1 3 4
-4.4538、3.0420、4.2788、2.0856，其绝对值均大于
1 ˆ Var( β j ) = = _ 2 2 1- R j (x j x) σ2 σ2
2 (x x ) j _
VIFj
其中的 VIFj 是变量 X j 的方差扩大因子
其中 R2 是多个解释变量辅助回归的可决系数 j
13
1 (Variance Inflation Factor)，即 VIFj = 2 1R j
16
逐步回归检测法
逐步回归的基本思想
将变量逐个的引入模型，每引入一个解释变量后，都要进 行Ｆ检验，并对已经选入的解释变量逐个进行t 检验，当 原来引入的解释变量由于后面解释变量的引入而变得不再 显著时，则将其剔除。以确保每次引入新的变量之前回归 方程中只包含显著的变量。 在逐步回归中，高度相关的解释变量，在引入时会被剔除 。因而也是一种检测多重共线性的有效方法。
3.4
如何解释上述方程中的参数？保持其他因 素不变的效应在上述方程中是否存在？
计量经济学导论
19
cons
y b1 2b 2 x x
consmax
inc
计量经济学导论
20
关键的假设是方程3.5中u与x1和x2的关系。
E u x1 , x2 0
3.5
计量经济学导论
21
有K个自变量的模型
31
OLS拟合值与残差项
Normally,
yi yi
计量经济学导论
32
OLS拟合值及残差有与单变量回归同样的重要性质： ˆi 0; 1.样本残差均值为零: u 2.每个自变量与OLS残差之样本协方差均为零， OLS拟合值与残差之样本协方差也为零： 3.样本均值点 x1 , x2 ,, xk , y 总是在OLS样本回归线上： ˆ b ˆ x b ˆ x b ˆx yb o 1 1 2 2 k k ˆ xu
者总体解释较高但是存在一个或多个很不显著
的解释变量。
2.当增加或剔除一个解释变量，或者改变一个
观测值时，回归参数的估计值发生较大变化，
回归方程可能存在严重的多重共线性。
15
3. 解释变量的相关矩阵中，自变量之间的相关系 数较大时，可能会存在多重共线性问题(两个自 变量间的共线性）。 4.对于多个自变量间存在共线性时，如果一些重 要的解释变量的回归系数的标准误差较大，并 且在回归方程中没有通过显著性检验时，可初 步判断可能存在严重的多重共线性。
R 2 0.9873
R 2 0.9858 F=673.7521 n=30
6
模型检验：
1、经济意义检验： 模型估计结果说明，在假定其它变量不变的情况下，当年 GDP每增长1%，税收收入会增长0.4123%；当年财政支出 每增长1%，平均说来税收收入会增长0.6664%；当年商品零 售价格指数上涨一个百分点，平均说来税收收入会增长 1.15%。这与理论分析和经验判断相一致。 2、统计检验： 拟合优度： R 2 0.9873， R 2 0.9858 表明样本回归方程较好 地拟合了样本观测值。 0 =673.7521,给定 F检验：对 H0 : b2 b 已得到 3 b4 F 0.05 查表得自由度k-1=3和n-k=26的临界值： ， 因为 F (3, 26) 2.98 F=673.7521> F (3, 26) 2.98 ，说明模型总体上显著，即 “国内生产总值”、“财政支出”、“商品零售价格指数” 等变量联合起来确实对“税收收入”有显著影响。
认为存在着较严重的多重共线性。
11
注意：
较高的简单相关系数只是多重共线性存在的充分条件 ，而不是必要条件。特别是在多于两个解释变量的
回归模型中，有时较低的简单相关系数也可能存在
多重共线性。因此并不能简单地依据相关系数进行 多重共线性的准确判断。
12
方差扩大（膨胀）因子法
ˆ 统计上可以证明，解释变量 X j 的参数估计式 β j 的方差可表示为
7937.55 9233.56 10798.18
114.8
106.1 100.8 97.4
1999
2000 2001
10682.58
12581.51 15301.38
82067.5
89468.1 97314.8