第六章多元回归解析
第六章_多元回归分析的矩阵运算
第六章_多元回归分析的矩阵运算多元回归分析是统计学中重要的分析方法之一，用于研究多个自变量对一个因变量的影响关系。
在进行多元回归分析时，矩阵运算是一个重要的工具，可以帮助我们简化计算过程，提高效率。
本文将介绍多元回归分析中的矩阵运算。
多元回归模型可以表示为：Y=Xβ+ε其中，Y是因变量的观测值向量，X是自变量的观测值矩阵，β是自变量的系数向量，ε是误差项的观测值向量。
我们将自变量的观测值矩阵X进行标准化处理，使得X的每一列均值为0，标准差为1，即mean(X) = 0，std(X) = 1、这样做的目的是消除自变量之间的量纲差异，方便进行比较。
在进行多元回归分析时，我们需要使用最小二乘法来估计模型的参数β。
最小二乘法的估计公式为：β=(X'X)^(-1)X'Y其中，X'表示X的转置，^(-1)表示矩阵的逆运算。
矩阵的转置运算可以通过将矩阵的行转换为列，列转换为行来实现。
例如，矩阵X的转置X'的第i行第j列元素等于X的第j行第i列元素，可表示为X'ij = Xji。
矩阵的逆运算表示将矩阵转换为与其相乘后得到单位矩阵的矩阵。
例如，矩阵A的逆矩阵A^(-1)满足A^(-1)*A=I，其中I为单位矩阵。
在进行最小二乘法估计时，我们需要计算矩阵X'X的逆矩阵。
若X'X为可逆矩阵，则矩阵X'X的逆矩阵可以写为(X'X)^(-1) = 1/，X'X， *adj(X'X)，其中，X'X，表示矩阵X'X的行列式，adj(X'X)为X'X的伴随矩阵。
矩阵的行列式表示矩阵的性质，可以通过计算矩阵的特征值（即矩阵的特征多项式的根）来得到。
例如，矩阵A的行列式，A，可以通过计算A的特征值λ1，λ2，…，λn的乘积来得到，即，A，=λ1*λ2*…*λn。
矩阵的伴随矩阵可以通过矩阵的代数余子式来计算。
矩阵A的第i行第j列元素的代数余子式Aij表示在A中去掉第i行第j列后，剩余矩阵的行列式。
武汉大学计量经济学多元回归分析：其他问题
但是，experience在第二年就没有那么有价值了，从1年增加到2年时，
工资均值增加值约为0.286美元，等等。在这个例子中，存在一个转折点，
在此之前，x对y有正的影响；超过此转折点之后，x对y有负的影响。
在实际应用中，重要的是要找到这个转折点。
wage
7.37
3.73
24.4
exper
二、对函数形式的进一步讨论
ˆ1
（x1i x1)(yi y) (x2i x2)2 (x2i x2)(yi y) （x1i x1)(x2i x2) (x1i x1)2 (x2i x2)2 （x1i x1)(x2i x2)2
一、数据测度单位对OLS统计量的影响
ˆ j ,
j 1, 2,..., k
一、数据测度单位对OLS统计量的影响
β系数：定义及其意义
我们把bˆj称为标准化系数或系数（注意，这与前面所说的系数涵义不同），
涵义是，如果xij改变一单位标准离差，则yi改变bˆj单位标准离差。 （1）我们不是以xj或y的原有单位，而是以各自的标准离差为单位，来度量其变异及影响。 （2）标准化之后，回归元（解释变量）的单位无关紧要，因此，回归方程把所有解释变量
wage 3.73 0.298exp er 0.0061exp er2
(0.35) (0.041)
(0.0009)
这里的exp er对工资的影响递减：wage 0.298 2 * 0.0061* exp er
如果experience从0年增加到1年，工资均值增加0.298美元（0.298 2 * 0.0061* 0）；
既然主要是为了简洁好看，我们希望不改变本质的东西。 改变度量单位对OLS估计量（第二章） ：
第六章 多元回归分析
2
可决系数
ESS RSS R 1 TSS TSS
2
该统计量越接近于1，模型的拟合优度越高。
调整的可决系数（adjusted coefficient of determination） 在样本容量一定的情况下，增加解释变量必定使 得自由度减少，所以调整的思路是:将残差平方和 与总离差平方和分别除以各自的自由度，以剔除 变量个数对拟合优度的影响:
[ RSS ( RSS1 RSS2 )] / k F ~ Fk ,n1 n2 2 k ( RSS1 RSS2 ) /(n1 n2 2k )
例6-1：在一个F3，60分布中5%的临界值和拒绝域
面积＝0.95
面积＝0.05
0 2.76 拒绝区域
例6-2：考虑如下解释主要俱乐部棒球运动员薪水的模型：
6.2 参数的最小二乘估计
拟合值和残差的重要性质
（1）残差的样本均值为0； （2）每个自变量和OLS残差之间的样本协方差为0；拟合
值与残差之间的样本协方差也为0；
（3）点( X 2 , X 3 ,
, X k , Y ) 总位于OLS回归线上；
ˆ ˆ X ˆX Y 1 2 2 3 3
（i=2，3…k）
注意：一元线性回归中，t检验与F检验一致
一方面，t检验与F检验都是对相同的原假设H0： 2=0 进行检验;
另一方面，两个统计量之间有如下关系：
F
e
2 ˆ y i 2 i
n2 ˆ 2
e
ˆ 2 x2 2 i
2 i2) xi2
ˆX k k
随机误差项的均值为0，方差的估计量为：
ee ˆ nk
2
6.3 最小二乘估计量的性质
第六章相关与回归分析
• 总体相关系数ρ——根据总体数据计算的，
• 样本相关系数 r ——根据样本数据计算的。
6 - 12
统
计
相关关系的计算பைடு நூலகம்式
学
rSxy
(xx)y (y)
SxSy
(xx)2 (yy)2
或化简为
r
nx yxy
nx2x2 ny2y2
6 - 13
统
计
相关系数取值及其意义
相关图——也称为散点图。一对数据对应坐标图 上一个点，将成对的观察数据表现为坐标图 的散点而形成的图。
编制相关表、图的意义——有助于分析者判断 相关的有无、方向、形态、密切程度。
6 - 10
统
计
相关关系的图示
学
完全正线性相关
正线性相关
完全负线性相关
负线性相关
非线性相关
不相关
2. 一元线性（总体）回归方程的形式如下：
3.
E( y ) = α + b x
▪ 方程的图示是一条直线，因此也称为直线回归方程
▪ α 是回归直线在 y 轴上的截距，是当 x=0 时 y 的期 望值，是回归直线是起始值；
▪ b 是直线的斜率，表示当 x 每变动一个单位时，y
的平均变动值。
6 - 22
统
6 - 11
统
计 学
（二）相关系数和判定系数
1. 都是对变量之间关系密切程度的度量； 2. 判定系数=相关系数的平方； 3. 不同类型的相关,相关系数的计算方法也不同.
对两个变量之间线性相关程度的度量称为简单相 关系数（也称直线相关系数）,常简称相关系数.
此外还有复相关系数、非线性相关系数、偏相关系 数
第六章-相关与回归
间相关程度的比较。
（2）1≤r≤1，0≤|r|≤1。 |r|越接近于1，说明两变量的相关程度越强； |r|越接近于0，两变量的相关程度越差。
（3）r=0表示x与y无相关， r＜0表示负相关， r＞0表示正相关， |r|=1为完全相关。
二、样本相关系数的计算
（x1，y1），（x2，y2），…，（xn，yn）。
前面已经指出，要研究两种变量间的关系，最简单的方 法是把一系列观测数据在坐标中用散点图表示，如果散点 大致分布在一条直线附件，就可以判断两者为直线回归关 系。这种关系可用直线回归方程表示。则总体直线回归方 程为：
yi xi i （i=1，2，…，n） i服 N 0 从 ，2，且相互独
相关变量间的关系一般分为两种: 一种是平行关系，是研究变量间关系的强弱程度，此
时我们不关心在它们之间是谁影响了谁，谁是因，谁是果， 变量间的地位是平等的。如黄牛的体长和胸围之间的关系， 猪的背膘厚度和眼肌面积之间的关系等都属于平行关系。
另一种是因果关系，即一个变量的变化受另一个或几 个变量的影响。如仔猪的生长速度受遗传特性、营养水平、 饲养管理条件等因素的影响，子代的体高受亲本体高的影 响。
N 1N 1 (XX X)Y ( Y Y)
(XX)Y (Y) (XX)2 (YY)2
r SP xy
xy(x)n(y)
SSxSSy
x2(nx)2y2(ny)2
其中：
SPxy— 变量x和变量y的离均差乘积和简称乘积和 SSx — 变量x 的离均差平方和 SSy — 变量y 的离均差平方和
相关系数r 的特点:
变量。
例如，进行药物疗效试验 时，应用不同的剂量 （x），分析疗效（y）如 何受到药物剂量的影响及 其变化规律。这里规定的
6.1第六章回归分析
变量之间的联系
确定型的关系：指某一个或某几个现象的变动必然会 引起另一个现象确定的变动，他们之间的关系可以使 用数学函数式确切地表达出来，即y=f(x)。当知道x的 数值时，就可以计算出确切的y值来。如圆的周长与 半径的关系：周长=2πr。 非确定关系：例如，在发育阶段，随年龄的增长，人 的身高会增加。但不能根据年龄找到确定的身高，即 不能得出11岁儿童身高一定就是1米40公分。年龄与 身高的关系不能用一般的函数关系来表达。研究变量 之间既存在又不确定的相互关系及其密切程度的分析 称为相关分析。
（3）方差齐性检验
方差齐性是指残差的分布是常数，与预测变量或 因变量无关。即残差应随机的分布在一条穿过0点 的水平直线的两侧。在实际应用中，一般是绘制 因变量预测值与学生残差（或标准化残差）的散 点图。在线性回归Plots对话框中的源变量表中,选 择SRESID或ZRESID（学生氏残差或标准化残差） 做Y轴；选择ZPRED（标准化预测值）做X轴就 可以在执行后的输出信息中显示检验方差齐性的 散点图。
要认真检查数据的合理性。
2、选择自变量和因变量
3、选择回归分析方法
Enter选项，强行进入 法，即所选择的自变量 全部进人回归模型，该
选项是默认方式。
Remove选项，消去法， 建立的回归方程时，根
据设定的条件剔除部分
自变量。
选择回归分析方法
Forward选项，向前选择 法，根据在option对话框中 所设定的判据，从无自变 量开始。在拟合过程中， 对被选择的自变量进行方 差分析，每次加入一个F值 最大的变量，直至所有符 合判据的变量都进入模型 为止。第一个引入归模型 的变量应该与因变量间相 关系数绝对值最大。
得到它们的均方。
6.2第六章 多元回归和相关、偏相关.
若依变数Y 同时受到m 个自变数X1、X2、…、Xm 的 影响，且这m 个自变数皆与Y 成线性关系，则这m+1 个变数的关系就形成m 元线性回归。
一个m元线性回归总体的线性模型为：
Y j 0 X 0 1 X 1 j 2 X 2 j m X mj j
Ry·12…m的存在区间为[0，1]。
(二) 多元相关系数的假设测验
令总体的多元相关系数为 ，则对多元相关系数的
假设测验为H0： 0 对HA： 0 ，
F 测验 ：
F
2R2 1(1 R 2 )
（10·16）
其中的
1 =m， 2
=n-(m+1)，R2为
t bi i
sbi
(10·11)
服从 n (m 1) 的 t 分布，可测验 bi 的显著性。
2. F 测验
U Pi
bi2 c(i 1)(i 1)
U Pi 就是y对xi的偏回归平方和， 1 。
F
U Pi Q y/12m /[n (m
1)]
c11 c12 c1M
R 1
(cij ) M M
c 2 1 cM 1
c 2 2 cM 2
c2M
c MM
令xi 和xj 的偏相关系数为rij·，解得 cij 后即有
rij·cij cii cjj
③评定各个自变数对依变数的相对重要性，以便研 究者抓住关键，能动地调控依变数的响应量。
第一节 多元回归
一、多元回归方程 二、多元回归的假设测验 三、最优多元线性回归方程的统计选择 四、自变数的相对重要性
多元回归分析
多元回归分析引言多元回归分析是一种统计方法，用于探究自变量对因变量的影响程度。
它通过建立一个数学模型，分析多个自变量与一个因变量之间的关系，以预测因变量的变化。
本文将介绍多元回归分析的基本原理、应用场景和步骤。
基本原理多元回归分析建立了一个包含多个自变量的线性回归方程，如下所示：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y为因变量，X1、X2、…、Xn为自变量，β0、β1、β2、…、βn为回归系数，ε为误差项。
回归系数表示自变量对因变量的影响程度。
多元回归分析可以通过最小二乘法估计回归系数，即找到使误差项平方和最小的系数值。
在得到回归系数后，可以通过对自变量的设定值，预测因变量的值。
应用场景多元回归分析广泛应用于各个领域，例如经济学、社会科学和工程学等。
以下是一些常见的应用场景：1.经济学：多元回归分析可以用于预测经济指标，如国内生产总值（GDP）和通货膨胀率。
通过分析多个自变量，可以了解各个因素对经济发展的影响程度。
2.社会科学：多元回归分析可以用于研究社会现象，如教育水平和收入水平之间的关系。
通过分析多个自变量，可以找出对收入水平影响最大的因素。
3.工程学：多元回归分析可以用于预测产品质量，如汽车的油耗和引擎功率之间的关系。
通过分析多个自变量，可以找到影响产品质量的关键因素。
分析步骤进行多元回归分析时，以下是一般的步骤：1.收集数据：收集自变量和因变量的数据，并确保数据的可靠性和有效性。
2.数据预处理：对数据进行清洗和转换，以消除异常值和缺失值的影响。
3.变量选择：根据实际问题和领域知识，选择合适的自变量。
可以使用相关性分析、变量逐步回归等方法来确定自变量。
4.拟合模型：使用最小二乘法估计回归系数，建立多元回归模型。
5.模型评估：通过检验残差分布、解释变量的显著性和模型的拟合程度等指标，评估多元回归模型的质量。
6.预测分析：使用已建立的多元回归模型，对新的自变量进行预测，得到因变量的预测值。
多元回归分析原理及例子
多元回归分析原理及例子1.建立回归方程：多元回归分析的第一步是建立回归方程。
回归方程是一个数学模型，用于描述自变量与因变量之间的关系。
回归方程的形式可以是线性的或非线性的，取决于具体的问题和数据。
2.评估回归系数：回归方程中的回归系数表示自变量对因变量的影响程度。
通过估计回归系数，可以确定每个自变量对因变量的相对重要性。
通常使用最小二乘法来估计回归系数，使得回归方程的拟合值与观测值之间的残差最小化。
3.检验模型拟合度：在多元回归分析中，有几个统计指标可用于衡量回归模型的拟合度，如R方值、F统计量和调整的R方值等。
这些指标可以用来评估回归方程的拟合优度和统计显著性。
4.进行预测和推断：通过建立回归方程，可以进行因变量的预测和对自变量的影响进行推断。
预测可以基于已知的自变量值来进行，而推断可以通过比较不同自变量值的回归系数来得出。
下面将给出一个例子来说明多元回归分析的应用。
假设我们有一个数据集，其中包含汽车的价格（因变量）和汽车的尺寸、重量和马力（自变量）。
我们希望通过多元回归分析来了解这些自变量对汽车价格的影响。
首先，我们建立一个多元回归方程来描述汽车价格与尺寸、重量和马力之间的关系：价格=β0+β1*尺寸+β2*重量+β3*马力其中β0、β1、β2和β3分别是回归方程的截距和回归系数。
然后，我们使用最小二乘法来估计回归系数，并通过评估模型的拟合度来确定回归模型的质量。
例如，可以计算出R方值，它代表因变量的变异程度可以由自变量解释的比例。
较高的R方值表示更好的拟合度。
在完成模型拟合后，我们可以使用回归方程进行预测。
例如，如果我们知道一辆汽车的尺寸、重量和马力，我们可以使用回归方程来预测其价格。
此外，通过比较回归系数的大小，我们可以确定哪个自变量对汽车价格的影响最大。
总之，多元回归分析是一种强大的统计方法，可以帮助我们研究多个自变量对一个因变量的影响。
它可以应用于各种领域，如经济学、社会学、医学和工程等，以解释和预测变量之间的关系。
第六章 多元回归分析
预测对数模型中的 y（续）
• 如果u 不服从正态分布, E(exp(u)) 就必须 用辅助回归来进行估计 • 计算 ln(y)的预测值的指数函数, 然后用y 对 它做不含截距项的回归 • 回归结果中的系数就是E(exp(u)) 估计值， 可以用来乘以 ln(y) 的预测值的指数函数来 得到y 的预测值
重新定义变量
• • • • 表6.1、数据测度的影响 对参数估计的影响 对R2 、t检验、F检验的影响 各种不同的函数形式的影响
– – – – y = β0 + β1x1+ u y = β0 + β1 ln x1 +u lny = β0 + β1x1+ u lny = β0 + β1 ln x1+ u
T 1⎡ T s s 2 T a a 2 s a s a s s ⎤ = ⎢∑Yt −Y ) +∑Yt −Y ) +T(Y −Y ) +2(Y −Y )∑Yt −Y )⎥ ( ( ( T ⎣ t=1 t=1 t=1 ⎦
1⎡ s a T a a T s s a a ⎤ −2 ⎢(Y −Y )∑Yt −Y ) +∑Yt −Y )( t −Y )⎥ ( ( Y T⎣ t=1 t=1 ⎦ 1T s s2 1T a a2 s a 1T s s a a = ∑Yt −Y ) + ∑Yt −Y ) +(Y −Y ) −2 ∑Yt −Y )( t −Y ) ( ( ( Y T t=1 T t=1 T t=1 1T s s a a ∑(Yt −Y )(Yt −Y ) 1 T s s 2 1 T a a 2 T t=1 2 2 s a 2 =σs +σa +(Y −Y ) −2 ∑(Yt −Y ) ×T ∑(Yt −Y ) T T T t=1 t=1 1 s s 2 1 a a 2 (Yt −Y ) × ∑Yt −Y ) ( ∑ T t=1 T t=1 =σs2 +σa2 +(Y s −Y a )2 −2ρσσa =(σs −σa )2 +(Y s −Y a )2 +2(1−ρ)σsσa s
多元回归分析
多元回归分析在经济学、社会学、心理学、医学等领域的实证研究中，多元回归分析是一种重要的统计方法。
它能够帮助研究者建立模型，估计各个变量的影响力，并对研究问题作出预测。
本文将介绍多元回归分析的概念、基本假设、模型建立、参数估计、模型诊断和解释结果等方面。
一、概念多元回归分析是一种用来研究因变量与多个自变量之间关系的统计方法。
在多元回归分析中，我们以因变量为被解释变量，以自变量为解释变量，建立一个多元线性回归模型，然后用样本数据估计各个系数，进而对总体进行推断。
通常，我们所研究的因变量与自变量之间是存在着某种联系的。
这种联系可以是线性关系，也可以是非线性关系。
我们可以通过多元回归模型来表达和解释完整的联系。
二、基本假设在进行多元回归分析时，我们需要基于以下三个基本假设：1.线性假设：多元回归模型中，因变量与自变量之间的关系是线性的。
2.独立假设：所有观测量之间都是相互独立的。
3.常态假设：模型的误差项服从正态分布。
三、模型建立建立一个多元回归模型通常有以下几个步骤：1.选择自变量：确定那些自变量对目标变量具有影响。
2.确定函数形式：使用线性函数或者非线性函数建立多元回归模型。
3.估计参数：使用样本数据来估计函数中的系数。
4.模型检验：验证模型是否可以拟合样本数据以及是否可以推广到总体。
五、参数估计在确定自变量和函数形式之后，我们需要使用已有数据来估计模型中的系数。
在多元线性回归中，一般采用最小二乘法对模型中的系数进行估计。
最小二乘法会尝试选择一组系数，使得用这组系数确定的模型与观测值之间的残差平方和最小。
残差平方和表示由于模型和观测值之间的差异而产生的差异的度量。
六、模型诊断模型的诊断是一个非常重要的步骤，用于检查多元回归模型的各种假设是否得到满足。
模型诊断的两个步骤：1.检查多元回归模型的基本假设是否得到满足。
这包括线性假设、独立假设和常态假设。
2.分析模型的残差以检查模型是否存在某种偏差。
如果存在偏差，可能会导致模型不准确，预测不可信。
多元线性回归分析
多元线性回归分析多元线性回归分析是一种使用多个自变量来预测因变量的统计方法。
它可以帮助我们理解自变量对因变量的影响，并预测因变量的值。
在这篇文章中，我们将讨论多元线性回归的基本概念、假设和模型，以及如何进行参数估计、模型拟合和预测。
Y=β0+β1X1+β2X2+...+βnXn+ε在这个方程中，Y是因变量，X1、X2、..、Xn是自变量，β0、β1、β2、..、βn是回归系数，ε是误差项。
假设1.线性关系：自变量和因变量之间存在线性关系。
2.独立性：样本数据是独立采样的。
3.多重共线性：自变量之间不存在高度相关性。
4.正态分布：误差项服从正态分布。
5.同方差性：误差项的方差是常数。
参数估计为了估计回归系数，我们使用最小二乘法来最小化残差平方和。
残差是观测值与模型估计值之间的差异。
最小二乘法的目标是找到最佳的回归系数，使得观测值的残差平方和最小化。
模型拟合一旦估计出回归系数，我们可以使用它们来拟合多元线性回归模型。
拟合模型的目标是找到自变量的最佳线性组合，以预测因变量的值。
我们可以使用拟合后的模型来预测新的观测值，并评估模型的拟合程度。
预测在实际应用中，多元线性回归模型可以用于预测因变量的值。
通过给定自变量的值，我们可以使用估计的回归系数来计算因变量的预测值。
预测值可以帮助我们了解自变量对因变量的影响，并作出决策。
总结多元线性回归分析是一种重要的统计方法，它可以帮助我们理解自变量对因变量的影响，并预测因变量的值。
在进行多元线性回归分析时，我们需要考虑模型的假设，进行参数估计和模型拟合，并使用拟合后的模型进行预测。
通过多元线性回归分析，我们可以获得有关变量之间关系的重要见解，并为决策提供支持。
第六章 多元回归分析：其他问题
• 对于大正整数变量（以年度量的变量除外），通常都可以取对
数。
含有交互项的模型
• 例3：房价的决定方程
= 0 + 1 sqrft + 2 + 3 × + 4 ℎ +
– 房间数对房价的偏效应：2 + 3
总体方差的无偏估计量。
• 值得注意的是，两个无偏估计量的比并非一个无偏估计量，因
此修正R-平方并不比R平方好。
• 修正R-平方的优势：为在模型中另外增加自变量施加了惩罚。
2
– 在模型中增加自变量，R2不可能下降，因为SSR不会上升；但2 不
一定，因为SSR下降时n-k-1也会下降。
– 通过代数运算可以得到：如果我们在回归方程中增加一个新自变
，即 = 1的概率（响应概率/成功概率）是自变量
的线性函数； = 0 =1- = 1 也是自变量的线
性函数。
– 在以上模型中，在保持其他因素不变的情况下， 度
量了因 的变化而导致响应概率的变化。
∆ = 1 = ∆
例8 已婚妇女劳动力参与状况
116.974
1.049
0.0656
1.049
观测个数
1388
1388
1388
R2
0.0298
0.0298
0.0298
SSR
557485.51
2177.6778
557485.51
SSE
20.063
1.2539
20.063
intercept
标准化系数
• 在工资方程中包括考试分数时，相比较分数的水平值的提高对
测值的关系
第6章 多元线性回归的向量表述
ˆ 是所有无偏估计
总结：
高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是 具有最小方差的线性无偏估计量,即OLS估计量是BLUE估 计量。
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
13
二、OLS估计量的渐近性质
1.OLS估计量是一致估计量
则：
ˆ ) E[( ˆ )( ˆ )' ] var( E{[( X ' X )1 X 'u ][( X ' X ) 1 X 'u ] } ( X ' X )1 X ' E (uu ' ) X ( X ' X )1 2 ( X ' X )1
'
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
8
随机误差项的方差 的估计
2
由于残差的平方和是标量(Scalar)，可以采用迹(Trace)，即：
E(Q) E{tr[u ' ( I X ' ( X ' X )1 X )u]}
根据迹运算的性质tr(AB)=tr(BA),上式为：
把线性方程组写成矩阵的形式：
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
3
1 X 11 Y1 1 X 12 Y 2 Yn 1 X 1n
X 21 X 22 X 2n
X k1 0 1 1 Xk2 2 2 X kn n k
伍德里奇《计量经济学导论》(第5版)笔记和课后习题详解-第6章 多元回归分析：深入专题【圣才出品】
第6章多元回归分析：深入专题6.1复习笔记一、数据的测度单位对OLS 统计量的影响1．数据的测度单位对OLS 统计量无实质性影响当对变量重新测度时，系数、标准误、置信区间、t 统计量和F 统计量改变的方式，都不影响所有被测度的影响和检验结果。
怎样度量数据通常只起到非实质性的作用，如减少所估计系数中小数点后零的个数等。
通过对度量单位明智的选择，可以在不做任何本质改变的情况下，改进所估计方程的形象。
对任何一个x i ，当它在回归中以log（x i ）出现时，改变其度量单位也只能影响到截距。
这与对百分比变化和（特别是）弹性的了解相对应：它们不会随着y 或x i 度量单位的变化而变化。
2．β系数原始方程：0112233ˆˆˆˆˆˆi i i i k iki y x x x x u βββββ=++++⋅⋅⋅++减去平均方程，就可以得到：111222333ˆˆˆˆˆ(((()i i i i k ik ki y y x x x x x x x x u ββββ-=-+-+-+⋅⋅⋅+-+令ˆy σ为因变量的样本标准差，1ˆσ为x 1的样本标准差，2ˆσ为x 2的样本标准差，等等。
然后经过简单的运算就可以得到方程：11111ˆˆˆˆˆˆˆˆˆˆˆ()/(/)[(/](/)[()/](/)i y y i k y k ik kk i y y y x x x x u σσσβσσσβσσ-=-+⋅⋅⋅+-+将每个变量都用其z 得分标准化，就得到一些新的斜率参数。
截距项则完全消失。
省略下标i 改写标准化的方程为：11ˆˆy k kz b z b z =+⋅⋅⋅++误差其中：ˆˆˆˆ(/)1,2,,j j y jb j k σσβ=∀=⋅⋅⋅，传统上称这些ˆjb 为标准化系数或β系数。
β系数的含义为：如果x j 提高一倍的标准差，那么ˆy 就变化ˆjb 倍的标准差。
β以标准差为单位，使得回归元的度量单位无关紧要，因此这个方程把所有解释变量都放到相同的地位上。
多元回归分析
基本介绍
Hale Waihona Puke 通常影响因变量的因素有多个，这种多个自变量影响一个因变量的问题可以通过多元回归分析来解决。例如， 经济学知识告诉我们，商品需求量Q除了与商品价格P有关外，还受到替代品的价格、互补品的价格，和消费者收 入等因素，甚至还包括商品品牌Brand这一品质变量（品质变量不能用数字来衡量，需要在模型中引入虚拟变量） 的影响。多元回归分析应用的范围更加广泛。由于线性回归分析比较简单和普遍，下面首先介绍多元线性回归， 在线性分析基础上，逐步引入虚拟变量回归和一类能够变换成线性回归的曲线回归模型 。
多元回归分析
数理统计方法
目录
01 基本介绍
03 引进虚拟变量
02 多元回归模型 04 曲线回归
多元回归分析（Multiple Regression Analysis）是指在相关变量中将一个变量视为因变量，其他一个或 多个变量视为自变量，建立多个变量之间线性或非线性数学模型数量关系式并利用样本数据进行分析的统计分析 方法。另外也有讨论多个自变量与多个因变量的线性依赖关系的多元回归分析，称为多元多重回归分析模型（或 简称多对多回归）。
感谢观看
当虚拟变量的引入形式只影响回归方程的截距，我们称为加法模型。引入虚拟变量的另外一种形式是乘法模 型，这时引入虚拟变量后并不影响模型的截距，而是影响了斜率。当然，在模型设定时也可能同时引入加法和乘 法，同时改变模型的截距和斜率。
曲线回归
前面我们在模型中都假定Y和之间是线性关系，从广义的线性角度来讲，下面所讲的曲线模型是通过变量替换 而转化成线性的模型。表1列出了常用的可以通过变量替换而转化成线性的曲线模型 。
多元回归模型
多元回归模型的数学形式 设因变量为Y，影响因变量的k个自变量分别为，假设每一个自变量对因变量Y的影响都是线性的，也就是说， 在其他自变量不变的情况下，Y的均值随着自变量的变化均匀变化，这时我们把 称为总体回归模型，把称为回归参数。回归分析的基本任务是： 任务1：利用样本数据对模型参数作出估计。 任务2：对模型参数进行假设检验。 任务3：应用回归模型对因变量（被解释变量）作出预测。 模型的基本假定 为了保证多元回归分析的参数估计、统计检验以及置信区间估计的有效性，与一元线性回归分析类似，我们 需要对总体回归模型及数据作一些基本假定。 假定1：随机误差项的概率分布具有零均值，即。 假定2：随机误差项的概率分布对于不同的自变量表现值而言，具有同方差。
第六章回归分析
回归系数的显著性检验
回归系数的显著性检验
1. 提出假设
– H0： i = 0 (自变量 xi 与 因变量 y 没有线性关系) – H1： i 0 (自变量 xi 与 因变量 y有线性关系)
2. 计算检验的统计量 t
3. 确定显著性水平，并进行决策
▪ tt2，拒绝H0； t<t2，接受H0
异方差性
多元回归 中的问题
• 方差不齐性：随机误差项的方差不齐性 • 异方差性带来的问题： • 参数估计值不是有效的
– 参数的显著性检验失效 – 回归方程的应用效果极不理想 • 诊断：残差图分析法 • 处理方法：加权最小二乘法
误差等分散性假设： 特定X水平的误差，除了应呈随机
化的常态分布，其变异量也应相等，称为误差等分散性。
一元线性回归模型的假定
Yˆ1
f ( y) uY (x1)
E( ) 0
2 2 2
y ( x1)
y ( x2 )
y ( xi )
y
x0 x x1 x x2 x x3
Yˆ a bX
x
一元线性回归分析
共线性分析表
共线性问题
残差值统计量，包括预测值、残差值、 标准化预测值、标准化残差。观察是
否在三个标准差以内
满足残 差为正 态分布 的假设
Y值为预测值 的累积比率， X轴为观测值 的累积比率， 散点图最好呈 直线分布而满 残差为正态分
布的假设
Y轴为标准化残差，用于观测残差是否随因变量而变化， 如果随之发生变化，表明方差不齐性
2. 检验方法是将回归离差平方和(SSR)同剩余离差平方和 (SSE)加以比较，应用 F 检验来分析二者之间的差别是 否显著 – 如果是显著的，因变量与自变量之间存在线性关系 – 如果不显著，因变量与自变量之间不存在线性关系
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
注意：一个有趣的现象
Y Y Y Yˆ Yˆ Y Y Y Y Yˆ Yˆ Y ˆ ˆ Y Y Y Y Y Y
i i i i i 2 2 2 i i i 2 2 i i i i
中国居民人均消费支出与人均 GDP（元/人) 表 2.5.1 中国居民人均消费支出与人均 GDP（元 /人）
年份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 人均居民消费 CONSP 395.8 437.0 464.1 501.9 533.5 572.8 635.6 716.0 746.5 788.3 836.4 779.7 人均GDP GDPP 675.1 716.9 763.7 792.4 851.1 931.4 1059.2 1185.2 1269.6 1393.6 1527.0 1565.9 年份 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 人均居民消费 CONSP 797.1 861.4 966.6 1048.6 1108.7 1213.1 1322.8 1380.9 1460.6 1564.4 1690.8 人均GDP GDPP 1602.3 1727.2 1949.8 2187.9 2436.1 2663.7 2889.1 3111.9 3323.1 3529.3 3789.7
y 12 x2 3 x3 k q xk q u
( RSSr RSSur ) / q F ~ Fq ,nk RSSur /(n k )
对立假设H1：不正确（即中至少有一个异于0）。定义 检验的F统计量
式中RSSr为受约束模型的残差平方和，RSSur为不受约 束模型的残差平方和。 分子中使用的自由度df ＝被检验的约束个数＝dfr-dfur 即受约束模型与不受约束模型的自由度之差。 分母中使用的自由度df ＝不受约束模型的自由度＝n-k 检验不同组之间回归函数（例如k个参数）上差别的邹至庄
log(salary) 0 1 years 2 gamesyr 3babg 4 hrunsyr 5rbisyr u
式中，salary为1993年的总薪水；years为进入俱乐部的年资； gamesyr为平均每年的比赛次数；bavg为平均职业击球次数； hrunsyr为平均每年的本垒打次数；rbisyr为每年的击球跑垒 得分。 假设检验的虚拟假设是，一旦控制了俱乐部的年资和 每年的比赛次数，度量球员表现的统计指标(bavg、hrunsyr、 rbisyr）对薪水没有影响。则 虚拟假设为：
F统计量为
F 198 .311 183 .186 347 9.55 183 .186 3
显著性水平为5%的临界值为2.60，显著性水平为1%的 临界值为3.78，所以在1%的显著性水平拒绝bavg、 hrunsyr、rbisyr对薪水没有影响的假设。
t统计量
由于
ˆ ) 2 ( XX) 1 Cov (β
从t检验而言， bavg、hrunsyr、rbisyr中没有一个变量在 5%的显著性水平上具有一个统计显著的t统计量，但这 并不能表明可以拒绝H0，必须估计受约束模型。
受约束模型估计结果为
log(salary) 11.22 0.0713years 0.0202gam esyr (0.11) (0.0125 ) (0.0013 ) n 353, SSR 198.311 , R 2 0.5971
因此，可构造如下t统计量 ˆ i t i ～t (n k ) ee cii nk
t检验 设计原假设与备择假设： H0：i=0 H1：i0 给定显著性水平，可得到临界值t/2(n-k)，由 样本求出统计量t的数值，通过 |t| t/2(n-k) 或 |t|t/2(n-k)
在中国居民人均收入-消费支出二元模型例中， 由应用软件计算出参数的t值： t 0 3.306 t1 3.630 t 2 2.651 给定显著性水平=0.05，查得相应临界值： t0.025(19) =2.093。
以cii表示矩阵(X’X)-1 主对角线上的第i个元素， 于是参数估计量的方差为： ˆ ) 2c Var (
i ii
其中2为随机误差项的方差，在实际计算时， 用它的估计量代替:
2 e ee 2 i ˆ nk nk
ˆ ~ N ( , 2 c ) i i ii
称为偏回归系数（偏效应），它表示在其它自变量保
持不变的条件下，该自变量变化一个单位将引起因变
量平均变化多少个单位。
例
假定有如下总体回归函数： E(Y)＝15-1.2X2+0.8X3 令X3取值为10，将其代入式，得 E(Y)=15-1.2X2+0.8(10)=(15+8)-1.2X2=23-1.2X2 斜率B2＝-1.2表示当X3为常数时，X2每增加一个单位，Y的 平均值将减少1.2个单位
（i=2，3…k）
来拒绝或接受原假设H0，从而判定对应的解释变 量是否应包括在模型中。
注意：一元线性回归中，t检验与F检验一致
一方面，t检验与F检验都是对相同的原假设H0： 2=0 进行检验;
另一方面，两个统计量之间有如下关系：
F
e
2 ˆ y i 2 i
n2 ˆ 2
对多个线性约束的F检验
不受约束模型（unrestricted model）
y 12 x2 3 x3 k xk u
H0 : k q1 k 0
假设有q个排除性约束，不防设为自变量中的最后q个， 虚拟假设为： 受约束模型（restricted model）
( X X ) 1 X ( Xβ μ) β ( X X ) 1 X μ
பைடு நூலகம்
和
) 2I E (μμ
6.4 多元线性回归模型的统计检验
总离差平方和的分解 记
TSS (Yi Y ) 总离差平方和 2 ˆ ESS (Yi Y ) 回归（解释）平方和
统计量如下
[ RSS ( RSS1 RSS2 )] / k F ~ Fk ,n1 n2 2 k ( RSS1 RSS2 ) /(n1 n2 2k )
例6-1：在一个F3，60分布中5%的临界值和拒绝域
面积＝0.95
面积＝0.05
0 2.76 拒绝区域
例6-2：考虑如下解释主要俱乐部棒球运动员薪水的模型：
2
可决系数
ESS RSS R 1 TSS TSS
2
该统计量越接近于1，模型的拟合优度越高。
调整的可决系数（adjusted coefficient of determination） 在样本容量一定的情况下，增加解释变量必定使 得自由度减少，所以调整的思路是:将残差平方和 与总离差平方和分别除以各自的自由度，以剔除 变量个数对拟合优度的影响: RSS /(n k) 2 R 1 TSS /(n 1) 其中：n-k为残差平方和的自由度，n-1为总体平 方和的自由度。
2
2 ˆ RSS (Yi Yi ) 残差平方和
则
TSS (Yi Y ) 2 ˆ ) (Y ˆ Y )) 2 ((Yi Y i i ˆ ) 2 2 (Y Y ˆ )(Y ˆ Y ) (Y ˆ Y )2 (Yi Y i i i i i
第六章 多元回归分析
§6.1 模型的假定
§6.2 参数的最小二乘估计 §6.3 最小二乘估计量的性质 §6.4 多元线性回归模型的统计检验 §6.5 应用举例
6.1 多元线性回归模型及其假定
回归系数
在前面的多元线性回归模型中，
1 , 2 , 3 ,..., k
称为回归系数。
2 , 3 ,..., k
6.2 参数的最小二乘估计
拟合值和残差的重要性质
（1）残差的样本均值为0； （2）每个自变量和OLS残差之间的样本协方差为0；拟合
值与残差之间的样本协方差也为0；
（3）点( X 2 , X 3 ,
, X k , Y ) 总位于OLS回归线上；
ˆ ˆ X ˆX Y 1 2 2 3 3
Eviews软件估计结果
LS // Dependent Variable is CONS Sample(adjusted): 1979 2000 Included observations: 22 after adjusting endpoints Variable C GDPP CONSP(-1) Coefficient 120.7000 0.221327 0.451507 0.995403 0.994920 26.56078 13404.02 -101.7516 1.278500 Std. Error 36.51036 0.060969 0.170308 t-Statistic 3.305912 3.630145 2.651125 Prob. 0.0037 0.0018 0.0158 928.4946 372.6424 6.684995 6.833774 2057.271 0.000000
H0 : 3 0, 4 0, 5 0
采用Wooldridge中MLB1.RAW数据未受约束的模型估 计结果为
log(salary) 11.1 0.0689years 0.0126gam esyr (0.29) (0.0121 ) (0.0026) 0.00098 babg 0.0144hrunsyr 0.0108rbisyr (0.0011 ) (0.0161 ) (0.0072) n 353, SSR 183.186, R 2 0.6278
R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat