多元线性回归
多元线性回归方法
多元线性回归方法
多元线性回归是一种统计模型，用于建立多个自变量和一个因变量之间的关系。
它是简单线性回归在多个自变量情况下的扩展。
多元线性回归的数学模型为：
Y = β0 + β1*X1 + β2*X2 + ... + βp*Xp + ε
其中，Y是因变量，X1, X2, ..., Xp是自变量，β0, β1, β2, ..., βp是回归系数，ε是随机误差。
多元线性回归的求解通常使用最小二乘法，通过最小化误差平方和的方式来估计回归系数。
多元线性回归的步骤包括：
1. 收集数据：收集因变量和自变量的实际观测值。
2. 数据预处理：对数据进行清洗、缺失值处理、异常值处理等。
3. 模型选择：根据实际情况选择合适的自变量。
4. 估计回归系数：使用最小二乘法估计回归系数。
5. 模型拟合：利用估计的回归系数构建多元线性回归模型。
6. 模型评估：根据一些统计指标，如R方值、调整R方值、F统计量等，来评估模型的拟合效果。
7. 模型预测：利用构建的回归模型进行新样本的预测。
多元线性回归在实际中广泛应用于预测和建模，可以用于探究自变量对因变量的影响程度以及自变量之间的相互关系。
多元线性回归
Y
X
i
Y
1i i
X ki
XX 1i ki
XX 2i ki
X 2 ki
bˆk
X
k
Y
ii
正规方程
矩阵形式
n
X
X
X 1i
X 1i
X2 1i
X 2i
X X 2i 1i
2
ee ~ (n k 1)
ˆ
t
i
i ~ t(n k 1)
c ee ii n k 1
H ： 0成立下，t
0
i
ˆ i
c ee ii n k 1
若 |t | t临
拒绝 H 0
认为 与0有显著的差异 i
或者根据t 查t分布表的概率p, 若
p
E[((X X )1 X ( XB N ) B)((X X )1 X ( XB N ) B)]
E[(X X )1 X NN X ( X X )1]
( X X )1 X E(NN ) X ( X X )1
E(NN )(X X )1 X X ( X X )1
最小的）
线性
Bˆ ( X X )1 X Y
无偏性
E(Bˆ) E[(X X )1 X Y ] E[(X X )1 X ( XB N )] E[(X X )1 X XB ( X X )1 X N ] B ( X X )1 E( X N ) B
i
i
ESS
2
计量经济学-多元线性回归模型
Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y为因变 量，X1, X2,..., Xk为自变量，β0, β1,..., βk为回归 系数，ε为随机误差项。
多元线性回归模型的假设条件
包括线性关系假设、误差项独立同分布假设、无 多重共线性假设等。
研究目的与意义
研究目的
政策与其他因素的交互作用
多元线性回归模型可以引入交互项，分析政策与其他因素（如技 术进步、国际贸易等）的交互作用，更全面地评估政策效应。
实例分析：基于多元线性回归模型的实证分析
实例一
预测某国GDP增长率：收集该国历史数据，包括GDP、投资、消费、出口等变量，建立 多元线性回归模型进行预测，并根据预测结果提出政策建议。
最小二乘法原理
最小二乘法是一种数学优化技术，用 于找到最佳函数匹配数据。
残差是观测值与预测值之间的差，即 e=y−(β0+β1x1+⋯+βkxk)e = y (beta_0 + beta_1 x_1 + cdots + beta_k x_k)e=y−(β0+β1x1+⋯+βkxk)。
在多元线性回归中，最小二乘法的目 标是使残差平方和最小。
t检验
用于检验单个解释变量对被解释变量的影响 是否显著。
F检验
用于检验所有解释变量对被解释变量的联合 影响是否显著。
拟合优度检验
通过计算可决系数（R-squared）等指标， 评估模型对数据的拟合程度。
残差诊断
检查残差是否满足独立同分布等假设，以验 证模型的合理性。
04
多元线性回归模型的检验与 诊断
多元线性回归
回归分析中两个或两个以上的自变量
01 概念
03 估计方法
目录
02 公式 04 相关的软件
在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相 联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合 实际。因此多元线性回归比一元线性回归的实用往受到多个因素的影响，因此，一般要进行多元回归分析，我们把包括两个或两个以 上自变量的回归称为多元线性回归 。
多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由于自变量个数多，计算相当麻烦，一般 在实际中应用时都要借助统计软件。这里只介绍多元线性回归的一些基本问题。
谢谢观看
估计方法
1.普通最小二乘法 普通最小二乘法(Ordinary Least Square, OLS)通过最小化误差的平方和寻找最佳函数。通过矩阵运算求 解系数矩阵： 2.广义最小二乘法 广义最小二乘法(Generalized Least Square)是普通最小二乘法的拓展，它允许在误差项存在异方差或自 相关，或二者皆有时获得有效的系数估计值。公式如右， 图1..广义最小二乘法公式 其中，Ω是残差项的协方差矩阵。
相关的软件
SPSS（Statistical Package for the Social Science）－－社会科学统计软件包是世界著名的统计分析 软件之一。20世纪60年代末，美国斯坦福大学的三位研究生研制开发了最早的统计分析软件SPSS，同时成立了 SPSS公司，并于1975年在芝加哥组建了SPSS总部。20世纪80年代以前，SPSS统计软件主要应用于企事业单位。 1984年SPSS总部首先推出了世界第一个统计分析软件微机版本SPSS/PC+，开创了SPSS微机系列产品的开发方向， 从而确立了个人用户市场第一的地位。同时SPSS公司推行本土化策略，已推出9个语种版本。SPSS/PC+的推出， 极大地扩充了它的应用范围，使其能很快地应用于自然科学、技术科学、社会科学的各个领域，世界上许多有影 响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价与称 赞。已经在国内逐渐流行起来。它使用Windows的窗口方式展示各种管理和分析数据方法的功能，使用对话框展 示出各种功能选择项，只要掌握一定的Windows操作技能，粗通统计分析原理，就可以使用该软件为特定的科研 工作服务。
预测算法之多元线性回归
预测算法之多元线性回归多元线性回归是一种预测算法，用于建立多个自变量与因变量之间的关系模型。
在这种回归模型中，因变量是通过多个自变量的线性组合进行预测的。
多元线性回归可以用于解决各种问题，例如房价预测、销售预测和风险评估等。
多元线性回归的数学表达式可以表示为：Y=β0+β1X1+β2X2+...+βnXn+ε其中，Y是因变量，X1、X2、..、Xn是自变量，β0、β1、β2、..、βn是相应的回归系数，ε是误差项。
多元线性回归的主要目标是找到最佳的回归系数，以最小化预测误差。
这可以通过最小二乘法来实现，最小二乘法是一种优化方法，可以最小化实际值与预测值之间的误差平方和。
多元线性回归可以有多种评估指标，以衡量模型的拟合程度和预测效果。
其中，最常用的指标是R平方（R2），它表示因变量的变异中可以被自变量解释的比例。
R平方的取值范围在0和1之间，越接近1表示模型越好地解释了数据的变异。
多元线性回归的模型选择是一个关键问题，尤其是当面对大量自变量时。
一个常用的方法是通过逐步回归来选择最佳的自变量子集。
逐步回归是一种逐步加入或剔除自变量的方法，直到找到最佳的模型。
在应用多元线性回归进行预测时，需要注意以下几个方面。
首先，确保所有自变量和因变量之间存在线性关系。
否则，多元线性回归可能无法得到准确的预测结果。
其次，需要检查自变量之间是否存在多重共线性问题。
多重共线性会导致回归系数的估计不可靠。
最后，需要通过交叉验证等方法来评估模型的泛化能力。
这样可以确保模型对新数据具有较好的预测能力。
总结起来，多元线性回归是一种强大的预测算法，可以用于建立多个自变量与因变量之间的关系模型。
通过合理选择自变量和优化回归系数，可以得到准确的预测结果，并帮助解决各种实际问题。
但是，在应用多元线性回归时需要注意问题，如线性关系的存在、多重共线性问题和模型的泛化能力等。
多元线性回归 名词解释
多元线性回归名词解释多元线性回归（MultipleLinearRegression）是一种统计学模型，主要用来分析自变量和因变量之间的关系，它可以反映出某一种现象所依赖的多个自变量，从而更好地分析和捕捉它们之间的关系。
它是回归分析法的一种，是以线性方程拟合多个自变量和一个因变量之间的关系，是统计分析中用来探索和预测因变量之间自变量的变化情况的常用方法之一。
例如，可以利用多元线性回归来分析教育水平，收入水平和住房价格之间的关系，以及社会状况下的因素对收入水平的影响等等。
多元线性回归有两种形式：一种是多元普通最小二乘法（Ordinary Least Squares，OLS），另一种是多元最小平方根法（Root Mean Square）。
多元普通最小二乘法是将解释变量和因变量之间的关系用线性函数来拟合，从而求解最优模型参数；而多元最小平方根法是将解释变量和因变量之间的关系用一条曲线来拟合，从而求解最优模型参数。
多元线性回归可以用于描述一个变量与多个自变量之间的关系，并可以用来预测一个变量的变化情况。
它的优势在于可以计算出各自变量对因变量的相对贡献度，从而更有效地分析它们之间的关系，以及对复杂的数据更好地进行预测。
然而，多变量线性回归也存在一些缺点，其中最常见的是异方差假设，即解释变量和因变量之间观察值的方差相等。
此外，多元线性回归也受到异常值的干扰，存在多重共线性现象，可能引发过拟合或欠拟合等问题。
因此，在使用多元线性回归时，应该遵循良好的统计原则，如检验异方差假设、检验异常值以及检验多重共线性等，这样才能更准确地预测和分析数据。
总之，多元线性回归是一种分析多个自变量与一个因变量之间关系的统计学模型，可以有效地检验假设，从而预测和分析数据。
它可以反映出某一种现象所依赖的多个自变量，从而更好地分析和捕捉它们之间的关系。
它也有许多缺点，应该遵循良好的统计原则，如检验异方差假设、检验异常值以及检验多重共线性等，以准确地预测和分析数据。
多元线性回归
ˆ0 ei ˆ1 ei X1i ˆk ei X ki Y ei
=0
所以有：
TSS (Yi Yˆi )2
(Yˆi
2
Y)
RSS
ESS
注意：一个有趣的现象
Yi Y Yi Yˆi Yˆi Y
Yi
Y
2
Yi Yˆi
2
Yˆi
Y
2
Yi Y 2
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X Ki i=1,2…n
• 根据最 小二乘原 理，参数 估计值应
该是右列
方程组的 解
ˆ
0
Q
0
ˆ1
Q
0
ˆ
2
Q
0
ˆ k
Q
0
n
n
其 Q ei2 (Yi Yˆi )2
中
i 1
n
i 1
2
(Yi (ˆ0 ˆ1 X1i ˆ2 X 2i ˆk X ki ))
1 X 12 Xk2
1 Y1
X 1n Y2
X kn
Yn
即
(XX)βˆ XY
由于X’X满秩，故有 βˆ (XX)1 XY
17
用含两个解释变量的矩阵形式来表示X’X：
1 1
X X
11
X X 21
12
22
1
XX XX 1
1
X 13
X X X 23
1
11 12
1n
21
20
XY
1 X1
1 X2
Y1
1 X n
Y2 Yn
Yi X iYi
3914506608877424091000
可求得：
多元线性回归分析
量Y 的平均改变量。 为随机误差，又称残差（residual），
它表示 Y 的变化中不能由自变量 X ii1,2, m 解释的部
分。
2021/6/16
5
y
Y ˆb0b1X1b2X2
x1
x2
2021/6/16
6
应用条件：
多元线性回归模型应满足以下条件：
2021/6/16
9
例14.1
27名糖尿病患者的血 清总胆固醇（x1）、 甘油三酯（x2）、空 腹胰岛素（x3）、糖 化血红蛋白（x4）、 空腹血糖（y）的测量 值列于表中，试建立 血糖与其它几项指标 关系的多元线性回归 方程。
2021/6/16
10
各变量的离差矩阵
2021/6/16
11
求解后得 b1 0.1424， b2 0.3515， b3 0.2706， b4 0.6382
第十四章 多元线性回归分析
Multivariate linear regression
2021/6/16
1
一个变量的变化直接与另一组变量的变化有关：
如：
➢人的体重与身高、胸围
➢血压值与年龄、性别、劳动强度、饮食习惯、吸烟 状况、家族史
➢糖尿病人的血糖与胰岛素、糖化血红蛋白、血清总 胆固醇、甘油三脂
(1) Y 与 X1 , X 2 ,X m 之间具有线性关系；
(2)各观测值Yj j 1,2,,n之间相互独立； (3)残差 服从均数为 0、方差为 2 的正态分布，
它等价于对于任意一组自变量 X1 , X 2 ,X m ，应
变量 Y 均服从正态分布且方差齐。
注意：虽然模型要求因变量是连续数值变量，但对自变量的类型不限。若 自变量是分类变量，特别是无序分类变量，要转化为亚变量才能分析。对 于自变量是分类变量的情形，需要用广义线性回归模型分析。
多元线性回归公式了解多元线性回归的关键公式
多元线性回归公式了解多元线性回归的关键公式多元线性回归公式是一种常用的统计学方法，用于探究多个自变量与一个连续因变量之间的关系。
在进行多元线性回归分析时，我们需要理解和掌握以下几个关键公式。
一、多元线性回归模型多元线性回归模型可以表示为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y代表因变量（被预测变量），X1、X2、...、Xn代表自变量（预测变量），β0、β1、β2、...、βn代表模型的参数，ε代表误差项。
二、回归系数估计公式在多元线性回归分析中，我们需要通过样本数据来估计回归模型的参数。
常用的回归系数估计公式是最小二乘法（Ordinary Least Squares, OLS）。
对于模型中的每个参数βi，其估计值可以通过以下公式计算：βi = (Σ(xi - x i)(yi - ȳ)) / Σ(xi - x i)²其中，xi代表自变量的观测值，x i代表自变量的样本均值，yi代表因变量的观测值，ȳ代表因变量的样本均值。
三、相关系数公式在多元线性回归中，我们通常会计算各个自变量与因变量之间的相关性，可以通过采用皮尔逊相关系数（Pearson Correlation Coefficient）来衡量。
相关系数的公式如下：r(Xi, Y) = Σ((xi - x i)(yi - ȳ)) / sqrt(Σ(xi - x i)² * Σ(yi - ȳ)²)其中，r(Xi, Y)代表第i个自变量与因变量之间的相关系数。
四、R平方（R-squared）公式R平方是判断多元线性回归模型拟合程度的重要指标，表示因变量的方差能够被自变量解释的比例。
R平方的计算公式如下：R² = SSR / SST其中，SSR为回归平方和（Sum of Squares Regression），表示自变量对因变量的解释能力。
SST为总平方和（Sum of Squares Total），表示因变量的总变化。
第三章多元线性回归模型
第三章 多元线性回归模型一、名词解释1、多元线性回归模型：在现实经济活动中往往存在一个变量受到其他多个变量影响的现象，表现在线性回归模型中有多个解释变量，这样的模型被称做多元线性回归模型，多元是指多个解释变量2、调整的可决系数2R ：又叫调整的决定系数，是一个用于描述多个解释变量对被解释变量的联合影响程度的统计量，克服了2R 随解释变量的增加而增大的缺陷，与2R 的关系为2211(1)1n R R n k -=----。
3、偏回归系数：在多元回归模型中，每一个解释变量前的参数即为偏回归系数，它测度了当其他解释变量保持不变时，该变量增加1单位对被解释变量带来的平均影响程度。
4、正规方程组：采用OLS 方法估计线性回归模型时，对残差平方和关于各参数求偏导，并令偏导数为0后得到的方程组，其矩阵形式为ˆX X X Y β''=。
5、方程显著性检验：是针对所有解释变量对被解释变量的联合影响是否显著所作的检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出判断。
二、单项选择题1、C ：F 统计量的意义2、A ：F 统计量的定义3、B ：随机误差项方差的估计值1ˆ22--=∑k n e iσ4、A ：书上P92和P93公式5、C ：A 参看导论部分内容；B 在判断多重共线等问题的时候，很有必要；D 在相同解释变量情况下可以衡量6、C ：书上P99，比较F 统计量和可决系数的公式即可7、A ：书P818、D ：A 截距项可以不管它；B 不考虑beta0；C 相关关系与因果关系的辨析 9、B ：注意！只是在服从基本假设的前提下，统计量才服从相应的分布10、D ：AB 不能简单通过可决系数判断模型好坏，还要考虑样本量、异方差等问题；三、多项选择题1、ACDE ：概念性2、BD ：概念性3、BCD ：总体显著，则至少一个参数不为04、BC ：参考可决系数和F 统计量的公式5、AD ：考虑极端情况，ESS=0，可发现CE 错四、判断题、 1、√2、√3、×4、×：调整的可决系数5、√五、简答题 1、 答：多元线性回归模型与一元线性回归模型的区别表现在如下几个方面：一是解释变量的个数不同；二是模型的经典假设不同，多元线性回归模型比一元线性回归模型多了个“解释变量之间不存在线性相关关系”的假定；三是多元线性回归模型的参数估计式的表达更为复杂。
线性回归与多元回归
线性回归与多元回归线性回归和多元回归是统计学中常用的预测分析方法。
它们在经济学、社会学、医学、金融等领域中广泛应用。
本文将对线性回归和多元回归进行简要介绍，并比较它们的异同点及适用范围。
一、线性回归线性回归分析是一种利用自变量（或称解释变量）与因变量（或称响应变量）之间线性关系建立数学模型的方法。
其基本形式为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y代表因变量，X1至Xn代表自变量，β0至βn为待估计的回归系数，ε代表随机误差。
目标是通过最小化误差平方和，估计出最优的回归系数。
线性回归的优点在于模型简单、易于解释和计算。
然而，线性回归的局限性在于它适用于解释变量与响应变量存在线性关系的情况，并且需要满足一些假设条件，如误差项服从正态分布、误差项方差相等等。
二、多元回归多元回归是线性回归的扩展，通过引入多个自变量来建立回归模型。
其基本形式为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε与线性回归类似，多元回归也是通过估计回归系数来建立模型，使得预测值与实际观测值的误差最小化。
多元回归相比于线性回归的优点是能够考虑多个自变量对因变量的影响，更符合实际问题的复杂性。
例如，预测一个人的身高可以同时考虑性别、年龄、体重等多个因素。
然而，多元回归的缺点也是显而易见的，引入更多的自变量可能导致模型过于复杂，产生多重共线性等问题，同时样本的数量和质量也对多元回归的效果有重要影响。
三、线性回归与多元回归的比较1. 模型形式线性回归和多元回归的模型形式非常相似，都是以自变量和回归系数之间的线性组合来预测因变量。
多元回归可以看作是线性回归的一种特殊情况，即自变量只有一个的情况。
2. 自变量个数线性回归只能处理一个自变量的情况，而多元回归则可以同时处理多个自变量。
多元回归相比于线性回归具有更强的灵活性和准确性。
3. 模型解释线性回归的模型相对较为简单，容易解释和理解。
多元线性回归
多元线性回归模型的估计
对上式去期望，可得： 它是解释变量的多元线性函数，称为多元线性总体回归方程 多元线性样本回归方程：
它是总体回归方程的估计，其中bˆj ( j=0,1,2,…,k)是对总体回归 参数bj 的估计。
由样本回归方程得到的因变量估计值yˆt 与实际观测值yt 之间 通常存在偏差，这一偏差就是残差 et
2．修正的决定系数
在应用过程中人们发现，随着模型中解释变量的增多，多重决定 系数R2 的值往往会变大，从而增加了模型的解释功能。但是， 在样本容量一定的情况下，增加解释变量必定使得待估参数的个 数增加，从而损失自由度，而且在实际应用中，有时所增加的解 释变量并非必要。
引入修正的样本决定系数R2 的作用：①用自由度调整后，可以消除拟 合优度评价中解释变量多少对决定系数计算的影响；②对于包含的解 释变量个数不同的模型，可以用调整后的决定系数直接比较它们的拟 合优度的高低，但不能用原来未调整的决定系数来比较
解释变量的实际值与估计值的平均误差程度的指标。σ^越
大，回归直线的精度越低，σ^越小，回归直线的精度越高。
当σ^ =0 时，表示所有样本点都落在回归直线上。
多元线性回归模型的检验
模型检验： 理论检验(经济意义检验)就是依据经济理论来判断估计
参数的正负号是否合理、大小是否适当。经济意义检验是第 一位的，如果模型不能通过经济意义检验，则必须寻找原 因，修正模型或重新估计模型。如果通过了经济意义检验， 则进行下一步的统计准则检验。统计准则检验就是根据统计 学理论，确定参数估计值的统计可靠性。统计准则检验主要 包括：回归方程标准差的评价、拟合优度检验( R2 检验)、 回归模型的总体显著性检验(F 检验)和回归系数的显著性检验
在实际应用中，我们往往希望所建模型的R2 或 越大越好。但应 注意，决定系数只是对模型拟合优度的度量，R2 和 越大，只说 明列入模型中的解释变量对因变量整体影响程度越大，并非说明模 型中各个解释变量对因变量的影响程度显著。在回归分析中，不仅 要模型的拟合度高，而且还要得到总体回归系数的可靠估计量
多元线性回归的名词解释
多元线性回归的名词解释多元线性回归是一种经济学和统计学中常用的方法，用于分析多个自变量与一个连续因变量之间的关系。
在这种回归分析中，解释变量（自变量）可以是连续或分类变量，而被解释变量（因变量）通常是连续变量。
本文将对多元线性回归的关键名词进行解释，以帮助读者更好地理解和应用该方法。
一、回归分析回归分析是研究两个或多个变量之间关系的统计方法。
在多元线性回归中，我们可以使用多个自变量来预测一个连续的因变量。
回归分析可以帮助我们了解各个自变量对因变量的贡献程度，以及它们之间的相互作用。
二、线性回归线性回归是一种回归分析的方法，假设自变量和因变量之间存在线性关系。
这意味着在多元线性回归中，我们假设因变量是自变量的线性组合，具体表现为一个多元线性方程。
通过最小化预测值和实际观测值之间的误差平方和，我们可以估计出各个自变量的系数，并对因变量进行预测。
三、自变量和因变量在多元线性回归中，自变量是我们用来解释或预测因变量的变量。
自变量可以是连续变量，如年龄、收入等，也可以是分类变量，如性别、教育程度等。
因变量是我们希望预测或解释的变量，通常是一个连续变量，如房屋价格、销售额等。
四、最小二乘法最小二乘法是多元线性回归中参数估计的常用方法。
该方法通过最小化预测值与实际观测值之间的误差平方和来确定各个自变量的系数。
通过求解估计方程，我们可以得到最佳的系数估计，从而建立起自变量与因变量之间的线性关系。
五、多重共线性多重共线性是多元线性回归中一个重要的问题。
当自变量之间存在高度相关性时，可能会导致估计的系数不稳定或不精确。
为了检测和解决多重共线性问题，我们可以计算自变量之间的相关系数矩阵，并使用方差膨胀因子（VIF）来评估自变量之间的共线性程度。
六、拟合优度拟合优度是衡量多元线性回归模型拟合优良程度的指标。
拟合优度可以用于评估模型对观测值的解释能力。
常见的拟合优度指标包括决定系数（R²），它可以解释因变量的变异程度中可归因于自变量的比例。
多元的线性回归
多元线性回归模型一、多元线性回归模型的一般形式设随机变量y 与一般变量p x x x ,,,21 的线性回归模型为：εββββ+++++=p p x x x y 22110写成矩阵形式为：εβ+=X y 其中：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21 ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=np n n p p x x x x x x x x x X 212222********* ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=p ββββ 10 ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n εεεε 21 二、多元线性回归模型的基本假定1、解释变量p x x x ,,,21 是确定性变量，不是随机变量，且要求n p X r a n k <+=1)(。
这里的n p X rank <+=1)(表明设计矩阵X 中自变量列之间不相关，样本容量的个数应大于解释变量的个数，X 是一满秩矩阵。
2、随机误差项具有0均值和等方差，即：⎪⎩⎪⎨⎧⎩⎨⎧=≠====),,2,1,(,,0,),cov(,,2,1,0)(2n j i j i j i n i E j i i σεεε 0)(=i E ε，即假设观测值没有系统误差，随机误差i ε的平均值为0，随机误差iε的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即为独立），不存在序列相关，并且具有相同的精度。
3、正态分布的假定条件为：⎩⎨⎧=相互独立n i ni N εεεσε ,,,,2,1),,0(~212，矩阵表示：),0(~2n I N σε,由该假定和多元正态分布的性质可知，随机变量y 服从n 维正态分布，回归模型的期望向量为：βX y E =)(；n I y 2)var(σ= 因此有),(~2n I X N y σβ 三、多元线性回归方程的解释对于一般情况含有p 个自变量的回归方程p p x x x y E ββββ++++= 22110)(的解释，每个回归系数i β表示在回归方程中其他自变量保持不变的情况下，自变量i x 每增加一个单位时因变量y 的平均增加程度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多元线性回归1、多元线性回归模型假定被解释变量与多个解释变量之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。
即(1.1)其中为被解释变量，为个解释变量，为个未知参数，为随机误差项。
被解释变量的期望值与解释变量的线性方程为：(1.2)称为多元总体线性回归方程，简称总体回归方程。
对于组观测值，其方程组形式为：(1.3)即其矩阵形式为=+即(1.4)其中为被解释变量的观测值向量；为解释变量的观测值矩阵；为总体回归参数向量；为随机误差项向量。
总体回归方程表示为：(1.5)多元线性回归模型包含多个解释变量，多个解释变量同时对被解释变量发生作用，若要考察其中一个解释变量对的影响就必须假设其它解释变量保持不变来进行分析。
因此多元线性回归模型中的回归系数为偏回归系数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量的均值的影响。
由于参数都是未知的,可以利用样本观测值对它们进行估计。
若计算得到的参数估计值为，用参数估计值替代总体回归函数的未知参数，则得多元线性样本回归方程：(1.6)其中为参数估计值，为的样本回归值或样本拟合值、样本估计值。
其矩阵表达形式为:(1.7)其中为被解释变量样本观测值向量的阶拟合值列向量；为解释变量的阶样本观测矩阵；为未知参数向量的阶估计值列向量。
样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差。
(1.8)2、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有如下假定：假定1零均值假定：，即(2.1)假定2 同方差假定(的方差为同一常数)：（2.2）假定3 无自相关性：(2.3)假定4 随机误差项与解释变量不相关(这个假定自动成立)：（2.4）假定5 随机误差项服从均值为零，方差为的正态分布：（2.5）假定6 解释变量之间不存在多重共线性：即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵的秩为参数个数k+1，从而保证参数的估计值唯一。
3、多元线性回归模型的参数估计3.1回归参数的最小二乘估计对于含有个解释变量的多元线性回归模型设分别作为参数的估计量，得样本回归方程为：观测值与回归值的残差为：由最小二乘法可知应使全部观测值与回归值的残差的平方和最小，即使(3.1)取得最小值。
根据多元函数的极值原理，分别对求一阶偏导，并令其等于零，即(3.2)即化简得下列方程组(3.3)上述个方程称为正规方程，其矩阵形式为(3.4)因为设为估计值向量样本回归模型两边同乘样本观测值矩阵的转置矩阵，则有得正规方程组：(3.5)由假定(6)，，为阶方阵，所以满秩，的逆矩阵存在。
因而(3.6)则为向量的OLS估计量。
以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。
由(1.3)式得二元线性回归模型为为了计算的方便，先将模型中心化。
设，则二元回归模型改写为中心化模型。
(3.7)记(3.8)将代入得(3.9)因为(3.10)则由(3.6)式得(3.11)其中由(3.11)式可知得(3.12)(3.13)(3.14)3.2随机误差项的方差的估计量样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差则设，可以得出是阶对称幂等矩阵，，。
于是而残差的平方和为其中""表示矩阵的迹，即矩阵主对角线元素的和。
于是随机误差项的方差的无偏估计量，记作，即，，为残差的标准差(或回归标准差)。
因此(3.15)其中(3.16)例如,对于二元线性回归模型()(3.17)(3.18)3.3、估计参数的统计性质1、线性性指最小二乘估计量是被解释变量的观测值的线性函数。
由于设，则矩阵为一非随机的阶常数矩阵。
所以(3.19)显然最小二乘估计量是被解释变量的观测值的线性函数。
2、无偏性将代入(3-16)式得(3.20)则所以是的无偏估计量。
3.最小方差性设为阶数值矩阵，为阶随机矩阵(随机变量为元素的矩阵)，为阶数值矩阵，则下面推导的方差、协方差矩阵。
定义：由(3.20)式得所以(3.21)这个矩阵主对角线上的元素表示的方差，非主对角线上的元素表示的协方差。
例如是位于的第行与第列交叉处的元素(主对角线上的元素)；是位于的第行与第列交叉处的元素(非主对角线上的元素)在应用上，我们关心的的方差，而忽略协方差，因此把(3.21)式记作(3.22)记，则，所以是的最小方差线性无偏估计。
这说明，在(1.1)式系数的无偏估计量中，OLS估计量的方差比用其它估计方法所得的无偏估计量的方差都要小，这正是OLS的优越性所在。
用代替则得的标准估计量的估计值，乃称为标准差。
(3.23)其中对于二元回归模型()，求估计量的方差，由(3.22)式得其中于是所以(3.24)(3.25)(3.26)(3.27)其中4. 显著性检验4.1 拟合优度检验4.1.1总离差平方和分解设具有个解释变量的回归模型为其回归方程为离差分解：总离差平方和分解式为：(4.1)即(4.2)总离差平方和分解为回归平方和与残差平方和两部分。
体现了观测值总波动大小，称为总偏差平方和，记作TSS.体现了n个估计值的波动大小，它是由于Y与自变量的变化而引起，被称作为回归平方和，记为ESS（Explained Sum of Squares）或U；称为残差平方和，记为RSS（Residual Sum of Squares）或Q.4.1.2样本决定系数对于多元回归方程，其样本决定系数为复决定系数或多重决定系数。
，简记为。
(4.3)根据式(4.2)(4.4)因为由(3.16)式知所以(4.5)作为检验回归方程与样本值拟合优度的指标：越大，表示回归方程与样本拟合的越好；反之，回归方程与样本值拟合较差。
具体的，当时,求样本决定系数由(3.8)式，得，因此有(4.6)4.1.3调整后的样本决定系数在使用时，容易发现的大小与模型中的解释变量的数目有关。
如果模型中增加一个新解释变量，总离差不会改变，但总离差中由解释变量解释的部分，即回归平方和将会增加，这就是说与模型中解释变量个数有关。
但通过增加模型中解释变量的数目而使增大是错误的，显然这样来检验被回归方程与样本值拟合优度是不合适的，需要对进行调整，使它不但能说明已被解释离差与总离差的关系，而且又能说明自由度的数目。
以表示调整样本决定系数，(4.7)其中这里是残差平方和的自由度，是总离差平方和的自由度。
由(4.7)式得其中,是样本观测值的个数,是解释变量的个数。
从式中可以看出，当增加一个解释变量时，由前面分析可知会增加，引起减少，而增加，因而不会增加。
这样用判定回归方程拟合优度，就消除了对解释变量个数的依赖。
或只能说明在给定的样本条件下回归方程与样本观测值拟合优度，并不能做出对总体模型的推测，因此不能单凭或来选择模型，必须对回归方程和模型中各参数的估计量做显著性检验。
4.2方程显著性检验由离差平方和分解(4.2)式可知，总离差平方和的自由度为，回归平方和是由个解释变量对的线性影响决定的。
因此它的自由度为。
所以，残差平方和的自由度由总离差平方和的自由度减去回归平方和的自由度，即为。
检验回归方程是否显著，第一步，作出假设备择假设H1：b1、b2、…、b k不同时为0第二步，在成立的条件下，计算统计量第三步，查表临界值对于假设，根据样本观测值计算统计量给定显著水平，查第一个自由度为，第二个自由度为的分布表得临界值。
当时，拒绝，则认为回归方程显著成立；当时，接受，则认为回归方程无显著意义。
4.3参数显著性检验回归方程显著成立，并不意味着每个解释变量对被解释变量的影响都是重要的。
如果某个解释变量对被解释变量的影响不重要，即可从回归模型中把它剔除掉，重新建立回归方程，以利于对经济问题的分析和对进行更准确的预测。
为此需要对每个变量进行考查，如果某个解释变量对被解释变量的作用不显著，那么它在多元线性回归模型中，其前面的系数可取值为零。
因此必须对是否为零进行显著性检验。
由(3.23)式(4.8)其中为的第i个对角元素，而，是中心化的数据阵。
对回归系数进行显著性检验，步骤如下：(1)提出原假设；备择假设。
(2)构造统计量，当成立时,统计量。
这里是的标准差，为解释变量个数，计算由式(4.8)给出。
(3)给定显著性水平，查自由度为的分布表，得临界值。
(4)若，则拒绝，接受，即认为显著不为零。
若，则接受，即认为显著为零。
5.回归变量的选择与逐步回归5.1变量选择问题在实际问题中，影响因变量Y的因素（自变量）很多，人们希望从中挑选出影响显著的自变量来建立回归关系式，这就涉及到自变量选择的问题。
在回归方程中若漏掉对Y影响显著的自变量，那么建立的回归式用于预测时将会产生较大的偏差。
但回归式若包含的变量太多，且其中有些对Y影响不大，显然这样的回归式不仅使用不方便，而且反而会影响预测的精度。
因而选择合适的变量用于建立一个"最优"的回归方程是十分重要的问题。
选择"最优"子集的变量筛选法包括逐步回归法(Stepwise),向前引入法（Forward）和向后剔除法(Backwad)。
向前引入法是从回归方程仅包括常数项开始，把自变量逐个引入回归方程。
具体地说，先在m个自变量中选择一个与因变量线性关系最密切的变量，记为，然后在剩余的m-1个自变量中，再选一个，使得联合起来二元回归效果最好，第三步在剩下的m-2个自变量中选择一个变量，使得联合起来回归效果最好，...如此下去，直至得到"最优"回归方程为止。
向前引入法中的终止条件为，给定显著性水平，当某一个对将被引入变量的回归系数作显著性检查时，若p-value，则引入变量的过程结束，所得方程即为"最优"回归方程。
向前引入法有一个明显的缺点，就是由于各自变量可能存在着相互关系，因此后续变量的选入可能会使前面已选入的自变量变得不重要。
这样最后得到的"最优"回归方程可包含一些对Y影响不大的自变量。
向后剔除法与向前引入法正好相反，首先将全部m个自变量引入回归方程，然后逐个剔除对因变量Y作用不显著的自变量。
具体地说，从回归式m个自变量中选择一个对Y贡献最小的自变量，比如，将它从回归方程中剔除；然后重新计算Y与剩下的m-1个自变量回归方程，再剔除一个贡献最小的自变量，比如,依次下去，直到得到"最优"回归方程为止。
向后剔除法中终止条件与向前引入法类似。
向后剔除法的缺点在于，前面剔除的变量有可能因以后变量的剔除，变为相对重要的变量，这样最后得到的"最优"回归方程中有可能漏掉相对重要的变量。
逐步回归法是上述两个方法的综合。
向前引入中被选入的变量，将一直保留在方程中。