3多元线性回归与最小二乘估计
(整理)计量经济学 第三章 多元线性回归与最小二乘估计
第三章 多元线性回归与最小二乘估计3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理1、多元线性回归模型：y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。
u t 代表众多影响y t 变化的微小因素。
使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。
当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1,y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ………..y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T经济意义：x t j 是y t 的重要解释变量。
代数意义：y t 与x t j 存在线性关系。
几何意义：y t 表示一个多维平面。
此时y t 与x t i 已知，βj 与 u t 未知。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k jT T u u u x x x x x x x x x y y yβββ (3.3) Y = X β + u (3.4)2假定条件为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。
3多元线性回归模型
第三章 多元线性回归模型一、单项选择题1、决定系数2R 是指【 】A 剩余平方和占总离差平方和的比重B 总离差平方和占回归平方和的比重C 回归平方和占总离差平方和的比重D 回归平方和占剩余平方和的比重2、在由n=30的一组样本估计的、包含3个解释变量的线性回归模型中，计算的多重决定系数为0.8500，则调整后的决定系数为【 】A 0.8603B 0.8389C 0.8 655D 0.83273、设k 为模型中的参数个数，则回归平方和是指【 】 A 21)(y yn i i -∑= B 21)ˆ(i n i i yy -∑= C 21)ˆ(y yn i i -∑= D )1/()(21--∑=k y y n i i4、下列样本模型中，哪一个模型通常是无效的【 】A i C （消费）＝500＋0.8i I （收入）B d i Q （商品需求）＝10＋0.8i I （收入）＋0.9i P （价格）C s i Q （商品供给）＝20＋0.75i P （价格）D i Y （产出量）＝0.656.0i L （劳动）4.0i K （资本）5、对于iki k i i i e x x x y +++++=ββββˆˆˆˆ22110 ，统计量∑∑----)1/()ˆ(/)ˆ(22k n y y k y y i i i 服从【 】 A t(n-k) B t(n-k-1) C F(k-1,n-k) D F(k,n-k-1)6、对于iki k i i i e x x x y +++++=ββββˆˆˆˆ22110 ，检验H 0:0=i β),,1,0(k i =时，所用的统计量)ˆvar(ˆi it ββ=服从【 】A t(n-k-1)B t(n-k-2)C t(n-k+1)D t(n-k+2)7、调整的判定系数 与多重判定系数 之间有如下关系【 】A 1122---=k n n R RB 11122----=k n n R R C 11)1(122---+-=k n n R R D 11)1(122-----=k n n R R 8、用一组有30 个观测值的样本估计模型i i i i u x x y +++=22110βββ后，在0.05的显著性水平下对1β的显著性作t 检验，则1β显著地不等于零的条件是其统计量大于等于【 】 A 05.0t （30）B 025.0t （28）C 025.0t （27）D 025.0F （1，28）9、如果两个经济变量x 与y 间的关系近似地表现为当x 发生一个绝对量变动（∆x ）时，y 有一个固定地相对量（∆y/y ）变动，则适宜配合地回归模型是【 】A i i i u x y ++=10ββB ln i i i u x y ++=10ββC i ii u x y ++=110ββ D ln i i i u x y ++=ln 10ββ 10、对于iki k i i i e x x x y +++++=ββββˆˆˆˆ22110 ，如果原模型满足线性模型的基本假设，则在零假设j β＝0下，统计量)ˆ(/ˆjj s ββ（其中s(j β)是j β的标准误差）服从【 】 A t （n-k ） B t (n-k-1) C F （k-1，n-k ） D F （k ，n-k-1）11、下列哪个模型为常数弹性模型【 】A ln i i i u x y ++=ln ln 10ββB ln i i i u x y ++=10ln ββC i i i u x y ++=ln 10ββD i ii u x y ++=110ββ 12、模型i i i u x y ++=ln 10ββ中，y 关于x 的弹性为【 】A i x 1βB i x 1βC iy 1β D i y 1β 13、模型ln i i i u x y ++=ln ln 10ββ中，1β的实际含义是【 】A x 关于y 的弹性B y 关于x 的弹性C x 关于y 的边际倾向D y 关于x 的边际倾向14、关于经济计量模型进行预测出现误差的原因，正确的说法是【 】A.只有随机因素B.只有系统因素C.既有随机因素，又有系统因素D.A 、B 、C 都不对15、在多元线性回归模型中对样本容量的基本要求是(k 为解释变量个数)：【 】A n ≥k+1B n<k+1C n ≥30或n ≥3（k+1）D n ≥3016、下列说法中正确的是：【 】A 如果模型的2R 很高，我们可以认为此模型的质量较好B 如果模型的2R 较低，我们可以认为此模型的质量较差C 如果某一参数不能通过显著性检验，我们应该剔除该解释变量D 如果某一参数不能通过显著性检验，我们不应该随便剔除该解释变量 二、多项选择题1、对模型i i i i u x x y +++=22110βββ进行总体显著性检验，如果检验结果总体线性关系显著，则有【 】A 1β=2β＝0B 1β≠0，2β＝0C 1β≠0，2β≠0D 1β=0，2β≠0E 1β=2β≠02、剩余变差（即残差平方和）是指【 】A 随机因素影响所引起的被解释变量的变差B 解释变量变动所引起的被解释变量的变差C 被解释变量的变差中，回归方程不能作出解释的部分D 被解释变量的总变差与回归平方和之差E 被解释变量的实际值与拟合值的离差平方和3、回归平方和是指【 】A 被解释变量的实际值y 与平均值y 的离差平方和B 被解释变量的回归值yˆ与平均值y 的离差平方和 C 被解释变量的总变差与剩余变差之差D 解释变量变动所引起的被解释变量的变差E 随机因素影响所引起的被解释变量的变差4、下列哪些非线性模型可以通过变量替换转化为线性模型【 】A i i i u x y ++=210ββB i ii u x y ++=110ββ C ln i i i u x y ++=ln 10ββ D i i i u x y ++=210ββE i i i i u x y ++=ββ05、在模型ln i i i u x y ++=ln 10ββ中【 】A y 与x 是非线性的B y 与1β是非线性的C lny 与1β是线性的D lny 与lnx 是线性的E y 与lnx 是线性的三、判断题观察下列方程并判断其变量是否线性，系数是否线性，或都是或都不是。
多元线性回归模型参数的最小二乘估计
x
2 ki
yi
x1i
yi
X
Y
xki yi
ˆ0
ˆ1
ˆ
ˆ k
于是正规方程组的矩阵形式为
( X X )ˆ X Y
（3.2.5）
于是有 ˆ ( X X )1 X Y （3.2.6）
二、中心化模型的参数最小二乘估计 我们已经知道，总体线性回归模型可以表示为
yi 0 1 x1i 2 x2i k xki ui （3.2.7）
u1
U
u2
un
残差平方和
1
2
n
2 i
(Y
Xˆ )(Y
Xˆ )
YY 2ˆ X Y ˆ X Xˆ
其中用到 Y Xˆ 是标量的性质。
（3.2.15）
将残差平方和（3.2.15）对 ˆ 求导，并令其为零：
( ˆ
)
2 X
Y
2 X
Xˆ
0
整理得正规方程组
X Xˆ X Y
（3.2.16）
这里 =0，可以看作是对参数施加一个限制条件。
其中心化模型
yi 1 x1i 2 x2i k xki ui （3.2.11）
yi ˆ1 x1i ˆ2 x2i ˆk xki i （3.2.12）
（i =1,2,…，n）
将它们写成矩阵形式：
Y X U
（3.2.13）
Y Xˆ
ˆ0 xki ˆ1 x1i xki ˆ2 x2i xki ˆk xk2i xki yi
由（3.2.3）第一个方程，可以得到：
y ˆ0 ˆ1 x1 ˆ2 x2 ˆk xk
（3.2.4）
将正规方程组写成矩阵形式：
n x1i xki
多元线性回归模型
第二节 多元线性回归模型的参数估计
一、多元线性回归参数的最小二乘估计
二、最小二乘估计量的数值性质
三、最小二乘估计量的统计性质
四、参数的估计误差与置信区间
二 、最小二乘估计量的数值性质
ˆ ˆ ˆ 1.样本均值点在样本平面上，即Y 0 1 X 1 2 X 2
2.剩余项（残差）ei的均值为零，即 e
另外两个要求 假定8：无设定偏误，模型被正确地设定。
假定9：解释变量之间不存在完全共线性，没有精确的线性
关系。
三、多元线性回归模型的基本假定
无多重共线性假定： 各解释变量之间不存在严格的线性关系，或者说各解
释变量之间线性无关；亦即解释变量之间不存在精确的线
性关系，即是说不存在一列不全为0的数 1 , 2 , , k ， 能使下式成立：
其中，残差项ei是随机扰动项ui的估计。
二 、样本线性回归模型
特别地，当K=2时，二元线性样本回归函数为
ˆ ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2i
二元线性样本回归模型为：
ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2i ei
2 ei ˆ X X ) 0 2X 2i Yi ( 0 1 1i 2 2i ˆ 2
e i 0 ei X 1i 0 e i X 2 i 0
2.化简得正规方程
ˆ ˆ ˆ n 0 X 1i X 2i Y i
四、参数的估计误差与置信区间
三、最小二乘估计量的统计性质
在古典线性回归模型的基本假定下，一元线性回 归模型的OLS估计量是最优线性无偏估计量，这个性
3多元线性回归模型
第三章 多元线性回归模型一、单项选择题1、决定系数2R 是指【 】A 剩余平方和占总离差平方和的比重B 总离差平方和占回归平方和的比重C 回归平方和占总离差平方和的比重D 回归平方和占剩余平方和的比重2、在由n=30的一组样本估计的、包含3个解释变量的线性回归模型中，计算的多重决定系数为0.8500，则调整后的决定系数为【 】A 0.8603B 0.8389C 0.8 655D 0.83273、设k 为模型中的参数个数，则回归平方和是指【 】 A 21)(y yn i i -∑= B 21)ˆ(i n i i yy -∑= C 21)ˆ(y yn i i -∑= D )1/()(21--∑=k y y n i i4、下列样本模型中，哪一个模型通常是无效的【 】A i C （消费）＝500＋0.8i I （收入）B d i Q （商品需求）＝10＋0.8i I （收入）＋0.9i P （价格）C s i Q （商品供给）＝20＋0.75i P （价格）D i Y （产出量）＝0.656.0i L （劳动）4.0i K （资本）5、对于iki k i i i e x x x y +++++=ββββˆˆˆˆ22110 ，统计量∑∑----)1/()ˆ(/)ˆ(22k n y y k y y i i i 服从【 】 A t(n-k) B t(n-k-1) C F(k-1,n-k) D F(k,n-k-1)6、对于iki k i i i e x x x y +++++=ββββˆˆˆˆ22110 ，检验H 0:0=i β),,1,0(k i =时，所用的统计量)ˆvar(ˆi it ββ=服从【 】A t(n-k-1)B t(n-k-2)C t(n-k+1)D t(n-k+2)7、调整的判定系数 与多重判定系数 之间有如下关系【 】A 1122---=k n n R RB 11122----=k n n R R C 11)1(122---+-=k n n R R D 11)1(122-----=k n n R R 8、用一组有30 个观测值的样本估计模型i i i i u x x y +++=22110βββ后，在0.05的显著性水平下对1β的显著性作t 检验，则1β显著地不等于零的条件是其统计量大于等于【 】 A 05.0t （30）B 025.0t （28）C 025.0t （27）D 025.0F （1，28）9、如果两个经济变量x 与y 间的关系近似地表现为当x 发生一个绝对量变动（∆x ）时，y 有一个固定地相对量（∆y/y ）变动，则适宜配合地回归模型是【 】A i i i u x y ++=10ββB ln i i i u x y ++=10ββC i ii u x y ++=110ββ D ln i i i u x y ++=ln 10ββ 10、对于iki k i i i e x x x y +++++=ββββˆˆˆˆ22110 ，如果原模型满足线性模型的基本假设，则在零假设j β＝0下，统计量)ˆ(/ˆjj s ββ（其中s(j β)是j β的标准误差）服从【 】 A t （n-k ） B t (n-k-1) C F （k-1，n-k ） D F （k ，n-k-1）11、下列哪个模型为常数弹性模型【 】A ln i i i u x y ++=ln ln 10ββB ln i i i u x y ++=10ln ββC i i i u x y ++=ln 10ββD i ii u x y ++=110ββ 12、模型i i i u x y ++=ln 10ββ中，y 关于x 的弹性为【 】A i x 1βB i x 1βC iy 1β D i y 1β 13、模型ln i i i u x y ++=ln ln 10ββ中，1β的实际含义是【 】A x 关于y 的弹性B y 关于x 的弹性C x 关于y 的边际倾向D y 关于x 的边际倾向14、关于经济计量模型进行预测出现误差的原因，正确的说法是【 】A.只有随机因素B.只有系统因素C.既有随机因素，又有系统因素D.A 、B 、C 都不对15、在多元线性回归模型中对样本容量的基本要求是(k 为解释变量个数)：【 】A n ≥k+1B n<k+1C n ≥30或n ≥3（k+1）D n ≥3016、下列说法中正确的是：【 】A 如果模型的2R 很高，我们可以认为此模型的质量较好B 如果模型的2R 较低，我们可以认为此模型的质量较差C 如果某一参数不能通过显著性检验，我们应该剔除该解释变量D 如果某一参数不能通过显著性检验，我们不应该随便剔除该解释变量 二、多项选择题1、对模型i i i i u x x y +++=22110βββ进行总体显著性检验，如果检验结果总体线性关系显著，则有【 】A 1β=2β＝0B 1β≠0，2β＝0C 1β≠0，2β≠0D 1β=0，2β≠0E 1β=2β≠02、剩余变差（即残差平方和）是指【 】A 随机因素影响所引起的被解释变量的变差B 解释变量变动所引起的被解释变量的变差C 被解释变量的变差中，回归方程不能作出解释的部分D 被解释变量的总变差与回归平方和之差E 被解释变量的实际值与拟合值的离差平方和3、回归平方和是指【 】A 被解释变量的实际值y 与平均值y 的离差平方和B 被解释变量的回归值yˆ与平均值y 的离差平方和 C 被解释变量的总变差与剩余变差之差D 解释变量变动所引起的被解释变量的变差E 随机因素影响所引起的被解释变量的变差4、下列哪些非线性模型可以通过变量替换转化为线性模型【 】A i i i u x y ++=210ββB i ii u x y ++=110ββ C ln i i i u x y ++=ln 10ββ D i i i u x y ++=210ββE i i i i u x y ++=ββ05、在模型ln i i i u x y ++=ln 10ββ中【 】A y 与x 是非线性的B y 与1β是非线性的C lny 与1β是线性的D lny 与lnx 是线性的E y 与lnx 是线性的三、判断题观察下列方程并判断其变量是否线性，系数是否线性，或都是或都不是。
3多元线性回归模型参数估计
3多元线性回归模型参数估计多元线性回归是一种用于预测多个自变量与因变量之间关系的统计模型。
其模型形式为：Y=β0+β1X1+β2X2+...+βnXn+ε，其中Y是因变量，X1、X2、..、Xn是自变量，β0、β1、β2、..、βn是模型的参数，ε是误差项。
多元线性回归模型参数的估计可以使用最小二乘法（Ordinary Least Squares,OLS）来进行。
最小二乘法的基本思想是找到一组参数估计值，使得模型预测值与实际观测值之间的平方差最小。
参数估计过程如下：1.根据已有数据收集或实验，获取因变量Y和自变量X1、X2、..、Xn的观测值。
2.假设模型为线性关系，即Y=β0+β1X1+β2X2+...+βnXn+ε。
3.使用最小二乘法，计算参数估计值β0、β1、β2、..、βn：对于任意一组参数估计值β0、β1、β2、..、βn，计算出模型对于所有观测值的预测值Y'=β0+β1X1+β2X2+...+βnXn。
计算观测值Y与预测值Y'之间的平方差的和，即残差平方和（RSS，Residual Sum of Squares）。
寻找使得RSS最小的参数估计值β0、β1、β2、..、βn。
4.使用统计方法计算参数估计值的显著性：计算回归平方和（Total Sum of Squares, TSS）和残差平方和（Residual Sum of Squares, RSS）。
计算决定系数（Coefficient of Determination, R^2）：R^2 = (TSS - RSS) / TSS。
计算F统计量：F=(R^2/k)/((1-R^2)/(n-k-1))，其中k为自变量的个数，n为观测值的个数。
根据F统计量的显著性，判断多元线性回归模型是否合理。
多元线性回归模型参数估计的准确性和显著性可以使用统计假设检验来判断。
常见的参数估计的显著性检验方法包括t检验和F检验。
t检验用于判断单个参数是否显著，F检验用于判断整个回归模型是否显著。
多元线性回归模型的参数估计
在最小二乘法基础上，对不同的观测值赋予不同的权重，以调整其 对回归参数估计的影响。
广义最小二乘法（GLS）
考虑自变量之间的相关性，通过转换自变量和因变量来消除自变量 之间的多重共线性影响。
03
参数估计的方法
普通最小二乘法
最小二乘法是一种常用的参数估计方法，通过最小化误差 平方和来估计参数。在多元线性回归模型中，普通最小二 乘法通过求解线性方程组来得到参数的估计值。
模型选择
选择多元线性回归模型作 为预测模型，以商品价格 和用户评价作为自变量， 销量作为因变量。
参数估计
使用最小二乘法进行参数 估计，通过最小化误差平 方和来求解回归系数。
模型检验
对模型进行假设检验，确 保满足线性回归的前提假 设。
结果解释与模型评估
结果解释
根据回归系数的大小和符号，解释各自变量对因变量 的影响程度和方向。
05
参数估计的实例分析
数据来源与预处理
数据来源
数据来源于某大型电商平台的销售数据，包括商 品价格、销量、用户评价等。
数据清洗
对原始数据进行清洗，去除异常值、缺失值和重 复值，确保数据质量。
数据转换
对连续变量进行离散化处理，对分类变量进行独 热编码，以便进行回归分析。
模型建立与参数估计
01
02
03
THANKS
感谢观看
04
参数估计的步骤
确定模型形式
确定自变量和因变
量
首先需要确定回归模型中的自变 量和因变量，通常因变量是研究 的响应变量，自变量是对响应变 量有影响的预测变量。
确定模型的形式
根据自变量和因变量的关系，选 择合适的回归模型形式，如线性 回归、多项式回归等。
多元线性回归分析的参数估计方法
多元线性回归分析的参数估计方法多元线性回归是一种常用的数据分析方法，用于探究自变量与因变量之间的关系。
在多元线性回归中，参数估计方法有多种，包括最小二乘估计、最大似然估计和贝叶斯估计等。
本文将重点讨论多元线性回归中的参数估计方法。
在多元线性回归中，最常用的参数估计方法是最小二乘估计（Ordinary Least Squares,OLS）。
最小二乘估计是一种求解最优参数的方法，通过最小化残差平方和来估计参数的取值。
具体而言，对于给定的自变量和因变量数据，最小二乘估计方法试图找到一组参数，使得预测值与观测值之间的残差平方和最小。
这样的估计方法具有几何和统计意义，可以用来描述变量之间的线性关系。
最小二乘估计方法有一系列优良的性质，比如无偏性、一致性和有效性。
其中，无偏性是指估计值的期望等于真实参数的值，即估计值不会出现系统性的偏差。
一致性是指当样本容量趋近无穷时，估计值趋近于真实参数的值。
有效性是指最小二乘估计具有最小的方差，即估计值的波动最小。
这些性质使得最小二乘估计成为了多元线性回归中最常用的参数估计方法。
然而，最小二乘估计方法在面对一些特殊情况时可能会出现问题。
比如，当自变量之间存在多重共线性时，最小二乘估计的解不存在或不唯一。
多重共线性是指自变量之间存在较高的相关性，导致在估计回归系数时出现不稳定或不准确的情况。
为了解决多重共线性问题，可以采用一些技术手段，如主成分回归和岭回归等。
另外一个常用的参数估计方法是最大似然估计（Maximum Likelihood Estimation,MLE）。
最大似然估计方法试图找到一组参数，使得给定样本观测值的条件下，观测到这些值的概率最大。
具体而言，最大似然估计方法通过构建似然函数，并对似然函数求导，找到能够最大化似然函数的参数取值。
最大似然估计方法在一定条件下具有良好的性质，比如一致性和渐近正态分布。
但是，在实际应用中，最大似然估计方法可能存在计算复杂度高、估计值不唯一等问题。
3多元线性回归模型参数估计
3多元线性回归模型参数估计多元线性回归是一种回归分析方法，用于建立多个自变量和一个因变量之间的关系模型。
多元线性回归模型可以表示为：Y=β0+β1X1+β2X2+…+βnXn+ε其中，Y表示因变量，X1,X2,…,Xn表示自变量，β0,β1,β2,…,βn表示模型参数，ε表示误差项。
多元线性回归模型的目标是估计出模型参数β0,β1,β2,…,βn，使得实际观测值与模型预测值之间的误差最小化。
参数估计的方法有很多，下面介绍两种常用的方法：最小二乘法和梯度下降法。
1. 最小二乘法（Ordinary Least Squares, OLS）：最小二乘法是最常用的多元线性回归参数估计方法。
它的基本思想是找到一组参数估计值，使得模型预测值与实际观测值之间的残差平方和最小化。
首先，我们定义残差为每个观测值的实际值与模型预测值之间的差异：εi = Yi - (β0 + β1X1i + β2X2i + … + βnXni)其中，εi表示第i个观测值的残差，Yi表示第i个观测值的实际值，X1i, X2i, …, Xni表示第i个观测值的自变量，β0, β1, β2, …,βn表示参数估计值。
然后，我们定义残差平方和为所有观测值的残差平方的总和：RSS = ∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2我们的目标是找到一组参数估计值β0,β1,β2,…,βn，使得残差平方和最小化。
最小二乘法通过数学推导和求导等方法，可以得到参数估计值的解析解。
2. 梯度下降法（Gradient Descent）：梯度下降法是一种迭代优化算法，可以用于估计多元线性回归模型的参数。
它的基本思想是通过迭代调整参数的值，使得目标函数逐渐收敛到最小值。
首先，我们定义目标函数为残差平方和：J(β) = 1/2m∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2其中，m表示样本数量。
线性回归与最小二乘法
线性回归与最小二乘法线性回归是一种常用的统计分析方法，也是机器学习领域的基础之一。
在线性回归中，我们通过寻找最佳拟合直线来对数据进行建模和预测。
最小二乘法是线性回归的主要方法之一，用于确定最佳拟合直线的参数。
1. 线性回归的基本原理线性回归的目标是找到一条最佳拟合直线，使得预测值与实际值之间的误差最小。
我们假设线性回归模型的形式为：Y = β₀ + β₁X₁ +β₂X₂ + … + βₙXₙ + ε，其中Y是因变量，X₁、X₂等是自变量，β₀、β₁、β₂等是回归系数，ε是误差项。
2. 最小二乘法最小二乘法是一种求解线性回归参数的常用方法。
它的基本思想是使所有样本点到拟合直线的距离之和最小化。
具体来说，我们需要最小化残差平方和，即将每个样本点的预测值与实际值之间的差的平方求和。
3. 最小二乘法的求解步骤（1）建立线性回归模型：确定自变量和因变量，并假设它们之间存在线性关系。
（2）计算回归系数：使用最小二乘法求解回归系数的估计值。
（3）计算预测值：利用求得的回归系数，对新的自变量进行预测，得到相应的因变量的预测值。
4. 最小二乘法的优缺点（1）优点：最小二乘法易于理解和实现，计算速度快。
（2）缺点：最小二乘法对异常点敏感，容易受到离群值的影响。
同时，最小二乘法要求自变量与因变量之间存在线性关系。
5. 线性回归与其他方法的比较线性回归是一种简单而强大的方法，但并不适用于所有问题。
在处理非线性关系或复杂问题时，其他方法如多项式回归、岭回归、lasso回归等更适用。
6. 实际应用线性回归及最小二乘法广泛应用于各个领域。
在经济学中，线性回归用于预测GDP增长、消费者支出等经济指标。
在医学领域，线性回归被用于预测疾病风险、药物剂量等。
此外，线性回归还可以应用于电力负荷预测、房价预测等实际问题。
总结：线性回归和最小二乘法是统计学和机器学习中常用的方法。
线性回归通过拟合一条最佳直线，将自变量与因变量之间的线性关系建模。
计量经济学-3多元线性回归模型
2020/12/8
计量经济学-3多元线性回归模型
•第一节 概念和基本假定
•一、基本概念： • 设某经济变量Y 与P个解释变量：X1，X2，…，XP存在线性依
存关系。 • 1.总体回归模型：
•其中0为常数项， 1 ~ P 为解释变量X1 ~ XP 的系数，u为随机扰动项。 • 总体回归函数PRF给出的是给定解释变量X1 ~ XP 的值时，Y的期 望值：E ( Y | X1，X2，…，XP )。 • 假定有n组观测值，则可写成矩阵形式：
计量经济学-3多元线性回归模型
•2.样本回归模型的SRF
计量经济学-3多元线性回归模型
•二、基本假定： • 1、u零均值。所有的ui均值为0，E（ui）=0。 • 2、u同方差。Var（ui）=δ2，i=1，2，…，n
计量经济学-3多元线性回归模型
•
计量经济学-3多元线性回归模型
•
•第二节 参数的最小二乘估 计
•五、预测
•（一）点预测 •点预测的两种解释：
计量经济学-3多元线性回归模型
•（二）区间预测
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
•例5，在例1中，若X01=10，X02=10，求总体均值E（Y0|X0） 和总体个别值Y0的区间预测。
•
Yi=β0+β1Xi1+β2Xi2+ui
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
计量经济学-3多元线性回归模型
•三、最小二乘估计的性质
计量经济学-3多元线性回归模型
最小二乘法求解线性回归问题
最小二乘法求解线性回归问题最小二乘法是回归分析中常用的一种模型估计方法。
它通过最小化样本数据与模型预测值之间的误差平方和来拟合出一个线性模型，解决了线性回归中的参数估计问题。
在本文中，我将详细介绍最小二乘法在线性回归问题中的应用。
一、线性回归模型在介绍最小二乘法之前，先了解一下线性回归模型的基本形式。
假设我们有一个包含$n$个观测值的数据集$(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)$，其中$x_i$表示自变量，$y_i$表示因变量。
线性回归模型的一般形式如下：$$y=\beta_0+\beta_1 x_1+\beta_2 x_2+\dots+\beta_px_p+\epsilon$$其中，$\beta_0$表示截距，$\beta_1,\beta_2,\dots,\beta_p$表示自变量$x_1,x_2,\dots,x_p$的系数，$\epsilon$表示误差项。
我们希望通过数据集中的观测值拟合出一个线性模型，即确定$\beta_0,\beta_1,\dots,\beta_p$这些未知参数的值，使得模型对未知数据的预测误差最小化。
二、最小二乘法的思想最小二乘法是一种模型拟合的优化方法，其基本思想是通过最小化优化问题的目标函数来确定模型参数的值。
在线性回归问题中，我们通常采用最小化残差平方和的方式来拟合出一个符合数据集的线性模型。
残差代表观测值与模型估计值之间的差异。
假设我们有一个数据集$(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)$，并且已经选定了线性模型$y=\beta_0+\beta_1 x_1+\beta_2 x_2+\dots+\beta_p x_p$。
我们希望选择一组系数$\beta_0,\beta_1,\dots,\beta_p$，使得模型对数据集中的观测值的预测误差最小，即最小化残差平方和（RSS）：$$RSS=\sum_{i=1}^n(y_i-\hat{y}_i)^2$$其中，$y_i$表示第$i$个观测值的实际值，$\hat{y}_i$表示该观测值在当前模型下的预测值。
最小二乘法OLS和线性回归
1
本章要点
最小二乘法的基本原理和计算方法
经典线性回归模型的基本假定
BLUE统计量的性质 t检验和置信区间检验的原理及步骤 多变量模型的回归系数的F检验 预测的类型及评判预测的标准 好模型具有的特征
2
第一节
最小二乘法的基本属性
一、有关回归的基本介绍
金融、经济变量之间的关系，大体上可以分 为两种：
（1）函数关系：Y=f(X1,X2,….,XP)，其中Y的 值是由Xi（i=1,2….p）所唯一确定的。 （2）相关关系: Y=f(X1,X2,….,XP) ，这里Y的 值不能由Xi（i=1,2….p）精确的唯一确定。
3
图2-1 货币供应量和GDP散点图
注意：SRF中没有误差项，根据这一方程得到 的是总体因变量的期望值
17
于是方程（2.7）可以写为：
ˆ ˆ ˆ yt xt ut
和残差项（
（2.9）
总体y值被分解为两部分：模型拟合值（
ˆ u t ）。
ˆ y）
18
3.线性关系 对线性的第一种解释是指：y是x的线性函数， 比如，y= x。 对线性的第二种解释是指：y是参数的一个线 性函数，它可以不是变量x的线性函数。 2 比如，y= x 就是一个线性回归模型， 但 y x 则不是。
(一) 方法介绍
本章所介绍的是普通最小二乘法（ordinary least squares,简记OLS）;
最小二乘法的基本原则是：最优拟合直线应该 使各点到直线的距离的和最小，也可表述为距 离的平方和最小。
假定根据这一原理得到的α、β估计值为 、 ， ˆ yt 。 xt ˆ ˆ ˆ 则直线可表示为
何晓群：《应用回归分析》第四版-第三章多元线性回归
由 y X 及正态假定 ~ N (0, 2In ) , 有
y ~ N ( X , 2 In )
于是, 似然函数为
L
(2
)n/ 2 (
2
)n / 2
exp{
1
2
2
(
y
X
)'(
y
X
)}
对数似然函数为
ln
L
n 2
ln(2
)
n 2
ln(
2
)
1
2
2
(
y
北京 天津 河北 山西 内蒙古 辽宁 吉林 黑龙江 上海 江苏 浙江 安徽 福建 江西 山东 河南 湖北 湖南 广东 广西 海南
x1 1.94 0.33 6.16 5.35 3.78 11.2 2.84 8.64 3.64 30.9 6.26 4.13 5.85
6.7 10.8 4.16 4.64 7.08 16.3 4.01
(3.23)
为 yi 的残差. 称 e (e1,e2 ,,en )' y yˆ 为回归残差向量. 有
e y Hy (I H ) y
e y Hy (I H ) y 记
cov(e, e) (cov(ei , e j ))nn 为残差向量 e 的协方差阵, 或称为方差阵. 记为D(e).
yn 0 1 xn1 2 xn2 p xnp n
(3.4)
y1 0 1 x11 2 x12 p x1 p 1 y2 0 1 x21 2 x22 p x2 p 2
yn 0 1 xn1 2 xn2 p xnp n
回归分析法计算公式
回归分析法计算公式回归分析是一个统计方法，用于建立变量之间的关系模型，并通过该模型预测一个或多个自变量对应的因变量的值。
回归分析方法通常基于最小二乘法，通过寻找使得预测值和实际值之间的误差平方和最小的参数估计。
以下是回归分析中常用的计算公式及其含义：1.简单线性回归模型：简单线性回归模型可以用来分析一个自变量和一个因变量之间的关系。
它的数学形式如下：Y=β₀+β₁X+ε其中，Y是因变量，X是自变量，β₀和β₁是回归系数，ε是误差项。
2.多元线性回归模型：多元线性回归模型可以用来分析多个自变量和一个因变量之间的关系。
它的数学形式如下：Y=β₀+β₁X₁+β₂X₂+...+βₚXₚ+ε其中，Y是因变量，X₁,X₂,...,Xₚ是自变量，β₀,β₁,β₂,...,βₚ是回归系数，ε是误差项。
3.最小二乘法：最小二乘法是一种常用的参数估计方法，用于确定回归系数的值。
它通过最小化残差平方和来估计回归系数，使得预测值和实际值之间的差异最小。
4.残差：残差是实际观测值与回归模型预测值之间的差异。
在最小二乘法中，残差被用来评估模型的拟合程度，残差越小表示模型与实际值越接近。
5.回归系数的估计：回归系数可以通过最小二乘法估计得到。
简单线性回归模型的回归系数β₀和β₁的估计公式如下：β₁=∑((Xi-Xₚ)(Yi-Ȳ))/∑((Xi-Xₚ)²)β₀=Ȳ-β₁Xₚ其中，Xi和Yi是样本数据的自变量和因变量观测值，Xₚ和Ȳ分别是自变量和因变量的样本均值。
6.R²决定系数：R²决定系数用来衡量回归模型对因变量变异程度的解释能力，它的取值范围在0到1之间。
R²的计算公式如下：R²=1-(SSR/SST)其中，SSR是回归平方和，表示模型对因变量的解释能力；SST是总平方和，表示总体变异程度。
以上是回归分析常用的一些计算公式，通过这些公式可以计算回归系数、残差、决定系数等指标，用于评估回归模型的拟合程度和预测能力。
三阶段最小二乘法的例子
三阶段最小二乘法的例子全文共四篇示例，供读者参考第一篇示例：三阶段最小二乘法是一种应用于回归分析中的统计技术，通过对数据进行三个阶段的拟合来得到最优的拟合结果。
这种方法在实际应用中具有很高的准确性和稳定性，可以有效地解决数据中存在的噪音和异常值等问题。
下面将通过一个例子来介绍三阶段最小二乘法的具体应用。
假设我们有一个数据集，其中包含了一组自变量X和因变量Y的数据。
我们希望通过三阶段最小二乘法来建立一个模型，预测因变量Y与自变量X之间的关系。
我们需要对数据进行预处理，包括数据清洗、去除异常值等操作。
接下来，我们将数据分为三个阶段进行拟合。
在第一个阶段，我们使用简单的线性回归来拟合数据。
这一阶段主要是为了找到数据的初始拟合线，以便后续的进一步优化。
在第二个阶段，我们根据第一个阶段得到的初始拟合线，对数据进行分段拟合。
这一阶段可以帮助我们更好地适应数据的非线性特性，提高模型的拟合度。
在第三阶段，我们对整个数据集进行最终的拟合，得到最终的预测模型。
三阶段最小二乘法的优势在于它可以在建模过程中充分考虑数据的特性，通过多个阶段的拟合来提高模型的准确性和稳定性。
在实际应用中，这种方法可以有效地处理复杂的数据集，适应不同的数据分布和特性，提供更可靠的预测结果。
通过三阶段最小二乘法，我们可以建立一个更加准确和稳定的预测模型，为实际问题的解决提供有力的支持。
这种方法在数据分析、统计建模等领域具有广泛的应用前景，可以帮助人们更好地理解数据、预测趋势，促进科学研究和实践的发展。
希望通过这个例子，读者对三阶段最小二乘法有了更深入的了解，能够更好地应用于实际问题的解决中。
第二篇示例：三阶段最小二乘法（Three-stage least squares, 3SLS）是一种对多方面数据进行估计并获得最佳拟合线的方法，它是最小二乘法的一种变体。
在许多实际数据分析和经济学研究中，由于数据之间存在相互影响的关系，传统的最小二乘法不再适用。
计量经济学复习要点 (1)
计量经济学复习要点参考教材：伍德里奇 《计量经济学导论》 第1章 绪论数据类型：截面、时间序列、面板用数据度量因果效应，其他条件不变的概念习题：C1、C2 第2章 简单线性回归回归分析的基本概念，常用术语现代意义的回归是一个被解释变量对若干个解释变量依存关系的研究，回归的实质是由固定的解释变量去估计被解释变量的平均值。
简单线性回归模型是只有一个解释变量的线性回归模型。
回归中的四个重要概念1. 总体回归模型（Population Regression Model ，PRM)t t t u x y ++=10ββ--代表了总体变量间的真实关系。
2. 总体回归函数（Population Regression Function ，PRF ）t t x y E 10)(ββ+=--代表了总体变量间的依存规律。
3. 样本回归函数（Sample Regression Function ，SRF ）tt t e x y ++=10ˆˆββ--代表了样本显示的变量关系。
4. 样本回归模型（Sample Regression Model ，SRM ）tt x y 10ˆˆˆββ+=---代表了样本显示的变量依存规律。
总体回归模型与样本回归模型的主要区别是：①描述的对象不同。
总体回归模型描述总体中变量y 与x 的相互关系，而样本回归模型描述所关的样本中变量y 与x 的相互关系。
②建立模型的依据不同。
总体回归模型是依据总体全部观测资料建立的，样本回归模型是依据样本观测资料建立的。
③模型性质不同。
总体回归模型不是随机模型，而样本回归模型是一个随机模型，它随样本的改变而改变。
总体回归模型与样本回归模型的联系是：样本回归模型是总体回归模型的一个估计式，之所以建立样本回归模型，目的是用来估计总体回归模型。
线性回归的含义线性：被解释变量是关于参数的线性函数（可以不是解释变量的线性函数）线性回归模型的基本假设简单线性回归的基本假定：对模型和变量的假定、对随机扰动项u 的假定（零均值假定、同方差假定、无自相关假定、随机扰动与解释变量不相关假定、正态性假定）普通最小二乘法（原理、推导）最小二乘法估计参数的原则是以“残差平方和最小”。
用最小二乘法求线性回归方程
最小二乘法主要用来求解两个具有线性相关关系的变量的回归方程，该方法适用于求解与线性回归方程相关的问题，如求解回归直线方程，并应用其分析预报变量的取值等．破解此类问题的关键点如下：①析数据，分析相关数据，求得相关系数 r ，或利用散点图判断两变量之间是否存在线性相关关系，若呈非线性相关关系，则需要通过变量的变换转化构造线性相关关系．②建模型．根据题意确定两个变量，结合数据分析的结果建立回归模型．③求参数．利用回归直线 y=bx+a 的斜率和截距的最小二乘估计公式，求出 b ，a，的值．从而确定线性回归方程．④求估值．将已知的解释变量的值代入线性回归方程 y=bx+a 中，即可求得 y 的预测值．注意:回归直线方程的求解与应用中要注意两个方面：一是求解回归直线方程时，利用样本点的中心（ x，y）必在回归直线上求解相关参数的值；二是回归直线方程的应用，利用回归直线方程求出的数值应是一个估计值，不是真实值．经典例题：下图是某地区 2000 年至 2016 年环境基础设施投资额（单位：亿元）的折线图．为了预测该地区 2018 年的环境基础设施投资额，建立了与时间变量的两个线性回归模型．根据 2000 年至 2016 年的数据（时间变量的值依次为 1,2.，⋯⋯ 17 ）建立模型①： y=-30.4+13.5t ；根据 2010 年至 2016 年的数据（时间变量的值依次为）建立模型②： y=99+17.5t ．（ 1）分别利用这两个模型，求该地区 2018 年的环境基础设施投资额的预测值；（2）你认为用哪个模型得到的预测值更可靠？并说明理由．思路分析：（ 1）两个回归直线方程中无参数，所以分别求自变量为 2018 时所对应的函数值，就得结果，（ 2）根据折线图知 2000 到 2009 ，与 2010 到 2016 是两个有明显区别的直线，且 2010 到 2016 的增幅明显高于 2000 到 2009 ，也高于模型 1 的增幅，因此所以用模型 2 更能较好得到 2018 的预测.解析：（ 1）利用模型①，该地区 2018 年的环境基础设施投资额的预测值为= –30.4+13.5 ×19=226.1 （亿元）．利用模型②，该地区 2018 年的环境基础设施投资额的预测值为 =99+17.5×9=256.5 （亿元）（2）利用模型②得到的预测值更可靠．理由如下：（ i）从折线图可以看出， 2000 年至 2016 年的数据对应的点没有随机散布在直线y= –30.4+13.5t 上下，这说明利用 2000 年至 2016 年的数据建立的线性模型①不能很好地描述环境基础设施投资额的变化趋势． 2010 年相对 2009 年的环境基础设施投资额有明显增加， 2010 年至 2016 年的数据对应的点位于一条直线的附近，这说明从 2010 年开始环境基础设施投资额的变化规律呈线性增长趋势，利用2010 年至 2016 年的数据建立的线性模型 =99+17.5t 可以较好地描述 2010 年以后的环境基础设施投资额的变化趋势，因此利用模型②得到的预测值更可靠．（ ii）从计算结果看，相对于 2016 年的环境基础设施投资额 220 亿元，由模型①得到的预测值 226.1 亿元的增幅明显偏低，而利用模型②得到的预测值的增幅比较合理，说明利用模型②得到的预测值更可靠．以上给出了 2 种理由，考生答出其中任意一种或其他合理理由均可得分．总结：若已知回归直线方程，则可以直接将数值代入求得特定要求下的预测值；若回归直线方程有待定参数，则根据回归直线方程恒过中心点求参数 .线性回归方程是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一，线性回归也是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。
计量经济学第三章多元线性回归
ˆ ( X ' X )1 X 'Y
ˆ 就是 的最小二乘估计量。
第二节 最小二乘法
2. 最小二乘估计的矩阵微分法则
Q(ˆ0 , ˆ1, , ˆk ) ei2 (Yi Yˆi )2
e'e (Y Yˆ)'(Y Yˆ) (Y Xˆ)'(Y Xˆ) Y 'Y ˆ' X 'Y Y ' Xˆ ˆ' X ' Xˆ Y 'Y 2ˆ' X 'Y ˆ' X ' Xˆ
第一节 模型的建立及其假定条件
1. 为什么要引入多元线性回归模型？ 在实际经济问题中，一个经济变量往往不只受到一个
经济因素的影响，而是受到多个经济因素的影响。如，商 品的需求量不但受到商品本身价格的影响，还会受到消费 者偏好、消费者收入以及其它相关商品价格、预期价格等 因素的影响。
引入多元线性回归模型，为我们深入探究某经济问题 如何被多个经济因素所影响提供了可能，并有助于我们解 析出经济问题背后存在的内在规律。
多元线性回归模型是一元线性回归模型的推广，其基 本原理和方法同一元模型完全相似。
第一节 模型的建立及其假定条件
2. 多元线性回归模型与一元模型的形式有什么不同？
Yi 0 1 X i ui Y 0 1 X1 2 X 2 k X k u
多元总体线性回归方程，简称总体回归方程。
设 ( X1i , X 21i , , X ki ;Yi ), i 1,2, , n 是对总体 ( X1, X 2 , , X k ;Y ) 的n次独立样本观测值，则
可见，矩阵微分法与解方程组法的结果是一样的。
第二节 最小二乘法
例 3.1
由经济理论知，在市场上某种商品的需求量 Y 主要
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.3 多元线性回归与最小二乘估计1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型：y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t , (1.1)其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。
u t 代表众多影响y t 变化的微小因素。
使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。
当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1, 经济意义：x t j 是y t 的重要解释变量。
y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, 代数意义：y t 与x t j 存在线性关系。
……….. 几何意义：y t 表示一个多维平面。
y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T , (1.2) 此时y t 与x t i 已知，βj 与 u t 未知。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k jT T u u u x x x x x x x x x y y yβββ (1.3)Y = X β + u , (1.4) 为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。
假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2相同且为有限值，即E(u ) = 0 = ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡00 , Var (u ) = E(uˆu ˆ' ) = σ 2I = σ 2⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡10000001 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0假定 ⑶ 解释变量之间线性无关。
rk(X 'X ) = rk(X ) = k 其中rk (⋅)表示矩阵的秩。
假定⑷ 解释变量是非随机的，且当T → ∞ 时T – 1X 'X → Q其中Q 是一个有限值的非退化矩阵。
最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。
代数上是求极值问题。
min S = (Y - X βˆ)' (Y - X βˆ) = Y 'Y -βˆ'X 'Y - Y ' X βˆ +βˆ'X 'X βˆ = Y 'Y - 2βˆ'X 'Y + βˆ'X 'X βˆ (1.5) 因为Y 'X βˆ是一个标量，所以有Y 'X βˆ = βˆ'X 'Y 。
(1.5) 的一阶条件为： βˆ∂∂S = - 2X 'Y + 2X 'X βˆ= 0 (1.6) 化简得X 'Y = X 'X βˆ 因为 (X 'X ) 是一个非退化矩阵（见假定⑶），所以有βˆ= (X 'X )-1 X 'Y （1.7） 因为X 的元素是非随机的，(X 'X ) -1X 是一个常数矩阵，则βˆ是Y 的线性组合，为线性估计量。
求出βˆ，估计的回归模型写为 Y = X βˆ+ u ˆ (1.9) 其中βˆ= (0ˆβ 1ˆβ … 1ˆ-k β)' 是 β 的估计值列向量，u ˆ= (Y - X βˆ) 称为残差列向量。
因为 uˆ = Y - X βˆ= Y - X (X 'X )-1X 'Y = [I - X (X 'X )-1 X ' ]Y (1.10) 所以uˆ也是Y 的线性组合。
βˆ的期望和方差是 E(βˆ) = E[(X 'X )-1 X 'Y ] = E[(X 'X )-1X '(X β + u )] = β + (X 'X )-1X ' E(u ) = β (1.11)Var(βˆ) = E[(βˆ–β) (βˆ–β)']= E[(X 'X )-1X ' u u ' X (X 'X )-1] = E[(X 'X )-1X ' σ 2I X (X 'X )-1] = σ 2 (X 'X )-1 (1.12)高斯—马尔可夫定理：若前述假定条件成立，OLS 估计量是最佳线性无偏估计量。
βˆ具有无偏性。
βˆ具有最小方差特性。
βˆ具有一致性，渐近无偏性和渐近有效性。
2. 残差的方差s 2 = uˆ'u ˆ/ (T - k ) (1.13) s 2是σ 2的无偏估计量，E(s 2 ) =σ 2。
βˆ的估计的方差协方差矩阵是 ∧Var (βˆ) = s 2 (X 'X )-1 (1.14) 3. 多重确定系数（多重可决系数）Y = X βˆ+u ˆ=Y ˆ+u ˆ (1.15) 总平方和SST =∑=-Tt t y y 12)(= Y 'Y - T 2y , (1.16)其中y 是y t 的样本平均数，定义为y = T y Tt t /)(1∑=。
回归平方和为SSR =∑=-Tt t y y12)ˆ( = Y ˆ'Y ˆ- T 2y (1.17) 其中y 的定义同上。
残差平方和为SSE =∑=-Tt t t y y 12)ˆ( = ∑=Tt t u12ˆ = u ˆ'u ˆ (1.18) 则有如下关系存在，SST = SSR + SSE (1.19)R 2= 22ˆˆy T y T SST SSR -Y Y Y 'Y '-= (1.20) 显然有0 ≤ R 2 ≤ 1。
R 2 →1，拟合优度越好。
4. 调整的多重确定系数当解释变量的个数增加时，通常R 2不下降，而是上升。
为调整因自由度减小带来的损失，又定义调整的多重确定系数2R 如下：2R = 1 -))(1(1)1/()/(SST SSR SST k T T T SST k T SSE ----=-- = 1 - )1(12R kT T --- (1.21)5. OLS 估计量的分布若u ~ N (0, σ 2I ) ，则每个u t 都服从正态分布。
于是有Y ~ N (X β, σ 2I ) (1.22)因βˆ也是u 的线性组合（见公式1.7），依据（1.11）和（1.12）有βˆ ~ N ( β, σ2(X 'X )-1 ) (1.23) 6. 方差分析与F 检验与SST 相对应，自由度T -1也被分解为两部分，（T -1）= (k -1) + (T - k ) (1.24)回归均方定义为MSR =1-k SSR ，误差均方定义为MSE = kT SSE- 表1.1 方差分析表方差来源 平方和自由度 均方 回归 SSR =Yˆ'Y ˆ-T y 2 k -1 MSR = SSR / (k -1) 误差 SSE = uˆ'u ˆ T -k MSE = SSE / (T -k ) 总和SST = Y 'Y - T y 2T -1H 0: β1= β2 = … = βk -1 = 0; H 1: βj 不全为零F =MSEMSR = )/()1/(k T SSE k SSR -- ~ F (k -1,T -k ) (1.25)设检验水平为α，则检验规则是，若 F ≤ F α (k -1,T -k )，接受H 0；若 F > F α (k -1,T -k ) , 拒绝H 0。
0 F α (k -1, T -k ) -t α(T-k) 0 t α(T-k)F 检验示意图 t 检验示意图7．t 检验H 0：βj = 0, (j = 1, 2, …, k -1), H 1：βj ≠ 0 t =)ˆ(ˆjj s ββ=1121)'(ˆ)ˆ(ˆ+-+=j jj j s Var X X βββ~ t (T -k ) (1.26)判别规则：若∣ t ∣≤ t α(T -k ) 接受H 0；若∣ t ∣> t α(T -k ) 拒绝H 0。
8．βi 的置信区间（1） 全部βi 的联合置信区间接受F =k1(β -βˆ)' (X 'X ) (β -βˆ) / s 2 ~ F α (k , T -k ) (1.27) ( β -βˆ)' (X 'X ) ( β -βˆ) ≤ s 2 k F α (k , T -k )，它是一个k 维椭球。
(1.28) （2） 单个βi 的置信区间βi = i βˆ±1+j v s t α/2(T -k ) . (1.29)9．预测（1）点预测C = (1 x T +1 1 x T +1 2 … x T +1 k -1 ) (1.30) 则T + 1期被解释变量y T +1的点预测式是，1ˆ+T y= C βˆ=βˆ0 +βˆ1 x T +1 1 + … +βˆ k -1 x T +1 k -1(1.31)（2）E (y T +1) 的置信区间预测首先求点预测式C βˆ的抽样分布 E (1ˆ+T y) = E (C βˆ) = C β (1.32) Var (1ˆ+T y) = Var (C βˆ) = E[(C βˆ- C β ) (C βˆ- C β ) ' ] = E[C (βˆ- β ) [C (βˆ- β )] ' ]= C E[(βˆ- β ) (βˆ- β ) ' ]C ' = C Var (βˆ)C '= C σ2 (X 'X )-1C ' = σ2 C (X 'X )-1C ' , (1.33)因为βˆ服从多元正态分布，所以C βˆ也是一个多元正态分布变量，即 1ˆ+T y= C βˆ~ N (C β, σ2C (X 'X ) -1C ') (1.34) 构成 t 分布统计量如下t =')'()ˆ(ˆ111C X X C -++-s y E yT T =')'(ˆ1C X X C C C --s ββ ~ t (T -k ) (1.35)置信区间 C βˆ± t α/2 (1, T -k ) s ')'(1C X X C - (1.36) (3) 单个y T +1的置信区间预测y T +1值与点预测值1ˆ+T y有以下关系 y T +1 = 1ˆ+T y+ u T +1 (1.37) 其中u T +1是随机误差项。