最小二乘法和线性回归与很好总结
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
即： yt ? ? ? ?xt ? ut （2.3）
其中t（=1,2,3,…..,T ）表示观测数。 式（2.3）即为一个简单的双变量回归模型（因其仅 具有两个变量 x, y）的基本形式。
9
?其中yt被称作因变量 ?xt被称作自变量
（dependent variable ）、（independent variable ）、
t ?1
t ?1
14
?根据最小化的一阶条件，将式 2.4分别对、求 偏导，并令其为零，即可求得结果如下 :
? ?? ? xt yt ? T xy ? xt2 ? Tx 2
?? ? y ? ??x
（2.5） （2.6）
15
? （二）一些基本概念 ?1.总体（the population ）和样本（ the sample ） ? 总体是指待研究变量的所有数据集合，可以是
?ｕt通常被称为随机误差项（ stochastic error term）,或随机扰动项（ random disturbance term）,简称误差项，
? 在回归模型中它是不确定的，服从随机分布 （相应的， yt也是不确定的，服从随机分布）。
11
?为什么将ｕ t 包含在模型中？ ?（1）有些变量是观测不到的或者是无法度量
被解释变量
解释变量
（explained variable ）、（explanatory variable ）、
结果变量
原因变量
（effect variable ）； （causal variable ）
10
?α、β为参数（parameters ）,或称回归系数 （regression coefficients ）；
6
? 对于变量间的相关关系，我们可以根据大量的 统计资料，找出它们在数量变化方面的规律 （即“平均”的规律），这种统计规律所揭示 的关系就是 回归关系 （regressive relationship ）,所表示的数学方程就是 回归方程 （regression equation ）或回归模型 （regression model ）。
7
?图2-1中的直线可表示为
y= ? ? ? x
（2.1）
根据上式，在确定 α、β的情况下，给定一个 x
值，我们就能够得到一个确定的 y值，然而根
据式（2.1）得到的y值与实际的 y值存在一个
误差（即图 2-1中点到直线的距离）。
8
?如果我们以ｕ表示误差，则方程（ 2.1）变为：
y= ? ? ? x ? u （2.2）
有限的，也可以是无限的；而样本是总体的一 个子集。
?2、总体回归方程（ the population regression function，简记PRF），样本回归方程（ the sample regression function ，简记SRF）。
16
?总体回归方程（ PRF）表示变量之间的真实关 系，有时也被称为数据生成过程（ DGP）， PRF中的α、β值是真实值，方程为：
图2-1 货币供应量和GDP散点图
4
?图2-1表示的是我国货币供应量 M2（y）与经过 季节调整的 GDP （x）之间的关系（数据为 1995年第一季度到 2004年第二季度的季度数 据）。
5
?但有时候我们想知道当 x变化一单位时， y平均 变化多少，可以看到，由于图中所有的点都相 对的集中在图中直线周围，因此我们可以以这 条直线大致代表 x与y之间的关系。如果我们能 够确定这条直线，我们就可以用直线的斜率来 表示当x变化一单位时 y的变化程度， 由图中的 点确定线的过程就是回归。
（2.9）
?总体y值被分解为两部分：模型拟合值（ y? ）
和残差项（u?t ）。
18
? 3.线性关系
?对线性的第一种解释是指： y是x的线性函数，
比如，y=? ? ?x。
?对线性的第二种解释是指： y是参数的一个线 性函数，它可以不是变量 x的线性函数。
的，又或者影响因变量 yt的因素太多； ?（2）在yt的度量过程中会发生偏误，这些偏
误在模型中是表示不出来的； ?（3）外界随机因素对 yt的影响也很难模型化，
比如：恐怖事件、自然灾害、设备故障等。
百度文库12
?二、参数的最小二乘估计
?(一) 方法介绍
?本章所介绍的是 普通最小二乘法 （ordinary least squares, 简记OLS）;
?一、有关回归的基本介绍
金融、经济变量之间的关系，大体上可以分 为两种：
（1）函数关系： Y=f(X1,X2,….,XP)，其中Y的 值是由 Xi（i=1,2….p ）所唯一确定的。
（2）相关关系: Y=f(X1,X2,….,XP) ，这里Y的 值不能由 Xi（i=1,2….p ）精确的唯一确定。
3
? 最小二乘法的基本原则是：最优拟合直线应该 使各点到直线的距离的和最小，也可表述为距 离的平方和最小。
?假定根据这一原理得到的 α、β估计值为 、 ，
则直??线可??表示为
yt 。? ?? ? ??xt
13
?直线上的yt值，记为 y?t ，称为拟合值（ fitted
value）,实际值与拟合值的差，记为 u?t ，称
第二章 最小二乘法（OLS） 和线性回归模型
1
本章要点
? 最小二乘法的基本原理和计算方法 ? 经典线性回归模型的基本假定 ? BLUE统计量的性质 ? t检验和置信区间检验的原理及步骤 ?多变量模型的回归系数的 F检验 ? 预测的类型及评判预测的标准 ? 好模型具有的特征
2
第一节 最小二乘法的基本属性
yt ? ? ? ?xt + ut （2. 7）
?样本回归方程（ SRF）是根据所选样本估算的 变量之间的关系函数，方程为：
y? ? ?? ? ??xt
（2.8）
注意： SRF 中没有误差项，根据这一方程得到
的是总体因变量的期望值
17
于是方程（ 2.7）可以写为：
yt ? ?? ? ??xt ? u?t
为残差（residual） ，可以看作是随机误差
项ut 的估计值。
? 根据 OLS 的基本原则，使直线与各散点的距
离的平方和最小，实际上是使残差平方和
T
（residual sum of squares, 简记RSS） ? u?t2
最小，即最小化：
t?1
T
T
? ? RSS= ( yt ? y?t )2 = ( yt ? ?? ? ??xt )2 （2.4）
其中t（=1,2,3,…..,T ）表示观测数。 式（2.3）即为一个简单的双变量回归模型（因其仅 具有两个变量 x, y）的基本形式。
9
?其中yt被称作因变量 ?xt被称作自变量
（dependent variable ）、（independent variable ）、
t ?1
t ?1
14
?根据最小化的一阶条件，将式 2.4分别对、求 偏导，并令其为零，即可求得结果如下 :
? ?? ? xt yt ? T xy ? xt2 ? Tx 2
?? ? y ? ??x
（2.5） （2.6）
15
? （二）一些基本概念 ?1.总体（the population ）和样本（ the sample ） ? 总体是指待研究变量的所有数据集合，可以是
?ｕt通常被称为随机误差项（ stochastic error term）,或随机扰动项（ random disturbance term）,简称误差项，
? 在回归模型中它是不确定的，服从随机分布 （相应的， yt也是不确定的，服从随机分布）。
11
?为什么将ｕ t 包含在模型中？ ?（1）有些变量是观测不到的或者是无法度量
被解释变量
解释变量
（explained variable ）、（explanatory variable ）、
结果变量
原因变量
（effect variable ）； （causal variable ）
10
?α、β为参数（parameters ）,或称回归系数 （regression coefficients ）；
6
? 对于变量间的相关关系，我们可以根据大量的 统计资料，找出它们在数量变化方面的规律 （即“平均”的规律），这种统计规律所揭示 的关系就是 回归关系 （regressive relationship ）,所表示的数学方程就是 回归方程 （regression equation ）或回归模型 （regression model ）。
7
?图2-1中的直线可表示为
y= ? ? ? x
（2.1）
根据上式，在确定 α、β的情况下，给定一个 x
值，我们就能够得到一个确定的 y值，然而根
据式（2.1）得到的y值与实际的 y值存在一个
误差（即图 2-1中点到直线的距离）。
8
?如果我们以ｕ表示误差，则方程（ 2.1）变为：
y= ? ? ? x ? u （2.2）
有限的，也可以是无限的；而样本是总体的一 个子集。
?2、总体回归方程（ the population regression function，简记PRF），样本回归方程（ the sample regression function ，简记SRF）。
16
?总体回归方程（ PRF）表示变量之间的真实关 系，有时也被称为数据生成过程（ DGP）， PRF中的α、β值是真实值，方程为：
图2-1 货币供应量和GDP散点图
4
?图2-1表示的是我国货币供应量 M2（y）与经过 季节调整的 GDP （x）之间的关系（数据为 1995年第一季度到 2004年第二季度的季度数 据）。
5
?但有时候我们想知道当 x变化一单位时， y平均 变化多少，可以看到，由于图中所有的点都相 对的集中在图中直线周围，因此我们可以以这 条直线大致代表 x与y之间的关系。如果我们能 够确定这条直线，我们就可以用直线的斜率来 表示当x变化一单位时 y的变化程度， 由图中的 点确定线的过程就是回归。
（2.9）
?总体y值被分解为两部分：模型拟合值（ y? ）
和残差项（u?t ）。
18
? 3.线性关系
?对线性的第一种解释是指： y是x的线性函数，
比如，y=? ? ?x。
?对线性的第二种解释是指： y是参数的一个线 性函数，它可以不是变量 x的线性函数。
的，又或者影响因变量 yt的因素太多； ?（2）在yt的度量过程中会发生偏误，这些偏
误在模型中是表示不出来的； ?（3）外界随机因素对 yt的影响也很难模型化，
比如：恐怖事件、自然灾害、设备故障等。
百度文库12
?二、参数的最小二乘估计
?(一) 方法介绍
?本章所介绍的是 普通最小二乘法 （ordinary least squares, 简记OLS）;
?一、有关回归的基本介绍
金融、经济变量之间的关系，大体上可以分 为两种：
（1）函数关系： Y=f(X1,X2,….,XP)，其中Y的 值是由 Xi（i=1,2….p ）所唯一确定的。
（2）相关关系: Y=f(X1,X2,….,XP) ，这里Y的 值不能由 Xi（i=1,2….p ）精确的唯一确定。
3
? 最小二乘法的基本原则是：最优拟合直线应该 使各点到直线的距离的和最小，也可表述为距 离的平方和最小。
?假定根据这一原理得到的 α、β估计值为 、 ，
则直??线可??表示为
yt 。? ?? ? ??xt
13
?直线上的yt值，记为 y?t ，称为拟合值（ fitted
value）,实际值与拟合值的差，记为 u?t ，称
第二章 最小二乘法（OLS） 和线性回归模型
1
本章要点
? 最小二乘法的基本原理和计算方法 ? 经典线性回归模型的基本假定 ? BLUE统计量的性质 ? t检验和置信区间检验的原理及步骤 ?多变量模型的回归系数的 F检验 ? 预测的类型及评判预测的标准 ? 好模型具有的特征
2
第一节 最小二乘法的基本属性
yt ? ? ? ?xt + ut （2. 7）
?样本回归方程（ SRF）是根据所选样本估算的 变量之间的关系函数，方程为：
y? ? ?? ? ??xt
（2.8）
注意： SRF 中没有误差项，根据这一方程得到
的是总体因变量的期望值
17
于是方程（ 2.7）可以写为：
yt ? ?? ? ??xt ? u?t
为残差（residual） ，可以看作是随机误差
项ut 的估计值。
? 根据 OLS 的基本原则，使直线与各散点的距
离的平方和最小，实际上是使残差平方和
T
（residual sum of squares, 简记RSS） ? u?t2
最小，即最小化：
t?1
T
T
? ? RSS= ( yt ? y?t )2 = ( yt ? ?? ? ??xt )2 （2.4）