2、一元线性回归 PPT课件

假设零均值同方差 E( )=0
无序列相关性
i
假设零均值同方差 无序列相关性
Var( i)= 2
E(Yi )= 0 1 X i
Var(Yi /X i )= 2
假设零均值同方差 Cov( i , j)=0 Cov(Yi , Y j)=0
无序列相关性
二、普通最小二乘法
给定一元线性回归模型
回归函数（方程）
E（Y
X
）＝
i
0 1X i
估计
回归模型
估计
Yi 0 1 X i i
样本（实际） Yˆi ˆ0 ˆ1Xi Yi ˆ0 ˆ1Xi ei
2.2 一元线性回归模型的参数估计
一元线性回归模型是最简单的线性回归模型，在模型中只有 一个自变量，其参数估计方法普通最小二乘法也是最普 遍使用的。
n
X
2 i

(
X i )( Yi ) Xi )2
将ˆ1代入正规方程组，令 X
ˆ0 Y ˆ1 X
Xi n
，Y

Yi
n
，得ˆ0表达式
令
xi
差
Xi X
，则
，
ˆ0
yi Yi Y ，即分别代表样本值与其平均值的离 、ˆ1表达式可简写为


ˆ1


质，即最小二乘估计量还具有一致性：当样本容量趋于无 穷时，估计量收敛于总体参数真值。
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
2、无偏性，即估计量ˆ0 、 ˆ1 的均值（期望）等于总体回归
参数真值0 与1
为0时，Q达到最小值，即
Q



ˆ 0
Q

ˆ 1
0 0
通过计算，得正规方程组：
ˆ0
nˆ0 ˆ1 X i ˆ1
X i Yi
X
2 i

X iYi
运用克莱姆法则，求解得：
ˆ1

D2 D
n
X i Yi (
1、样本回归函数
如果本给总出量了。一该组样样本本的观散测点值图（若近X i似，Y一i ）条，i直线1,2，,可, n以，找n一称条为直样
线尽可能地拟合该散点图，该直线称为样本回归线，其函 数形式为：
Yˆi ˆ0 ˆ1Xi
称为样本回归函数或样本回归方程。
2、样本回归模型
如果用样本数据确切表达被解释变量与解释变量之间不确定的 依赖关系，类似总体回归模型，则可以建立样本回归模型：
Q
n
ei2
n
(Yi Yˆi )2
n
Yi (ˆ0 ˆ1 X i ) 2
i 1
i1
i 1
达到最小，按照最小二乘准则求得的总体回归函数的参数
估计量即样本回归函数的截距项 普通最小二乘法。
ˆ0
与斜率项 ˆ1
的方法，叫
根据微积分的多元函数极值原理，当Q对ˆ0 、ˆ1 的一阶偏导数
总体参数的估计量如果具备以下特性，说明是良好估计量：（1） 线性性，即它是另一随机变量的线性函数；
（2）无偏性，即它的均值或期望等于总体参数真值；
（3）有效性，即它在所有无偏估计量中具有最小方差。
这三个特性称作估计量的小样本性质，具有这类特征的估计量 称作最佳线性无偏估计量（BLUE）。估计量大样本性质是一致 性、渐进无偏性、渐进有效性。可以证明，在经典假设条件下， 最小二乘估计量是最佳线性无偏估计量。
2、总体回归模型 一元线性总体回归模型的一般形式：
Yi 0 1 X i i
或
Yi E(Y X i ) i
其中
Yi ——被解释变量 X i ——解释变量
i ——随机干扰项（随机误差项或随机项、误差项）
0 、1——回归系数（待定系数或待定参数）
因为加入随机误差项，是计量经济学模型，也称总体回归模型。
XY地位不对等，Y称为被 解释变量，X称为解释变量
Y－随机变量 X－假定为确定性变量
Y－随机变量 X－假定为确定性变量
二、总体回归函数与总体回归模型
1、总体回归函数
（1）总体回归函数一般形式：
E（ Y / X）i ＝f（X） E（Y / Xi）——条件均值，读作给定X时的期望Y f（Xi）——解释变量X的某种函数，包括线性和非线性
i
i
ei Yi Yˆi
综上所述，回归分析的过程就是根据样本回归模型
Yi ˆ0 ˆ1 Xi ei
估计总体回归模型：
Yi 0 1 X i i
以揭示被解释变量Y与解释变量X之间可能存在的依赖关系的数量规 律性 。
小结
以下是一元线性回归函数与模型的四种形式
数据范围 总体（理论） 函数/模型名称
2、变量之间的关系 社会经济活动总是和许多经济变量相联系的，我们常常要研究这
些变量之间的数量关系。对于经济变量之间的关系，一般分为 两类：
（1） 一类是变量之间存在确定性的函数关系。这种关系的特点 是变量之间为一一对应关系。
（2）另一类是现实中大量存在的变量之间有着非确定性的统计 相关关系。这种关系的特点是变量间不能给出精确的函数表 达式，即不是一一对应关系，但在一定条件下变量之间有着 某种规律性的关系。
ei Yi Yˆ = Yi ˆ0 ˆ1 Xi
它表明残差项是Y的实际值与估计值 Yˆ之差。
已知定们给和一样采定达组本用样到样回最本最本归小观小观函二测。测数乘值即值准条Yˆi，（则件即X来下i 使选，，Y它择选iY）ˆi尽择，可：除iˆ0能使1ˆ,2接残、1,近差，, n实平Y我使i 际方们与Y值和ˆ希i Y最望i离，小先差因。这的此即样平我在确方
Y与X对称，研究相互关系
变量 Y－随机变量 性质 X－随机变量
研究 方法
散点图研究相关形式；相关系数研
Байду номын сангаас
究关联强度；r的显著性检验;公式
r
( X X )(Y Y )
( X X )2 (Y Y )2
回归分析
一个变量对另一个（些） 变量的依赖关系包括模型 参数估计、参数统计量、 回归方法、显著性检验、 应用研究依赖关系
假设四、 解释变量与随机干扰项不相关，即
2
）
Cov( X i , i)=0 ， i 1,2,, n
假设五、 随机干扰项服从均值为0，方差为 2 的正态分布，即
i ~N（0， 2） i 1,2,, n
古典线性回归模型的主要假设
假设零均值同方差 无序列相关性
用 i 表示
用 Yi 表示
（2）线性总体回归函数形式：
E(Y / Xi) 1Xi
如果E（Y /
函系数 数， 。 0 和
Xi）1是与未知0、参数1的，关称系为是回线归性系的数，，则0 上为式截称距为系线数性，1总体为回斜归率
需要指出的是，线性函数是针对回归系数而言，而不是针对解释变 量X，即回归系数只以一次方程形式出现，对X则无此要求。
3、随机误差项包含因素
（1）回归模型中省略的变量。影响被解释变量的因素很多， 建立模型时，一般只研究对被解释变量影响重要的因素和 我们所关心的因素，将其它非重要影响因素归并到中。
（2）随机因素的影响。如自然灾害对农业生产的影响，市场 不确定因素如顾客消费心里、广告宣传等对产品销售量的 影响。
（3）模型设定误差的影响。由于经济现象的复杂性，模型真 实函数形式往往是未知的，为方便研究，我们往往将非线 性关系线性化，因此实际设定的模型可能与真实的模型有 偏差。
最小二乘准则与最小二乘估计
Yi 0 1 X i i
由于总体回归模型不能直接观测到，我们用样本回归模 型来估计它。那么样本回归模型或函数本身怎样确定呢？ 有如下样本回归模型：
Yi ˆ0
这样把
Yˆˆ看1X作i Yeii
=Yˆ ei i 1,2,, n
拟合值（估计值），有
一、一元线性回归模型的基本假定 普通最小二乘法(OLS ）是数学家C.F.高斯提出的。他提 出在某些假定条件下，用普通最小二乘法得到的参数估 计量具有良好的统计特性。因此，下面的基本假设实际 上是针对普通最小二乘法。
一元线性回归模型的一般形式是 Yi 0 1 X i i （ i 1,2,, n ）
证： ˆ1 kiYi ki (0 1 X i i ) 0 ki 1 ki X i ki i
三、最小二乘估计量的性质
1、线性性 2、无偏性
即估计量 ˆ0、ˆ1的数学期望值分别等于总体回归系数 、0 1 ，
即
E( ˆ0 )= ˆ0 , E( ˆ1 )= ˆ1
3、有效性（最小方差性） 即在所有线性无偏估计量中，最小二乘估计量 ˆ0 、ˆ1具有最小
方差。 4、一致性 以上是最小二乘估计量的小样本性质，ˆ0 、ˆ1还具有大样本性
通常要满足五个基本假定条件：
一、一元线性回归模型的基本假定
假设一、（零期望） 随机干扰项的数学期望（均值）为零，即
E( i)=0
假设二、每个随机干扰项 i的方差为一常数 2，即具有同方差性
假设三 、不同随机干扰项与之间是不相关的，称无序列相关性，即
Cov( i, )j =0 , Cov(i , j)=0 ,
Yi Yˆ ˆ
或
Yi ˆ0 ˆ1 Xi ei
其中 ei为残差项，也称拟合误差，包含了影响Yi 的其它随机因
素，可看作 i 的估计值，由于引进随机项上式为计量经济学
模型，称为样本回归模型。上式也称为样本回归函数的随机
形式。
三、样本回归函数与样本回归模型
Yˆ Y 样本观测值 与估计值 的残差为：
ei yˆi eiˆ1xi ˆ1 xi ( yi ˆ1xi ) 0
(4)样本回归直线经过点（X ，Y ） （5）被解释变量的样本均值 Y ，等于其估计值 Yˆi 的平均值Yˆ
三、最小二乘估计量的性质
当一元线性回归模型的随机项 i 满足最小二乘法的假定条件时， 可以利用样本观测值和最小二乘法得到模型中两个回归系数的 估计量 ˆ0 、ˆ1 。这种估计量只是利用一组样本观测值并令ei2 最小的情况下给出的，由于样本抽样是随机的，不同的样本可 得出不同的估计量，因此ˆ0 、ˆ1均为随机变量，并具有一定的概 率分布，估计量与总体参数的真值有偏差，因此讨论参数估计 量的统计性质成为衡量估计量“优劣”与否的准则。
( X i X )(Yi Y ) (Xi X)
ˆ0 y ˆ1 X
xi yi xi2
2、几个常用结论（样本回归函数（模型）的特点）
（1)残差ei 的均值等于0，即，ei 0
（2)残差 ei与解释变量 X i 不相关，即，ei Xi 0 （3残差 ei与被解释变量 Yˆi 的拟合值不相关，即
第二章 经典单方程计量经济学模型： 一元线性回归模型
•一元线性回归模型的基本概念 •一元线性回归模型的参数估计 •一元线性回归模型的统计检验 •一元线性回归方程的预测 •相关实例
2.1 一元线性回归模型的基本概念
一、回归分析的基本概念
1、“回归”名称的由来 “回归”名称和回归分析的思想来源于经济学家F.Galton和他 的学生K.Pearson对于父母身高与子女身高关系问题的研究。 “回归”的名称当时描述了父辈身高x与子辈身高y的关系。现 代人们借用这个名词把研究变量x与y之间统计关系的数字方法 称为“回归”分析。
回归分析是研究变量间不确定的统计相关关系的经典方法之一。
3、回归分析与相关分析的联系与区别
回归分析与相关分析都是研究变量间统计相关关系的方法，但是 它们的侧重点不同。
回归分析与相关分析的联系和区别如下表所示：
相关分析
研究 变量之间相关形式（线性相关、非 内容 线性相关）
变量之间相关程度
变量 地位
r ( X X )(Y Y ) ( X X )2 (Y Y )2
（4）数据的观测误差。
（5）其它随机因素的影响。
三、样本回归函数与样本回归模型
总体回归函数揭示了研究总体被解释变量与解释变量之间的 平均变化规律，但总体数据往往无法全部获得，因此，总 体回归函数仅仅是一个理论或理想化的结构，实际上是未 知的。与数理统计学中的推断统计思想类似，一般我们是 通过从研究总体中随机抽取的一组具体的样本数据建立的 回归函数关系，来估计研究总体的回归函数。因此，引入 样本回归函数的概念。