一元线性回归模型

1
3.有效性（最小方差性）：是指在所有 线性、无偏估计量中，最小二乘估计量的方 差最小。（证明略） （证明略）
= b + ∑ K u 所以, b Var(b ) = Var(b + ∑ K u ) = Var(b ) + ∑ K Var(u ) ∑x = σ =σ ∑ 2 (∑ xi ) ∑ x 2 2 ∑ Xi Var (b ) = σ u 0 同样可以证明: 2 n ∑ xi
建立模型、估计模型、检验模型 、应用 建立模型、估计模型、
二、四种重要的关系式
1. 总体关系式：Yi=b0+ b1Xi+ui 2.总体回归方程：E（Yi）= b0+ b1Xi 3.样本关系式：Yi=
b
0
+ b 1 Xi+ei
0
1
4.样本回归方程： i = Y 思考其关系及含义
b +b
第二章 一元线性回归模型
目的与要求：1.掌握一元线性回归模型的概念 目的与要求：
2.理解关于最小二乘法的基本假定 3.掌握最小二乘法及最小二乘准则 4.掌握最小二乘估计量的统计性质及分
布
5.掌握一元线性回归模型的统计检验（拟 掌握一元线性回归模型的统计检验（ 合优度、t检验、F检验） 合优度、 检验、 检验） 6.会用一元线性回归模型分析简单问题
Xi
由以上重要关系式和假定，对模型 对模型 Yi=b0+ b1Xi+ui 真实值与估计值之差）， （1） ei= Yi- （真实值与估计值之差）， ） 称为残差（ 称为残差（residual）。 ）。 是同分布的，满足正态分布。 （2）Yi与ui是同分布的，满足正态分布。 ） 页图2—1理解四种重要关 （3）结合 ）结合P18页图 页图 理解四种重要关 系式的含义与关系是非常必要的。 系式的含义与关系是非常必要的。
第一节 一元线性回归模型的概念
一、相关关系与回归模型 我们接触过的变量关系可以分成两大类: 1.确定性关系 。例如 S=VT、I=U/R…. 2.不确定性关系。例如 经济分析中“投 入”与“产出”，“收入”与“需 求”……等关系。
变量间的不确定性关系又可以分为
1）相关关系 ：变量间的非确定性关系。 相关类型：线性相关与非线性相关；简单相关 与复相
0
E ( β ) = β
为什么具有BLUE性质的估计量是优良的估计量？
五、 b ， 的分布 b
0
1
b
0
、
b 都 服从正态分布
1
∑X 2 0 N（b0 、 n∑ x σu ） b
2 i 2 i
1
b N（b1
1
、
σu2 ） ∑ xi
2
（证明略）
2的估计 六、随机项u的方差σ
∑e 1.定理：σ u = n 2 是 σu2的一个无偏估计值 （证明从略）
表示 Xi ，Yi…… 离差形式用小写字母表示 xi ，yi……
三、举例说明
计量经济学模型为什么引入随机扰动项ui ？ 例题：需求模型 如前所述需求量Q受到商品价格P、当期 收入Yt 、其它商品价格P1 、前期收入Y t-1 、 经济政策G 、……等因素影响。所以， Q=f（P、 Y t 、P1、Y t-1、G……）
复习回顾一些概念:
1. 随机变量 2.随机变量的数字特征 数学期望 E(ui) 方 (表示平均的指标)
差 Var（ui）(表示离散程度)
协 方 差 COV(ui , uj) (表示相关的指标) 3.正态分布
第二节 一元线型回归模型参数估计
一、古典假定 二、四种重要的关系式 三、普通最小二乘法 四、估计量的统计性质 五、估计量 六、随机项u的方差估计量
b
0
的准则？ b 的准则？ 、
1
3.最小二乘式的推导 最小二乘式的推导
（1）令
0 1 Q(b , b ) = ∑ei = ∑(Y i Y ) =∑(Y i b b X i) 0 1 i
2 2
2
要使上式达到最小，根据求极值的原理可得正规方程为：
Q (b , b )
0 1
b
0
=
∑ (Y i b
2、拟合准则 、
（1）问题提出：如果不加限制，通过样 本点（Xi，Yi）可以拟合许多直线。
例如：
… .
Y . . .
O
X百度文库
(2)拟合准则的提出 拟合准则的提出
如果已求出样本回归方程： i = b0+ b1 Xi ， Y 一个很自然的想法是使得每一个真实值Yi与估
计值 Y i 的差
我们把
ei= Yi- Y
i
i
都尽量的小。
ei= Yi- Y
称为残差。
Σei (min)
Σ|ei|(min)
Σei2 (min)
（3）最小二乘准则
使Σei2（min）来确定一元线性回归模型 Y=b0+b1X+u 参数估计值
、b1 。 b
0
作业题 ：为什么不用使Σei或Σ|ei|(min)作为确 作业题 为什么不用使Σ 定
i i i i i 1 2 2 2 i i i i i 2 i i i 2 1 i i i
i
∑ x Y ∑ x
i 2 i
i
的线性函数
同样可以证明：b 也是 Y i的线性函数
0
2. 无偏性：即 b b 的均值（数学期望） 等于总体（真实）的参数值b0、 b 1
0 1
E（b ）= b 0
0
E（b ）= b 1 ，
.
..
拟合好
拟合差
X
怎样进行拟合优度检验（R2检验或度量）? 2 定理： 个度量。 R2 =
∑ y ∑ y
i 2 i
是回归直线拟合优劣的 一
证明： 1. 总离差平方和的分解公式：
∑ y
总离差
2 i
=
∑ y
2 i
+
∑e
i
2 i
y =Y
i
i
Y
i i
被解释离差
残差
4.线性回归模型 的普遍性
在实际经济分析中,由于经济变量之间的关系 在实际经济分析中 由于经济变量之间的关系 往往是非常复杂的,所以直接的精确线性模型是较 往往是非常复杂的 所以直接的精确线性模型是较 所以直接的精确线性模型 少的。 少的。 但是，由于第一，线性模型比较容易研究；第 但是，由于第一，线性模型比较容易研究； 二，现实经济分析中许多非线性问题可以经过简 单的数学处理转化为线性模型；第三， 单的数学处理转化为线性模型；第三，非线性模 型的分析基础是线性模型。 型的分析基础是线性模型。 所以，我们研究的思路是先学习线性回归模型， 所以，我们研究的思路是先学习线性回归模型， 然后学习非线性问题。 然后学习非线性问题。
1 1 i i 2 1 1 i i 1 i i 2 2 2 i u u 2 2 i
估计量如果同时具有线性性、无偏性、 有效性，则 称是具有BLUE（Best Linear Unbiasde Estimators）性质的优良估计量。普 通最小二乘估计量具有以上的优良性质。
β 的密度函数
Var ( β )
Y
i
三、普通最小二乘法（OLS方法） Ordinary Least Square的简称
1.基本思路 基本思路：对模型： Yi= b0+b1Xi+ui 基本思路 已知样本点（Xi，Yi）i=1，2，…，n，以及ui满 足基本假定， 求 b0 、 b1的满意估计值： 的满意估计值：
b
0
，
b
1
几个常用结果以及注释 1. Σei =0
2. Σei
Xi=0
3.样本回归方程过（ X , Y ）点 样本回归方程过（ 4.截距为0的一元线性回归模型参数估 计式 一元线性回归模型参数估计举例（ P23页）
四、估计量的统计学性质
1. 线性性：b , b 都是Yi的线性函数。
0 1
∑ x y = ∑ x (Y Y ) = ∑ x Y b = ∑ x ∑ x ∑ x ∑ xY = ∑ x x 令： K = 则： b = ∑ K Y 是 Y ∑ x
2 2 i
2.标准误差
s
s
bo
=
∑ X ∑e n∑ x n 2
2 i 2 i
2
i
b1
=
1
∑ x
∑ e
2 i
2 i
n 2
第三节 一元线性回归模型的统计检验
一、拟合优度检验（R2检验或度量）
为什么要进行拟合优度检验？ 例题：如图 Y
…. . ...
.. .. …
.
Y . .. ..
X
.
. .
.….
由以上分析可知
1. u项包含的主要内容： （1）模型中省略的次要变量； （2）确定模型数学形式的误差； （3）样本点的测量误差； （4）一些随机因素。
2. u项的特性
u项包含的内容决定u项的特性是： （1）是众多因素的影响代表； （2）对被解释变量Y影响方向是各异的， 有正有负； （3）对被解释变量Y影响平均可能是0； （4）是非趋势性的随机变量。
二、一元线性回归模型
1.一元线性回归模型（单变量模型） Y=b0+b1X+u 2.样本形式 Yi= b0 + b 1Xi+ ui （Xi、 Yi） i=1、 2、 3、…n 为一组样本 点。线性模型的涵义：被解释变量Y 是解释变量X的线性函数；被解释变 量Y是参数b 的线性函数。
说明：本书中样本点形式用大写字母
一、古典假定
关于最小二乘法的基本假定： 假定一：ui是一个随机实变量 假定二：任何特定时期（或不同样本对 应）ui 的平均值为零，即 E（ui）=0 假定三：每个时期（或不同样本对应） 的ui项方差为常数 Var（ui）= σu2 ，称无异方差性
假定四.：ui服从正态分布 假定五：不同时期（或样本）Xi与Xj对 应的随机项ui与uj之间是独立不相关的，即 Cov（ui，uj）=0，称无序列相关性或无自 相关。 假定六：解释变量X是一组确定性变量， 随机扰动项 ui与解释变量Xi无关, 即 Cov（ ui，Xj ）=0 。 假定七：解释变量之间不是完全线性相 关的。称无完全多重共线性。
关
2）回归关系：变量间非确定性的因果关系 因果关系：两个及以上变量在行为机制 上的依赖性。
3.回归模型：变量X 、Y具有回归关系 ， 则： Y=f（X，u）称为回归模型 （删除） 其中，u 是随机扰动项。 函数形式“ f ”如果是线性的，则称为线性 回归模型。
请理解并记住重要结论：经济定量分
析中我们遇到的变量大部分是具 有回归关系的变量。
i i i i 2 i i i 1 i 2 i i i i
i
如果记： xi= X i X , y i=Y iY 1 1 X = ∑ X i ,Y = ∑Y i n n ∑ xi y i 则： β 1 = 2 ∑ xi β 0=Y β 1 X
(离差形式）
（ 请证明,作业）
1 注意： xi = ∑ ( X X ) = ∑ X i n × ∑ X i =0 ∑ i n
1
b1 X i ) 0 b
1
2
=0
2
Q(b , b )
1
b
=
∑ (Y i b
0
b1 X i) 0 b
0
=0
整理得：
∑ (Y i b b
0 i 0
2
1
X i)
i
=0 =0 i
∑ (Y b b X ) X
1
解上面方程得： = b
0
∑ X ∑Y ∑ X ∑ X Y n ∑ X (∑ X ) 2 n∑ X Y ∑ X ∑Y = b n∑ X (∑ X )2
1
b = ∑ K Y = ∑ K (b + b X + u ) = b ∑ K +b ∑ K i X + ∑ K u 因为， K = ∑ x = 0 , ∑ K i X = 1 ∑ ∑x 所以， = b + ∑ K u , E (b ) = E (b + ∑ K u ) = b b
1 i i i 0 1 i i 0 i 1 i i i i i 2 i i 1 1 i i 1 1 i i
在计量经济模型中引入随机项扰动 ui 的理由如下：
第一，表示被解释变量Y与解释变量X的 不确定性关系 第二，模型不可能包含所有变量，次要变 量要省略 ； 第三，确定模型数学形式肯定会有误差 ； 第四，样本数据会有测量误差 ； 第五，一些随机因素无法选入模型。
所以，需求模型必须引入随机扰动项 u ，才能准确取等号 Q=f（P、 Yt 、P1、Yt-1、G、 u ……） 函数形式“ f ”如果是线性的： Q =b0+b1P+ b2Yt + b3 P1 +b4Yt-1 + b5G+ u
σ
对假定的学习思路：先结合随机项的特性,理
解假定含义,认为这些假定是成立的，学习参 数的估计、模型检验等。然后，在后面的章 节讨论这些假定是否成立？不成立会出现什 么问题？怎样检验？如何解决？
把握这个思路很重要哦!
四、回归分析 1.什么是回归分析？ 是回归模型的建立、估计、检验理论和 方法的统称 2.回归分析的主要内容