第6章双变量回归

2、总体回归函数
总体回归函数（PRF: Population Regression Function） E(Y|Xi)=f(Xi)

例如
Yi=b0+b1Xi+u
回归直线上的点可表示为： E(Y︱Xi)= b0+b1Xi
2013-7-10
计量经济学讲义
8
总体回归曲线
140 110 80 50 20 50 100 150 200
SRF 是 PRF 的一个近似估计 问：怎样构造 ˆ SRF 能使得 i 尽可能
“逼近”真实的系数
i 呢？
2013-7-10
计量经济学讲义
27
“线性”的含义
“线性” 可作为两种解释：对变量的线性和 对参数的线性。本课“线性”回归一词总 是指对参数为线性的一种回归（即参数只 以它的1次方出现）。
2013-7-10 计量经济学讲义 17
6.4随机误差项的性质及其来源
1、变量的省略。由于人们认识的局限不能穷尽所有的影响因 素或由于受时间、费用、数据质量等制约而没有引入模型之中 的对被解释变量有一定影响的自变量。 2、统计误差。数据搜集中由于计量、计算、记录等导致的登 记误差；或由样本信息推断总体信息时产生的代表性误差。 3、模型的设定误差。如在模型构造时，非线性关系用线性模 型描述了；复wwaz杂关系用简单模型描述了；此非线性关系 用彼非线性模型描述了等等。 4、随机误差。被解释变量还受一些不可控制的众多的、
i
ˆ ˆ ˆ ˆ ˆ Yi Yi u i 1 2 X i u i
ˆ 其中 u i 是残差项
( residual
) ˆ ˆ ˆ 根据 SRF Y i 1 2 X i u i
回归分析的主要目的是
来估计 PRF : Y i 1 2 X i u i
模型
y i 0 1 x i u了 i
。
三、一元线性回归模型中随机项的假定
) 在给定样本观测值（样本值） ( x i , y，1,2,3,…,n后，为 i 了估计（2.1.5）式的参数 和 ，必须对随机项做出 0 1 某些合理的假定。这些假定通常称为古典假设。
2013-7-10 计量经济学讲义 31
i
2013-7-10
计量经济学讲义
10
回归系数
b0，b1为参数parameters, 也称回归系数 （regression coefficients) b1为截距(intercept); b0为斜率（slope) ui是随机误差项（stochastic, random error term)或随机干扰项。其值不能先验地知道。 通常用概率分布来描述。
2013-7-10 计量经济学讲义 15
条件均值
Y
条件均值
E(Y|Xi)
149 101 65
80
2013-7-10
140
计量经济学讲义
220
X
16
总体回归函数（PRF）
因为每个Xi对应唯一的一个E(Y|Xi) ，所以E(Y|Xi) 是Xi的函数。将此函数称为： 总体回归函数（PRF: Population Regression Function） E(Y|Xi)=f(Xi) (1) 当PRF的函数形式为线性函数，则有， E(Y|Xi)=1+2Xi (2) 其中1和2为未知而固定的参数，称为回归系数。 1和2也分别称为截距和斜率系数。 上述方程也称为线性总体回归函数。
估计量（Estimator）：一个估计量又称统计量， 是指一个规则、公式或方法，是用已知的样本所 提供的信息去估计总体参数。在应用中，由估计 量算出的数值称为估计值。
2013-7-10 计量经济学讲义 24
比较PRF和SRF
PRF : E(Y | X i ) 1 2 X
i
Y i E(Y | X i ) u i 1 2 X i u i ˆ ˆ ˆ SRF : Y i 1 2 X
Y
2013-7-10
线性 (Y)
计量经济学讲义 9
总体回归函数释义
E(Y︱X )意为：在给定X值的条件下Y值分 布的均值，即回归。 这就是Y的条件期望（conditional expectation）或条件均值（conditional expected value)。 意味着Y依赖于X，一般称之为Y对X的函数。 一般称为Y对X的回归。 换句话说，总体回归直线经过Y的条件期望 值。
y x 1
y
2
x
2
0
二是被解释变量x与参数 之间为线性关系，即参数 仅以一次方的形式出现在模型之中。用数学语言表 示为： 2 y
y 0 1

y
0
2
0
y
2
1
x
1
2
0
在经济计量学中，我们更关心被解释变量y与参数 之 间的线性关系。因为只要被解释变量y与参数 之间 2013-7-10 30 计量经济学讲义
2013-7-10
计量经济学讲义
11
条件分布
条件分布：以X取定值为条件的Y的条件分 布 注：给定收入X，支出Y并不确定，而是取 不同的值。 问：给定收入X，支出Y取什么值？ 例：给定X=80，Y取5个不同的值：55、 60、65、70、75
2013-7-10 计量经济学讲义 12
条件概率
“线性”的含义
Y= 1+2X+u 是线性的！ lnY= 1+2lnX+u 也是线性的！ Y= 1ln(2X+u）不是线性的！
2013-7-10
计量经济学讲义
32
6.8参数估计:普通最小二乘估计（OLS）
给定一组样本观测值（Xi, Yi）（i=1,2,…n）要 求样本回归函数尽可能好地拟合这组值. 普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：二者之差的平方和
第6章：双变量线性回归
2013-7-10
计量经济学讲义
1
本章主要内容
双变量线性回归模型： 回归的含义 总体回归函数 随机误差项的性质和设定 参数估计-普通最小二乘法 参数最小二乘估计量的统计性质 （小结）
计量经济学讲义
2013-7-10
2
复习：
计量经济学“四大过程”
为线性关系，即使被解释变量y与解释变量x之间不为 线性关系，我们也可以通过变量替换方便地将其化为 线性。例如， y
1 x
i
0 1
1 xi
ui
模型就属于被解释变量y
1 xi
与解释变量x之间不为线性关系的情形，如果我们令
x
'
，此时非线性模型
'
yi 0 1
u 就变成线性 i
细小的偶然因素的影响
2013-7-10 计量经济学讲义 18
4、总体与样本
总体是我们研究的目 的，但是不能知道总 体的全部数据 用总体中的一部分 （样本）来推断总体 的性质。
总体
样本
样本
样本
2013-7-10
计量经济学讲义
19
4、样本回归函数（SRF）
两个随机样本，对应给定的每个Xi只有一个Y值， 问：能从样本数据中估计出PRF吗？
2

(X i X )
2


X
2 i

1 n

X
i

2

xi yi

( X i X )( Y i Y )

X iYi
1
n
X
i
Y
i
上述参数估计量可以写成：
ˆ xi yi 1 2 xi ˆ Y ˆ X 1 0
2013-7-10 计量经济学讲义 25
样本回归线的几何意义
Y
Yi
Ŷi
E(Y|Xi)
ui
ûi
ˆ ˆ ˆ SRF : Y i 1 2 X i
PRF : E(Y | X i ) 1 2 X i
E(Y|Xi)
Xi
X
2013-7-10
计量经济学讲义
26
样本回归线的几何意义
相关分析就是用来测度变量之间的线性关 联程度的一种分析方法。 回归分析并不对变量之间的关系感兴趣， 主要是通过自变量的设定值来估计或预测 因变量的平均值，同时对经济理论建立的 假设进行检验。
2013-7-10
计量经济学讲义
5
2013-7-10
计量经济学讲义
6
回归的几个基本概念
回归分析(regression analysis)是研究一个变量关于另一个（些） 变量的具体依赖关系的计算方法和理论。 其用意：在于通过后者的已知或设定值，去估计和（或）预 测前者的（总体）均值。
PRF
SRF2
X
2013-7-10 计量经济学讲义 21
2013-7-10
计量经济学讲义
22
2013-7-10
计量经济学讲义
23
样本回归函数
ˆ ˆ ˆ SRF : Y i 1 2 X
i
( 相对于 E(Y | X i ) 1 2 X i )
ˆ 其中 Y i 是 E(Y | X i )的估计量； ˆ 1是 1的估计量； ˆ 2 是 2的估计量。
条件概率：给定X的Y的概率，记为P(Y|X)。 已知给定X=80，Y取5个不同的值：55、60、65、 70、75。问：Y取每个值的概率有多大？ 古典概率模型：取每个值的概率相等。因此有：