第二章2双变量回归分析

线性
解释变量是线性：被解释变量是解释变量的 线性函数 参数线性的：被解释变量的条件均值是估计 参数的线性函数

PRF的随机设定(统计误差)
每个观测值可能高于或低于条件均值（回归 值） 设：ui = Yi - E(Y|Xi) Yi = E(Y|Xi) + ui ui 随机误差项 随机总体回归方程：Yi =B1 + B2 Xi +ui
经典线性回归模型的基本假定



1、线性模型:参数线性 2、解释变量是固定的 3、干扰项的均值为0，即： E(ui) = 0 4、同方差：var(ui) = 2 5、干扰项之间无自相关Cov (ui, uj) = 0 ， i not equal to j 6、Xi和ui的协方差为0，即：Cov(Xi*ui) = 0 7、观测次数大于待估参数 8、X值有变异 9、模型设定正确 10、解释变量之间无完全多重共线性（无完全的线性关系）
在满足基本假设条件下，对一元线性回归模型
Yi 0 1 X i i
：
随机抽取n组样本观测值（Xi, Yi） （i=1,2,…n）。 假如模型的参数估计量已经求得，为

那么Yi服从如下的正态分布： 于是，Y的概率分布函数为
2 ˆ Y i ~ N ( 0 ˆ 1 X i , )
第二章2 双变量回 归分析
一些基本概念
一个实例
计量经济学中回归研究内容:具有因果关系的 经济变量之间的统计依赖关系 假想社会中:消费与收入之间的关系 假想社区中:某产品销量与价格的关系

回归的含义
回归分析：研究一个经济变量与另一个或多个经济变 量之间具体统计依赖关系的计算方法的理论 被解释变量：随机变量；解释变量：确定值 回归结果：给定解释变量的条件下，被解释变量所 有可能对应值的平均值。 例:商品价格对其需求量在统计上有什么影响关系? 进一步：商品价格对需求量有多大程度的影响? 回归分析： 给定价格水平，需求量的总体平均值！！
总体均值与个别值
总体回归函数是在给定解释变量的条件下， 被解释变量所有可能对应值的平均值的变化 轨迹，是被解释变量的条件期望E(Y|X=X i)随 X变化的轨迹。 . E(Y|Xi) = f(X)=a + bX 个别值: Yi = Yi- E(Y|Xi)=ui 即:Yi = E(Y|Xi)+ui=a + bX +ui
Y b1 b 2 X i
^ ^
Y 是 E(Y | Xi) 的估计值 , 条件均值 b1 是 B 1的估计值 b 2 是 B 2的估计值
最小二乘法
样本回归函数： Yi = b1 + b2Xi +ei

改写：
ei = Yi - b1 - b2Xi
最下二乘法的基本思想

回归函数:
Y i 1 2 X i ui Y i 1 2 X i
1 ( 2 )
n 2

1 2
2
ˆ ˆ ( Yi 0 1 X
i
)
2

e
n
将该或然函数极大化，即可求得到模型参数的极大或然估计量。
由于或然函数的极大化与或然函数的对数的极 大化是等价的，所以，取对数或然函数如下：
L
*
ln( L ) n ln( 2 ) 1 2
^
^
2
X i )( 1)
最小二乘法
残差平方对 ESS
^ 2
2 求偏导数
^ 2 i
^
: ui
^
Байду номын сангаас

u

^

2u
^
i
2

^
2 (Y i 1 :
^
^
2
X i )( X i )
2
令以上两个等式为
^ ^ (Y i 1 ^ ^ (Y i 1 2
参数估计的最大或然法(ML)
最大或然法(Maximum Likelihood,简称ML)，也称最 大似然法，是不同于最小二乘法的另一种参数估计 方法，是从最大或然原理出发发展起来的其它估计 方法的基础。 基本原理： 对于最大或然法，当从模型总体随机抽取n组样本 观测值后，最合理的参数估计量应该使得从模型中 抽取该n组样本观测值的概率最大。
^

使残差的平方最小：
e u (Y i - Y i )
2 i 2 i ^ 2
最小二乘法
最小残差平方 min

u
i
^ 2


^ 2 i ^
(Y i 1
1
^
^
2
X i) :
2
残差平方对 ESS 1
^
求偏导数

u 1
^

2u
^
ui
i
^
1
^
2 (Y i 1
普通最小二乘估计量的性质



点估计量 ^ ^ 1 Y 2 X 通过X、Y的样本均值 估计值Y的均值等于实测的Y均值 残差的期望为0：E(Yi|Xi) = E(Y |Xi) + E(ei|Xi ) E(Y|Xi) 是常数,所以 E(ei|Xi) = 0 残差与预测值不相关 残差与解释变量不相关
总体回归函数(PRF)




总体回归函数是在给定解释变量的条件下，被解释 变量所有可能对应值的平均值的轨迹，是被解释变 量的条件期望E(Y|X=X i)随X变化的轨迹。 . E(Y|Xi) = f(X)=a + bX E(Y|X=X i)：找到一个拟合给定价格条件下的平均需 求函数； 线性函数：找到一条直线拟合给定价格条件下的平 均需求量
计量经济学模型
随机误差项引入的原因
1、理论的模糊性:随机误差项代表了模型中 未包括变量的影响(核心变量与周边变量) 2、数据的欠缺 3、测量误差 4、模型设定的误差 5、经济活动的内在随机性

Ui值的期望
Yi = E(Y|Xi) + ui 条件期望：

E(Yi|Xi) = E[(EY|Xi)] + E(ui|Xi)
可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计 量与普通最小二乘估计量是相同的。
^ ^ Y 2 X 1 ^ Yi X i n X Y 2 2 2 Xi nX

( X i X )( Y i Y )
(X
i
X)
2
xy x
i 2 i
i
称为OLS估计量的离差形式（deviation form）。 由于参数的估计结果是通过最小二乘法得到的，故称 为普通最小二乘估计量（ordinary least squares estimators）。
P (Y i )
1

1 2
2
2 ˆ ˆ ( Yi 0 1 X i )

2
e
i=1,2,…n
因为Yi是相互独立的，所以所有的样本观测值的联合 概率，也即或然函数(likelihood function)为：
ˆ , , 2 ) P ( Y , Y , , Y ) L ( 0 ˆ1 1 2 n
E(Yi|Xi) = E(Y |Xi) + E(ui|Xi )
E(Y|Xi) 是常数
所以 E(ui|Xi) = 0
随机样本回归函数


总体不可得，但有来自 总体的样本 随机样本回归函数：
Y i b1 b 2 X i e i e i 样本残差 - u i的估计值
样本回归函数

样本回归函数（样本条 件期望）
0 , 得其一阶条件 X i) 0 X i )( X i ) 0
2
最小二乘法
化简 , 得其正规方程组 ( normal equations)
^ ^ Yi n 1 2 X i ： ^ ^ Yi X i 1 X i 2

Xi
2
解方程组，得：
2
ˆ ˆ (Y i 0 1 X
i
)
2
解得模型的参数估计量为：
2 X i Yi X i Yi X ˆ 0 2 2 n X i ( X i ) n Yi X i Yi X i ˆ 1 2 2 n X i ( X i ) i