第二章两变量线性回归分析

4
经济变量关系中的随机性（二）
影响经济变量严格函数关系因素的存在，使得我们 所研究的两变量线性关系，实际上都是有一定随机 性的随机函数关系，应该表示为Y=α+βX+ε 两个变量的随机线性函数由两部分组成 一部分由严格的线性函数E（Y）= α+βX构成，我们 称之为两变量关系的趋势部分，也称为总体回归直 线，是两变量关系的主要方面，也是我们研究的主 要目标和对象 另一部分是随机误差项ε，代表了影响Y的各种较小 因素的综合影响，是两变量关系中的次要方面
9
26页图2-4
10
无自相关
无自相关假设的意义是对应不同观测值的误差项之间没有相 关性。如果这一点不成立，则意味着调养项的取值变化存在 某种规律性，这与模型认为误差项只是没有规律的微小随机 因素的综合影响的思想不符 当误差项之间存在相关性时，会对线性回归分析的效果产生 不利的影响 同时满足零均值、同方差、无自相关三条假设的随机误差项， 有时也称为“球形扰动项
参数估计的基本思路（二）
由于我们无法知道参数的真实值，因此我们的目标定在找出 它的某种近似值或估计值，并且希望估计值与真实值之间的 近似程度能够比较高；更进一步的问题是，既然参数的真实 值无法知道，那么我们找到一个估计值后，如何认定它是真 实值的较好近似，或在两个估计值中，如何判断哪个更好？ 解决这些问题的基本思路是，利用样本数据反映出来的趋势 性设法确定参数估计值，以与样本趋势的拟合程度作为选择 回归直线、判断参数估计好坏的标准 用拟合样本趋势的回归直线，或者称“样本回归直线”，近 似模型的总体回归直线，从而得到模型参数的估计值，这利 方法是线性回归分析的基本方法
对任意的i ≠ j都成立 解释变量X是确定性变量，而非随机变量 误差项 i 服从正态分布
6
零均值
零均值是线性回归模型最基本的假设，它是两变量线性随机 函数的本质特征，是识别这种关系的根本标准 识别变量之间的随机函数关系，只能根据平均情况或概率分 布来进行 如果两个变量的关系中确实线性函数是主导的，误差项只是 次要的随机扰动因素，那么Y的个别观测会因为随机扰动偏 离线性函数规定的基本趋势，但如果对同样的X多次重复观 测对应的Y值，则Y值的概率均值应该能消除随机扰动的影响， 符合线性函数的基本趋势 该标准可等价地表示为 E[Yi ] X i 对 i=1,…,n 都成立， 也就是被解释变量的期望值始终落在总体回归直线上，是参 数估计方法有有效性和良好性质的必要保证
15
样本趋势的拟合和回归残差（一）
29页图
16
样本趋势的拟合和回归残差（二）
建立判断回归直线对样本趋势拟合程度的标准，关健是要利 用样本点与回归直线之间的纵向偏差，我们把这种偏差称为 “回归残差”或者简称“残差” 如果样本回归直线为Y=a+bX，那么由于Y和X之间真实关系 是随机线性函数关系，因此通常多数样本点 ( X i , Yi ) 不会落在这条回归直线上，它们与回归直线之间有一段 纵 向距离，也就是残差 ei Yi (a bXi ) (i=1,2,…n)。 残差越小，说明回归直线离样本点越近，如果对所有样本点 的回归都较小，那么回归直线离所有样本点都较近，对样本 趋势的拟合当然就是较好，因此残差是判断回归直线拟合程 度的重要指标
18
最小二乘法
e
2 i
(Yi (a bX i ) 2
i
对a和b求偏导， 并令其为零， 得 (ei ) 2 [Yi (a bX i )]2 0 a i (ei ) 2 [Yi (a bX i )]X i 0 b i 这两个方程组成的方程 组称为“正规方程组”， 解此方程组， 并分别用X 、 Y 表示X和Y两个变量的样本均值 ， 很容易得到： a Yb X b
2 2
(Y Y )( X
i i i
i
X)
19
2 ( X X ) i

最小二乘直线的性质
回归直线通过Y和X的样本均值 估计的Y（即 Y ）的均值等于Y实现观测值的均值 残差均值为零 残差与解释变量不相关 残差与估计的 yi Yi Y不相关
20
最小二乘估计量的性质——线性性
b
(Y Y )( X
i i i

i
X)

Y ( X
i i i
i
X)


2 ( X X ) i

2 ( X X ) i
[
i
Xi X
iБайду номын сангаас

2 ( X X ) i

]Yi iYi
i
其中i

Xi X
i i i i i
22
最小二乘估计量的性质——有效性
证明最小二乘估计具有最小方差性的思路是，先假设a’和b’ 是α和β的任意其它线性无偏估计，然后设法证明a和b的方差 Var[a]、Var[b]，与a’和b’的方差Var[a’]、Var[b’]之间，满足 Var[a]≤Var[a’]和Var[b]≤Var[b’]两个不等式 b是β的线性无偏估计，
2
教材20页图
3
经济变量关系中的随机性（一）
线性回归分析是以经济变量之间存在线性的因果关系为基础 的，但这种因果关系不是严格意义上的函数关系，一个变量 通常不可能被另一个经济变量完全精确地决定 人类经济行为本身有随机性 一个经济变量总是受众多因素的影响，虽然众多因素的单独 影响可能较小，甚至可以忽略不计，但这些因素的总体影响 是存在的，会对所考察的变量产生明显的影响或扰动，从而 使只考虑两 个变量之间的函数难以严格成立 任何函数反映经济变量之间的关系都只是一种简化反映，常 常忽略一些高阶项的次要部分，这种简化也会导致变量之间 的函数关系不能严格成立 经济数据来源于调查统计而非控制条件下的严格实验和测度， 因而难免有一定的偏差
5
模型的假设
变量X和Y之间的函数关系Y=α+βX+ε，对两变量的所有观察 i ( X i ,（ Yi i=1,…,n ) 数据组 ）都成立，其中 为随机误差 项 对应每组变量观测数据的误差项 i ，都为零均值的随机 变量，即 E( i ) 0 对 i=1,…,n 都成立 2 误差项 i 的方差为常数，即 E[ i E( i )]2 E[ i ] 2 对i=1,…,n 都成立 对应不同观测值数据组的误差项不相关，即 E[( i E( i ))( j E( j ))] E( i j ) 0
b iYi i ( X i i )] i i X i i E[ i ] i i
i i i i i i
Var[b] E[b E[b]]2 E[b ]2 E[ i i ]2 i E[ i ]2 2 i
13
参数估计的基本思路（一）
虽然设定两变量线性回归模型的前提是相信两变量之间确实 存在特定的线性因果关系，模型两个参数α和β的“真实值” 是客观存在的 因为我们无法观察到变量关系本身，我们能观察到的只是这 种变量关系所产生的结果，即有关的经济现象或经济数据， 因而我们不可能知道这些真实值 由于存在随机扰动因素的影响，我们所观察到的结果，不可 能精确地反映变量关系中趋势部分的确实情况，也就是参数 α和β的“真实值”，随机扰动项给两变量的真实关系提供 了一种“掩护”，便我们无法发现它的庐山真面目。由于扰 动项影响始终存在，因此即使增加观测数据也并不能解决问 题 14
11
解释变量是确定性变量
解释变量X是确定性变量而不是随机变量的假设，在于方便 线性回归分析的讨论和证明；这个假设不成立时，虽然多数 情况下参数估计和相关的统计分析仍然有效，但证明比较困 难 当X既是随机变量又与误差项有强相关性时，回归分析的有 效性和价值会受到严重影响 这条假设有很大的人为性，因为X作为一个经济变量，也是 不可重复的调查统计数据，而且也必然有观测误差。由于我 们研究的是X决定Y的因果关系，可以认为X是可以任意选择 的确定性变量，只有Y是随机的 可以证明，只要X与误差项没有多在的相关性，X是否是随 机变量一般并不会影响参数估计的性质和相关的统计分析
7
26页图2-3
8
同方差
误差项的方差反映误差项作为随机函数的分布分散程度 同方差假设的意义是对于不同观测数据组，误差项的发散 趋势相同，或有相同形状的概率密度函数 如果 i 的方差随i变化而变化，就意味着这部分因素对被解 释变量的影响力度会随着i而变化，因此就不能再理解为一 些微小的可以忽略的随机扰动因素的影响 同方差假设排除模型误差项对被解释变量影响程度的变化， 对保证线性回归分析的性质和价值，有非常重要的作用
i

2 ( X X ) i

1 1 a Y b X Yi X iYi ( X i )Yi ViYi n i n i i i 1 其中Vi Xi n 很容易证明 i 0, i X i 1, Vi 1, Vi X i 0 i i i i
21
最小二乘估计量的性质——无偏性
E (b) E[ iYi ] E[ i ( X i i )] E[ i ] E[ i X i ] E[ i i ] i i X i i E[ i ] 0 0
i i i i i i i i i i i
E (a) E[ViYi ] E[ Vi ( X i i )] E[Vi ] E[Vi X i ] E[ Vi i ] Vi Vi X i Vi E[ i ] 0 0
第二章 两变量线性回归分析
两变量线性回归模型 参数估计和最小二乘法 最小二乘估计量的性质 回归拟合度评价和决定系数 统计推断 预测
1
两变量线性回归模型
两变量线性回归模型的核心是两个变量之间，存在着用线性 函数表示的因果关系 如果用Y表示因果关系中被影响或决定的变量，用X表示影 响或决定Y的变量，那么两变量线性回归模型的核心就是线 性函数Y=α+βX，这个线性函数的截距α和斜率β是两个待定 参数，是决定这个特定因果关系（或经济规律）的关健变数 由于计量分析是的问题导向的，Y应该是与所考察问题最紧 密相关的指标；解释变量应该根据所研究问题的具体情况和 特征，以及相关的经济理论和研究经验等进行判断选择；两 个变量关系是否直接用线性函数反映，则需要利用相关的经 济理论和经验，以及根据变量数据的分布情况进行判断
12
误差项服从正态分布
误差项 i 服从正态分布是参数估计量分布性质和相关统计 推断的基础 实际上只要变量关系确定满足线性回归分析的基本思想，其 误差项代表许多微小扰动因素的综合，那么根据中心极限定 理，误差项服从正态分布是很自然的 误差项服从正态分布在进行参数估计时并一定需要，除了会 对统计检验和推断造成一定影响外，也不会影响最小二乘估 计量的基本性质，因此有时误差项服从正态分布并不作为线 性回归分析模型的基本假设，线性回归分析中的“古典假设” 中也不包括它 回归模型假设目的是为了明确回归分析的对象，方便分析， 以及保证回归分析的性质和价值
17
最小二乘法
最小二乘法的思想是用残差序列的平方和 2 ei (Yi (a bXi ) 2
i
作为衡量回归直线与样本趋势总体拟合程度的指标 残差平方和可以避免残差正负抵消问题，反映了所有样本点 与回归直线偏差的总体水平，在计算估计值的数学运算上比 较方便 在两变量线性回归模型的基本假设满足的情况下，最小二乘 法得到的参数估计具有许多好的性质，是对参数真实值的良 好近似