2简单线性回归模型

2wn1wnun1un )
n
Var
(b1
)
2 u
wi2
2 u
1
n
i1
xi2
i1
（2）b0
n i1
1 n
xi
n
xi2
X
Yi
n i 1
1 n
wi
X
Yi
i1
则： Var(b0)
Var
n i1
(1 n
wi
X
)Yi
n
1
Var(
i 1
n
Wi
X )Yi
n i1
(
1 n
xi2 xi2
1
◆ 最小二乘估计量b的无偏估计量
n
（1）b1
xi
n
n
Yi
xi
n
(0 1X i ui )
i1
xi2
i1
xi2
i 1
i 1
n
0
xi
n
n
1
xi
n
n
Xi
xi
n
n
ui 1
xi
n
ui
i1
xi2
i1
xi2
i1
xi2
i1
xi2
i 1
i 1
i 1
i 1
则
n
E(b1) 1
（2）个别值表现形式
E(Y Xi ) Yi
ui
•
对于一定的 X i ，Y 的各个别值 Yi 分布 在 E(Y Xi ) 的周围，若令各个 Yi 与条件
Xi X
均值 E(Y
Xi ) 的偏差为
ui ,
显然
u
是随机变量,则有
i
ui Yi E(Yi Xi ) Yi 1 2 Xi
3、样本回归函数（SRF）
第二章
简单线性回归模型
学习要点
一、简单线性回归模型的设定 二、简单线性回归模型的基本假定 三、简单线性回归模型参数的估计方法 四、参数估计量的统计性质 五、拟合优度的度量 六、回归系数的区间估计和假设检验 七、回归模型预测 八、EViews应用
一、一元线性回归模型
（ 一）回归与相关关系
1. 经济变量间的相互关系
估计式为：
S
2 e
ei2 n2
称为回归标准误差，为随机扰动项u的方差的无偏估计，即
E
(S
2 e
)
2 u
方差最小性（有效性，最佳性）的证明在K元回归模型 分析中给出。
有关思考
◆由最小二乘法所得直线能够对这些数据点之间的关系 加以反映吗？
◆对数据点之间的关系或趋势反映到了何种程度？ ◆在统计上如何验证所得一元回归模式的可靠程度。
n XY X Y
Cov(X ,Y )
[n X 2 ( X )2 ][n Y 2 ( Y )2 ] Var (X ) Var (Y )
◆ 简单相关系数用来测度两个变量之间是否存在线性相关 关系，其变化范围在 [-1，1] 之间。越接近于-1，负相关 程度越高；越接近1，正相关程度越高。
5. “线性”的理解：
E(Yi Xi ) 1 2 Xi
E(Yi
Xi
)
1
2
X
2 i
E(Yi Xi ) 1 2 Xi
变量、参数均为“线性” 参数“线性”，变量”非线性” 变量“线性”，参数”非线性”
计量经济学中: 线性回归模型主要指就参数而言是“线性”,因为只要对
参数而言是线性的,都可以用类似的方法估计其参数。
从变量相关关系的表现形式看：线
性相关——散布图接近一条直线；非
线性相关——散布图接近一条曲线。
从变量相关关系变化的方向看：正
相关——变量同方向变化，同增同减；
X
负相关——变量反方向变化，一增一
减；不相关。
3.相关程度的度量—简单相关系数
rXY
(X X )(Y Y ) ( X X )2 (Y Y )2
xi2
则：b1 wiYi
b0
(1 n
wi
X
)
Yi
w 的性质:
(1) wi 0
(2)
wi2
1 xi2
(3) wi xi 1
(4) wi X i 1
w 证明： (1)
0
i
wi
xi
xi2
(Xi (Xi
X X
) )2
0
XiX
2
wi 0
(2)
w2 i
1
XiX
2
2
样本回归线： 对于X 的一定值，取得 Y的样本观测值，可计算其条件均
值，样本观测值条件均值的轨迹称为样本回归线。 样本回归函数：
如果把应变量 Y的样本条件均值表示为解释变量 X 的某种 函数，这个函数称为样本回归函数（SRF）。
Y
•••••
X
4.引入随机扰动项的原因
◆ 代表未知的影响因素 ◆ 无法取得已知影响因素的代表指标 ◆ 众多细小影响因素的综合影响 ◆ 模型的设定误差 ◆ 变量的观测误差 ◆ 变量内在随机性
异方差
X
f (u) Y
X1 X2 X3
同方差
Yˆ 0 1X
X
（三）一元线性回归模型参数最小二乘估 计量（OLSE）的性质
一元线性 回归模型
样本估计 量的性质
Y 0 1X u
Y b0 b1X e
总体回归模型 样本回归模型
1 、估计量是线性的（Linear）;
2、估计量是无偏的（Unbias）估计量（Estimator）
◆ 除过简单相关系数，还有偏相关系数、复相关系数来测 度变量间的相关关系，但是在含义上有差别。
使用相关系数时应注意
◆X 和Y 都是相互对称的随机变量； ◆线性相关系数只反映变量间的线性相关程度，不能说明
非线性相关关系； ◆样本相关系数是总体相关系数的样本估计值，因抽样
波动，样本相关系数为随机变量，其统计显著性有待检验； ◆相关系数只能反映线性相关程度，不能确定因果关系，不
◆平方和的分解
TSS (Yi Y )2
(Yi Yˆi ) (Yˆi Yi ) 2
(Yi Yˆi )2 2 Yi Yˆi Yˆi Y (Yˆi Y )2
(Yi Yˆi )2 (Yˆi Y )2 2 (Yi Yˆi )(Yˆi Y )
RSS ESS 2 (Yi Yˆi )(Yˆi Y )
◆ 确定性的函数关系： Y f (X ) ◆不确定性的统计关系—相关关系
Y f (X ) u (u为随机变量)
◆ 没有关系
2.相关关系
◆ 相关关系的描述
相关关系最直观的描述方式——坐标图（散布图）
◆相关关系的类型
Y
• •
• •• • •
• • •
从涉及的变量数量看：
简单相关、多重相关（复相关）
◆ 拟合优度的定义：
TSS RSS ESS 1 RSS ESS
TSS TSS
R2 ESS 1 RSS
TSS
TSS
◆ 意义：拟合优度越大，自变量对因变量的解释程度越高， 自变量引起的变动占总变动的百分比高。观察点在回归 直线附近越密集。
（二）一元线性回归模型
1. 一元线性回归模型设定
一元线性总体回归模型: Y 0 1X u 一元线性总体回归函数：E(Y X ) 0 1X
（Population Regression Function, PRF)
一元线性样本回归模型：Y b0 b1X e
一元线性样本回归函数： E(Y X ) b0 b1X
（四）一元线性回归模型的统计检验
1. 平方和与自由度的分解
(1) 总平方和(TSS)、回归平方和(ESS)、 残差平方和(RSS)的定义
(2) 平方和的分解 (3) 自由度( df )的分解
平方和分解图
y yˆ
yy
y yˆyˆyy
◆总平方和、回归平方和、残差平方和的定义
TSS Yi Y 2
能说明相关关系具体接近哪条直线.
计量经济学关心：变量间的因果关系及隐藏在随机性后 面的统计规律性，这有赖于回归分析方法.
4.回归分析
◆ 回归的古典意义： 道尔顿遗传学的回归概念： 父母身高与子女
身高的关系。 ◆ 回归的现代意义：
一个因变量对若干解释变量依存关系的研究。
◆ 回归的目的（实质）： 由固定的解释变量去估计因变量的平均值。
n
（1） b1 1
xi
n
n
ui 1 wiui
i1
xi2
i 1
i 1
n
则： Var(b1 ) E(b1 1 )2 E( wiui )2
i 1
E(w1u1 w2u2 wnun )2
E(w12u12 w22u22 wn2un2 2w1w2u1u2 2w1w3u1u3
wi
X
2
) Var(Yi
)
2 u
n i1
1 n2
X
2
n Βιβλιοθήκη Baidu1
wi2
2
1 n
X
n i1
wi
2
2 u
1 n
X
n
xi2
i1
n (Xi X )2 n X 2
2 u
i1
n
n xi2
i1
n
X
2 i
2 u
i 1 n
n xi2
i 1
◆
估计回归标准误差
2 u
的估计
b0和b1方差的表达式中都包含随机扰动项u的方差，由 于u是一个不可观测的变量，故u的方差不能计算出来，其
E(b0 ) 0
E(b1) 1
Var(b0 ) ?
Var(b1) ?
3、方差最小性（Best） Var(bi ) Var(bi*)
4、b服从正态分布 b1 ~ N (1 , Var(b1))
b0 ~ N (0 , Var(b0 ))
❖ 点估计的方法有多种。但最小二乘法（高斯-马尔 科夫定理）保证：
（二）关于线性回归模型的基本假定
1、X是固定变量(若X随机,须 与u不相关)
拟合值与u不相关
2、u不存在 自相关
Yi Yˆi ui 0 1Xi ui
平均数相等
3、u为等 方差
４、u为随机扰 动, 呈正态分布, 且∑u=0
注意：残差项与随机扰动项不是同一个概念。
f (u) Y
X1 X2 X3
(Sample Regression Function, SRF)
实际的经济研究中总体回归函数通常是未知的，只能根 据经济理论和实践经验去设定。“计量”的目的就是寻求 样本回归函数作为总体回归函数的估计。
注意几个概念
◆ Y 的条件分布
当解释变量X取某固定值时（条件），Y 的值不确定，Y 的不同取值形成一定的分布，即 Y 的条件分布。
xi
n
E(ui ) 1
i1
xi2
i 1
说明b1是β1的无偏估计。
（2）b0 Y b1X
Eb0 E Y b1X E
Yi n
b1X
E
0
1
n
X
i
ui
b1 X
0
1X
n
E(ui )
X
E (b1 )
n0
n
1
X
n 1X
0 说明 b0是 0 的无偏估计量。
◆ 最小二乘估计量b的方差
b1
i1 n
i1 i1 n
n
X
2 i
(
X i )2
(
X
i (X
X )(Yi i X )2
Y
)
xi yi xi2
xi xi2
yi
i1
i1
b0 Y b1 X
Yi n
xi xi2
XYi
(1 n
xi xi2
X )Yi
确定性部分
说明b是Y的线性组合，具有线性特性
令 w xi
由最小二乘法得到的估计量是线性无偏的估计 量，而且是一个最好的估计量。即最小二乘估计量 （OLSE）具有BLUE性质。
❖ BLUE：Best Linear Unbias Estimator
◆最小二乘估计量b的线性性
令 xi X i X , yi Yi Y
wi
n
n
n
n XiYi Xi Yi
◆ Y 的条件期望
对于X 的每一个取值，
Y
对 Y 所形成的分布确 定其期望或均值，称
为Y 的条件期望或条 件均值 E(Y Xi )
Xi
X
2.总体回归函数的表现形式
（1）条件均值表现形式
假如 Y 的条件均值 E(Y Xi ) 是解
Y
释变量 X 的线性函数，可表示为：
•
E(Yi Xi ) f (Xi ) 1 2 Xi
ESS Yˆi Y 2
RSS Y iYˆi 2 ui2
TSS=Total Sum of Squares
ESS=Explained Sum of Squares RSS=Residual Sum of Squares
TSS度量Y自身的变异程度，ESS度量Ｘ对Ｙ拟合值的变 异程度，RSS度量实际值与拟合值之间的差异程度。
(Yi Yˆi )(Yˆi Y ) ui (Yˆi Y ) uiYˆi uiY uiYˆi Y ui 0 Y 0 0
TSS RSS ESS
◆ 平方和分解的意义
❖ TSS=ESS+RSS ❖ 被解释变量 Y 总的变动=
解释变量 X 对 Y 引起的变动 + 除 X 以外的因素引起的变动 ❖ 如果 X 引起的变动在 Y 的总变动中占很大比例，那么 X 很好地解释了 Y；否则，X 不能很好地说明 Y。
w2 i
xi xi2
x2
( x2 )2
x2
x2 2
1
x2
x (3) wi (X i X )
i
xi2
Xi X
(Xi X )2 1 (Xi X )2
x (4) wi X i
i
xi2
Xi
Xi X xi2
Xi
X
2 i
XX i
xi2
(Xi X )2 xi2
◆自由度( df )的分解
❖ 总自由度: ❖ 回归自由度: ❖ 残差自由度:
❖ dfT=dfE+dfR
dfT = n -1 dfE=1（解释变量的个数)
dfR=n -2
df : degree of freedom
2. 拟合优度指标（或称判定系数、可决系数）
◆ 目的：企图构造一个不含单位，可以相互进行 比较， 而且能直观判断拟合优劣。