第二讲 一元线性回归模型

二、最小二乘估计量的性质
1、概述
• 当模型参数估计出后，需考虑参数估计值的精 度，即是否能代表总体参数的真值，或者说需 考察参数估计量的统计性质。
• 准则：
–线性性(linear)，即它是另一随机变量的线性函数； –无偏性(unbiased)，即它的均值或期望值等于总体
的真实值； –有效性(efficient)，即它在所有线性无偏估计量中
具有最小方差。
• 这三个准则也称作估计量的小样本性质。拥有 这类性质的估计量称为最佳线性无偏估计量 （best liner unbiased estimator, BLUE）。
• 当不满足小样本性质时，需进一步考察估计量 的大样本或渐近性质(asymptotic properties)：
– 渐近无偏性，即样本容量趋于无穷大时，是否它的 均值序列趋于总体真值；
• 假设检验采用的逻辑推理方法是反证法。先假 定原假设正确，然后根据样本信息，观察由此 假设而导致的结果是否合理，从而判断是否接 受原假设。
• 判断结果合理与否，是基于“小概率事件不易 发生”这一原理的。
2、变量的显著性检验—t检验
对总体参数 提出假设： H0：1=0， H1：10
ˆ1 ~ N (1,
4、“估计量”（estimator）和“估计值”
(estimate)的区别
• 如果给出的参数估计结果是由一个具体样本资 料计算出来的，它是一个“估计值”，或者 “点估计”，是参数估计量的一个具体数值；
• 如果把上式看成参数估计的一个表达式，那么， 则是Yi的函数，而Yi是随机变量，所以参数估 计也是随机变量，在这个角度上，称之为“估 计量”。
2、正规方程组
Q

0 Q
1

0 0



(Yi ˆ0 ˆ1X i ) 0 (Yi ˆ0 ˆ1X i )X i 0
• 该关于参数估计量的线性方程组称为正规方程 组（normal equations）。
3、参数估计量
• 求解正规方程组得到结构参数的普通最小二乘 估计量（ordinary least squares estimators,OLS）及其离差形式：
第二章 经典单方程计量经济学模型： 一元线性回归模型
The Classical Single Equation Econometric Model: Simple Regression
Model
本章内容
• §2.1一元线性回归模型的设定与古典假设 • §2.2一元线性回归模型的参数估计 • §2.3一元线性回归模型的检验 • §2.4一元线性回归模型的预测
yˆi (Yˆi Y )
Y的第i个观测值与样本 均值的离差
yi Yi Y (Yi Yˆi ) (Yˆi Y ) ei yˆi
离差分解为两 部分之和
回归直线不能 解释的部分
由回归 直线解 释的部
分
对于所有样本点，则需考虑离差的平方和：
Yi Y 2
2
) xi2
用σ2的估 计量代替， 构造t统
计量
t ˆ1 1 ˆ1 1 ~ t(n 2)
ˆ 2
xi2
S ˆ1
t ˆ1
S ˆ1
• 由样本计算t统计量值；
• 给定显著性水平(level of significance)，查t分 布表得临界值(critical value)t /2(n-2)；
3、可决系数R2统计量
R2 ESS 1 RSS TSS TSS
• 是一个非负的统计量。取值范围：[0，1] • 越接近1，说明实际观测点离回归线越近，
拟合优度越高。 • 拟合优度越高，说明回归结果越好。
二、变量的显著性检验
T检验(检验单个回归系数是否显著不为零)
二、变量的显著性检验：T检验(检验 单个变量的回归系数是否显著不为零)
1、关于模型关系的假设
• 线性回归假设。 X与Y的关系是线性的。
Yi 0 1 X i i
Yi

0

X 1 i
i
Yi 0 Xi1 i
2、关于解释变量的假设
• （1）确定性假设：X是非随机变量，或称确定 性变量。
• （2）X与随机项不相关假设。
cov( Xi , i ) 0, i 1, 2,L , n E(Xii ) 0, i 1, 2,L , n
Yi Yˆ
2

Yˆ Y
2
记
TSS yi2 (Yi Y )2
总离差平方和，反映样本观 测值总体离差的大小。
ESS yˆi2 (Yˆi Y )2 回归平方和，反映由模型中解释变
量所解释的那部分离差的大小。
RSS ei2 (Yi Yˆi )2 残差平方和，反映样本观测值与估
§2.1一元线性回归模型的设定与古 典假设
• 一、一元线性回归模型的设定
总体回归模型 总体回归方程(直线) 样本回归模型 样本回归方程(直线)
ytxt
yt ˆ0 ˆ1xt et
yˆt ˆ0 ˆ1xt
二、经典线性回归模型的基本假设 The Basic Assumptions of Classical Linear Regression Model(CLRM)
（4）正态性假设。 一般假设随机项服从正态分布。
i ~ N (0, 2 ) i ~ NID(
• 以上假设（正态性假设除外）也称为线性回归 模型的经典假设或高斯（Gauss）假设，满足 该假设的线性回归模型，也称为经典线性回归 模型（Classical Linear Regression Model, CLRM）。
而是从经济意义方面分析回归线是否应该通过 原点。
三、总体的显著性检验：F检验
（整体显著性检验）
2)
2)
2)
一元线性回归模型中，单个变量的t检验与 总体回归方程的F检验是一致的。
多元线性回归模型中，单个变量的t检验与 总体回归方程的F检验不一定一致。
§2.4 一元线性回归分析的应用： 预测问题
一、点估计：Ŷ0是条件均值E(Y|X=X0)或个值的一 个无偏估计
• 参数估计量不确定；
• 随机项的影响。
一、Ŷ0是条件均值E(Y|X=X0)或个值 的一个无偏估计
1、总体个值预测值的点估计：
给定X0，则X0的点预测值为
Yˆ0 ˆ0 ˆ1 X 0
预测评价
• 1.平均预测误差平方和的平方根 (RMSE, Root Mean Squared Error)
T
• 2.平均绝对误差(MAE, Mean Absosute Error)
T
• 3.点预测精度评价: • 相对误差:
Yˆ Y *100% Y
2、总体个值预测值的区间估计
Y0 ~ N (0 1 X 0 , 2 )
计值偏离的大小，也是模型中解释 变量未解释的那部分离差的大小。
TSS=ESS+RSS
Y的观测值围绕其均值的总离差(total variation) 可分解为两部分：一部分来自回归线(ESS)，另一 部分则来自随机势力(RSS)。
在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在 TSS中占的比重应越大，因此 拟合优度：回归平方和ESS/Y的总离差TSS
• 同时满足正态性假设的线性回归模型，称为经 典正态线性回归模型（Classical Normal Linear Regression Model, CNLRM）。
§2.2 一元线性回归模型的参数估计 (Estimation of Simple Linear
Regression Model)
一、参数的普通最小二乘估计（OLS） 二、最小二乘估计量的性质 三、参数估计量的概率分布及随机干
– 一致性，即样本容量趋于无穷大时，它是否依概率 收敛于总体的真值；
– 渐近有效性，即样本容量趋于无穷大时，是否它在 所有的一致估计量中具有最小的渐近方差。
2、高斯—马尔可夫定理(Gauss-Markov theorem)
• 在给定经典线性回归的假定下，最小二 乘估计量是具有最小方差的线性无偏估 计量。
• 在一元线性模型中，变量的显著性检验就是判 断X是否对Y具有显著的线性影响。
• 变量的显著性检验所应用的方法是数理统计学 中的假设检验。
• 通过检验变量的参数真值是否为零来实现显著 性检验。
1、假设检验（Hypothesis Testing）
• 所谓假设检验，就是事先对总体参数或总体分 布形式作出一个假设，然后利用样本信息来判 断原假设是否合理，即判断样本信息与原假设 是否有显著差异，从而决定是否接受或否定原 假设。
ˆ

0

X
2 i
Yi

X iYi
nX
2 i

(X i
)2
ˆ1

nYi X i YiX
nX
2 i
(X i )2
X
i
i

ˆ1

xi yi xi2
ˆ0 Y ˆ1 X
• 分布参数的普通最小二乘估计量 ˆ 2 ei2
n2
由确定性假设可以推断。
3、关于随机项的假设
• （1）0均值假设。 E(i Xi ) 0, i 1,2,L ,n • （2）同方差假设。 Var(i Xi ) 2, i 1, 2,L , n
• （3）序列不相关假设。
Cov(i , j ) 0, i, j 1, 2,L , n, i j
• 比较，判断：
– 若 |t|> t /2(n-2)，则以（1－α）的置信度 （confidence coefficient）拒绝H0 ，接受H1 ；