回归分析课件--上海财经大学统计与管理学院

上海财经大学 统计与管理学院
3
第二章 一元线性回归分析
给出一元线性回归模型的矩阵表达式。令
y1 y Y 2 yn
1 1 X 1
x1 xຫໍສະໝຸດ Baidu xn
1 2 n
第二章 一元线性回归分析
例 2.1 从常识上理解，一个家庭的消费支出主要受这个家庭收入的影响，一般而言，家庭收 入高的其家庭消费支出也高； 家庭收入低的其家庭消费支出也低。 我们为了研究它们的关系， 取家庭消费支出 y （元）为被解释变量，家庭收入 x （元）为解释变量。为此，调查得数据 如下： 表 2.1. 家庭收入与消费支出 家庭编号 家庭收入 家庭消费支出 1 800 770 2 1200 1100 3 2000 1300 4 3000 2200 5 4000 2100 6 5000 2700 7 7000 3800 8 9000 3900 9 10000 5500 10 12000 6600
以看出：求上式的极大值，等价于求 yi 0 1 xi 2 的极小值。
i 1
n
上海财经大学 统计与管理学院
10
第二章 一元线性回归分析
参数的极大似然估计
我们也可以得到 2 的极大似然估计
1 n 1 n 2 ˆ ˆx ˆ = yi y ˆ i yi 0 1 i n i 1 n i 1

9
上海财经大学 统计与管理学院
第二章 一元线性回归分析
参数的极大似然估计
对上式两边取对数，得到对数似然函数为：
n 1 lnL ln 2 2 2 2 2


y
i 1 i
n
0
1 xi
2
2 ˆ ， ˆ 及 ˆ 求 lnL 的极大值，假设 0 , 1及 2 的极大似然估计值为 ，可 0 1
2 i 1 i 1 n n
ˆ 和 ˆ ，就是使 Q , 达到最 所谓 0 , 1 的最小二乘估计(LSE) 0 1 1 0 ˆ , ˆ 满足 小的 0 , 1 ，即要求估计 1 0
ˆ , ˆ min Q 0 1 0 , 1 Q 0 , 1 。
0 1
于是可表示为：
Y X 2 ~ N (0, In )
上海财经大学 统计与管理学院 4
第二章 一元线性回归分析
参数的最小二乘估计
样本观测值 xi , yi 的离差： yi E ( yi ) yi 0 1 xi ； 离差平方和: Q 0 , 1 yi E yi yi 0 1 xi 2
i 1
上海财经大学 统计与管理学院 7
n
第二章 一元线性回归分析
参数的极大似然估计
的极大似然估计应在一切 中选取使样本 x1, x2 ,K , xn 落在样本点
x1, x2 ,K , xn 附近的概率最大的 ˆ 为未知参数 的估计值。即 ˆ 应满足：
ˆ; x , x ,K , x max L ; x , x ,K , x L 1 2 n 1 2 n
上海财经大学 统计与管理学院 5


第二章 一元线性回归分析
参数的最小二乘估计
由于 Q 0 , 1 为一个非负二次型， 对 0 , 1 的偏导存在,故可通过令
Q 对 0 , 1 的偏导为零来求得,即令：
n Q 2 yi 0 1 xi 0 i 1 0 n Q 2 yi 0 1 xi xi 0 i 1 1
L 0 , 1 ,

2

i 1
1 2 exp y x i 1 i 2 0 2 2 1
1 exp 2 2
n 2 y x i 0 1i n i 1


1 2



上海财经大学 统计与管理学院
8
第二章 一元线性回归分析
参数的极大似然估计
假设 i ~ N 0, 2 ，则
yi ~ N 0 1 xi , 2


n
i 1, 2,K , n
且 y1 , y2 ,K , yn 相互独立， 故 y1 , y2 ,K , yn 的联合概率密度， 即似然函数为：
最小二乘法得到的参数估计具有： 线性性，无偏性及最优性三种重要的统计特性。
上海财经大学 统计与管理学院 6
第二章 一元线性回归分析
参数的最小二乘估计
解之得：
ˆ y ˆx 0 1 ˆ lxy 1 lxx
2
2 2 其中 lxx ( xi x ) xi n x
lxy xi x yi y xi yi nxy
2

，
2
这个估计是有偏估计，我们以后常用它的无偏估计
1 n 1 n 2 ˆ ˆx ˆ = ˆi yi y yi 0 1 i n 2 i 1 n 2 i 1
2


2
上海财经大学 统计与管理学院
11
第二章 一元线性回归分析
最小二乘法估计的性质
上海财经大学 统计与管理学院
1
第二章 一元线性回归分析
图 2.1 家庭收入与消费支出的散点图
上海财经大学 统计与管理学院 2
第二章 一元线性回归分析
在给定样本 {( xi , yi ), i 1,K , n} 以后，模型（2.1）也可以写成：
yi 0 1 xi i ，
其中 E( i ) 0 , Var( i ) 2 , i 1, 2,K , n 。