《多元线性回归模型》PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
根据最小二乘原理，参数估计值应该是下列方程组的解
i=1,2…n
ˆ
0
ˆ1
ˆ
2
ˆ k
Q
Q
Q Q
0 0 0
0
n
n
其中 Q ei2 (Yi Yˆi ) 2
i 1
i 1
n
2
(Yi (ˆ0 ˆ1 X1i ˆ2 X 2i ˆk X ki ))
i1
正规方程
于是得到关于待估参数估计值的正规方程组：
ˆ1
ˆk
基本假定
假设1 随机误差项具有零均值
u1
E
u2
0
ui
假设2 随机误差项具有同方差 假设3 随机误差项不序列相关性
E (μμ )
E
1
1
n
n
var(1 ) cov(1, n ) 2 0
2I
cov(
n
,
1
)
var(n )
0
2
基本假定
假设4 n(k+1)矩阵X是非随机的，且X的秩 =k+1，即X满秩。解释变量与随机项不相关
E(X’U)=0
ui E(ui )
E
X1iui
X
1i E(ui
)
0
X Kiui X Ki E(ui )
假设5 解释变量之间不存在完全线性关系
假设6，随机项满足正态分布
X k1
1 X 12
X k2
1 Y1 X 1n Y2 X kn Yn
即
(XX)βˆ XY
由于X’X满秩，故有
βˆ (XX)1XY
将OLS过程用矩阵表示如下：
即求解方程组：
βˆ (Y
Xβˆ )(Y
Xβˆ )
0
得到： 于是：
βˆ (YY βˆ XY YXβˆ βˆ XXβˆ ) 0 βˆ (YY 2YXβˆ βˆ XXβˆ ) 0 XY XXβˆ 0
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki) ) X 1i )X 2i
Yi Yi Yi
X 1i X 2i
(ˆ0 ˆ1 X1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
值E(Y)的变化; 或者说j给出了Xj的单位变化对Y
均值的“直接”或“净”（不含其他变量）影 响。
总体回归模型矩阵表达式
总体回归模型矩阵表达式为
Y=Xβ+U
其中
1
X
1
1
X 11 X 12
X 1n
X 21 X 22
X 2n
X k1
X
k
2
X
kn
n(k 1)
0
1
β
2
k (k1)1
也被称为总体回归函数。
E(Yi | X1i , X 2i , X ki ) 0 1 X1i 2 X 2i k X ki
被称为多元总体线性回归方程,简称总体回归方程。方程表示各变 量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变量
保持不变的情况下，Xj每变化1个单位时，Y的均
第三章 多元线性回归模型
• 模型的建立及其假定条件 • 最小二乘法 • 最小二乘估计量的特性多元线性回归模型的
预测 • 可决系数 • 显著性检验与置信区间 • 预测 • 案例分析
模型的建立及其假定条件
• 基本概念 • 多元线性回归模型的基本假定
基本概念
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。一般形式：
Yi 0 1 X1i 2 X 2i k X ki ui i=1,2…,n 其中:k为解释变量的数目，j称为回归参数。习 惯上：把常数项看成为一虚变量的系数，该 虚变量的样本观测值始终取1。这样模型中 解释变量的数目为（k+1）
Yi 0 1X1i 2 X 2i k X ki ui
u1
U
u2
来自百度文库
u
n
样本回归函数
样本回归函数用来估计总体回归函数
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki
称
Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei
其中的 ei为残差。 样本回归函数的矩阵表达为
Yˆ Xβˆ 其中：
ˆ0
βˆ
解该（k+1）个方程组成的线性代数方程组，即可得 到 (k+1)个待估参数的估计值 j , j 0,1,2,, k 。
正规方程组的矩阵形式
n
X1i
X ki
X1i
X
2 1i
X ki X 1i
X ki
X1i X
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11
XY XXβˆ
βˆ (XX)1 XY
随机误差项u的方差2的无偏估计
可以证明，随机误差项的方差的无偏估计量为
ˆ 2
e
2 i
e e
n k 1 n k 1
第三节 参数估计量的性质
在满足基本假设的情况下，其结构参数的普通最小二乘估计具有： 线性性、无偏性、有效性。
1、线性性
βˆ (XX)1 XY CY
i ~ N (0, 2 )
3.2 最小二乘法
• 参数的最小二乘估计
•
随机误差项的方差
2的估计量
u
参数的普通最小二乘估计
对于随机抽取的n组观测值 (Yi , X ji ), i 1,2,, n, j 0,1,2,k 如果样本函数的参数估计值已经得到，则有：
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X Ki
E(μμ) 2I
第四节 可决系数
• 总离差平方和的分解 • 多元样本可决系数 • 修正样本可决系数
总离差平方和的分解
TSS (Yi Y )2 ((Yi Yˆi ) (Yˆi Y )) 2 (Yi Yˆi )2 2(Yi Yˆi )(Yˆi Y ) (Yˆi Y )2
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量
2、无偏性
E(βˆ ) E((XX)1 XY) E((XX)1 X(Xβ μ )) β (XX)1 E(Xμ ) β
这里利用了假设: E(X’Ｕ)=0
3、有效性（最小方差性）
其中利用了 和
βˆ (XX)1 XY
(XX) 1 X(Xβ μ) β (XX) 1 Xμ
由于 (Yi Yˆ)(Yˆi Y ) ei (Yˆi Y )
ˆ0 ei ˆ1 ei X1i ˆk ei X ki Y ei
=0
所以有：
TSS (Yi Yˆi )2
i=1,2…n
ˆ
0
ˆ1
ˆ
2
ˆ k
Q
Q
Q Q
0 0 0
0
n
n
其中 Q ei2 (Yi Yˆi ) 2
i 1
i 1
n
2
(Yi (ˆ0 ˆ1 X1i ˆ2 X 2i ˆk X ki ))
i1
正规方程
于是得到关于待估参数估计值的正规方程组：
ˆ1
ˆk
基本假定
假设1 随机误差项具有零均值
u1
E
u2
0
ui
假设2 随机误差项具有同方差 假设3 随机误差项不序列相关性
E (μμ )
E
1
1
n
n
var(1 ) cov(1, n ) 2 0
2I
cov(
n
,
1
)
var(n )
0
2
基本假定
假设4 n(k+1)矩阵X是非随机的，且X的秩 =k+1，即X满秩。解释变量与随机项不相关
E(X’U)=0
ui E(ui )
E
X1iui
X
1i E(ui
)
0
X Kiui X Ki E(ui )
假设5 解释变量之间不存在完全线性关系
假设6，随机项满足正态分布
X k1
1 X 12
X k2
1 Y1 X 1n Y2 X kn Yn
即
(XX)βˆ XY
由于X’X满秩，故有
βˆ (XX)1XY
将OLS过程用矩阵表示如下：
即求解方程组：
βˆ (Y
Xβˆ )(Y
Xβˆ )
0
得到： 于是：
βˆ (YY βˆ XY YXβˆ βˆ XXβˆ ) 0 βˆ (YY 2YXβˆ βˆ XXβˆ ) 0 XY XXβˆ 0
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki) ) X 1i )X 2i
Yi Yi Yi
X 1i X 2i
(ˆ0 ˆ1 X1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
值E(Y)的变化; 或者说j给出了Xj的单位变化对Y
均值的“直接”或“净”（不含其他变量）影 响。
总体回归模型矩阵表达式
总体回归模型矩阵表达式为
Y=Xβ+U
其中
1
X
1
1
X 11 X 12
X 1n
X 21 X 22
X 2n
X k1
X
k
2
X
kn
n(k 1)
0
1
β
2
k (k1)1
也被称为总体回归函数。
E(Yi | X1i , X 2i , X ki ) 0 1 X1i 2 X 2i k X ki
被称为多元总体线性回归方程,简称总体回归方程。方程表示各变 量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变量
保持不变的情况下，Xj每变化1个单位时，Y的均
第三章 多元线性回归模型
• 模型的建立及其假定条件 • 最小二乘法 • 最小二乘估计量的特性多元线性回归模型的
预测 • 可决系数 • 显著性检验与置信区间 • 预测 • 案例分析
模型的建立及其假定条件
• 基本概念 • 多元线性回归模型的基本假定
基本概念
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。一般形式：
Yi 0 1 X1i 2 X 2i k X ki ui i=1,2…,n 其中:k为解释变量的数目，j称为回归参数。习 惯上：把常数项看成为一虚变量的系数，该 虚变量的样本观测值始终取1。这样模型中 解释变量的数目为（k+1）
Yi 0 1X1i 2 X 2i k X ki ui
u1
U
u2
来自百度文库
u
n
样本回归函数
样本回归函数用来估计总体回归函数
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki
称
Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei
其中的 ei为残差。 样本回归函数的矩阵表达为
Yˆ Xβˆ 其中：
ˆ0
βˆ
解该（k+1）个方程组成的线性代数方程组，即可得 到 (k+1)个待估参数的估计值 j , j 0,1,2,, k 。
正规方程组的矩阵形式
n
X1i
X ki
X1i
X
2 1i
X ki X 1i
X ki
X1i X
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11
XY XXβˆ
βˆ (XX)1 XY
随机误差项u的方差2的无偏估计
可以证明，随机误差项的方差的无偏估计量为
ˆ 2
e
2 i
e e
n k 1 n k 1
第三节 参数估计量的性质
在满足基本假设的情况下，其结构参数的普通最小二乘估计具有： 线性性、无偏性、有效性。
1、线性性
βˆ (XX)1 XY CY
i ~ N (0, 2 )
3.2 最小二乘法
• 参数的最小二乘估计
•
随机误差项的方差
2的估计量
u
参数的普通最小二乘估计
对于随机抽取的n组观测值 (Yi , X ji ), i 1,2,, n, j 0,1,2,k 如果样本函数的参数估计值已经得到，则有：
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X Ki
E(μμ) 2I
第四节 可决系数
• 总离差平方和的分解 • 多元样本可决系数 • 修正样本可决系数
总离差平方和的分解
TSS (Yi Y )2 ((Yi Yˆi ) (Yˆi Y )) 2 (Yi Yˆi )2 2(Yi Yˆi )(Yˆi Y ) (Yˆi Y )2
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量
2、无偏性
E(βˆ ) E((XX)1 XY) E((XX)1 X(Xβ μ )) β (XX)1 E(Xμ ) β
这里利用了假设: E(X’Ｕ)=0
3、有效性（最小方差性）
其中利用了 和
βˆ (XX)1 XY
(XX) 1 X(Xβ μ) β (XX) 1 Xμ
由于 (Yi Yˆ)(Yˆi Y ) ei (Yˆi Y )
ˆ0 ei ˆ1 ei X1i ˆk ei X ki Y ei
=0
所以有：
TSS (Yi Yˆi )2