多元线性回归模型分析与参数估计

§3.4模型的离差形式和决定系数
解
释
变
量
与
残
差
变
量
垂
直
，
即
X
T 2
e
0
作业
证明
X
T 2
e
0
则得到：
X
T 2
A
Y
X
T 2
A
X
2b2
X
T 2
A
2Y
X
T 2
A
2
X
2b2
X
T 2
A
T
A
Y
X
T 2
A
T
A
X
2b2
AX 2 T AY AX 2 T AX 2 b2
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
多元线性回归模型分析和参数估计
多元线性回归模型分析和参数估计
§3.1 模型的假定 §3.2 最小二乘估计 §3.3 最小二乘估计的性质 §3.4 模型的离差形式和决定系数 §3.5 参数估计的分布性质 §3.6 多重共线性
多元线性回归模型分析和参数估计
§3.1 模型的假定
模 型 ： Y t 1 2 t X 2 t k X k t u t
YTY -YT Xb-bT XTY bT XT Xb
YTY -2bT XTY bT XT Xb
多元线性回归模型分析和参数估计
§3.2最小二乘估计
eTe 2XTY 2XT Xb 0 b 上式为正规方程，包含k个方程式 则最小二乘估计
b XT X 1 XTY
由假设条件可以证明XT X是正定的，即XT X 0
利用性质
Ae
e和
X
T 2
e
0
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
定义决定系数
R2
b2T X2T AX2b2 YT AY
AX2b2 T AX2b2 YT AY
b2T X2T AY YT AY
上式称为离差形式的正规方程，和一般形式的正规方程类似。
XTX bXTY
利用b2求b1：
k
b1 Y biXi i2
其中Xi为X2中k1个列向量每一列的算术平均。
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
这是因为
iTY iT X b e
nn
Y 1 , X 2 , X 3
总离差平方和：
b1
X
k
b k
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
T SS Yt Y 2
A Y T A Y Y T A Y
b
T 2
X
T 2
A
eT
A X 2b2 e
b
T 2
X
T 2
AX
2b 2
eTe
ESS RSS
“ 上 式 中 交 叉 项 部 分 =0?
多元线性回归模型分析和参数估计
§3.3最小二乘估计的性质
3 .有 效 性 ：
var
b
E
b
b
T
b X T X 1 X T Y
X T X 1 X T X U
X T X 1 X T U
多元线性回归模型分析和参数估计
§3.3最小二乘估计的性质
var
b
E
XTX
多元线性回归模型分析和参数估计
§3.3最小二乘估计的性质
1 .线 形 特 性 ： b X T X 1 X T Y
2 .无 偏 性 ： E b
E b
E
X
TX
1
X
TY
E
X TX
1
X
T
X
U
来自百度文库
X T X 1 X T E X U
X T X 1 X T X 0
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
一元模型： Yt X t ut Yˆt a b X t e t Y t Yˆt Y t Yˆt e t a b X t e t 离差形式：
Y t Y a b X t e t a b X 0 b X t X et
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
多元模型： Y X U e Y Yˆ Yˆ X b Y Yˆ e X b e
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
1
设
A I 1 iiT n
i
1 n1
Y1
Y
则
AY
Y2
Y
Y n Y
矩 阵 形 式 ： Y X U
Y1 1 1 X21 其 中 ： YY22X1 X22
Yn k 1 X2n
Xk1 u1 Xk2Uu2
Xkn un
多元线性回归模型分析和参数估计
§3.1 模型的假定
模型假设：
（
1）
E
U
0
E
u1
即
对
每
一
个
元
素
取
期
望
E
u
n
（ 2） E U U T 2 I 协 方 差 矩 阵
1 X TUU T X
XTX
1
X T X 1 X T E UU T X X T X 1
X T X 1 X T X X T X 1 2I
2I X T X
2 X T X 1
假设d AY是的任意线形无偏估计，A是一k n的常数矩阵。
有效性即：var d - var b 0
（ 3） X 为 一 确 定 性 变 量
（ 4） r X k k n
（ 5） U N 0, 2 I
多元线性回归模型分析和参数估计
§3.2最小二乘估计
XT AX 2AX X
aT X a,a为列向量 X
残差向量e Y - Xb，b为的估计，则残差平方和：
et2 eTe Y - XbT Y - Xb
其中b1为截距（intercept）,b2为斜率（slope coefficient） 则 Y X1b1 X2b2 e 而 X1 i Ai 0 所以 AY AX2b2 e （*） （*）为模型的离差形式
（*）两端同时乘以X
T 2
则
X2T
AY
X
T 2
AX2b2
X
T 2
e
多元线性回归模型分析和参数估计
Ai 0 Ae e AT A A2 A
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
对于 Y Xb e
令 X X1, X2
其中：X1为X的第一列，X2为剩余的(k 1)列构成的矩阵
1
X1
1
i
令：b
b1 b2
多元线性回归模型分析和参数估计
§3.4模型的离差形式和决定系数
多元线性回归模型分析和参数估计
§3.3最小二乘估计的性质
由无偏性 则 AX I
var d = Avar Y AT
A 2I AT
2 AAT
讨论下面的矩阵是否半正定？
AAT X T X 1
AAT A A A A A A T A A A A T A A T