5-2多元线性回归模型的参数估计解析

Y TY T X TY = n k 1
Y T ( I n H )Y n k 1
10/13/2018
（2）无偏性（估计量的数学期望=被估计的真值）
ˆ ) E[ X X 1X Y ] E[ X X 1X X X X 1X ] E(
10/13/2018
2.多元模型的解析表达式
y b0 b1 x1 b2 x2 L bk xk n个样本观测值( yi , xi1 , xi 2 , L , xik ) i 1, 2, L , n 得：yi b0 bxi1 b2 xi 2 L bk xik i
参数值估计
参数估计量的性质
偏回归系数的含义 正规方程
样本容量问题
10/13/2018
1.参数值估计(最小二乘估计----OLS)
1.剩余平方和：
ˆi Q ei y i y
2 i 1 n n n
ˆ0 b ˆ1x L b ˆkx yi b i1 ik
求参数估计值的实质是求一个k+1元方程组
10/13/2018
4.剩余平方和表示成矩阵形B
n i 1
Di 2
ˆ Y XB ˆ e Y Y
ˆi Q ei y i y


2
ˆ )(Y XB ˆ) ee (Y XB
行坐标——表示第几次观察 列坐标——表示第几个自变量
其中随机误差项与解释变量之间不相关，Exi i Exi E i 0
2 i是独立同分布，即i,i,d,而且Ei =0，,Di =（一个常数，方差的齐次性）
i (i 1, 2L n)互不相关，即Ei j 0
解释变量 xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。
10/13/2018
6.偏回归系数的意义 多元回归模型中的回归系数称为偏回归系数
偏回归系数的含义是，在其他解释变量保持不变 的条件下，该变量变化一个单位，被解释变量将 平均发生偏回归系数大小的变动
10/13/2018
7.正规方程
由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程
10/13/2018
一、回归分析与相关分析
相关分析：提供了现象之间相关关系的方向和相关的密切 程度方面的信息，但不提供现象之间如何关 联方面的信息 回归分析：提供现象之间如何关联的信息
原则上：回归分析是在相关分析的基础上进行的
10/13/2018
回归的来历：
19世纪末，英国著名统计学家Francis Galton研究孩子及 他们父母的身高时发现，身材高的父母，他们的孩子也高，但 这些孩子平均起来并不像他们的父母那样高；对于比较矮的父 母，他们的孩子比较矮，但这些孩子的平均身高要比他们的父 母的平均身高高。Galton把这种孩子的身高向中间值靠近的趋 势称之为一种回归效应。回归这个术语便开始传播开来。 现在的回归分析已经没有原来的含义，但这种说法一直 沿袭下来，重在表明这是研究数值变量之间关系的方法。
随机变量
10/13/2018
回归模型的类型：
一个自变量
回归模型
两个及两个以上自变量
一元回归
多元回归
线性 回归
非线性 回归
线性 回归
非线性 回归
10/13/2018
二、多元线性回归模型
1.模型的假设
y b0 b1x1 b2 x2 L bk xk
解释变量 xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多 重共线性。 随机误差项具有0均值和同方差 特殊的：随机误差项服从0均值、同方差的正态分布
(I X X X X )
'
1
10/13/2018
E[ ( I X X X X ) ] E ( ) E ( X X X X )
'
1
'
'
1
E i2 aij E i j
i i, j
n 2 tr ( X X X X ) 2 (n k 1) 2
2
M M 1 x n1
21
22
M
x
n2
L
b0 1 1k b1 2k 2 M b 2 M M x nk n bk


Y XB
y 1 y Y 2 M y n b0 b1 B b2 M bk
1
其中H X X X X
1
这一性质表明残差向量的各个分量间一般也是相关的．
10/13/2018
注解：k与k+1
凡是按解释变量的个数为k的，那么共有k+1个参数要估计。 而按参数个数为k的，则实际有k-1个解释变量。总之两者相 差1而已！要小心所用的k是什么意思！ 所以如果本来是用解释变量个数的k表示的要转换成参数个 数的k则用k-1代换原来的k就可以了！
1 1
( I X X X X ) E ( ' )( I X X X X )'
1 1
E ( ' )( I X X X X )( I X X X X )'
1 1
diag ( 2 )( I X X X X )
i 1

i 1


2

2
2.最小二乘估计原理： 剩余平方和达到最小值
Q 0 b ˆ 0 Q ˆ 0 b1 Q ˆ 0 b2 ............ Q 0 b ˆ k
10/13/2018
3.得到下列方程组
y j x j
2 y 0 2 x j
2 y 0 2 0
y xj j
2 y 0 2 1
10/13/2018
3.多元模型的矩阵表达式 y L 1 x x x y 1 L x x x
1 11 12
M y n
1 ˆ B X X X Y
ˆ
10/13/2018
2
ee Y TY T X TY = n k 1 n k 1
7.最小二乘估计量的性质
（1）线性（估计量都是被解释变量观测值的线性组合）
1 ˆ X X X Y
ˆ
2
ˆ )(Y X ˆ) ee (Y X n k 1 n k 1
y1 b0 b1 x11 b2 x12 L bk x1k 1 y b b x b x L b x 2 0 1 21 2 22 k 2k 2 L L L L L L yn b0 b1 xn1 b2 xn 2 L bk xnk n
10/13/2018
回归的方法：建立回归模型 用一个恰当的代数式来表达变量 xi 与随机变量 y 的 依存关系：
y f ( x1, x2 , x3 ,L , xp )
“因变量”或“被 解释变量” （dependent variable）
“解释变量”或 “自变量” （independent variables）
1 x11 1 X x 21 M M 1 x n1 1 2 M n
x x x
12 22
L L L
x x
M
n2
2k M x nk
1k
10/13/2018
三.多元线性回归模型的参数估计(OLS)
1 1
( k 1) ( k 1)
( X X ) X E ( ) X ( X X )
1
1
i
N (0, 2 )
E ( )( X X ) X X ( X X )
1
1
diag ( 2 )( X X )
1
这一性质表明系数向量的各个分量间一般也是相关的．
1 1 1 ˆ Y XX e Y X X X Y (I X X X X )Y (I X X X X )( X )
( I X X X X )
1
1 1 ˆ )(Y X ˆ ) ' (I X X (Y X X X )( I X X X X )
1 Var ( j ) 2c jj , c jj 是（X' X）中对角线上第 j+1行第j+1列元素。


ˆ X 因为：B X X Y X X X X X X X X X X
1 1 1 1
ˆ ) E[( ˆ E( ˆ )( B ˆ ))] ˆ E( Cov( ˆ )( ˆ )] E[( E[( X X ) X ' XX ( X X ) ]
1
ˆ E
2
ˆ )(Y X ˆ) ee (Y X E[ ] E[ ]2 n k 1 n k 1
（3）有效性（估计量的方差是所有线性无偏估计中最小的）
10/13/2018
(4)在古典假定下， j ~ N ( j ,Var ( j )), j 1, 2,..., k 其中，
ˆ ˆ x ˆ x L ˆ x y n i 0 1 i1 2 i2 k ik 2 ˆ ˆ ˆ x x L ˆ x x x y x x 0 ii 1 i1 2 i 2 i1 k ik i1 i1 i L ˆ ˆ x x ˆ x x L ˆ x2 x y x ik i k ik 0 ik 1 i1 ik 2 i 2 ik
10/13/2018
(5).E(e) O,cov(e) diag ( 2 )( I H )
ˆ Y XB ˆ e Y Y
( I X X X X )
1
Ee O
Cov(e) E[(e E (e)(e E (e))] E[( I X X X X ) ' ( I X X X X )' ]
建立回归模型用一个恰当的代数式来表达变量与随机变量1222018一个自变量一个自变量两个及两个以上自变量两个及两个以上自变量回归模型回归模型多元回归多元回归一元回归一元回归线性回归线性回归非线性回归非线性回归线性回归线性回归非线性回归非线性回归回归模型的类型
第二节 多元线性回归模型的参数估计
一、回归分析与相关分析 二、多元线性回归模型
10/13/2018
线性回归模型”中的“线性”一词在这里有两重含义： 一是被解释变量y与解释变量x之间为线性关系，即解释 变量x仅以一次方的形式出现在模型之中。用数学语言 表示为： 二是被解释变量y与参数 之间为线性关系，即参数 仅以一次方的形式出现在模型之中。用数学语言表示为：
y 1 0
ˆ X )(Y XB ˆ) Q (Y B ˆ B ˆ X Y B ˆ X XB ˆ) ( Y Y Y XB ˆ X Y B ˆ X XB ˆ Y Y 2B
Q 0 ˆ B ˆ 0 X Y X XB
ˆB ˆ X Y ？ 为什么Y XB
ˆ b ˆ x b ˆ ˆ nb x L b 0 1 i1 2 i2 k xik yi 2 ˆ ˆ ˆ ˆ b x b x b x x L b 0 ii 1 i1 2 i 2 i1 k xik xi1 xi1 yi L L ˆ 2 ˆ x x b ˆ ˆ b x b x x L b x x y 0 ik 1 i 1 ik 2 i 2 ik k ik i ik