第3章 多元线性回归模型

11
• 整理该向量方程，得到下列形式的正规方程组
ˆ X X X Y
• 当 X 可逆，也就是X是满秩矩阵（满足假设5）时，在 X 上述向量方程两端左乘的 X X 逆矩阵，得到
ˆ ( X X ) 1 X Y
• 这就是多元线性回归模型最小二乘估计的矩阵一般公式。
12
• 补充：矩阵的运算
18
根据矩阵代数知识，任意矩阵与自身转臵的乘积都 是半正定矩阵，因此
[ B ( X ) X ][ B ( X ) X ] X X
1 1
) 1 X ][ B X ( X ) 1 ] [B ( X X X
( X ) 1 X BX ( X ) 1 ( X ) 1 X ( X ) 1 BB X B X X X X
• （1）矩阵乘法 • 按住鼠标左键拖放选定存放结果的单元格区域，输入计 算公式=MMULT( )按Ctrl+Shift+Enter复合键确认。 • （2）矩阵转臵 • 按住鼠标左键拖放选定存放结果的单元格区域，输入计 算公式=TRANSPOSE( )按Ctrl+Shift+Enter复合键确认。 • （3）逆矩阵 • 按住鼠标左键拖放选定存放结果的单元格区域，输入计 算公式=MINVERSE( )按Ctrl+Shift+Enter复合键确认。
X 21 X 22 X 2n
X k1 X k2 X kn n ( k 1)
u1 u 2 U u n n 1
3
• 多元样本线性回归方程：
ˆ ˆ ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2 i k X ki , i 1, 2 , , n
1
14
• 2.无偏性
ˆ ) E[( X X ) 1 X Y ] E[( X X ) 1 X ( X U )] E (
E[( X X ) ( X X X U )] E[ ( X X ) X U ] ) 1 X (U ) (X X E
2 1 1 1 1
1
1
X ) 1 2 (X
16
• 证明思路： • 如果模型参数向量的任意其他线性无偏估计 量(b)的协方差矩阵Var(b)，与最小二乘估计的 ˆ ˆ 协方差矩阵Var( )之间，都满足Var(b)-Var( ) ˆ 是半正定矩阵(Var(b)-Var( )≥0)，那么最小 二乘估计的最小方差性得到证明。
4
• 2.模型的假定
• • • • • • • （1）E(ui)=0，i=1,2,…,n （2）Var(ui)=E(ui2)=σ2, i=1,2,…,n （3）Cov(ui,uj)=E(uiuj)=0，i≠j,i,j=1,2,…,n （4）Cov(Xijuj)=0(i=1,2,…,k,j=1,2,…,n)且 Cov(XkXl)=0(k≠l)。 （5）rank(X)=k+1<n （6）ui～N(0,σ2)，i=1,2,…,n
5
引进向量、矩阵记法后，模型的基本假定1、2、3三条， 可以综合为误差向量U的方差—协方差矩阵为对角矩阵：
Var (U ) E[U E (U )][U E (U )] E (UU ) u1 u12 u2 u2u1 E (u1 , u2 , , un ) E u unu1 n 2 u1u2 u2 unu2
8
• 用向量和矩阵的表示方法和运算，多元线性回归最小二乘估 计的推导会简洁得多。先引进参数估计量、解释变量回归值 和回归残差的下列向量表示：
ˆ 0 ˆ Y1 ˆ ˆ 1 ˆ ˆ Y 2 ˆ Y 2 ˆ Yn n 1 ˆ k ( k 1)1
• 估计的回归方程的矩阵表达源自文库式是：
• 其中
ˆ Y1 ˆ ˆ Y 2 Y ˆ Yn n 1
ˆ ˆ Y X
ˆ 0 ˆ 1 ˆ ˆ 2 ˆ k ( k 1)1
1 BB ( X ) 0 X
这意味着 BB ( X X ) 1为半正定矩阵。这样的协方差 矩阵之差 2 1 2 1 2 ˆ Var (b) Var ( ) BB ( X X ) [ BB ( X X ) ] 0 也是半正定矩阵。因此多元线性回归参数的最小二 乘估计是最小方差的线性无偏估计。
ˆ ˆ ˆ ˆ ˆ Yi 0 1 X 1i 2 X 2 i k X ki
• 根据最小二乘准则，寻找使下式达到最小的参数估计值
ˆ ˆ ˆ Q ( 0 , 1 , , k )

ei
2

ˆ 2 (Y i Yi )

2 ˆ ˆ ˆ ˆ (Yi 0 1 X 1i 2 X 2 i k X ki )
第3章
§3.1
• 1.基本概念
• • • •
多元线性回归模型
模型的建立及其假定条件
多元总体线性回归模型： Y=β0+β1X1+β2X2+…+βkXk+u 多元总体线性回归方程： E(Y)=β0+β1X1+β2X2+…+βkXk
1
• • • •
样本数据结构形式的多元总体线性回归模型： Yi=β0+β1X1i+β2X2i+…+βkXki+ui,i=1,2,…,n 它是由n个方程，k+1个未知参数组成的一个线性方程组， 即 Y1 0 1 X 11 2 X 21 k X k 1 u1 Y2 0 1 X 12 2 X 22 k X k 2 u 2 Yn 0 1 X 1 n 2 X 2 n k X kn u n
7
ˆ ˆ ˆ • 当Q对 0 , 1 , , k的一阶偏导数都等于0，即下列方程组
Q ˆ ˆ ˆ ˆ 2 (Yi 0 1 X 1i 2 X 2 i k X ki ) ( 1) 0 ˆ 0 Q 2 (Y X X X ) ( X ) 0 ˆ i ˆ0 ˆ1 1i ˆ 2 2 i k ki 1i ˆ 1 Q ˆ ˆ ˆ ˆ 2 (Yi 0 1 X 1i 2 X 2 i k X ki ) ( X ki ) 0 ˆ k
• 这个模型相应的矩阵表达形式是 •
Y=Xβ+U
2
• 其中
Y1 Y 2 Y Yn n 1
0 1 2 k ( k 1)1
1 X 11 1 X 12 X 1 X 1n
1
1
15
• 3.最小方差性（有效性）
ˆ ) Var[( X X ) 1 X Y ] Var[( X X ) 1 X ( X U )] Var (
Var[ ( X ) X ] Var[( X ) X ] X U X U
( X ) X (U )[( X ) X ] ( X ) X IX ( X ) X Var X X X
17
具体证明： 因为所设b是线性无偏估计向量，因此可以表示为 b=BY 又因为b是无偏估计，因此 E(b)=E(BY)=E[B(Xβ+U)]=E(BXβ+BU) =BXβ+BE(U)=BXβ=β 所以必然有BX=I 计算b的方差，有 Var(b)=Var[B(Xβ+U)]=Var(β+BU) =Var(BU)=BVar(U)B’=BB’σ2
R
2
RSS TSS
1
ESS TSS
R 1
2
ei
i i
2
(Yi Y )
2
• 不难发现可决系数只与被解释变量的观测值以及 回归残差有关，而与解释变量无直接关系。因此 可以将它直接推广到多元线性回归分析，作为评 价多元线性回归拟合优度的指标。
21
•
但是需注意：多元线性回归模型解释变量的 数目有多有少，而上述可决系数R2又可以证明是 解释变量数目的增函数。这意味着不管增加的解 释变量是否对改善模型、拟合程度有意义，解释 变量个数越多，可决系数一定会越大。因此，以 这种可决系数衡量多元回归模型的拟合优度是有 问题的，而且会导致片面追求解释变量数量的错 误倾向。正是由于存在这种缺陷，可决系数R2在 多元线性回归分析拟合优度评价方面的作用受到 很大的限制。
10
Q ˆ ˆ ˆ ˆ (Y Y 2 X Y X X ) 2 X Y 2 X X 0 ˆ ˆ
• 其中矩阵求导：
f ( B) BA f ( B) BAB
f ( B ) B f ( B ) B
A 2 AB
19
• 高斯—马尔可夫定理： ˆ • 如果基本假定(1)-(5)成立，则最小二乘估计量 是β的最优线性无偏估计量(Best Linear Unbiased Estimate，简记为BLUE)，也就是说在 ˆ β的所有线性无偏估计量中， 具有最小方差性。
20
§3.4
可决系数
• 1.总离差平方和的分解公式 • TSS=RSS+ESS • 2.多元样本可决系数
同时成立时，Q有最小值。 • 对上述方程组加以整理，可得到正规方程组，正规方程组 有k+1个方程，未知数也是k+1个。只要系数矩阵非奇异 (满足模型假设5，解释变量之间不存在严格线性关系即 ˆ ˆ ˆ 可)，就可以解出 0 , 1 , , k 的唯一的一组解，就是β0, β1,…,βK的最小二乘估计值。
13
§3.3
• 1.线性性
最小二乘估计量的特性
ˆ • 所谓线性性是指最小二乘估计量 是被解释变量Y的观 测值的线性函数。 • 多元线性回归模型参数的最小二乘估计向量为
ˆ ( X X ) 1 X Y ˆ X • 令 A ( X ) X 则 AY • 矩阵A是一个非随机的常数矩阵。线性性得证。
e1 e 2 e e n n 1
9
ˆ ˆ • 写成等价的向量方程，则为 Y X • 再利用向量、矩阵的运算法则，可以得到残差平方和 为
ˆ ) 2 e e Q e (Y i Y i
2 i
ˆ ˆ ˆ ˆ (Y Y ) (Y Y ) (Y X ) (Y X ) ˆ ˆ ˆ ˆ Y Y X Y Y X X X ˆ ˆ ˆ Y Y 2 X Y X X
2
u1un u 2u n 2 un
2
2I n n 2
满足这种假定的误差项称为“球形扰动”。
6
§3.2
最小二乘法
• 1.参数的最小二乘估计
• 对于含有k个解释变量的多元线性回归模型 Yi=β0+β1X1i+β2X2i+…+βKXKi+ui,i=1,2,…,n • 和相应的估计的样本回归方程