气象统计方法 第五章 多元线性回归分析

ˆ b0 b1 x1 b 2 x2 b p x p (3) y
其中， 它们。
bi 是 i 的估计值，下面讨论如何确定
三、回归系数最小二乘估计
和一元线性回归类似，在样本容量为n的y 预报量和因子变量x的实测值中，满足线性回 归方程
ˆi b0 b1xi1 b2 xi 2 bp xip i 1 ~ n y
1 n s kl x dik x dil n i 1
其中，
s ky 1 x dik y di n i 1
n
k , l 1,2,, p
通常称 S 1 X d X d 为因子协方差矩阵。
n
于是（6）式可以写为
Sb s。 xy
其中
s1y s xy s py
n n n i 1 i 1 i 1 n n n n 2 b0 xi1 b1 xi1 b p xi1 xip xi1 yi i 1 i 1 i 1 i 1 n n n n b0 xi 2 b1 xi 2 xi1 b p xi 2 xip xi 2 yi i 1 i 1 i 1 i 1 n n n n 2 b xip b1 xip xi1 b p xip xip yi 0 i 1 i 1 i 1 i 1 0 1 i1 p ip i
回归方程几种形式概括

原始变量回归方程：
ˆ b0 b1x1 b2 x2 bk xk y

距平变量回归方程：
百度文库
ˆd b1xd1 b2 xd 2 bk xdk y

标准化变量回归方程：
ˆ z bz1xz1 bz 2 xz 2 bz xzk y
2.基本概念 多元回归就是研究一个预报量和多个 预报因子之间的关系。主要讨论较为简 单的多元线性回归。其分析原理与一元 线性回归分析完全相同。
二、回归模型
假定预报量y与p个预报因子关系是线 性，为研究它们之间的联系作n次抽样，则 可得到如下结构表达式：
y1 0 1 x11 2 x12 p x1 p e1 (1) y x x x e 2 0 1 21 2 22 p 2p 2 y n 0 1 xn1 2 xn 2 p xnp en
2）有时，为书写方便，（6）式两边乘上 1/n，变成各变量的协方差形式，相应的方 程组写为 b1 s11 b2 s12 b p s1 p s1 y b1 s 21 b2 s 22 b p s 2 p s 2 y b1 s p1 b2 s p 2 b p s pp s py
四、回归问题的方差分析
x i 是p个 其中，i 为p+1个待估计参数，
一般变量， e i 是随机误差（相互独立变
量），服从 N (0, 2 ) 正态分布。上述模型 还可以写为：
y X e
(2)
其中，
y1 y y 2 yn
0 1 β p
根据微分学原理，有
可以写成向量的形式
Q ( y y ) (bX y ) ( y Xb) (bX Xb) 0 b b b b b
=0
(bX y ) ( y Xb) X y b b
补充用矢量和 矩阵形式表示的函数的微分
(bX Xb) 2 X Xb b
Rbz rxy
其中， 1 R X z Xz n
rxy
(8)
r1 y r 1 2y X z yz n rpy
R为p个因子的相关矩阵。（8）式展开为
r11bz1 r12 bz 2 r1 p bzp r1 y r21bz1 r22 bz 2 r2 p bzp r2 y rp1bz1 rp 2 bz 2 rpp bzp rpy
四、线性回归模型的其他两种形式 1、距平形式： 从（4）式可以导出
b0 y b1 x1 b2 x2 bp x p
代入（3）式，得到
ˆ y b1 ( x1 x1 ) b2 ( x2 x2 ) bp ( x p x p ) y
令
ˆd y ˆy y
气象统计方法
主讲：温 娜
南京信息工程大学 大气科学学院 2014年9月
本课件主要参考南信大李丽平老师的课件
第五章 多元线性回归 （huang36）
本章主要内容
概述 回归模型 回归系数的最小二乘估计 方差分析 回归方程显著性检验 预报因子显著性检验 复相关系数 预报步骤
一、概述
1. 意义 在气象统计预报中，寻找与预报量线性 关系很好的单个因子是不够的，实际上某个 气象要素的变化可能和前期多个因子有关， 因此大部分气象统计预报中的回归分析都是 用多元回归技术进行。
的要求的回归系数，应是使全部的预报量观测值与回 归估计值的差值平方和达到最小。即满足
2 ˆ Q ( yi yi ) i 1 n
最小。
基本条件
对一组样本资料，预报值的估计可以看成 ˆ1 为一个向量，记为 y
y ˆ2 ˆ y ˆn y
满足（3）的回归方程，也可以写为矩阵形式， ˆ Xb ，其中，X就是因子矩阵，b为回 即 y b0 归系数，即 b 1 回归估计方程组的矩阵形式
f a x
3）如果A为 n n 对称阵，则
f x Ax
对x的偏微分为
( x Ax ) 2 Ax x
第四项
特别注意
当矩阵和向量的运算结果是一行一列的矩 阵时，可以表示一个多元函数； 多元函数的值域是一个数量，当它表达（x1, x2 …,xm) 有规则运算时，用向量和矩阵运算比 较方便。 当多元函数f(x1, x2 …,xm)表示（x1, x2 …,xm) 有规则运算时，它对（ x1, x2 …,xm ）的偏导也 是有规则的，可用多元函数f(X)对向量X的导数 一并表示。
xd1 x1 x1
xdp x p x p
上式变为
….
ˆ d b1 xd1 b2 xd 2 bp xdp （5） y
对一组样本容量为n的多个距平变量数据， 可类似写成回归方程的矩阵形式
ˆd Xdb y
其中，
ˆ d1 y ˆ d y y ˆ dn
b b p
预报量的观测值与回归值之差的内积就 是它们的分量的差值平方和，即
ˆ )( y y ˆ ) ( y - Xb)( y Xb) yy - bX y - yXb bX Xb Q (y y
Q b 0 0 Q b 0 1 Q b 0 p
e1 e e 2 en
都是向量。X是因子矩阵，即
1 1 X 1 x11 x 21 x n1 x1 p x2p x np
我们得到的是一组实测p个变量的样本，利 用这组样本（n 次抽样）对上述回归模型进行 估计，得到的估计方程为多元线性回归估计方 程，记为：
对一组样本容量为n的多变量数据，可 类似写成标准化变量回归方程矩阵形式
ˆ z X z bz y
(7)
其中， X z 为标准化因子矩阵， bz 为标 准化回归系数向量，其中第k个分量为 bzk 。
可用最小二乘法求出标准化回归系数向 量，标准化方程组的矩阵形式为 或者
X z bz X Xz z yz
补充 矩阵和向量形式表示的 函数的微分
设x 为 n 1 列向量，a为 n 1 列向 量，
f x a a x
为
xi
的函数，则f 对x的偏微分记为
f f f f ( ) x x1 x 2 x n
1）如果x、a及f如上面定义，则有
第2/3项， x---b X’y----a 2）如果x如上面定义，令 f x x， 则 f 2x x
b1 b b p
x d 11 x d 12 x x d 22 d 21 X d x dn1 x dn 2
xd1 p xd 2 p x dnp
气象上，为消除季节变化的差别或者 地点的差别，经常使用距平变量研究问题。 所以形如（5）式的回归方程更为常用。
其中， s i 为p个变量的标准差。
若令
ˆy y ˆz y sy xk xk x zk sk sk bzk bk sy
k , l 1,2,, p
则可以化为标准化回归方程
ˆ z bz1 xz1 bz 2 xz 2 bzp xzp y
上面的方程组和（6）式没有本质区别，有时 直接从（6）式求解，但写成上面的形式。
2、如果把变量变成标准化变量，即对（5） 式的距平变量多元线性回归方程两边除以 预报量y的标准差，得到
xp xp ˆy x1 x1 x2 x2 y b1 b2 bp sy sy sy sy sp xp xp s1 x1 x1 s2 x2 x2 b1 b2 bp s y s1 s y s2 sy sp
求解上述方程组的方法： 1)用高斯或亚当—高斯消去法，解此 正规方程组得回归系数估计值b0和 bk(k=1-p) 2)用矩阵运算求解(逆矩阵法)
如A有逆(即|A|≠0),则b的解为: b=A-1B=(X’X)-1X’Y

∵Ab=B
-1 -1 →A Ab=A B

Ιb=A-1B ∴ b=A-1B=(X’X)-1X’Y
前面的式子是采用向量和矩阵的运 算表示多元函数及多元函数对自变量的 导数，不能说成“矩阵和向量的求导”， 因为只有函数才能对它的自变量求导数。
通过分析其向量形式可得到求回归系数 的标准方程组矩阵形式，即 (4) X Xb X y 展开为 nb b x b x y
1）从距平变量的观测值求回归系数， 同样用最小二乘法导出求回归系数的标准 方程组，其矩阵形式为
Xdb Xd yd Xd
(6)
展开得到求系数标准方程组形式为
n n n n 2 b1 x di1 b2 x di 2 x di1 b p x di1 x dip x di1 y di i 1 i 1 i 1 i 1 n n n n 2 b1 x di 2 x di1 b2 x di 2 b p x di 2 x dip x di 2 y di i 1 i 1 i 1 i 1 n n n n 2 b1 x dip x di1 b2 x dip x di1 b p x dip x dip y di i 1 i 1 i 1 i 1