气象统计方法 第五章 多元线性回归分析

2.基本概念 多元回归就是研究一个预报量和多个 预报因子之间的关系。主要讨论较为简 单的多元线性回归。其分析原理与一元 线性回归分析完全相同。
二、回归模型
假定预报量y与p个预报因子关系是线 性，为研究它们之间的联系作n次抽样，则 可得到如下结构表达式：
y1 0 1 x11 2 x12 p x1 p e1 (1) y x x x e 2 0 1 21 2 22 p 2p 2 y n 0 1 xn1 2 xn 2 p xnp en
1）从距平变量的观测值求回归系数， 同样用最小二乘法导出求回归系数的标准 方程组，其矩阵形式为
Xdb Xd yd Xd
(6)
展开得到求系数标准方程组形式为
n n n n 2 b1 x di1 b2 x di 2 x di1 b p x di1 x dip x di1 y di i 1 i 1 i 1 i 1 n n n n 2 b1 x di 2 x di1 b2 x di 2 b p x di 2 x dip x di 2 y di i 1 i 1 i 1 i 1 n n n n 2 b1 x dip x di1 b2 x dip x di1 b p x dip x dip y di i 1 i 1 i 1 i 1
1 n s kl x dik x dil n i 1
其中，
s ky 1 x dik y di n i 1
n
k , l 1,2,, p
通常称 S 1 X d X d 为因子协方差矩阵。
n
于是（6）式可以写为
Sb s。 xy
其中
s1y s xy s py
回归方程几种形式概括

原始变量回归方程：
ˆ b0 b1x1 b2 x2 bk xk y

距平变量回归方程：
ˆd b1xd1 b2 xd 2 bk xdk y

标准化变量回归方程：
ˆ z bz1xz1 bz 2 xz 2 bz xzk y
气象统计方法
主讲：温 娜
南京信息工程大学 大气科学学院 2014年9月
本课件主要参考南信大李丽平老师的课件
第五章 多元线性回归 （huang36）
本章主要内容
概述 回归模型 回归系数的最小二乘估计 方差分析 回归方程显著性检验 预报因子显著性检验 复相关系数 预报步骤
一、概述
1. 意义 在气象统计预报中，寻找与预报量线性 关系很好的单个因子是不够的，实际上某个 气象要素的变化可能和前期多个因子有关， 因此大部分气象统计预报中的回归分析都是 用多元回归技术进行。
前面的式子是采用向量和矩阵的运 算表示多元函数及多元函数对自变量的 导数，不能说成“矩阵和向量的求导”， 因为只有函数才能对它的自变量求导数。
通过分析其向量形式可得到求回归系数 的标准方程组矩阵形式，即 (4) X Xb X y 展开为 nb b x b x y
对一组样本容量为n的多变量数据，可 类似写成标准化变量回归方程矩阵形式
ˆ z X z bz y
(7)
其中， X z 为标准化因子矩阵， bz 为标 准化回归系数向量，其中第k个分量为 bzk 。
可用最小二乘法求出标准化回归系数向 量，标准化方程组的矩阵形式为 或者
X z bz X Xz z yz
e1 e e 2 en
都是向量。X是因子矩阵，即
1 1 X 1 x11 x 21 x n1 x1 p x2p x np
我们得到的是一组实测p个变量的样本，利 用这组样本（n 次抽样）对上述回归模型进行 估计，得到的估计方程为多元线性回归估计方 程，记为：
2）有时，为书写方便，（6）式两边乘上 1/n，变成各变量的协方差形式，相应的方 程组写为 b1 s11 b2 s12 b p s1 p s1 y b1 s 21 b2 s 22 b p s 2 p s 2 y b1 s p1 b2 s p 2 b p s pp s py
ˆ b0 b1 x1 b 2 x2 b p x p (3) y
其中， 它们。
bi 是 i 的估计值，下面讨论如何确定
三、回归系数最小二乘估计
和一元线性回归类似，在样本容量为n的y 预报量和因子变量x的实测值中，满足线性回 归方程
ˆi b0 b1xi1 b2 xi 2 bp xip i 1 ~ n y
b b p
预报量的观测值与回归值之差的内积就 是它们的分量的差值平方和，即
ˆ )( y y ˆ ) ( y - Xb)( y Xb) yy - bX y - yXb bX Xb Q (y y
Q b 0 0 Q b 0 1 Q b 0 p
f a x
3）如果A为 n n 对称阵，则
f x Ax
对x的偏微分为
( x Ax ) 2矩阵和向量的运算结果是一行一列的矩 阵时，可以表示一个多元函数； 多元函数的值域是一个数量，当它表达（x1, x2 …,xm) 有规则运算时，用向量和矩阵运算比 较方便。 当多元函数f(x1, x2 …,xm)表示（x1, x2 …,xm) 有规则运算时，它对（ x1, x2 …,xm ）的偏导也 是有规则的，可用多元函数f(X)对向量X的导数 一并表示。
上面的方程组和（6）式没有本质区别，有时 直接从（6）式求解，但写成上面的形式。
2、如果把变量变成标准化变量，即对（5） 式的距平变量多元线性回归方程两边除以 预报量y的标准差，得到
xp xp ˆy x1 x1 x2 x2 y b1 b2 bp sy sy sy sy sp xp xp s1 x1 x1 s2 x2 x2 b1 b2 bp s y s1 s y s2 sy sp
求解上述方程组的方法： 1)用高斯或亚当—高斯消去法，解此 正规方程组得回归系数估计值b0和 bk(k=1-p) 2)用矩阵运算求解(逆矩阵法)
如A有逆(即|A|≠0),则b的解为: b=A-1B=(X’X)-1X’Y

∵Ab=B
-1 -1 →A Ab=A B

Ιb=A-1B ∴ b=A-1B=(X’X)-1X’Y
四、回归问题的方差分析
Rbz rxy
其中， 1 R X z Xz n
rxy
(8)
r1 y r 1 2y X z yz n rpy
R为p个因子的相关矩阵。（8）式展开为
r11bz1 r12 bz 2 r1 p bzp r1 y r21bz1 r22 bz 2 r2 p bzp r2 y rp1bz1 rp 2 bz 2 rpp bzp rpy
根据微分学原理，有
可以写成向量的形式
Q ( y y ) (bX y ) ( y Xb) (bX Xb) 0 b b b b b
=0
(bX y ) ( y Xb) X y b b
补充用矢量和 矩阵形式表示的函数的微分
(bX Xb) 2 X Xb b
其中， s i 为p个变量的标准差。
若令
ˆy y ˆz y sy xk xk x zk sk sk bzk bk sy
k , l 1,2,, p
则可以化为标准化回归方程
ˆ z bz1 xz1 bz 2 xz 2 bzp xzp y
b1 b b p
x d 11 x d 12 x x d 22 d 21 X d x dn1 x dn 2
xd1 p xd 2 p x dnp
气象上，为消除季节变化的差别或者 地点的差别，经常使用距平变量研究问题。 所以形如（5）式的回归方程更为常用。
四、线性回归模型的其他两种形式 1、距平形式： 从（4）式可以导出
b0 y b1 x1 b2 x2 bp x p
代入（3）式，得到
ˆ y b1 ( x1 x1 ) b2 ( x2 x2 ) bp ( x p x p ) y
令
ˆd y ˆy y
补充 矩阵和向量形式表示的 函数的微分
设x 为 n 1 列向量，a为 n 1 列向 量，
f x a a x
为
xi
的函数，则f 对x的偏微分记为
f f f f ( ) x x1 x 2 x n
1）如果x、a及f如上面定义，则有
第2/3项， x---b X’y----a 2）如果x如上面定义，令 f x x， 则 f 2x x
n n n i 1 i 1 i 1 n n n n 2 b0 xi1 b1 xi1 b p xi1 xip xi1 yi i 1 i 1 i 1 i 1 n n n n b0 xi 2 b1 xi 2 xi1 b p xi 2 xip xi 2 yi i 1 i 1 i 1 i 1 n n n n 2 b xip b1 xip xi1 b p xip xip yi 0 i 1 i 1 i 1 i 1 0 1 i1 p ip i
的要求的回归系数，应是使全部的预报量观测值与回 归估计值的差值平方和达到最小。即满足
2 ˆ Q ( yi yi ) i 1 n
最小。
基本条件
对一组样本资料，预报值的估计可以看成 ˆ1 为一个向量，记为 y