气象统计方法多元线性回归分析
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f xa ax
为 x i 的函数，则f 对x的偏微分记为
f ( f f f )
x
x1 x2 xn
1）如果x、a及f如上面定义，则有
f a x
第2/3项， x---b
X’y----a
2）如果x如上面定义，令 f ，xx则
f 2 x x
3）如果A为n 对n 称阵，则
f xAx
对x的偏微分为
系很好的单个因子是不够的，实际上某个气 象要素的变化可能和前期多个因子有关，因 此大部分气象统计预报中的回归分析都是用 多元回归技术进行。
2.基本概念
多元回归就是研究一个预报量和多个预 报因子之间的关系。主要讨论较为简单 的多元线性回归。其分析原理与一元线 性回归分析完全相同。
二、回归模型
假定预报量y与p个预报因子关系是线性， 为研究它们之间的联系作n次抽样，则可得 到如下结构表达式：
xip xi1 bp
n
xi2p
n
xip yi
i1
i 1
i 1
i 1
求解上述方程组的方法：
1)用高斯或亚当—高斯消去法，解此 正规方程组得回归系数估计值b0和 bk(k=1-p)
2)用矩阵运算求解(逆矩阵法)
如A有逆(即|A|≠0),则b的解为:
b=A-1B=(X’X)-1X’Y
∵Ab=B →A-1Ab=A-1B Ιb=A-1B
(xAx) 2Ax x
第四项
特别注意
当矩阵和向量的运算结果是一行一列的矩 阵时，可以表示一个多元函数；
多元函数的值域是一个数量，当它表达（x1, x2 …,xm) 有规则运算时，用向量和矩阵运算比 较方便。
当多元函数f(x1, x2 …,xm)表示（x1, x2 …,xm) 有规则运算时，它对（ x1, x2 …,xm ）的偏导也 是有规则的，可用多元函数f(X)对向量X的导数 一并表示。
p
0
可以写成向量的形式
Q ( yy) (bX y) ( yXb) (bX Xb) 0
b b
b
b
b
=0
(bX y) ( yXb) X y
b
b
补充用矢量和 矩阵形式表示的函数的微分
(bX Xb) 2X Xb b
补充 矩阵和向量形式表示的 函数的微分
设x 为 n 1 列向量，a为 n 1 列向 量，
的要求的回归系数，应是使全部的预报量观测值与回 归估计值的差值平方和达到最小。即满足
最小。
n
Q ( yi yˆ i ) 2 i 1
基本条件
对一组样本资料，预报值的估计可以看成
为一个向量，记为
yˆ1
yˆ
yˆ 2
yˆ
n
满足（3）的回归方程，也可以写为矩阵形式，
即 yˆ X，b其中，X就是因子矩阵，b为回
前面的式子是采用向量和矩阵的运算 表示多元函数及多元函数对自变量的导 数，不能说成“矩阵和向量的求导”， 因为只有函数才能对它的自变量求导数。
通过分析其向量形式可得到求回归系数
的标准方程组矩阵形式，即
X Xb(4)X y
展开为
n
n
n
nb0 b1 xi1 bp xip yi
i 1
i 1
i 1
b0
n
n
xi1 b1
xi21 bp
n
xi1xip
n
xi1 yi
i1
i 1
i 1
i 1
n
n
n
n
b0 xi2 b1 xi2 xi1 bp xi2 xip xi2 yi
i1
i 1
i 1
i 1
b0
n
n
xip b1
∴ b=A-1B=(X’X)-1X’Y
四、线性回归模型的其他两种形式 1、距平形式：
从（4）式可以导出
b0 y b1x1 b2 x2 bp x p
代入（3）式，得到
yˆ y b1 (x1 x1 ) b2 (x2 x2 ) bp (x p x p )
….
令
yˆ d yˆ y xd1 x1 x1
xd1p
xd
2
p
xdnp
气象上，为消除季节变化的差别或者地点 的差别，经常使用距平变量研究问题。所 以形如（5）式的回归方程更为常用。
气象统计方法
主讲：温 娜
南京信息工程大学 大气科学学院 2014年9月
本课件主要参考南信大李丽平老师的课件
第五章 多元线性回归 （huang36）
本章主要内容
概述 回归模型 回归系数的最小二乘估计 方差分析 回归方程显著性检验 预报因子显著性检验 复相关系数 预报步骤
一、概述
1. 意义 在气象统计预报中，寻找与预报量线性关
量），服从 N (0,正2)态分布。上述模型 还可以写为：
y X(2) e
其中，
y1
y
y2
y
n
0
β
1
p
e1
e
e2
M
en
都是向量。X是因子矩阵，即
1
X
1
1
x11 x21 xn1
x1p
x
2
p
xnp
我们得到的是一组实测p个变量的样本，利 用这组样本（n 次抽样）对上述回归模型进行 估计，得到的估计方程为多元线性回归估计方
程，记为：
yˆ b0 b1 x1 b 2 x(23) bp x p
其中， b是i 的估i 计值，下面讨论如何确定 它们。
三、回归系数最小二乘估计
和一元线性回归类似，在样本容量为n的y 预报量和因子变量x的实测值中，满足线性回 归方程
yˆi b0 b1xi1 b2xi2 bp xip i 1 ~ n
归系数，即 b0
b
b1
bp
回归估计方程组的矩阵形式
预报量的观测值与回归值之差的内积就 是它们的分量的差值平方和，即
Q ( y yˆ)( y yˆ) ( y - Xb)( y Xb) yy - bXy - yXb bXXb
根据微分学原理，有
Q
b0
0
Q
b1
0
Q
b
xdp x p x p
上式变为
yˆ d b1 xd1 b2 xd 2 bp xdp （5）
对一组样本容量为n的多个距平变量数据， 可类似写成回归方程的矩阵形式
其中，
yˆd1
yˆ d
yˆdn
yˆ d X d b
b1
b
bp
xd11
X
d
xd 21
xdn1
xd12 xd 22 xdn2
y1 0 1x11 2 x12 p x1p e1
y2
ຫໍສະໝຸດ Baidu
0
1x21 2 x2(21)
p x2p
e2
yn 0 1xn1 2 xn2 p xnp en
其中， i为p+1个待估计参数，xi 是p个
一般变量， ei是随机误差（相互独立变
为 x i 的函数，则f 对x的偏微分记为
f ( f f f )
x
x1 x2 xn
1）如果x、a及f如上面定义，则有
f a x
第2/3项， x---b
X’y----a
2）如果x如上面定义，令 f ，xx则
f 2 x x
3）如果A为n 对n 称阵，则
f xAx
对x的偏微分为
系很好的单个因子是不够的，实际上某个气 象要素的变化可能和前期多个因子有关，因 此大部分气象统计预报中的回归分析都是用 多元回归技术进行。
2.基本概念
多元回归就是研究一个预报量和多个预 报因子之间的关系。主要讨论较为简单 的多元线性回归。其分析原理与一元线 性回归分析完全相同。
二、回归模型
假定预报量y与p个预报因子关系是线性， 为研究它们之间的联系作n次抽样，则可得 到如下结构表达式：
xip xi1 bp
n
xi2p
n
xip yi
i1
i 1
i 1
i 1
求解上述方程组的方法：
1)用高斯或亚当—高斯消去法，解此 正规方程组得回归系数估计值b0和 bk(k=1-p)
2)用矩阵运算求解(逆矩阵法)
如A有逆(即|A|≠0),则b的解为:
b=A-1B=(X’X)-1X’Y
∵Ab=B →A-1Ab=A-1B Ιb=A-1B
(xAx) 2Ax x
第四项
特别注意
当矩阵和向量的运算结果是一行一列的矩 阵时，可以表示一个多元函数；
多元函数的值域是一个数量，当它表达（x1, x2 …,xm) 有规则运算时，用向量和矩阵运算比 较方便。
当多元函数f(x1, x2 …,xm)表示（x1, x2 …,xm) 有规则运算时，它对（ x1, x2 …,xm ）的偏导也 是有规则的，可用多元函数f(X)对向量X的导数 一并表示。
p
0
可以写成向量的形式
Q ( yy) (bX y) ( yXb) (bX Xb) 0
b b
b
b
b
=0
(bX y) ( yXb) X y
b
b
补充用矢量和 矩阵形式表示的函数的微分
(bX Xb) 2X Xb b
补充 矩阵和向量形式表示的 函数的微分
设x 为 n 1 列向量，a为 n 1 列向 量，
的要求的回归系数，应是使全部的预报量观测值与回 归估计值的差值平方和达到最小。即满足
最小。
n
Q ( yi yˆ i ) 2 i 1
基本条件
对一组样本资料，预报值的估计可以看成
为一个向量，记为
yˆ1
yˆ
yˆ 2
yˆ
n
满足（3）的回归方程，也可以写为矩阵形式，
即 yˆ X，b其中，X就是因子矩阵，b为回
前面的式子是采用向量和矩阵的运算 表示多元函数及多元函数对自变量的导 数，不能说成“矩阵和向量的求导”， 因为只有函数才能对它的自变量求导数。
通过分析其向量形式可得到求回归系数
的标准方程组矩阵形式，即
X Xb(4)X y
展开为
n
n
n
nb0 b1 xi1 bp xip yi
i 1
i 1
i 1
b0
n
n
xi1 b1
xi21 bp
n
xi1xip
n
xi1 yi
i1
i 1
i 1
i 1
n
n
n
n
b0 xi2 b1 xi2 xi1 bp xi2 xip xi2 yi
i1
i 1
i 1
i 1
b0
n
n
xip b1
∴ b=A-1B=(X’X)-1X’Y
四、线性回归模型的其他两种形式 1、距平形式：
从（4）式可以导出
b0 y b1x1 b2 x2 bp x p
代入（3）式，得到
yˆ y b1 (x1 x1 ) b2 (x2 x2 ) bp (x p x p )
….
令
yˆ d yˆ y xd1 x1 x1
xd1p
xd
2
p
xdnp
气象上，为消除季节变化的差别或者地点 的差别，经常使用距平变量研究问题。所 以形如（5）式的回归方程更为常用。
气象统计方法
主讲：温 娜
南京信息工程大学 大气科学学院 2014年9月
本课件主要参考南信大李丽平老师的课件
第五章 多元线性回归 （huang36）
本章主要内容
概述 回归模型 回归系数的最小二乘估计 方差分析 回归方程显著性检验 预报因子显著性检验 复相关系数 预报步骤
一、概述
1. 意义 在气象统计预报中，寻找与预报量线性关
量），服从 N (0,正2)态分布。上述模型 还可以写为：
y X(2) e
其中，
y1
y
y2
y
n
0
β
1
p
e1
e
e2
M
en
都是向量。X是因子矩阵，即
1
X
1
1
x11 x21 xn1
x1p
x
2
p
xnp
我们得到的是一组实测p个变量的样本，利 用这组样本（n 次抽样）对上述回归模型进行 估计，得到的估计方程为多元线性回归估计方
程，记为：
yˆ b0 b1 x1 b 2 x(23) bp x p
其中， b是i 的估i 计值，下面讨论如何确定 它们。
三、回归系数最小二乘估计
和一元线性回归类似，在样本容量为n的y 预报量和因子变量x的实测值中，满足线性回 归方程
yˆi b0 b1xi1 b2xi2 bp xip i 1 ~ n
归系数，即 b0
b
b1
bp
回归估计方程组的矩阵形式
预报量的观测值与回归值之差的内积就 是它们的分量的差值平方和，即
Q ( y yˆ)( y yˆ) ( y - Xb)( y Xb) yy - bXy - yXb bXXb
根据微分学原理，有
Q
b0
0
Q
b1
0
Q
b
xdp x p x p
上式变为
yˆ d b1 xd1 b2 xd 2 bp xdp （5）
对一组样本容量为n的多个距平变量数据， 可类似写成回归方程的矩阵形式
其中，
yˆd1
yˆ d
yˆdn
yˆ d X d b
b1
b
bp
xd11
X
d
xd 21
xdn1
xd12 xd 22 xdn2
y1 0 1x11 2 x12 p x1p e1
y2
ຫໍສະໝຸດ Baidu
0
1x21 2 x2(21)
p x2p
e2
yn 0 1xn1 2 xn2 p xnp en
其中， i为p+1个待估计参数，xi 是p个
一般变量， ei是随机误差（相互独立变