气象统计 回归分析1
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
36 34 32 30 4 28 26
A Tm
6
Tm
A
24 22 20 18 16 14
2
0
-2 1950 1952 1954 1956 1958 1960 1962 1964 1966 1968 1970 1972
Year
7 6 5 4
Tm vs A_Observed Linear Fit of data_Tm Upper 95% Confidence Limit Lower 95% Confidence Limit
残差平方和 Q
2 n i=1
∑( yi y)
i=1
n i=1 i
n
2
= ∑[( yi yi ) + ( yi y)] = ∑ ( yi yi ) + ( yi y) + 2( yi yi )( yi y)
2 2 i=1
n
[
]
∑( y y )( y y) = 0
i i
例
多元线性回归
例
例
距平形式回归方程
原值形式回归方程
复相关系数
R=0.79
α=0.05，查表 ，
回归方程是显著的。 回归方程是显著的。
例
例
（例如：一元情况下 p=1, f1=1, f2 =n-2) 例如：
(3) 根据样本值计算上述统计量的观测值 (4) 将计算值与查表得到给定 α下的理论值进行比较，确 计算值与查表得到给定 理论值进行比较 进行比较， 定对H 的接受与拒绝. 定对 0 的接受与拒绝
预报值的置信区间的估计:
y = y ±1.96σ
第二章 回归分析
回归分析是目前气象统计分析中最为常用的一种方 法。尤其在气象预报业务中为国内外台站所常用。例如 尤其在气象预报业务中为国内外台站所常用。 目前国内外台站常用的 MOS（模式输出统计量）方法中， MOS（模式输出统计量）方法中， 回归分析是最基本的方法之一。 回归分析是最基本的方法之一。
Y * * * *
* * * * *
*
Y
* * **
* * * * * *
X
X 根据散点图确定拟合的函数形式
对总体，假设有： 对总体，假设有：
y = β0 + β1x + e
有如下关系： y 与 x 有如下关系：
抽取样本容量为 抽取样本容量为 n 的预报量 y 与预报因子 x 的一组样 本，预报量对的估计量 预报量对的估计量
1.回归的基本思想
问题的提出：检测一个非独立变量（dependent,因变量）与一 组独立变量（independent,自变量）之间的关系 (实验数据的曲 线拟合) Y = f (a0,a1,a2…,am;x1,x2,…xm )+error(x1,x2,…xm )
dependent independent
回归分析是用来寻找若干变量之间统计联系关 系的一种方法。利用所找到的统计关系对某一变量 作出未来时刻的估计，称为预报值。例如，假如我 们要预报某地某一月份的平均气温（习惯上称为预 报量）。为了预报这个对象未来时刻的变化，我们 选择预报量前期已发生的多个有关的气象要素或者 其它地球物理要素（把它们称为预报因子）。 利用回归分析方法去分析多个预报因子与这个 预报量之间的相互关系，建立它们统计关系的方程 式，最后利用方程式对未来时刻的平均气温作出预 报估计。
2
( 0.727) = 20.18 r2 F = (n 2) = 18× 2 2 1 r 1 ( 0.727)
回归系数的显著性检验
对回归方程的显著性检验，既可以总体进行，也可以通过 对回归方程的显著性检验，既可以总体进行， 对其中的回归系数进行检验。 对其中的回归系数进行检验。 回归系数 b 的方差
b0 = y bx 1 n ∑xi yi x y Sxy n i=1 = 2 b = 1 n 2 Sx xi x2 ∑ n i=1
[例]:对表2.1中资料,算出
y = 7 . 5 0 . 23 x
^
系数为负数， 系数为负数，表明二者之间为负相关
回归问题的方差分析
回归平方和 U 推导:
y = b0 + b1x
2）系数的求解 怎样才能找到一条对所有点的散布情况代表性最好的 直线呢？ 直线呢？
Q(b0 , b) = ∑( yi yi ) →m in
i=1
n
2
Q = 0, b0
Q =0 b
经整理，得到求解 b0, b 的标准线性方程组: 经整理， 的标准线性方程组:
n n nb0 + b∑ xi = ∑ yi i =1 i =1 n n n b x + b x2 = x y 0∑ i ∑ i ∑ i i i =1 i =1 i=1
j=1 i=1 i=1
p
n
n
b0 ∑xik + ∑bj (∑xij xik ) = ∑xik yi
i=1 j=1 i=1 i=1
n
p
n
n
(k = 1Lp)
X Xb = X y
' '
b = (X X) X y
' '
1
Key Concept: 复相关系数 衡量一个变量（y）与 多个变量（x1,x2,x3,…,xp） 之间的线性关系程度的统计量
σ = Q n p 1
[例] 要预报1982年北京1月气温， 选用3个因子…p49 Y vs (X1 X2 X3 )
线性回归模型的其它形式
原始变量形式： 原始变量形式：
距平变量形式： 距平变量形式：
标准化变量形式： 标准化变量形式： 它们之间相互转化的关系为
利用回归方程进行预报的步骤
在气象中利用回归方程进行预报可归结为下列步骤： 在气象中利用回归方程进行预报可归结为下列步骤： 第一步：确定预报量并选择恰当的因子； 第一步：确定预报量并选择恰当的因子； 第二步： 第二步：根据数据计算回归系数标准方程组所包含的有 关统计量（因子的交叉积、矩阵协方差阵或相关阵， 关统计量（因子的交叉积、矩阵协方差阵或相关阵，以及因子 与预报量交叉积向量等）； 与预报量交叉积向量等）； 第三步：解线性方程组定出回归系数； 第三步：解线性方程组定出回归系数； 第四步：建立回归方程并进行统计显著性检验； 第四步：建立回归方程并进行统计显著性检验； 第五步： 第五步：利用已出现的因子值代入回归方程作出预报量 的估计，求出预报值的置信区间。 的估计，求出预报值的置信区间。
S yy = ∑ ( yi y ) 2
i =1 n n
= ∑ ( yi y ) 2 + ∑ ( yi yi ) 2
i =1 i =1
n
R = U / S yy
2
回归方程显著性检验
(1) 就 y=Xβ+e 给出原假设 H0（事件）: 事件）
β1= β2= β3 = …= βp= 0
(2) 构造与原假设 H0 有关的统计量，该统计量服从已知的 有关的统计量， F--分布: F～F ( p, n-p-1 ) ～
相关系数与线性回归 拟合效果 (解释方差 解释方差) 解释方差
n
1 n ( yi y) ( yi y)2 s2 ∑ ∑ U n = i=1 = i=1 = y n 1 n Syy s2 2 2 ∑( yi y) n ∑( yi y) y i=1 i=1
2
2
n
s2 y = 2 sy
∑( yi y)
回归系数的显著性检验
遵从自由度为n－ 的 分布 式中Q为残差平方和 分布， 为残差平方和. 遵从自由度为 －2的t分布，式中 为残差平方和 统计量
遵从分子自由度为1，分母自由度为（ ） 分布。 遵从分子自由度为 ，分母自由度为（n-2）的F分布。 分布
回归平方和
在进行单个因子作用的检验时，常用下式进行： 在进行单个因子作用的检验时，常用下式进行：
y = Xβ + e
y = b0 + b1x1 + b2 x2 +... + bp xp
系数的最小二乘估计
Q(b , b ,..., bp ) = ∑( yi yi ) → m in 0 1
i= 1 n 2
Q = ∑( y y)2 = ∑( y b0 ∑bj xij )2
i=1 i=1 j=1
2.回归分析的方法
回归关系的假定： 回归关系的假定： y = f (c, x)+e , 线性或非线性 的估计: 最小二乘法/ 模型参数 c 的估计 最小二乘法/极大似然法 回归效果的检验： TEST 回归效果的检验： 置信区间的估计: 预报问题/关于e 的估计
3回归的操作步骤
1) 散点图 (Scatter)
上式表明，回归系数b的波动大小不仅与误差e的方差有关， 上式表明，回归系数b的波动大小不仅与误差e的方差有关， 而且还取决于观测数据中自变量X波动的程度。 而且还取决于观测数据中自变量X波动的程度。如果因子取 值范围较大，则估计得到的回归系数b的波动就较小， 值范围较大，则估计得到的回归系数b的波动就较小，估计 就比较精确。 就比较精确。
4)置信区间的估计: 4)置信区间的估计: 置信区间的估计
y = b0 + bx
估计
y = y +e
e ≈ 1.96σ
σ = Q n p 1
预 报
给定 x0 ，则在给定的α 下， y0的置信区间为:
( y0 1.96σ, y0 +1.96σ )
多元线性回归
一种结果，多个原因
假设： Y = f (a0,a1,a2…,am;x1,x2,…xm )+e
n
n
p
Q = 0, b0
Q = 0, b1
Q = 0 ,..., b2
Q = 0 b p
p n Q = 2∑( y b0 ∑bj xij ) = 0 b0 i=1 j=1 p n Q = 2xik ∑( y b0 ∑bj xij ) = 0 bk i=1 j=1
(k = 1Lp)
nb0 + ∑bj (∑xij ) = ∑yi
ENSO 时间演变 Time Evolutions
散点图 Scatter Plot
2.1 一元线性回归
[例1] 要预报北京3月下旬平均最低温度 Tm， 用环流指标 A (3月16—20日 500 hPa 候平均图上沿 130E，39一40N 的高度差)作为预报因子．为考察 它们之间的统计关系，选取195l一1970年资料(见表2.1)． ** 为了更清楚表现它们的关系，还可以绘成变化曲线比较图(图2.1)及散布 图(图2.2)．
概率比较
小概率原理
回归方程的显著性检验
s2 U y r2 r2 F= 1 = 1 = = (n 2) 2 2 Q se 1 r 1 r2 n 2 n 2 n 2
例如对表2.1的资料所得的回归方程进行检验
Sxy r = = xy sx sy 1 n ∑xi yi xy n i=1 = 0.727 n n 1 1 2 2 xi x yi2 y2 ∑ ∑ n i=1 n i=1
i=1 n
∑( yi y)
i=1 2 x 2 y
=
∑(b0 + bxi b0 bx)
i=1
ቤተ መጻሕፍቲ ባይዱ
n
2
2
( yi y)2 ∑
i=1 2
n
=
b2 ( xi x) ∑
i=1 n
n
2
( yi y)2 ∑
i=1
s sxy s sxy 2 = rxy =b = 2 = s sx s sxsy
Tm / C
3 2 1 0 -1 -2 10 15 20 25 30 35
0
Y'=7.51- 0.23X
A
从上图可见，点子的散布基本上围绕着一条直线。因此， 可以认为 Tm与A 之间有线性变化趋势。
Regression—回归分析(Chapter 2&8)
回归的基本思想
回归分析的方法 回归的操作步骤 回归的选项和参数设定 应用举例
∑( yi y)
i=1
n
2
= ∑( yi yi ) + ∑( yi y)
2 i=1 i=1
n
n
2
回归方差的大小,可表明回归模型的优劣 回归方差的大小 可表明回归模型的优劣
Y
yi
* * * * * * *
⊕
y
*
图解： 方差分析
y
* *
X
yi yi y
yi yi
⊕
yi
y
y
yi y
2 2 x 2 y
2
s2 U y 2 = 2 = rxy ≤ 1 Syy sy
3).回归方程显著性检验 回归方程显著性检验
(1) 就 y=β0 + β x +e 给出原假设 H0（事件）:
β =0
(2) 构造与原假设 H0 有关的统计量，该统计量服从已知的 F--分布: F ( p, n-p-1 ) 分布, （例如：一元情况下 p=1, f1=1, f2 =n-2) 例如： (3) 根据样本值计算上述统计量的观测值 (4) 将计算值与查表得到的理论值进行比较，确定对H0 的接受与拒绝
A Tm
6
Tm
A
24 22 20 18 16 14
2
0
-2 1950 1952 1954 1956 1958 1960 1962 1964 1966 1968 1970 1972
Year
7 6 5 4
Tm vs A_Observed Linear Fit of data_Tm Upper 95% Confidence Limit Lower 95% Confidence Limit
残差平方和 Q
2 n i=1
∑( yi y)
i=1
n i=1 i
n
2
= ∑[( yi yi ) + ( yi y)] = ∑ ( yi yi ) + ( yi y) + 2( yi yi )( yi y)
2 2 i=1
n
[
]
∑( y y )( y y) = 0
i i
例
多元线性回归
例
例
距平形式回归方程
原值形式回归方程
复相关系数
R=0.79
α=0.05，查表 ，
回归方程是显著的。 回归方程是显著的。
例
例
（例如：一元情况下 p=1, f1=1, f2 =n-2) 例如：
(3) 根据样本值计算上述统计量的观测值 (4) 将计算值与查表得到给定 α下的理论值进行比较，确 计算值与查表得到给定 理论值进行比较 进行比较， 定对H 的接受与拒绝. 定对 0 的接受与拒绝
预报值的置信区间的估计:
y = y ±1.96σ
第二章 回归分析
回归分析是目前气象统计分析中最为常用的一种方 法。尤其在气象预报业务中为国内外台站所常用。例如 尤其在气象预报业务中为国内外台站所常用。 目前国内外台站常用的 MOS（模式输出统计量）方法中， MOS（模式输出统计量）方法中， 回归分析是最基本的方法之一。 回归分析是最基本的方法之一。
Y * * * *
* * * * *
*
Y
* * **
* * * * * *
X
X 根据散点图确定拟合的函数形式
对总体，假设有： 对总体，假设有：
y = β0 + β1x + e
有如下关系： y 与 x 有如下关系：
抽取样本容量为 抽取样本容量为 n 的预报量 y 与预报因子 x 的一组样 本，预报量对的估计量 预报量对的估计量
1.回归的基本思想
问题的提出：检测一个非独立变量（dependent,因变量）与一 组独立变量（independent,自变量）之间的关系 (实验数据的曲 线拟合) Y = f (a0,a1,a2…,am;x1,x2,…xm )+error(x1,x2,…xm )
dependent independent
回归分析是用来寻找若干变量之间统计联系关 系的一种方法。利用所找到的统计关系对某一变量 作出未来时刻的估计，称为预报值。例如，假如我 们要预报某地某一月份的平均气温（习惯上称为预 报量）。为了预报这个对象未来时刻的变化，我们 选择预报量前期已发生的多个有关的气象要素或者 其它地球物理要素（把它们称为预报因子）。 利用回归分析方法去分析多个预报因子与这个 预报量之间的相互关系，建立它们统计关系的方程 式，最后利用方程式对未来时刻的平均气温作出预 报估计。
2
( 0.727) = 20.18 r2 F = (n 2) = 18× 2 2 1 r 1 ( 0.727)
回归系数的显著性检验
对回归方程的显著性检验，既可以总体进行，也可以通过 对回归方程的显著性检验，既可以总体进行， 对其中的回归系数进行检验。 对其中的回归系数进行检验。 回归系数 b 的方差
b0 = y bx 1 n ∑xi yi x y Sxy n i=1 = 2 b = 1 n 2 Sx xi x2 ∑ n i=1
[例]:对表2.1中资料,算出
y = 7 . 5 0 . 23 x
^
系数为负数， 系数为负数，表明二者之间为负相关
回归问题的方差分析
回归平方和 U 推导:
y = b0 + b1x
2）系数的求解 怎样才能找到一条对所有点的散布情况代表性最好的 直线呢？ 直线呢？
Q(b0 , b) = ∑( yi yi ) →m in
i=1
n
2
Q = 0, b0
Q =0 b
经整理，得到求解 b0, b 的标准线性方程组: 经整理， 的标准线性方程组:
n n nb0 + b∑ xi = ∑ yi i =1 i =1 n n n b x + b x2 = x y 0∑ i ∑ i ∑ i i i =1 i =1 i=1
j=1 i=1 i=1
p
n
n
b0 ∑xik + ∑bj (∑xij xik ) = ∑xik yi
i=1 j=1 i=1 i=1
n
p
n
n
(k = 1Lp)
X Xb = X y
' '
b = (X X) X y
' '
1
Key Concept: 复相关系数 衡量一个变量（y）与 多个变量（x1,x2,x3,…,xp） 之间的线性关系程度的统计量
σ = Q n p 1
[例] 要预报1982年北京1月气温， 选用3个因子…p49 Y vs (X1 X2 X3 )
线性回归模型的其它形式
原始变量形式： 原始变量形式：
距平变量形式： 距平变量形式：
标准化变量形式： 标准化变量形式： 它们之间相互转化的关系为
利用回归方程进行预报的步骤
在气象中利用回归方程进行预报可归结为下列步骤： 在气象中利用回归方程进行预报可归结为下列步骤： 第一步：确定预报量并选择恰当的因子； 第一步：确定预报量并选择恰当的因子； 第二步： 第二步：根据数据计算回归系数标准方程组所包含的有 关统计量（因子的交叉积、矩阵协方差阵或相关阵， 关统计量（因子的交叉积、矩阵协方差阵或相关阵，以及因子 与预报量交叉积向量等）； 与预报量交叉积向量等）； 第三步：解线性方程组定出回归系数； 第三步：解线性方程组定出回归系数； 第四步：建立回归方程并进行统计显著性检验； 第四步：建立回归方程并进行统计显著性检验； 第五步： 第五步：利用已出现的因子值代入回归方程作出预报量 的估计，求出预报值的置信区间。 的估计，求出预报值的置信区间。
S yy = ∑ ( yi y ) 2
i =1 n n
= ∑ ( yi y ) 2 + ∑ ( yi yi ) 2
i =1 i =1
n
R = U / S yy
2
回归方程显著性检验
(1) 就 y=Xβ+e 给出原假设 H0（事件）: 事件）
β1= β2= β3 = …= βp= 0
(2) 构造与原假设 H0 有关的统计量，该统计量服从已知的 有关的统计量， F--分布: F～F ( p, n-p-1 ) ～
相关系数与线性回归 拟合效果 (解释方差 解释方差) 解释方差
n
1 n ( yi y) ( yi y)2 s2 ∑ ∑ U n = i=1 = i=1 = y n 1 n Syy s2 2 2 ∑( yi y) n ∑( yi y) y i=1 i=1
2
2
n
s2 y = 2 sy
∑( yi y)
回归系数的显著性检验
遵从自由度为n－ 的 分布 式中Q为残差平方和 分布， 为残差平方和. 遵从自由度为 －2的t分布，式中 为残差平方和 统计量
遵从分子自由度为1，分母自由度为（ ） 分布。 遵从分子自由度为 ，分母自由度为（n-2）的F分布。 分布
回归平方和
在进行单个因子作用的检验时，常用下式进行： 在进行单个因子作用的检验时，常用下式进行：
y = Xβ + e
y = b0 + b1x1 + b2 x2 +... + bp xp
系数的最小二乘估计
Q(b , b ,..., bp ) = ∑( yi yi ) → m in 0 1
i= 1 n 2
Q = ∑( y y)2 = ∑( y b0 ∑bj xij )2
i=1 i=1 j=1
2.回归分析的方法
回归关系的假定： 回归关系的假定： y = f (c, x)+e , 线性或非线性 的估计: 最小二乘法/ 模型参数 c 的估计 最小二乘法/极大似然法 回归效果的检验： TEST 回归效果的检验： 置信区间的估计: 预报问题/关于e 的估计
3回归的操作步骤
1) 散点图 (Scatter)
上式表明，回归系数b的波动大小不仅与误差e的方差有关， 上式表明，回归系数b的波动大小不仅与误差e的方差有关， 而且还取决于观测数据中自变量X波动的程度。 而且还取决于观测数据中自变量X波动的程度。如果因子取 值范围较大，则估计得到的回归系数b的波动就较小， 值范围较大，则估计得到的回归系数b的波动就较小，估计 就比较精确。 就比较精确。
4)置信区间的估计: 4)置信区间的估计: 置信区间的估计
y = b0 + bx
估计
y = y +e
e ≈ 1.96σ
σ = Q n p 1
预 报
给定 x0 ，则在给定的α 下， y0的置信区间为:
( y0 1.96σ, y0 +1.96σ )
多元线性回归
一种结果，多个原因
假设： Y = f (a0,a1,a2…,am;x1,x2,…xm )+e
n
n
p
Q = 0, b0
Q = 0, b1
Q = 0 ,..., b2
Q = 0 b p
p n Q = 2∑( y b0 ∑bj xij ) = 0 b0 i=1 j=1 p n Q = 2xik ∑( y b0 ∑bj xij ) = 0 bk i=1 j=1
(k = 1Lp)
nb0 + ∑bj (∑xij ) = ∑yi
ENSO 时间演变 Time Evolutions
散点图 Scatter Plot
2.1 一元线性回归
[例1] 要预报北京3月下旬平均最低温度 Tm， 用环流指标 A (3月16—20日 500 hPa 候平均图上沿 130E，39一40N 的高度差)作为预报因子．为考察 它们之间的统计关系，选取195l一1970年资料(见表2.1)． ** 为了更清楚表现它们的关系，还可以绘成变化曲线比较图(图2.1)及散布 图(图2.2)．
概率比较
小概率原理
回归方程的显著性检验
s2 U y r2 r2 F= 1 = 1 = = (n 2) 2 2 Q se 1 r 1 r2 n 2 n 2 n 2
例如对表2.1的资料所得的回归方程进行检验
Sxy r = = xy sx sy 1 n ∑xi yi xy n i=1 = 0.727 n n 1 1 2 2 xi x yi2 y2 ∑ ∑ n i=1 n i=1
i=1 n
∑( yi y)
i=1 2 x 2 y
=
∑(b0 + bxi b0 bx)
i=1
ቤተ መጻሕፍቲ ባይዱ
n
2
2
( yi y)2 ∑
i=1 2
n
=
b2 ( xi x) ∑
i=1 n
n
2
( yi y)2 ∑
i=1
s sxy s sxy 2 = rxy =b = 2 = s sx s sxsy
Tm / C
3 2 1 0 -1 -2 10 15 20 25 30 35
0
Y'=7.51- 0.23X
A
从上图可见，点子的散布基本上围绕着一条直线。因此， 可以认为 Tm与A 之间有线性变化趋势。
Regression—回归分析(Chapter 2&8)
回归的基本思想
回归分析的方法 回归的操作步骤 回归的选项和参数设定 应用举例
∑( yi y)
i=1
n
2
= ∑( yi yi ) + ∑( yi y)
2 i=1 i=1
n
n
2
回归方差的大小,可表明回归模型的优劣 回归方差的大小 可表明回归模型的优劣
Y
yi
* * * * * * *
⊕
y
*
图解： 方差分析
y
* *
X
yi yi y
yi yi
⊕
yi
y
y
yi y
2 2 x 2 y
2
s2 U y 2 = 2 = rxy ≤ 1 Syy sy
3).回归方程显著性检验 回归方程显著性检验
(1) 就 y=β0 + β x +e 给出原假设 H0（事件）:
β =0
(2) 构造与原假设 H0 有关的统计量，该统计量服从已知的 F--分布: F ( p, n-p-1 ) 分布, （例如：一元情况下 p=1, f1=1, f2 =n-2) 例如： (3) 根据样本值计算上述统计量的观测值 (4) 将计算值与查表得到的理论值进行比较，确定对H0 的接受与拒绝