[课件]气象统计方法 第五章 多元线性回归分析PPT
合集下载
多元线性回归与相关(共30张PPT)
❖ 根据矩阵行列式性质，矩阵行列式的值等于
其特征根的连乘积。因此，当行列式| X'X|≈0
时，至少有一个特征根为零，反过来，可以
证明矩阵至少有一个特征根近似为零时，X的
列向量必存在多重共线性，同样也可证明 X ' X
有多少个特征根近似为零矩阵X就有多少个多
重共线性。根据条件数 K i
, m
i
其中 m为最
❖ 首先给出引入变量的显著性水平和剔除变量的显著性水平，然后 筛选变量。
回归变量的选择与逐步回归
回归变量的选择与逐步回归
❖ 逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其 偏回归平方和（即贡献），然后选一个偏回归平方和最小的变量，在预 先给定的水平下进行显著性检验，如果显著则该变量不必从回归方程中 剔除，这时方程中其它的几个变量也都不需要剔除（因为其它的几个变 量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显 著，则该变量要剔除，然后按偏回归平方和由小到大地依次对方程中其 它变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的 。接着再对未引人回归方程中的变量分别计算其偏回归平方和，并选其 中偏回归平方和最大的一个变量，同样在给定水平下作显著性检验，如 果显著则将该变量引入回归方程，这一过程一直继续下去，直到在回归 方程中的变量都不能剔除而又无新变量可以引入时为止，这时逐步回归 过程结束。
多重共线性检验
❖ 检查和解决自变量之间的多重共线性，多多 元线性回归分析来说是很必要和重要的一个 步骤，常用的共线性诊断方法包括：
❖ 直观的判断方法 ❖ 方差扩大因子法(VIF) ❖ 特征根判定法
直观的判断方法
❖ 在自变量 的相关系数矩阵中，有某些自变量 的相关系数值比较大。
多元线性回归分析课件优秀课件
根着据自s变y.x量1x2的…x增p大加小而判减断少方，程但优当劣增时加的一优些点无：统一计般学随 意义的自变量后，剩余标准差反而增大。 根据复相关系数R来判断，但只反映密切程度，不 反应方向
根据sy.x1x2…xp大小判断方程优劣时的优点： 一般随着自变量的增加而减少，但当增加 一些无统计学意义的自变量后，剩余标准 差反而增大。
(normality) 4.方差齐性(homogeneity or equal variance)
简称为LINE
PAN.sav数据库是某地29名13岁男童的体重x (kg) 和肺 活量y(L)资料，试建立体重与肺活量的直线回归方程。
SPSS程序：Analyze Regression Linear，打开对 话框，把肺活量y放入应变量栏中，体重x放入自变 量栏中。
2
1.538 15.642
Res idual 2.557
26
.098
T otal 5.634
28
a.Predictors: (Constant), 身 高 , 体 重
b.Dependent Variable: 肺 活 量
Sig. .000a
衡量回归方程的标准
建立回归方程时要求：既要尽可能提高拟合 的精度，又要尽可能使模型简单。 常用的衡量方程“优劣”的标准有：
1、决定系数（R2）； 2、复相关系数R 3、调整决定系数（R2adj）； 4、剩余标准差（sy.x1x2…xp）。 5、赤池信息准则（AIC） 6、Cp统计量
根据R2大小判断方程优劣时的缺点是：变量最多 的方程最好，即使所增加的变量无统计学意义。
根学意据意义R义的2a的 变dj 变 量大量 进小进 入判入方断方程方程，程，优R2劣aRd2j时反adj的而增优减加点少；：。当当无有统统计计学
根据sy.x1x2…xp大小判断方程优劣时的优点： 一般随着自变量的增加而减少，但当增加 一些无统计学意义的自变量后，剩余标准 差反而增大。
(normality) 4.方差齐性(homogeneity or equal variance)
简称为LINE
PAN.sav数据库是某地29名13岁男童的体重x (kg) 和肺 活量y(L)资料，试建立体重与肺活量的直线回归方程。
SPSS程序：Analyze Regression Linear，打开对 话框，把肺活量y放入应变量栏中，体重x放入自变 量栏中。
2
1.538 15.642
Res idual 2.557
26
.098
T otal 5.634
28
a.Predictors: (Constant), 身 高 , 体 重
b.Dependent Variable: 肺 活 量
Sig. .000a
衡量回归方程的标准
建立回归方程时要求：既要尽可能提高拟合 的精度，又要尽可能使模型简单。 常用的衡量方程“优劣”的标准有：
1、决定系数（R2）； 2、复相关系数R 3、调整决定系数（R2adj）； 4、剩余标准差（sy.x1x2…xp）。 5、赤池信息准则（AIC） 6、Cp统计量
根据R2大小判断方程优劣时的缺点是：变量最多 的方程最好，即使所增加的变量无统计学意义。
根学意据意义R义的2a的 变dj 变 量大量 进小进 入判入方断方程方程，程，优R2劣aRd2j时反adj的而增优减加点少；：。当当无有统统计计学
《多元线性回归》PPT课件
ˆ 0.7226 0.0003 15674 103 .172 1 ˆ β ˆ 0 . 0003 1 . 35 E 07 39648400 0 . 7770 2
x11 x x 1n x k1 x kn
假设6：回归模型是正确设定的
§3.2
多元线性回归模型的参数估计
一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题
参数估计的任务和方法
1、估计目标：回归系数βj、随机误差项方差б2 2、估计方法：OLS、ML或者MM * OLS：普通最小二乘估计 * ML：最大似然估计
E(X(Y Xβ )0
矩条件
*矩条件和矩估计量*
1、 E(X(Y Xβ ) 0 称为原总体回归方程的一组矩条件，表明了
原总体回归方程所具有的内在特征。
2、如果随机抽出原总体的一个样本，估计出的样本回归方程：
ˆ 能够近似代表总体回归方程的话，则应成立： ˆ X Y
1 ˆ)0 X (Y Xβ n
第三章
多元线性回归模型
§ 3.1 多元线性回归模型
§ 3.2 多元线性回归模型的参数估计 § 3.3 多元线性回归模型的统计检验 § 3.4 多元线性回归模型的预测 § 3.5 可线性化的多元非线性回归模型 § 3.6 受约束回归
§3.1
多元线性回归模型
一、模型形式 二、基本假定
一、模型形式
Yi 0 1 X 1i 2 X 2 i ... k X ki i 0 j X ji i
#参数估计的实例
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
第五章 多元线性回归PPT课件
ˆ b0 b1 x1 b2 x2 ... bk xk y
如果xi增加一个单位，即xi变为xi+1，而 其他自变量均保持不变，相应有
ˆ b b x b x y
1 0 1 1 2
2
... bi ( xi 1) ... bk xk
则y的变化幅度为
ˆ [b b x b x ... b ( x 1) ... b x ] ˆ y y [b b x b x ... b ( x 1) ... b x ] b
R
2
二、调整的确定系数
R
2
偏高
＜(1:10)
自变量个数 样本规模
三、多元相关系数R
因变量观测值和预测值之间的相关程度
四、方差分析
回归平方和
y的总变 差平方 和
第五节
回归方程的检验和回归系数的推断统计
检验
统计推断
参见郭志刚主编，《社会统计分析方法—SPSS软件应用》第二章， 中国人民大学出版社1999
第一节 相关和回归
一、相关统计量 用一个数值表示两个变量间的相关程度 （无单位度量）（-1~+1）
解读
X与y的相关系数为0.6，x与z的相关系数为 0.3
答案： 只能说明x与y相关程度高于x与z的相关程 度，但不能说前者是后者的两倍
x y x y x y 1 2 y y y y 1 y y 1 2 x x y x 1 x y
y
y
练习：根据下表数据计算lambda
志愿 男
快乐家庭 理想工作 增广见闻 总数 10 40 10 60
性别 女
30 10 0 40
总数
多元线性回归预测法ppt课件
三、多元回归模型的检验
1. 复相关系数检验 检验线性关系密切程度的指标称为相关系数，在多元回 归模型中，由于自变量在两个以上，所以称为复相关系数. 样本复相关系数的计算公式是
2 2 ˆ ˆ y y y y i R 1 i i 2 2 y y y y i i i
(4-32)
复相关系数检验的步骤为：
第一步，计算复相关系数
二元回归方程复相关系数的计算常用其简捷公式
ˆ y ˆ x ˆ x y y y R 1 y n y
2 i 1 i 2 2 i i 1i 2 3 i 2i
(4-33)
三元回归方程R计算常用其简捷公式
x x
i 1 i 1 n
n
x
i 1 n
i1 2 i1
x
n
i2
(4-25)
i1 i 2
x
n yi ni1 ˆ 1 xi1 yi 0 A i1 n xi 2 yi i1
xi1 x
i 1 i 1 n
n
x
i1
i 1 n
2 i1
2
。
第五步，判断。若
，则回归系数 ˆ j与零 |tj | t n p
2
有显著差异，必须保留 x j 在原回归方程中，否则应 去掉 x j 重新建立回归方程。
5.自相关检验—DW检验
（1）DW检验
DW
2 e e i i 1 i 1 n
e
i 1
n
2 i
(4-46)
定义一个校正R2，记为 R 2
2 ˆ y y /( n p ) i i 2 R 1 2 y y /( n 1 ) i
气象统计方法多元线性回归分析
i1
i1
i1
i1
2）有时，为书写方便，（6）式两边乘上 1/n，变成各变量的协方差形式，相应的方 程组写为
b1s11 b2 s12 bp s1p s1y b1s21 b2 s22 bp s2 p s2 y
b1s p1 b2 s p2 bp s pp s py
b1
n
xd2i1 b2
n
xdi2 x di1
bp
n
xdi1xdip
n
xdi1 ydi
i1
i1
i1
i1
n
b1 i1 xdi2 xdi1 b2
n
x d2i 2
i1
bp
n
xdi2 xdip
i1
n i1
Байду номын сангаас
xdi2 ydi
b1 n xdip xdi1 b2 n xdip xdi1 bp n xd2ip n xdip ydi
1
ˆ ˆ
2 e 2 y
1
n p 1 S yy
n 1
1 ( n 1 )(1 R 2 ) n p 1
调整复相关系数是对总体复相关系数的估计， 也是对总体回归关系的解释方差的一种估计。
六、回归方程的显著性检验
假设预报因子与预报量之间无线性关系， 则回归系数应该为0。
检验假设：
H 0 : 1 2 p 0
xip xi1 bp
n
xi2p
n
xip yi
i1
i 1
i 1
i 1
求解上述方程组的方法：
1)用高斯或亚当—高斯消去法，解此 正规方程组得回归系数估计值b0和 bk(k=1-p)
2)用矩阵运算求解(逆矩阵法)
多元线性回归分析简介ppt课件
动情况
回归平方和：SSR= ( yˆi y)2 ,是 SS 中由自变量的波动
引起的部分，即在 SS 中能用自变量解释的部分。
残差平方和：SSE= ( yi yˆi )2 ei2 ，由自变量之外
函数关系为 y 0 1x1 p xp ，其中 0 , 1, , p 待定，称 1, , p 为这个 p 元线性 回归函数的回归系数。
类似于一个自变量的情形，可以把自变量 x1, , xp 与因变量Y 之间的相关关系表示成 Y 0 1x1 p xp ，其中随机误差项
~ N 0, 2 。于是，Y ~ N 0 1x1 pxp, 2
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
引进矩阵的形式：
设
y
y1
y2
，
X
1
1
x1 p
则多元线性回归模型可表示为：
x1p
x2
p
，
1 2
，
xnp
n
y X
G
M
条件
一、多元线性回归的估计和检验
在实际问题中，往往要考虑多个自变量与一个 因变量之间的相关关系．例如，一个人的身高 不仅受到父亲身高的影响，还受到母亲等其他 直系长辈的影响．
一般地，我们需要研究 p 个自变量 x1, , xp 与 因变量Y 之间相关关系的数量表示。假定自变
量 x1, , xp 与因变量Y 的均值 E Y y 之间的
j 1
三、回归方程的显著性检验---F 检验 在 p 元回归分析问题中，回归系数的显著性检验 问题是要检验 ： H0 : 1 p 0
F-检验是根据平方和分解公式，直接从 回归效果来检验回归方程的显著性。和 一元情形类似
回归平方和：SSR= ( yˆi y)2 ,是 SS 中由自变量的波动
引起的部分，即在 SS 中能用自变量解释的部分。
残差平方和：SSE= ( yi yˆi )2 ei2 ，由自变量之外
函数关系为 y 0 1x1 p xp ，其中 0 , 1, , p 待定，称 1, , p 为这个 p 元线性 回归函数的回归系数。
类似于一个自变量的情形，可以把自变量 x1, , xp 与因变量Y 之间的相关关系表示成 Y 0 1x1 p xp ，其中随机误差项
~ N 0, 2 。于是，Y ~ N 0 1x1 pxp, 2
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
引进矩阵的形式：
设
y
y1
y2
，
X
1
1
x1 p
则多元线性回归模型可表示为：
x1p
x2
p
，
1 2
，
xnp
n
y X
G
M
条件
一、多元线性回归的估计和检验
在实际问题中，往往要考虑多个自变量与一个 因变量之间的相关关系．例如，一个人的身高 不仅受到父亲身高的影响，还受到母亲等其他 直系长辈的影响．
一般地，我们需要研究 p 个自变量 x1, , xp 与 因变量Y 之间相关关系的数量表示。假定自变
量 x1, , xp 与因变量Y 的均值 E Y y 之间的
j 1
三、回归方程的显著性检验---F 检验 在 p 元回归分析问题中，回归系数的显著性检验 问题是要检验 ： H0 : 1 p 0
F-检验是根据平方和分解公式，直接从 回归效果来检验回归方程的显著性。和 一元情形类似
多元线性回归分析PPT模板
=1−
SSE
SST
σ e2i
= 1 − σ(y −y)2
i
（6-42）
10
由判定系数的定义可知，R2的大小取决于残差平
2
方和σ e2i 在总离差平方和σ(yi − y) 中所占的比
重。在样本容量一定的条件下，总离差平方和与
自变量的个数无关，而残差平方和则会随着模型
中自变量个数的增加而不断减少，至少不会增加。
回归系数对应的自变量对因变量的影响是否显著，以
便对自变量的取舍做出正确的判断。一般来说，当发
现某个自变量的影响不显著时，应将其从模型中删除，
这样才能做到以尽可能少的自变量达到尽可能高的拟
合优度。
17
多元模型中回归系数的检验同样采用t检验，其原理和基本
步骤与一元回归模型中的t检验基本相同，此处不再赘述。
因此，R2是自变量个数的非递减函数。
11
在一元线性回归模型中，所有模型包含的变量个
数都相同，如果所使用的样本容量也一样，判定
系数便可以直接作为评价拟合优度的尺度。然而
在多元线性回归模型中，各回归模型所含的变量
的个数未必相同，以R2的大小作为衡量拟合优度
的尺度是不合适的。
12
因此，在多元回归分析中，人们更常用的评价指标是所谓
( ′ )是一个(k + 1) × (k + 1)的对称矩阵，根据标准假定1，
rank() = k + 1，k + 1个变量之间不存在高度的线性相关，
因此其逆矩阵存在。式（6-40）两边同时除以( ′ )，可以
得到回归系数最小二乘估计的一般形式：
= ( ′ )−1 ′
（6-41）
数学建模多元线性回归分析PPT课件
的标准误。
检验假设： H0： j 0 ， t j 服从自由度为 n m 1的 t 分 布。如果| t j | t / 2,nm1 ，则在 （0.05）水平上拒 绝 H0，接受 H1，说明 X j 与Y 有线性回归关系。
第19页/共50页
结果
0.1424 t1 0.3656 0.390
0.2706 t3 0.1214 2.229
计算公式： R R2 ，本例 R 0.6008 0.7751 若 m=1 自变量，则有 R | r |，r 为简单相关系数。
第14页/共50页
（二）对各自变量 指明方程中的每一个自
变量对Y的影响（即方差分析和决定系数检 验整体）。
1. 偏回归平方和
含义 回归方程中某一自变量 X j 的偏回归 平方和表示模型中含有其它 m-1 个自变量 的条件下该自变量对 Y 的回归贡献，相当于 从回归方程中剔除 X j 后所引起的回归平方 和的减少量，或在 m-1 个自变量的基础上新 增加 X j 引起的回归平方和的增加量。
第16页/共50页
各自变量的偏回归平方和可以通过拟合包含不同 自变量的回归方程计算得到，表15-5给出了例15-1数 据分析的部分中间结果。
表15-5 对例15-1数据作回归分析的部分中间结果
回归方程中
平方和（变异）
包含的自变量
SS 回
SS 残
① X1 , X 2 , X 3 , X 4 133.7107 88.8412
求偏导数
原理
最小二乘法
l11b1 l12b2 l1mbm l1Y l21b1 l22b2 l2mbm l2Y lm1b1 lm2b2 lmmbm lmY
b0 Y (b1X 1b2 X2 bm Xm )
多元线性回归课件
误差项之间不存在自相关性。
线性关系
自变量与因变量之间存在线性 关系。
无异方差性
误差项的方差在所有观测值中 保持恒定。
无异常值
数据集中没有异常值。
02
多元线性回归的参 数估计
最小二乘法
最小二乘法是一种数学优化技术，其 基本思想是寻找一个函数，使得该函 数与已知数据点的总误差（或总偏差 ）的平方和最小。
最小二乘法通过构建残差平方和பைடு நூலகம்数 学模型，并对其求最小值来估计参数 ，这种方法具有简单、直观和易于计 算的特点。
在多元线性回归中，最小二乘法的目 标是找到最佳参数值，使得实际观测 值与通过模型预测的值之间的残差平 方和最小。
参数的估计值与估计量的性质
参数的估计值是通过最小二乘法 或其他优化算法从样本数据中得
多元线性回归课件
目录
CONTENTS
• 多元线性回归概述 • 多元线性回归的参数估计 • 多元线性回归的评估与诊断 • 多元线性回归的进阶应用 • 多元线性回归的软件实现 • 多元线性回归的案例分析
01
多元线性回归概述
定义与模型
定义
多元线性回归是一种统计学方法，用于 研究多个自变量与因变量之间的线性关 系。
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接近1表示模型拟合度越好。
调整决定系数（Adjusted R^2）
考虑了模型中自变量的增加，对R^2进行调整后的拟合度指标。
均方误差（MSE）
衡量模型预测误差大小的指标，值越小表示模型预测精度越高。
变量的显著性检验
t检验
通过t统计量检验自变量对因变量 的影响是否显著，值越大表明该 变量越重要。
用于判断自变量之间是否存在多重共线性的指标，值小于阈值时可能存在多重共线性问 题。
线性关系
自变量与因变量之间存在线性 关系。
无异方差性
误差项的方差在所有观测值中 保持恒定。
无异常值
数据集中没有异常值。
02
多元线性回归的参 数估计
最小二乘法
最小二乘法是一种数学优化技术，其 基本思想是寻找一个函数，使得该函 数与已知数据点的总误差（或总偏差 ）的平方和最小。
最小二乘法通过构建残差平方和பைடு நூலகம்数 学模型，并对其求最小值来估计参数 ，这种方法具有简单、直观和易于计 算的特点。
在多元线性回归中，最小二乘法的目 标是找到最佳参数值，使得实际观测 值与通过模型预测的值之间的残差平 方和最小。
参数的估计值与估计量的性质
参数的估计值是通过最小二乘法 或其他优化算法从样本数据中得
多元线性回归课件
目录
CONTENTS
• 多元线性回归概述 • 多元线性回归的参数估计 • 多元线性回归的评估与诊断 • 多元线性回归的进阶应用 • 多元线性回归的软件实现 • 多元线性回归的案例分析
01
多元线性回归概述
定义与模型
定义
多元线性回归是一种统计学方法，用于 研究多个自变量与因变量之间的线性关 系。
决定系数（R^2）
衡量模型解释变量变异程度的指标，值越接近1表示模型拟合度越好。
调整决定系数（Adjusted R^2）
考虑了模型中自变量的增加，对R^2进行调整后的拟合度指标。
均方误差（MSE）
衡量模型预测误差大小的指标，值越小表示模型预测精度越高。
变量的显著性检验
t检验
通过t统计量检验自变量对因变量 的影响是否显著，值越大表明该 变量越重要。
用于判断自变量之间是否存在多重共线性的指标，值小于阈值时可能存在多重共线性问 题。
多元线性回归分析 ppt课件
Y ˆ b 0 b 1 X 1 b 2 X 2 b m X m
2.对回归方程及各Xj作假设检验。
8
二、多元线性回归方程的建立
9
Y
Y ˆ abX
X
Y ˆ b0b1X1
10
Y ˆ b0b1X1
b(XX)(YY)lXY aYbX
(XX)2
lXX
b1
l1Y l 11
l11 b1 l1Y
b0 Yb1X1
13
Y ˆ b 0 b 1 X 1 b 2 X 2 b m X m
l 1 b 1 1 l 1 b 2 2 l 1 m b m l 1 Y l2b 1 1 l2b 2 2 l2 m b m l2 Y l m 1 b 1 l m 2 b 2 l m b m m l mY
第15章
多元线性回归分析
Multiple Linear Regression Analysis
流行病学与卫生统计学系
Email:
1
讲课内容
第一节 多元线性回归(重点) 第二节 自变量选择方法(重点) 第三节 多元线性回归的应用及注
意事项
2
第一节 多元线性回归
一、多元线性回归模型
3
表 15-2 27 名糖尿病人的血糖及有关变量的测量结果
在其它自变量保持不变时，Xj增加或减少 一个单位时Y的平均变化量。
e 去除m个自变量对Y影响后的随机误差。
6
多元线性回归模型应用条件：
1.Y与X1，X2， ，Xm之间具有线性关系； 2.各个Yi间相互独立； 3.e服从均数为0、方差为2的正态分布。
7
多元线性回归分析步骤：
1.根据样本数据求得模型参数估计值：
序号 i
总胆固醇 甘油三酯
2.对回归方程及各Xj作假设检验。
8
二、多元线性回归方程的建立
9
Y
Y ˆ abX
X
Y ˆ b0b1X1
10
Y ˆ b0b1X1
b(XX)(YY)lXY aYbX
(XX)2
lXX
b1
l1Y l 11
l11 b1 l1Y
b0 Yb1X1
13
Y ˆ b 0 b 1 X 1 b 2 X 2 b m X m
l 1 b 1 1 l 1 b 2 2 l 1 m b m l 1 Y l2b 1 1 l2b 2 2 l2 m b m l2 Y l m 1 b 1 l m 2 b 2 l m b m m l mY
第15章
多元线性回归分析
Multiple Linear Regression Analysis
流行病学与卫生统计学系
Email:
1
讲课内容
第一节 多元线性回归(重点) 第二节 自变量选择方法(重点) 第三节 多元线性回归的应用及注
意事项
2
第一节 多元线性回归
一、多元线性回归模型
3
表 15-2 27 名糖尿病人的血糖及有关变量的测量结果
在其它自变量保持不变时，Xj增加或减少 一个单位时Y的平均变化量。
e 去除m个自变量对Y影响后的随机误差。
6
多元线性回归模型应用条件：
1.Y与X1，X2， ，Xm之间具有线性关系； 2.各个Yi间相互独立； 3.e服从均数为0、方差为2的正态分布。
7
多元线性回归分析步骤：
1.根据样本数据求得模型参数估计值：
序号 i
总胆固醇 甘油三酯
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
补充用矢量和 矩阵形式表示的函数的微分
( b X Xb ) 2 X Xb b
补充 矩阵和向量形式表示的 函数的微分
设x 为 n1 列向量，a为 n1 列向 量，
f x a a x
为
x i 的函数，则f 对x的偏微分记为
f f f f ( ) x x x x 1 2 n
气象统计方法 第五章 多 元线性回归分析
第五章 多元线性回归 （huan二乘估计 方差分析 回归方程显著性检验 预报因子显著性检验 复相关系数 预报步骤
一、概述
1. 意义 在气象统计预报中，寻找与预报量线性关 系很好的单个因子是不够的，实际上某个气 象要素的变化可能和前期多个因子有关，因 此大部分气象统计预报中的回归分析都是用 多元回归技术进行。
n n n 0 1 i1 p ip i
i 1 i 1 i 1 n n n n 2 b0 x i1 b1 x i1 b p x i1 x ip x i1 y i i 1 i 1 i 1 i 1 n n n n b0 x i 2 b1 x i 2 x i1 b p x i 2 x ip x i 2 y i i 1 i 1 i 1 i 1 n n n n 2 b x ip b1 x ip x i1 b p x ip x ip y i 0 i 1 i 1 i 1 i 1
1）如果x、a及f如上面定义，则有
第2/3项， x---b X’y----a 2）如果x如上面定义，令 f ，则 x x
f a x
f 2x x
3）如果A为 n 对称阵，则 n
f x Ax
对x的偏微分为
(x Ax ) 2 Ax x
第四项
特别注意
当矩阵和向量的运算结果是一行一列的矩 阵时，可以表示一个多元函数； 多元函数的值域是一个数量，当它表达（x1, x2 …,xm) 有规则运算时，用向量和矩阵运算比 较方便。 当多元函数f(x1, x2 …,xm)表示（x1, x2 …,xm) 有规则运算时，它对（ x1, x2 …,xm ）的偏导也 是有规则的，可用多元函数f(X)对向量X的导数 一并表示。
2.基本概念 多元回归就是研究一个预报量和多个预 报因子之间的关系。主要讨论较为简单 的多元线性回归。其分析原理与一元线 性回归分析完全相同。
二、回归模型
假定预报量y与p个预报因子关系是线性， 为研究它们之间的联系作n次抽样，则可得 到如下结构表达式：
px e y 1 0 1x 11 2x 1 2 1p 1 (1) y x x px e 2 0 1 2 1 2 2 2 2p 2 y px e 0 1x n 1 2x n 2 n p n n
根据微分学原理，有
可以写成向量的形式
Q ( y y ) ( b X y ) ( y Xb ) ( b X Xb ) 0 b b b b b
=0
( b X y ) ( y Xb ) X y b b
b b
p
预报量的观测值与回归值之差的内积就 是它们的分量的差值平方和，即
ˆˆ Q ( y y ) ( y y ) () y X b ( y X b ) y y b X y y X b b X X b
Q b 0 0 Q b 0 1 Q 0 b p
的要求的回归系数，应是使全部的预报量观测值与回 归估计值的差值平方和达到最小。即满足
2 ˆ Q (y i y i) i 1 n
最小。
基本条件
对一组样本资料，预报值的估计可以看成 为一个向量，记为 yˆ 1
yˆ yˆ yˆ
2
n
满足（3）的回归方程，也可以写为矩阵形式， 即 y ，其中，X就是因子矩阵，b为回 ˆ Xb 归系数，即 b0 b 回归估计方程组的矩阵形式 1
0 1
p
e1 e e 2 en
都是向量。X是因子矩阵，即
1 1 X 1 x11 x21 xn1 x1 p x2 p xnp
我们得到的是一组实测p个变量的样本，利 用这组样本（n 次抽样）对上述回归模型进行 估计，得到的估计方程为多元线性回归估计方 程，记为：
ˆ y b b x b x b x 0 1 1 2 2 p p (3)
其中， 它们。 的估计值，下面讨论如何确定 b是 i i
三、回归系数最小二乘估计
和一元线性回归类似，在样本容量为n的y 预报量和因子变量x的实测值中，满足线性回 归方程
ˆ y b b x b x b x i 1 ~ n i 0 1 i 1 2 i 2 p ip
前面的式子是采用向量和矩阵的运算 表示多元函数及多元函数对自变量的导 数，不能说成“矩阵和向量的求导”， 因为只有函数才能对它的自变量求导数。
通过分析其向量形式可得到求回归系数 的标准方程组矩阵形式，即 (4) X Xb X y 展开为 nb b x b x y
x i 是p个 其中， i 为p+1个待估计参数，
一般变量， e i是随机误差（相互独立变
2 量），服从 N(0, 正态分布。上述模型 ) 还可以写为：
(2) y X e
其中，
y1 y y 2 yn
β