第15讲 MATLAB 多元线性回归分析
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
假设，说明至少有一个回归系数 i 0 ，从而说明
变量 Y 线性依赖于某个变量 X i ；若检验的结果是 接受 H 0 ，则说明所有变量 X 1 , X 2 ,..., X p 对变量的线性 关系是不重要的。
本章目录
16
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—模型的检验
x i (1, xi1 ,...,xip )
例
本章目录
22
i 1,2,...,n
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
自变量的选择
本章目录
23
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
提
选择自变量的准则 选择自变量进入回归模型的方法
纲
（SAS实例）
本章目录
24
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
选择 自变 量的 准则
选择 自变 量进 入回 归模 型的 方法
1. 引言
因变量
y 自变量为 x , x ,, x
1 2
p
满足线性关系
p
y x x e
0 1 1 p
（I）
对 x1 , x2 ,, x p y 进行 n 次观测， 所得的 n 组数据为
xi1 , xi 2 ,, xip, (i 1,2,, n)
它们均满足（I）式
25
本章目录
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
选择 自变 量的 准则
选择 自变 量进 入回 归模 型的 方法
( x , x ,, x , y )
11 12 1p 1
y1 0 1 x11 p x1 p e1 y2 0 1 x21 p x2 p e2
对回归方程的显著性检验是通过方差分析得到。
首先将因变量的离均差平方和分解为由回归和
误差引起两部分，然后构造F统计量来进行统计 推断的
方 差 来 源 模 型 误 差 总 和 平方和 自由度 均方 F值
概率 p 值
SS
回归
p
n p 1
n 1
MS 回归 SS 回归 p MS E SSE 剩余 n p 1
'
ˆ ' X' y y1'y SS回归 β
TSS总 SS回归 SSE剩余
ˆ ' X' y SSE剩余 y' y β
SS R TSS
2
回归
复决定系数
本章目录
18
总
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—回归系数的检验
回归方程显著性检验是从总体上对自变量与因变量 之间是否存在线性关系进行了考察，若检验的结果是 拒绝原假设，则接受其对立假设，也就是说至少存在 某个变量的回归系数不为零，因此还需对每个变量的 回归系数进行逐个检验，即对某个固定的 i, (i 1,2,..., p)
本章目录
21
回 归 分析
2 线性回归
E( yi ) 的 1 置信区间为：
—多元线性回归
2.3 回归方程的假设检验—预测与置信区间
2 2 ˆ t ˆ ) h ) h ˆ ˆ [x i β ( , x β t ( ] 2 2 n p 1 ii i n p 1 ii
回 归 分析
回归分析 1 REG过程 2 线性回归
2.1线性回归模型的数学表示
2.2 回归参数的估计 2.3 回归方程的假设检验
2.4 自变量的选择
2.5 多重共线性识别及处理 2.6 回归诊断 2.7 综合实例
返回
1
回 归 分析
—多元线性回归
回归分析是研究变量间 的依赖关系一种方法
本章目录
2
回 归 分析
( x , x ,, x , y )
21
n2
22
2p
2
( x , x ,, x , y )
n1 np n
yn 0 1 xn1 p xnp en
0 y1 1 x11 x1 p e1 1 x21 x2 p e2 1 y2 y β X e y 26 1 x x e n1 np n n 本章目录 p
—多元线性回归
2.4 自变量的选择
选择 自变 量的 准则
选择 自变 量进 入回 归模 型的 方法
1 ˆ β (X'X) X'y
n
最小二乘法解
TSS总 ( yi y ) 2 y' y y1'y
i 1
1) 其中 1 (1,1,...,
'
ˆ ' X' y y1'y SS回归 β
yi 预测值的 1 置信区间为：
2 ˆ t ) (1 h ) ˆ 2 , xiβ ˆ [x i β tn p 1 ( 2 ) (1 hii ) ( ] 2 n p 1 ii
H X(X' X) 1 X'
hii x i (X' X) 1 x i '
RSQUARE R2选择法 ADJRSQ CP 修正.R2选择法 Mallous Cp统计量
本章目录
8
回 归 分析
1 REG过程
—多元线性回归
•选项3中常用选择项有：
OVERLAY 多个图在一个图上表示
SYMBOL= 用某一符号表示图形
本章目录
9
回 归 分析
1 REG过程
—多元线性回归
•常用的统计关键词有 ：
—多元线性回归
REG过程
提
回归分析的基本内容
纲
回归分析实例
本章目录
3
回 归 分析
1 REG过程
—多元线性回归
•REG过程的调用格式：
PROC REG DATA=SAS数据集 选项1； 必选项 MODEL 因变量=自变量名表/选项2； PLOT Y变量*X变量/选项3；
OUTPUT OUT=数据集名 关键字=变量名….；
p P { F p , n p 1 F回 }
F回 MS 回归 MS E
SSE
TSS
剩余
总
本章目录
17
回 归 分析
2 线性回归 其中：
—多元线性回归
2.3 回归方程的假设检验—模型的检验
TSS总 ( yi y ) 2 y' y y1'y
i 1
n
1) 其中 1 (1,1,...,
本章目录
5
回 归 分析
1 REG过程
—多元线性回归
•选项2中常用选择项有：
CLI 每个个体预测值的95%上、下限 CLM 每个观测因变量期望值的95%上、下限 R 每个个体的预测值、残差及标准误 P 每个个体的观测值、预测值、残差等 （若选择CLI CLM R，则无需选择它） I 计算(X'X)-1
P（PRIDICTED） 预测值 R（RESIDUAL） 残差
L95M
U95M L95 U95 STDP
期望值的95%下限
期望值的95%上限 个体预测值的95%下限 个体预测值的95%上限 期望值的标准误
本章目录
10回 归 分析1 NhomakorabeaEG过程
—多元线性回归
•常用的统计关键词有 ：
STDI STUDENT RSTUDENT COOKD H 预测值的标准误 学生化残差 去掉某观测后的学生化残差 COOK D值 杠杆值
本章目录
15
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—模型的检验
对于任一组观测数据，我们都可按上述方法建立 回归方程，那么它们是否具备建立线性回归方程 的条件呢？这就需要进行回归方程的显著性检验。 即检验假设 H 0 : β 0 ，也就是所有回归系数都等
于零。如果检验的结果是拒绝 H 0 ，即接受其备择
20
本章目录
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—预测与置信区间
将变量 X 1 , X 2 ,..., X p 的一组观测值代入回归方程， 即得到变量 Y 的预测值。因此预测是一件很简 单的事，只要确定了一个非常有效的回归方程即 可。有时我们还需要对预测值进行区间估计，下 面给出因变量的期望值E( yi )和预测值 yi 的区间估计。
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
选择 自变 量的 准则
选择 自变 量进 入回 归模 型的 方法
因此（I）式可写成如下矩阵形式：
y Xβ e
E (e ) 0 Cov(e ) 2 I n
此为多元线性回归方程。
（II） 全模型
本章目录
27
回 归 分析
2 线性回归
PRESS
DFFITS
当去掉第I个观测值后拟合模型的第I个观测的残差除以1-H;
预测值的标准影响力.
本章目录
11
回 归 分析
2 线性回归
—多元线性回归
2.1 线性回归的数学表示
因变量
y 自变量为 x , x ,, x
1 2
p
满足线性关系
y x x e
0 1 1 p p
回 归 分析
2 线性回归
—多元线性回归
2.1 线性回归的数学表示
因此（I）式可写成如下矩阵形式：
y Xβ e
E (e ) 0
Cov(e) 2In
此为多元线性回归方程。
（II）
本章目录
14
回 归 分析
2 线性回归 最小二乘法解
—多元线性回归
2.2 回归参数的估计
1 ˆ β (X'X) X'y
本章目录
7
回 归 分析
1 REG过程
—多元线性回归
•选项2中常用选择项有：
SELECTION=
• BACKWARD 后退法 SLSTAY=值（缺省值为0.1）
•
• • • •
FORWARD
STEPWISE 0.15)
向前法 SLENTRY=值(缺省值为0.5)
逐步回归法 SLSTAY=值 SLENTRY=值(缺省值均为
（I）
对 x1 , x2 ,, x p y 进行 n 次观测， 所得的 n 组数据为
xi1 , xi 2 ,, xip, (i 1,2,, n)
它们均满足（I）式
本章目录
12
回 归 分析
2 线性回归
—多元线性回归
2.1 线性回归的数学表示
( x , x ,, x , y )
11 12 1p 1
的标准误为
Var ( i ) cii ，其估计为
1
cii。
P{t n p1 | t |}
和
p2 P{t n p1 | t |}
，若 p1 或
p2 中
任一个不比 大，则拒绝
H 0i
， 认为该变量的
回归系数显著地不为零。反之则认为该变量与
因变量之间没有显著的线性关系。
y1 0 1 x11 p x1 p e1 y2 0 1 x21 p x2 p e2
( x , x ,, x , y )
21
n2
22
2p
2
( x , x ,, x , y )
n1 np n
yn 0 1 xn1 p xnp en
RUN；
本章目录
4
回 归 分析
1 REG过程
—多元线性回归
•选项1中常用选择项有：
OUTEST=SAS数据集 保存回归分析的结果 COVOUT=SAS数据集 存入估计的协方差阵
RIDGE=值 给出岭回归中的K值，其方式有M、 M TO N、
M TO N BY I 、M1，M2 TO M3 NOPRINT 不打印输出
0 y1 1 x11 x1 p e1 1 x21 x2 p e2 1 y2 y β X e 本章目录 y 13 1 x x e n1 np n n p
检验： H 0i : i 0
本章目录
19
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—回归系数的检验
i
c ii
考虑统计量
t
，则 t 服从自由度
， i
n ( p 1)
为的T-分布。其中 通过计算 p
2 SSE剩余 (n p 1)
XPX 计算X'X X'Y
本章目录
6
回 归 分析
1 REG过程
—多元线性回归
•选项2中常用选择项有：
VIF 方差膨胀因子,它表示由于共线性的存在而使参数 估计值的方差增大的情况. STB 标准化偏回归系数 CORRB 参数估计的相关阵 COVB 参数估计的协方差阵 COLLIN 要求进行共线性分析 INFLUENCE 要求分析观测值对参数估计和预测值的影响
变量 Y 线性依赖于某个变量 X i ；若检验的结果是 接受 H 0 ，则说明所有变量 X 1 , X 2 ,..., X p 对变量的线性 关系是不重要的。
本章目录
16
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—模型的检验
x i (1, xi1 ,...,xip )
例
本章目录
22
i 1,2,...,n
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
自变量的选择
本章目录
23
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
提
选择自变量的准则 选择自变量进入回归模型的方法
纲
（SAS实例）
本章目录
24
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
选择 自变 量的 准则
选择 自变 量进 入回 归模 型的 方法
1. 引言
因变量
y 自变量为 x , x ,, x
1 2
p
满足线性关系
p
y x x e
0 1 1 p
（I）
对 x1 , x2 ,, x p y 进行 n 次观测， 所得的 n 组数据为
xi1 , xi 2 ,, xip, (i 1,2,, n)
它们均满足（I）式
25
本章目录
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
选择 自变 量的 准则
选择 自变 量进 入回 归模 型的 方法
( x , x ,, x , y )
11 12 1p 1
y1 0 1 x11 p x1 p e1 y2 0 1 x21 p x2 p e2
对回归方程的显著性检验是通过方差分析得到。
首先将因变量的离均差平方和分解为由回归和
误差引起两部分，然后构造F统计量来进行统计 推断的
方 差 来 源 模 型 误 差 总 和 平方和 自由度 均方 F值
概率 p 值
SS
回归
p
n p 1
n 1
MS 回归 SS 回归 p MS E SSE 剩余 n p 1
'
ˆ ' X' y y1'y SS回归 β
TSS总 SS回归 SSE剩余
ˆ ' X' y SSE剩余 y' y β
SS R TSS
2
回归
复决定系数
本章目录
18
总
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—回归系数的检验
回归方程显著性检验是从总体上对自变量与因变量 之间是否存在线性关系进行了考察，若检验的结果是 拒绝原假设，则接受其对立假设，也就是说至少存在 某个变量的回归系数不为零，因此还需对每个变量的 回归系数进行逐个检验，即对某个固定的 i, (i 1,2,..., p)
本章目录
21
回 归 分析
2 线性回归
E( yi ) 的 1 置信区间为：
—多元线性回归
2.3 回归方程的假设检验—预测与置信区间
2 2 ˆ t ˆ ) h ) h ˆ ˆ [x i β ( , x β t ( ] 2 2 n p 1 ii i n p 1 ii
回 归 分析
回归分析 1 REG过程 2 线性回归
2.1线性回归模型的数学表示
2.2 回归参数的估计 2.3 回归方程的假设检验
2.4 自变量的选择
2.5 多重共线性识别及处理 2.6 回归诊断 2.7 综合实例
返回
1
回 归 分析
—多元线性回归
回归分析是研究变量间 的依赖关系一种方法
本章目录
2
回 归 分析
( x , x ,, x , y )
21
n2
22
2p
2
( x , x ,, x , y )
n1 np n
yn 0 1 xn1 p xnp en
0 y1 1 x11 x1 p e1 1 x21 x2 p e2 1 y2 y β X e y 26 1 x x e n1 np n n 本章目录 p
—多元线性回归
2.4 自变量的选择
选择 自变 量的 准则
选择 自变 量进 入回 归模 型的 方法
1 ˆ β (X'X) X'y
n
最小二乘法解
TSS总 ( yi y ) 2 y' y y1'y
i 1
1) 其中 1 (1,1,...,
'
ˆ ' X' y y1'y SS回归 β
yi 预测值的 1 置信区间为：
2 ˆ t ) (1 h ) ˆ 2 , xiβ ˆ [x i β tn p 1 ( 2 ) (1 hii ) ( ] 2 n p 1 ii
H X(X' X) 1 X'
hii x i (X' X) 1 x i '
RSQUARE R2选择法 ADJRSQ CP 修正.R2选择法 Mallous Cp统计量
本章目录
8
回 归 分析
1 REG过程
—多元线性回归
•选项3中常用选择项有：
OVERLAY 多个图在一个图上表示
SYMBOL= 用某一符号表示图形
本章目录
9
回 归 分析
1 REG过程
—多元线性回归
•常用的统计关键词有 ：
—多元线性回归
REG过程
提
回归分析的基本内容
纲
回归分析实例
本章目录
3
回 归 分析
1 REG过程
—多元线性回归
•REG过程的调用格式：
PROC REG DATA=SAS数据集 选项1； 必选项 MODEL 因变量=自变量名表/选项2； PLOT Y变量*X变量/选项3；
OUTPUT OUT=数据集名 关键字=变量名….；
p P { F p , n p 1 F回 }
F回 MS 回归 MS E
SSE
TSS
剩余
总
本章目录
17
回 归 分析
2 线性回归 其中：
—多元线性回归
2.3 回归方程的假设检验—模型的检验
TSS总 ( yi y ) 2 y' y y1'y
i 1
n
1) 其中 1 (1,1,...,
本章目录
5
回 归 分析
1 REG过程
—多元线性回归
•选项2中常用选择项有：
CLI 每个个体预测值的95%上、下限 CLM 每个观测因变量期望值的95%上、下限 R 每个个体的预测值、残差及标准误 P 每个个体的观测值、预测值、残差等 （若选择CLI CLM R，则无需选择它） I 计算(X'X)-1
P（PRIDICTED） 预测值 R（RESIDUAL） 残差
L95M
U95M L95 U95 STDP
期望值的95%下限
期望值的95%上限 个体预测值的95%下限 个体预测值的95%上限 期望值的标准误
本章目录
10回 归 分析1 NhomakorabeaEG过程
—多元线性回归
•常用的统计关键词有 ：
STDI STUDENT RSTUDENT COOKD H 预测值的标准误 学生化残差 去掉某观测后的学生化残差 COOK D值 杠杆值
本章目录
15
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—模型的检验
对于任一组观测数据，我们都可按上述方法建立 回归方程，那么它们是否具备建立线性回归方程 的条件呢？这就需要进行回归方程的显著性检验。 即检验假设 H 0 : β 0 ，也就是所有回归系数都等
于零。如果检验的结果是拒绝 H 0 ，即接受其备择
20
本章目录
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—预测与置信区间
将变量 X 1 , X 2 ,..., X p 的一组观测值代入回归方程， 即得到变量 Y 的预测值。因此预测是一件很简 单的事，只要确定了一个非常有效的回归方程即 可。有时我们还需要对预测值进行区间估计，下 面给出因变量的期望值E( yi )和预测值 yi 的区间估计。
回 归 分析
2 线性回归
—多元线性回归
2.4 自变量的选择
选择 自变 量的 准则
选择 自变 量进 入回 归模 型的 方法
因此（I）式可写成如下矩阵形式：
y Xβ e
E (e ) 0 Cov(e ) 2 I n
此为多元线性回归方程。
（II） 全模型
本章目录
27
回 归 分析
2 线性回归
PRESS
DFFITS
当去掉第I个观测值后拟合模型的第I个观测的残差除以1-H;
预测值的标准影响力.
本章目录
11
回 归 分析
2 线性回归
—多元线性回归
2.1 线性回归的数学表示
因变量
y 自变量为 x , x ,, x
1 2
p
满足线性关系
y x x e
0 1 1 p p
回 归 分析
2 线性回归
—多元线性回归
2.1 线性回归的数学表示
因此（I）式可写成如下矩阵形式：
y Xβ e
E (e ) 0
Cov(e) 2In
此为多元线性回归方程。
（II）
本章目录
14
回 归 分析
2 线性回归 最小二乘法解
—多元线性回归
2.2 回归参数的估计
1 ˆ β (X'X) X'y
本章目录
7
回 归 分析
1 REG过程
—多元线性回归
•选项2中常用选择项有：
SELECTION=
• BACKWARD 后退法 SLSTAY=值（缺省值为0.1）
•
• • • •
FORWARD
STEPWISE 0.15)
向前法 SLENTRY=值(缺省值为0.5)
逐步回归法 SLSTAY=值 SLENTRY=值(缺省值均为
（I）
对 x1 , x2 ,, x p y 进行 n 次观测， 所得的 n 组数据为
xi1 , xi 2 ,, xip, (i 1,2,, n)
它们均满足（I）式
本章目录
12
回 归 分析
2 线性回归
—多元线性回归
2.1 线性回归的数学表示
( x , x ,, x , y )
11 12 1p 1
的标准误为
Var ( i ) cii ，其估计为
1
cii。
P{t n p1 | t |}
和
p2 P{t n p1 | t |}
，若 p1 或
p2 中
任一个不比 大，则拒绝
H 0i
， 认为该变量的
回归系数显著地不为零。反之则认为该变量与
因变量之间没有显著的线性关系。
y1 0 1 x11 p x1 p e1 y2 0 1 x21 p x2 p e2
( x , x ,, x , y )
21
n2
22
2p
2
( x , x ,, x , y )
n1 np n
yn 0 1 xn1 p xnp en
RUN；
本章目录
4
回 归 分析
1 REG过程
—多元线性回归
•选项1中常用选择项有：
OUTEST=SAS数据集 保存回归分析的结果 COVOUT=SAS数据集 存入估计的协方差阵
RIDGE=值 给出岭回归中的K值，其方式有M、 M TO N、
M TO N BY I 、M1，M2 TO M3 NOPRINT 不打印输出
0 y1 1 x11 x1 p e1 1 x21 x2 p e2 1 y2 y β X e 本章目录 y 13 1 x x e n1 np n n p
检验： H 0i : i 0
本章目录
19
回 归 分析
2 线性回归
—多元线性回归
2.3 回归方程的假设检验—回归系数的检验
i
c ii
考虑统计量
t
，则 t 服从自由度
， i
n ( p 1)
为的T-分布。其中 通过计算 p
2 SSE剩余 (n p 1)
XPX 计算X'X X'Y
本章目录
6
回 归 分析
1 REG过程
—多元线性回归
•选项2中常用选择项有：
VIF 方差膨胀因子,它表示由于共线性的存在而使参数 估计值的方差增大的情况. STB 标准化偏回归系数 CORRB 参数估计的相关阵 COVB 参数估计的协方差阵 COLLIN 要求进行共线性分析 INFLUENCE 要求分析观测值对参数估计和预测值的影响