数学建模方法回归分析共52页文档
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
回归分析
一元线性回归
多元线性回归
* *
* *
数 学 模 型 及 定 义
模 型 参 数 估 计
检 验 、 预 测 与 控 制
性可 回线 归性 （化 曲的 线一 回元 归非 ）线
数 学 模 型 及 定 义
模 型 参 数 估 计
检 验多 与元 预线 测性
回 归
逐 步 回 归 分 析
中
的
一、数学模型
例1 测16名成年女子的身高与腿长所得数据如下：
身高
143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164
(cm)
腿长
88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102
(cm)
以身高x为横坐标，以腿长y为纵坐标将这些数据点（xi，yi） 在平面直角坐标系上标出.
例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀， 容积不断增大.我们希望知道使用次数与增大的容积之间的关 系.对一钢包作试验，测得的数据列于下表：
使用次数
2 3 4 5 6 7 8 9
增大容积
6.42 8.20 9.58 9.50 9.70 10.00 9.93 9.99
1 2
1 2
2 的置信水平为 1- 的置信区间为
2 1
2
Qe (n
2)
,
2
2
Qe (n
2)
3．预测与控制
（1）预测
用 y0 的回归值 yˆ0 ˆ0 ˆ1x0 作为 y0 的预测值.
y 0 的 置 信 水 平 为 1 的 预 测 区 间 为
y ˆ 0 ( x 0 ) y ˆ 0 ( x 0 ) ,
其 中 ( x 0 ) ˆ e t 1 2 ( n 2 ) 1 1 n x 0 L x x 2 x
特别，当 n 很大且 x0 在 x 附近取值时,
y 的置信水平为1 的预测区间近似为
yˆ
ˆ
e u1 2
,
yˆ
ˆ
e u1 2
（2）控制
要 求 ： y 0 1 x 的 值 以 1 的 概 率 落 在 指 定 区 间 y , y
一元线性回归分析的主要任务是： 1．用试验值（样本值）对 0 、 1 和 作点估计； 2．对回归系数 0 、 1 作假设检验；
3．在 x= x0 处对 y 作预测，对 y 作区间估计.
二、模型参数估计
1．回归系数的最小二乘估计
有 n 组独立观测值（x1，y1），（x2，y2），…，（xn，yn）
设
yi 0 x1 i ,i 1, 2,..., n
E
i
0,
D i
2
且1 2 ,..., n相互独立
n
n
记
Q Q(0 , 1)
2 i
yi 0 1xi 2
i 1
i 1
最小二乘法就是选择 0 和 1 的估计 ˆ0 ， ˆ1 使得
Q(ˆ0
,
ˆ1 )
min
0 ,1
Q( 0
,
1 )
ˆ
0
y
ˆ1 x
ˆ
1
xy x y x2 x2
n x i x y i y
或 ˆ 1 i 1 n
x i x 2
i 1
其中x
1 n
n i 1
xi , y
1 n
n i 1
yi
， x2
1 n
n i 1
xi 2 , xy
1 n
n i 1
xi yi
.
（ 经 验 ） 回 归 方 程 为 : y ˆ ˆ 0 ˆ 1 x y ˆ 1 ( x x )
2． 2 的无偏估计
n
记 Qe Q(ˆ0 , ˆ1 )
yi ˆ0 ˆ1xi 2 n ( yi yˆi )2
i 1
i 1
称 Qe 为残差平方和或剩余平方和.
2 的无偏估计为
ˆ
2 e
Qe
(n 2)
称
ˆ
2 e
为剩余方差（残差的方差），
ˆ
2 e
分别与
ˆ0
、
ˆ1
独立.
ˆ e 称为剩余标准差.
102
100
98
96
94
92
90
88
86
84
140
145
150
155
160
165
散点图
y01x
解答
一般地，称由 y 0 1x 确定的模型为一元线性回归模型，
记为
y 0 1x E 0, D 2 固定的未知参数 0 、 1 称为回归系数，自变量 x 也称为回归变量.
Y 0 1x ，称为 y 对 x 的回归直线方程.
只要控制 x 满足以下两个不等式
yˆ (x) y, yˆ (x) y 要求 y y 2 (x) .若 yˆ (x) y, yˆ (x) y 分别有解 x 和 x，即 yˆ (x) y, yˆ (x) y .
则 x, x 就是所求的 x 的控制区间.
四、可线性化的一元非线性回归 （曲线回归）
三、检验、预测与控制
1．回归方程的显著性检验
对 回 归 方 程 Y 01 x的 显 著 性 检 验 ， 归 结 为 对 假 设 H 0:1 0 ;H 1:1 0
进 行 检 验 .
假设 H0 : 1 0 被拒绝，则回归显著，认为 y 与 x 存在线性关 系，所求的线性回归方程有意义；否则回归不显著，y 与 x 的关系 不能用一元线性回归模型来描述，所得的回归方程也无意义.
1
2n
n
其Lx中 x (xix)2 xi2nx2
i 1
iwenku.baidu.com1
（Ⅲ）r 检验法
n
( x i x ) y i ( y )
记 r i 1
n
n
( x i x ) 2( y i y ) 2
i 1
i 1
当|r|> r1 时，拒绝 H0；否则就接受 H0.
其中 r1
1
1 n 2 F1 1, n 2
2．回归系数的置信区间
0 和 1 置 信 水 平 为 1 - α 的 置 信 区 间 分 别 为
ˆ 0 t1 2 ( n 2 )ˆ e1 n L x x 2 ,x ˆ 0 t1 2 ( n 2 )ˆ e1 n L x x 2 x
和 ˆ 1 t( n 2 )ˆ e /L x,x ˆ 1 t( n 2 )ˆ e /L x x
（Ⅰ）F检验法
当 H 0 成立时，
F
U
~F（1，n-2）
Qe /(n 2)
n
其中 U yˆi y2 （回归平方和） i 1
故 F> F1 (1, n 2) ，拒绝 H 0 ，否则就接受 H 0 .
（Ⅱ）t 检验法 当 H 0 成立时，T
Lxx ˆ1 ~t（n-2） ˆ e
故 T t (n 2) ，拒绝 H 0 ，否则就接受 H 0 .
一元线性回归
多元线性回归
* *
* *
数 学 模 型 及 定 义
模 型 参 数 估 计
检 验 、 预 测 与 控 制
性可 回线 归性 （化 曲的 线一 回元 归非 ）线
数 学 模 型 及 定 义
模 型 参 数 估 计
检 验多 与元 预线 测性
回 归
逐 步 回 归 分 析
中
的
一、数学模型
例1 测16名成年女子的身高与腿长所得数据如下：
身高
143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164
(cm)
腿长
88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102
(cm)
以身高x为横坐标，以腿长y为纵坐标将这些数据点（xi，yi） 在平面直角坐标系上标出.
例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀， 容积不断增大.我们希望知道使用次数与增大的容积之间的关 系.对一钢包作试验，测得的数据列于下表：
使用次数
2 3 4 5 6 7 8 9
增大容积
6.42 8.20 9.58 9.50 9.70 10.00 9.93 9.99
1 2
1 2
2 的置信水平为 1- 的置信区间为
2 1
2
Qe (n
2)
,
2
2
Qe (n
2)
3．预测与控制
（1）预测
用 y0 的回归值 yˆ0 ˆ0 ˆ1x0 作为 y0 的预测值.
y 0 的 置 信 水 平 为 1 的 预 测 区 间 为
y ˆ 0 ( x 0 ) y ˆ 0 ( x 0 ) ,
其 中 ( x 0 ) ˆ e t 1 2 ( n 2 ) 1 1 n x 0 L x x 2 x
特别，当 n 很大且 x0 在 x 附近取值时,
y 的置信水平为1 的预测区间近似为
yˆ
ˆ
e u1 2
,
yˆ
ˆ
e u1 2
（2）控制
要 求 ： y 0 1 x 的 值 以 1 的 概 率 落 在 指 定 区 间 y , y
一元线性回归分析的主要任务是： 1．用试验值（样本值）对 0 、 1 和 作点估计； 2．对回归系数 0 、 1 作假设检验；
3．在 x= x0 处对 y 作预测，对 y 作区间估计.
二、模型参数估计
1．回归系数的最小二乘估计
有 n 组独立观测值（x1，y1），（x2，y2），…，（xn，yn）
设
yi 0 x1 i ,i 1, 2,..., n
E
i
0,
D i
2
且1 2 ,..., n相互独立
n
n
记
Q Q(0 , 1)
2 i
yi 0 1xi 2
i 1
i 1
最小二乘法就是选择 0 和 1 的估计 ˆ0 ， ˆ1 使得
Q(ˆ0
,
ˆ1 )
min
0 ,1
Q( 0
,
1 )
ˆ
0
y
ˆ1 x
ˆ
1
xy x y x2 x2
n x i x y i y
或 ˆ 1 i 1 n
x i x 2
i 1
其中x
1 n
n i 1
xi , y
1 n
n i 1
yi
， x2
1 n
n i 1
xi 2 , xy
1 n
n i 1
xi yi
.
（ 经 验 ） 回 归 方 程 为 : y ˆ ˆ 0 ˆ 1 x y ˆ 1 ( x x )
2． 2 的无偏估计
n
记 Qe Q(ˆ0 , ˆ1 )
yi ˆ0 ˆ1xi 2 n ( yi yˆi )2
i 1
i 1
称 Qe 为残差平方和或剩余平方和.
2 的无偏估计为
ˆ
2 e
Qe
(n 2)
称
ˆ
2 e
为剩余方差（残差的方差），
ˆ
2 e
分别与
ˆ0
、
ˆ1
独立.
ˆ e 称为剩余标准差.
102
100
98
96
94
92
90
88
86
84
140
145
150
155
160
165
散点图
y01x
解答
一般地，称由 y 0 1x 确定的模型为一元线性回归模型，
记为
y 0 1x E 0, D 2 固定的未知参数 0 、 1 称为回归系数，自变量 x 也称为回归变量.
Y 0 1x ，称为 y 对 x 的回归直线方程.
只要控制 x 满足以下两个不等式
yˆ (x) y, yˆ (x) y 要求 y y 2 (x) .若 yˆ (x) y, yˆ (x) y 分别有解 x 和 x，即 yˆ (x) y, yˆ (x) y .
则 x, x 就是所求的 x 的控制区间.
四、可线性化的一元非线性回归 （曲线回归）
三、检验、预测与控制
1．回归方程的显著性检验
对 回 归 方 程 Y 01 x的 显 著 性 检 验 ， 归 结 为 对 假 设 H 0:1 0 ;H 1:1 0
进 行 检 验 .
假设 H0 : 1 0 被拒绝，则回归显著，认为 y 与 x 存在线性关 系，所求的线性回归方程有意义；否则回归不显著，y 与 x 的关系 不能用一元线性回归模型来描述，所得的回归方程也无意义.
1
2n
n
其Lx中 x (xix)2 xi2nx2
i 1
iwenku.baidu.com1
（Ⅲ）r 检验法
n
( x i x ) y i ( y )
记 r i 1
n
n
( x i x ) 2( y i y ) 2
i 1
i 1
当|r|> r1 时，拒绝 H0；否则就接受 H0.
其中 r1
1
1 n 2 F1 1, n 2
2．回归系数的置信区间
0 和 1 置 信 水 平 为 1 - α 的 置 信 区 间 分 别 为
ˆ 0 t1 2 ( n 2 )ˆ e1 n L x x 2 ,x ˆ 0 t1 2 ( n 2 )ˆ e1 n L x x 2 x
和 ˆ 1 t( n 2 )ˆ e /L x,x ˆ 1 t( n 2 )ˆ e /L x x
（Ⅰ）F检验法
当 H 0 成立时，
F
U
~F（1，n-2）
Qe /(n 2)
n
其中 U yˆi y2 （回归平方和） i 1
故 F> F1 (1, n 2) ，拒绝 H 0 ，否则就接受 H 0 .
（Ⅱ）t 检验法 当 H 0 成立时，T
Lxx ˆ1 ~t（n-2） ˆ e
故 T t (n 2) ，拒绝 H 0 ，否则就接受 H 0 .