《统计方法建模》课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
xxp2
系统
y1
y2 ym
数学建模
为简化问题，不妨设该系统为单目标系统，且由函数关
系 y f (x1 , x2 ,, x p ) ，可以设：
y 0 1x1 p x p
(1.2)
可得如下线性模型
y1 0 1x11 2 x12 p x1p 1
y2
0
1x21
22 x22
p x2 p
2
(1.3)
yn 0 1xn1 2 xn2 p xnp n
其中， 1 , 2 ,, n 为测量误差，相互独立， i ～N (0, )。令
Y
y1 y2
可得 yn
1
X
1
x11
x21
x12
x22
x1 x2
p p
1 xn1
xn2
xnp
( xj x j ) 2
1
可得数学模型为：
(1.14)
zn '0 1, 2,
'1 z
, n
1
2z'2
' m1
z ,m1
(1.15)
经推导可得：
A
XT
X
N 0
R0
，
B X TY
，
n
y
1 n
( y1
y2
yn )
wk.baidu.com
则由公式可计算得总偏差平方和，回归和剩余平方和：
n
S总 ( y y)2 1
n
S剩 ( y y )2 1
n
S回 ( y y)2 1
S回
2
～x 2 ( p)
S剩
2
～x 2 (n
p
1)
F S回 / p ～F( p, n p 1) S剩 / n p 1
0 1
p
1 2
n
Y X
（1.4）
数学建模
(1.4) 称为线性回归方程的数学模型。 利用最小二乘估计或极大似然估计，令
n
Q [ yi 0 1xi1 p xip ]2 i 1
使 Q Qmin ，由方程组
Q i
0
i 0,1,2,, p
(1.5)
数学建模
x ▪ 为头在显算线著起性，,回说很归明麻分烦析i不。中起这，作里当用介经，绍过要的检从方验方法，程是方中光程剔对(1除因.2出)子作去用x，1显,一x著2切,，都但要, x从pi 0 逐个检验，确认它在方程中的作用的显著程度，然后依大到小 逐次引入变量到方程，并及时进行检验，去掉作用不显著的因 子，依次循环，到最后无因子可以进入方程，亦无因子被从方 程中剔除，这个方法称为最优逐步回归法。
假设检验： H0：1 2 p 0 H1： 至少有一个不为零
结论是： F F ( p, n p 1), 拒绝 H0
F F ( p, n p 1)，接受 H0
数学建模
当 H0被拒绝以后，说明方程(2)中系数不全为零，方程配
得合理。否则在被接受以后，说明方程配得不合适，即变 量
x1 , x2 ,, x p
对目标函数都没有影响，则要从另外因素去考虑该系统。
三、回归方程系数的显著性检验
数学建模
假设 H0j : j 0 ,备选假设 H1j ： j 0 , j 1, 2,, p
可以证得：
jj
c jj
～N (0, 1), Fj
(ˆ j j )2 / c jj
S剩 / n p 1
～F(1, n
数学建模
一、数学模型
设y1可, y控2 ,或，不,已y可m测控得的的自n变组量数x据1 ,为x：2 , ；,目x标p 函数
{x1,x 2 ,,xp , y1, y 2 ,, ym} (1.1)
其中 yj , j 1,2, ,m, 是系1统,2的,测,n试数据，相当于如
下模型：设多目标系统为：
x1
统计方法建模
数学建模
1 多元回归与最优逐步回归 2 主成份分析与相关分析 3 判别分析 4 聚类分析 5 模糊聚类分析 6 马尔可夫链及其应用 7 存贮论
数学建模
§1 多元回归与最优逐步回归
▪ 一、数学模型 ▪ 二、模型的分析与检验 ▪ 三、回归方程系数的显著性检验 ▪ 四、回归方程进行预测预报和控制 ▪ 五、最优逐步回归分析
▪
从方程(1.2)中,为方便计,设变量个数 p m 1 ,记
ya x m , 1, 2, , n;
▪ 可得 x n 0 1 x1 x m1 m1
▪
1,2,,n
(1.12)
此时仍可得
数学建模
S总
n
( xm xm ) 2 , S回
n
( xm
xm )2
n
S剩 (xm xm )2 ,
其中
b 2
1
1 n
p i 1
p
Cij ( xoi
j 1
xi )(xoj
xj)
数学建模
y y0 b
～
N (0,1),
S剩 2
～x2 (n
p 1),
y y0 ～t(n p 1) S剩 / n p 1
得 y0 的预测区间：
yˆ0 t
2
n
S剩 p1
y
yˆ0
t
2
(n
p
1)
S剩 n p1
五、最优逐步回归分析
剔除。然后从头开始进行一次回归分析工作。
数学建模
四、回归方程进行预测预报和控制
经过回归分析得到经验回归方程为
y 0 1 x1 p x p (1.9)
设要在某已知点上进行预测，可得点估计：
y0 0 1 x01 p xop
(1.10)
下面对预测预极值进行区间估计，可以证得
y y0 ～ N (0, b)
p 1)
(1.8)
或者
tj
ˆ j j
～t(n p 1)
S剩 / n p 1
其中 cjj是A1 (X T X )1 的对角线元素。
数学建模
当 Fj F (1,n p 1)(或 t j t (n p 1) 时，
2
j 显著不为零，方程(1.2)中 第 j个变量作用显著。
若有某一个系数 i 0 假设被接受，则应从方程中
可得系数 0 , 1 ,, p的估计。
设 A X T X 方阵可逆，由模型可得：X TY X T X A ,即有
A1 X TY
(1.6)
可以证明(1.6)与(1.5)是同解方程组的解，它是最优线性无偏 估量，满足很多良好的性质，另文补讲。
二、模型的分析与检验
数学建模
设目标函数 y1 ,, yn 的平均值，
1
1
xm 是回归估计值
1
回归方程为 xm b0 b1x1 b2 x2 bm1xm1
(1.13)
b0 ,b1 ,,bm1 分别是 0 , 1, 2 ,, m1 的系数
估计。为了减少误差积累与放大，进行数据中心化标 准化处理：
数学建模
zij
xj x j
j
j 1,2, ,m
n
j
系统
y1
y2 ym
数学建模
为简化问题，不妨设该系统为单目标系统，且由函数关
系 y f (x1 , x2 ,, x p ) ，可以设：
y 0 1x1 p x p
(1.2)
可得如下线性模型
y1 0 1x11 2 x12 p x1p 1
y2
0
1x21
22 x22
p x2 p
2
(1.3)
yn 0 1xn1 2 xn2 p xnp n
其中， 1 , 2 ,, n 为测量误差，相互独立， i ～N (0, )。令
Y
y1 y2
可得 yn
1
X
1
x11
x21
x12
x22
x1 x2
p p
1 xn1
xn2
xnp
( xj x j ) 2
1
可得数学模型为：
(1.14)
zn '0 1, 2,
'1 z
, n
1
2z'2
' m1
z ,m1
(1.15)
经推导可得：
A
XT
X
N 0
R0
，
B X TY
，
n
y
1 n
( y1
y2
yn )
wk.baidu.com
则由公式可计算得总偏差平方和，回归和剩余平方和：
n
S总 ( y y)2 1
n
S剩 ( y y )2 1
n
S回 ( y y)2 1
S回
2
～x 2 ( p)
S剩
2
～x 2 (n
p
1)
F S回 / p ～F( p, n p 1) S剩 / n p 1
0 1
p
1 2
n
Y X
（1.4）
数学建模
(1.4) 称为线性回归方程的数学模型。 利用最小二乘估计或极大似然估计，令
n
Q [ yi 0 1xi1 p xip ]2 i 1
使 Q Qmin ，由方程组
Q i
0
i 0,1,2,, p
(1.5)
数学建模
x ▪ 为头在显算线著起性，,回说很归明麻分烦析i不。中起这，作里当用介经，绍过要的检从方验方法，程是方中光程剔对(1除因.2出)子作去用x，1显,一x著2切,，都但要, x从pi 0 逐个检验，确认它在方程中的作用的显著程度，然后依大到小 逐次引入变量到方程，并及时进行检验，去掉作用不显著的因 子，依次循环，到最后无因子可以进入方程，亦无因子被从方 程中剔除，这个方法称为最优逐步回归法。
假设检验： H0：1 2 p 0 H1： 至少有一个不为零
结论是： F F ( p, n p 1), 拒绝 H0
F F ( p, n p 1)，接受 H0
数学建模
当 H0被拒绝以后，说明方程(2)中系数不全为零，方程配
得合理。否则在被接受以后，说明方程配得不合适，即变 量
x1 , x2 ,, x p
对目标函数都没有影响，则要从另外因素去考虑该系统。
三、回归方程系数的显著性检验
数学建模
假设 H0j : j 0 ,备选假设 H1j ： j 0 , j 1, 2,, p
可以证得：
jj
c jj
～N (0, 1), Fj
(ˆ j j )2 / c jj
S剩 / n p 1
～F(1, n
数学建模
一、数学模型
设y1可, y控2 ,或，不,已y可m测控得的的自n变组量数x据1 ,为x：2 , ；,目x标p 函数
{x1,x 2 ,,xp , y1, y 2 ,, ym} (1.1)
其中 yj , j 1,2, ,m, 是系1统,2的,测,n试数据，相当于如
下模型：设多目标系统为：
x1
统计方法建模
数学建模
1 多元回归与最优逐步回归 2 主成份分析与相关分析 3 判别分析 4 聚类分析 5 模糊聚类分析 6 马尔可夫链及其应用 7 存贮论
数学建模
§1 多元回归与最优逐步回归
▪ 一、数学模型 ▪ 二、模型的分析与检验 ▪ 三、回归方程系数的显著性检验 ▪ 四、回归方程进行预测预报和控制 ▪ 五、最优逐步回归分析
▪
从方程(1.2)中,为方便计,设变量个数 p m 1 ,记
ya x m , 1, 2, , n;
▪ 可得 x n 0 1 x1 x m1 m1
▪
1,2,,n
(1.12)
此时仍可得
数学建模
S总
n
( xm xm ) 2 , S回
n
( xm
xm )2
n
S剩 (xm xm )2 ,
其中
b 2
1
1 n
p i 1
p
Cij ( xoi
j 1
xi )(xoj
xj)
数学建模
y y0 b
～
N (0,1),
S剩 2
～x2 (n
p 1),
y y0 ～t(n p 1) S剩 / n p 1
得 y0 的预测区间：
yˆ0 t
2
n
S剩 p1
y
yˆ0
t
2
(n
p
1)
S剩 n p1
五、最优逐步回归分析
剔除。然后从头开始进行一次回归分析工作。
数学建模
四、回归方程进行预测预报和控制
经过回归分析得到经验回归方程为
y 0 1 x1 p x p (1.9)
设要在某已知点上进行预测，可得点估计：
y0 0 1 x01 p xop
(1.10)
下面对预测预极值进行区间估计，可以证得
y y0 ～ N (0, b)
p 1)
(1.8)
或者
tj
ˆ j j
～t(n p 1)
S剩 / n p 1
其中 cjj是A1 (X T X )1 的对角线元素。
数学建模
当 Fj F (1,n p 1)(或 t j t (n p 1) 时，
2
j 显著不为零，方程(1.2)中 第 j个变量作用显著。
若有某一个系数 i 0 假设被接受，则应从方程中
可得系数 0 , 1 ,, p的估计。
设 A X T X 方阵可逆，由模型可得：X TY X T X A ,即有
A1 X TY
(1.6)
可以证明(1.6)与(1.5)是同解方程组的解，它是最优线性无偏 估量，满足很多良好的性质，另文补讲。
二、模型的分析与检验
数学建模
设目标函数 y1 ,, yn 的平均值，
1
1
xm 是回归估计值
1
回归方程为 xm b0 b1x1 b2 x2 bm1xm1
(1.13)
b0 ,b1 ,,bm1 分别是 0 , 1, 2 ,, m1 的系数
估计。为了减少误差积累与放大，进行数据中心化标 准化处理：
数学建模
zij
xj x j
j
j 1,2, ,m
n
j