回归分析与matlab实现

作点估计；
0 、 1 作假设检验； 2、对回归系数
3、在 x=x 0 处对 y 作预测，对 y 作区间估计.
2016/7/5
返回
5
二、模型参数估计
1、回归系数的最小二乘估计
有 n 组独立观测值， （x1 ，y1 ） ， （x2 ，y2 ） ，„， （xn ，yn ）
y i 0 x1 i , i 1,2,...,n 设 2 E 0 , D 且 1 2， ..., n 相互独立 i i
2016/7/5
检 验 、 预 测 与 控 制
性可 回线 归性 （化 曲的 线一 回元 归非 ）线
数 学 模 型 及 定 义
模 型 参 数 估 计
检 验多 与元 预线 测性 回 归 中 的
逐 步 回 归 分 析
3
一、数学模型
例1 测16名成年女子的身高与腿长所得数据如下：
身高 腿长
143 88 145 85 146 88 147 91 149 92 150 93 153 93 154 95 155 96 156 98 157 97 158 96 159 98 160 99 162 100 164 102
y 0 1 x 2 E 0 , D
固定的未知参数
0 、 1 称为回归系数，自变量 x 也称为回归变量. Y 0 1 x ，称为 y 对 x 的回归直线方程.
一元线性回归分析的主要任务是：
0 1、用试验值（样本值）对
1 和 、
2 为高斯—马尔柯夫线性模型(k 元线性回归模型 )，并简记为 (Y , X , I n )
y1 1 x11 ... 1 x 21 Y ，X ... ... ... y n 1 x n1
2
x12 x 22 ... xn2
... x1k 0 1 ... x 2 k ， 1 ， 2 ... ... ... ... ... x nk k n
则 x , x 就是所求的 x 的控制区间.
返回
2016/7/5 14
四、可线性化的一元非线性回归 （曲线回归）
例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀， 容积不断增大.我们希望知道使用次数与增大的容积之间的关 系.对一钢包作试验，测得的数据列于下表：
使用次数 2 3 4 5 6 7 8 9 增大容积 6.42 8.20 9.58 9.50 9.70 10.00 9.93 9.99 使用次数 10 11 12 13 14 15 16 增大容积 10.49 10.59 10.60 10.80 10.60 10.90 10.76
2 x x i
（经验）回归方程为:
ˆ ˆ x y ˆ (x x) ˆ y 0 1 1
7
2016/7/5
2、 2 的无偏估计
ˆ , ˆ ) 记 Qe Q ( 0 1
y
n i 1
i
ˆ ˆx 0 1 i
(y
2 n i 1
i
ˆ ( x ) y , y ˆ ( x ) y y ˆ ( x ) y , y ˆ ( x ) y 分别有解 x 要求 y y 2 ( x ) . 若 y
只要控制 x 满足以下两个不等式
ˆ ( x ) y , y ˆ ( x ) y . 和 x ，即 y
数学建模与数学实验
回归分析
后勤工程学院数学教研室
2016/7/5 1
实验目的
1、直观了解回归分析基本内容。
2、掌握用数学软件求解回归分析问题。
实验内容
1、回归分析的基本理论。 2、用数学软件求解回归分析问题。
3、实验作业。
回归分析
一元线性回归 多元线性回归
* 模 型 参 数 估 计
*
*
*
数 学 模 型 及 定 义
2016/7/5 16
通常选择的六类曲线如下：
（1）双曲线
（2）幂函数曲线 y=ax , 其中 x>0,a>0
1 b a y x b
（3）指数曲线 y=ae bx 其中参数 a>0.
e b / x 其中 a>0， （4）倒指数曲线 y=a
（5）对数曲线 y=a+blogx,x>0 1 （6）S 型曲线 y a be x
y 0 1 x1 ... k xk 称为回归平面方程.
线性模型 (Y , X , I n ) 考虑的主要问题是：
返回
（1）用试验值（样本值）对未知参数
x1 , x 2 ,...,x k 之间的数量关系；
和
2
作点估计和假设检验，从而建立 y 与
（2）在 x1 x01 , x2 x02 ,..., x k x0 k , 处对 y 的值作预测与控制，即对 y 作区间估计.
( xi x )
当|r|> r1-α 时，拒绝 H0；否则就接受 H0.
其中 r1
2016/7/5
1 1 n 2 F1 1, n 2
11
2、回归系数的置信区间
0 和 1 置信水平为 1-α 的置信区间分别为
2 2 1 x 1 x ˆ t (n 2) ˆ t (n 2) ˆe ˆe , 0 0 1 1 n Lxx n Lxx 2 2
解答
15
2016/7/5
11 10.5 10 9.5 9 8.5 8 7.5 7 6.5 6 2 4 6 8 10 12 14 16
散 点 图
此即非线性回归或曲线回归 问题（需要配曲线） 配曲线的一般方法是：
先对两个变量 x 和 y 作 n 次试验观察得 ( x i , y i ), i 1, 2,...,n 画出散点图， 根据散点图确定须配曲线的类型. 然后由 n 对试验数据确定每一类曲线的未知 参数 a 和 b. 采用的方法是通过变量代换把非线性回归化成线性回归，即采用 非线性回归线性化的方法.
.
H 0 ，否则就接受 H0 故 T t1 ( n 2) ，拒绝
2
其中Lxx ( xi x ) xi2 nx 2
2
n
n
2016/7/5
i 1
Βιβλιοθήκη Baidu
i 1
10
（Ⅲ）r检验法
记
r
(x
i 1 n i 1
n
i
x )( y i y )
2 2 ( y y ) i i 1 n
对回归方程 Y 0 1 x 的显著性检验，归结为对假设
H 0 : 1 0; H 1 : 1 0
进行检验.
假设 H 0 : 1 0 被拒绝，则回归显著，认为 y 与 x 存在线性关 系，所求的线性回归方程有意义；否则回归不显著，y 与 x 的关系 不能用一元线性回归模型来描述，所得的回归方程也无意义.
ˆi )2 y
称 Qe 为残差平方和或剩余平方和.
2 的无偏估计为 ˆ e2 Qe ( n 2)
2 2 ˆ ˆ ˆ 0 称 e 为剩余方差（残差的方差） ， e 分别与
1 、
ˆ
独立 。
ˆ e 称为剩余标准差.
2016/7/5
返回
8
三、检验、预测与控制
1、回归方程的显著性检验
2016/7/5
9
（Ⅰ）F检验法
当H 0 成立时， 其中 U 故 F>
n
U F ~F（1，n-2） Qe /(n 2)
2 ˆ y y （回归平方和） i i 1
F1 (1, n 2) ，拒绝 H 0 ，否则就接受 H0
.
（Ⅱ）t检验法
当H 0 成立时，T
ˆ Lxx 1 ~t（n-2） ˆ e
以身高x为横坐标，以腿长y为纵坐标将这些数据点（xI，yi） 在平面直角坐标系上标出.
102 100 98 96 94 92 90 88 86 84 140 145 150 155 160 165
解答
y 0 1 x
2016/7/5
散点图
4
一般地，称由 y 0 1 x 确定的模型为一元线性回归模型， 记为
ˆ ˆ ˆ e / L xx , 1 t (n 2) ˆ e / L xx 和 1 t ( n 2) 1 1 2 2
的置信区间为 2 的置信水平为 1 Qe Qe , 2 ( n 2) 2 ( n 2) 1 2 2
eb / x 解例 2. 由散点图我们选配倒指数曲线 y=a
ˆ 1.1107 , A ˆ 2.4587 根据线性化方法，算得 b
由此
ˆ e A 11 .6789 a
ˆ
返回
最后得
2016/7/5
y 11 .6789 e

1.1107 x
17
一、数学模型及定义
一般称
Y X 2 E ( ) 0, COV ( , ) I n
记
Q Q ( 0 , 1 ) y i 0 1 xi
i 1 2 i i 1
n
n
2
最小二乘法就是选择
0
ˆ 0 1 的估计 和
0 , 1
ˆ ，1 使得
ˆ , ˆ ) min Q ( , ) Q( 0 1 0 1
2016/7/5
ˆ
19
2、多项式回归
设变量 x、Y 的回归模型为
Y 0 1 x 2 x 2 ... p x p
其中 p 是已知的， i (i 1, 2, , p ) 是未知参数， 服从正态分布
N ( 0, 2 ) .
Y 0 1 x 2 x 2 ... k x k
2016/7/5 12
3、预测与控制 （1）预测
ˆ ˆ x 作为 y0 的预测值. ˆ0 用 y0 的回归值 y 0 1 0
y0 的置信水平为1 的预测区间为 ˆ 0 ( x0 ), y ˆ 0 ( x0 ) y
1 x0 x ˆ e t (n 2) 1 其中 ( x0 ) 1 n Lxx 2
2016/7/5 18
二、模型参数估计
1、对 i 和 2 作估计
用最小二乘法求 0 ,..., k 的估计量：作离差平方和
Q y i 0 1 x i1 ... k xik
i 1
n
2
选择 0 ,..., k 使 Q 达到最小。
解得估计值 ˆ XTX
2
特别，当 n 很大且 x0x 在 附近取值时, y 的置信水平为1 的预测区间近似为
ˆ ˆ eu , y ˆ ˆ eu y 1 1 2 2
2016/7/5 13
（2）控制
y, y 要求： y 0 1 x 的值以1 的概率落在指定区间
6
解得
ˆ y ˆx 0 1 ˆ xy x y 1 2 x x2
ˆ 或 1
x
i 1 n
n
i
x yi y
i 1 n i 1 n i 1 n i 1 n i 1 其中 x xi , y yi ， x 2 xi , xy xi yi . 1 n 1 n 1 n 2 1 n
称为回归多项式.上面的回归模型称为多项式回归.
令 xi xi ，i=1，2，…，k 多项式回归模型变为多元线性 回归模型.

X Y
1 T
ˆ 服从 p+1 维正态分 注意：
布，且为
ˆ 代入回归平面方程得： 得到的 i
的无偏估
ˆ ˆ x ... ˆ x y 0 1 1 k k
称为经验回归平面方程. i 称为经验回归系数.
2016/7/5
2 计，协方差阵为 C . C=L-1 =(cij), L=X’X