一元非线性回归分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
R2
2 2
(y y ) 1 ( y y)
i i i
2
2
(8.5.5)
R 越大，说明残差越小，回归曲线拟合越好， 2 R 从总体上给出一个拟合好坏程度的度量。
第八章 方差分析与回归分析
第18页
（2）剩余标准差s：类似于一元线性回归中标准差 的估计公式，此剩余标准差可用残差平方和来 获得，即 2
在初步选出可能的函数关系(即方程)后，我们必 须解决两个问题：
如何估计所选方程中的参数？
如何评价所选不同方程的优劣？
第八章 方差分析与回归分析
第7页
8.5.2 参数估计
对上述非线性函数，参数估计最常用的方法是 “线性化”方法。
以1/y=a+b/x为例，为了能采用一元线性回归分 析方法，我们作如下变换u=1/x,v=1/y 则曲线函数就化为如下的直线v=bu
v 0.00909744
u
2 i
u v 0.01883495
i i
nu 2 0.32354744
luu 0.21367054
nuv 0.01865778
luv 0.00017717
ˆ l /l 0.00082917 b uv uu
y x 0.00082917 0.00896663x
这是理论回归函数。对数据而言，回归方程为 vi=a+ bui + i 于是可用一元线性回归的方法估计出a,b。
第八章 方差分析与回归分析
第8页
表8.5.3 参数估计计算表
u
i
2.05088194
0.53721798
n 13
v 0.11826672
i
u 0.15776015
-3
散点图 回归函数
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
第八章 方差分析与回归分析
第13页
R2=1-sum((y-yc).^2)/lyy;%模型的拟
合优度系数 plot(x,y,‘k+’,x,yc,‘r’)%数据的散点图 和回归曲线图 legend('散点图','回归函数')
第八章 方差分析与回归分析
第6页
本例中，散点图呈现呈现一个明显的向上且上凸 的趋势，可能选择的函数关系有很多，比如，参 照图8.5.2，我们可以给出如下四个曲线函数： 1) 1/y=a+b/x 2) y=a+blnx 3) y a b x 4) y 100 a e x / b (b 0)
ˆ 0.00896663 ˆ v ub a
第八章 方差分析与回归分析
第9页
format long
x=[2 3 4 5 7 8 10 11 14 15 16 18
19]; y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111 111.20]; plot(x,y,‘k+’);%数据的散点图
观测这13个点构成的散点图，我们可以看到 它们并不接近一条直线，用曲线拟合这些点 应该是更恰当的，这里就涉及如何选择曲线 函数形式的问题。
第八章 方差分析与回归分析
第5页
首先，如果可由专业知识确定回归函数形式， 则应尽可能利用专业知识。当若不能有专业 知识加以确定函数形式，则可将散点图与一 些常见的函数关系的图形进行比较，选择几 个可能的函数形式，然后使用统计方法在这 些函数形式之间进行比较，最后确定合适的 曲线回归方程。为此，必须了解常见的曲线 函数的图形，见图8.5.2 。
i 1
n
言，决定系数和剩余标准差都取决于残差平
方和 (y y ) ，从而，两种选择准则是一致
2 i 1 i i n
的，只是从两个不同侧面作出评价。
第八章 方差分析与回归分析
第20页
表8.5.4给出第一个曲线回归方程的残差平方 和的计算过程， 由于n=13， (y y ) 0.5743 ， 故其决定系数及剩余标准差分别为：
第八章 方差分析与回归分析
第14页
b = 0.00896662968057 0.00082917436336 R2 =0.97292374957556
112 散点图 回归函数 111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第15页
用类似的方法可以得出其它三个曲线回归方程， 它们分别是：
从表8.5.5中可以看出，第一个曲线方程的决定系 数最大，剩余标准差最小，在这四个曲线回归方 程中，不论用哪个标准，都是第一个方程拟合得 最好。因此，近似得比较好的定量关系式就是
x y 0.00082917 0.00896663 x
第八章 方差分析与回归分析
第22页
三种方法的拟合效果比较：
112 散点图 回归函数 111
112 散点图 回归函数 111
112 散点图 回归函数 111
110
110
110
109
109
109
108
108
107
108
107
106
107
106
2
4
6
8
10
12
14
16
18
20
106
2
4
6
8
10
12
14
16
18
源自文库
20
2
4
6
8
10
12
14
16
18
20
R2 =0.97292374957556
R2 =0.87731500489620
第2页
表8.5.1 钢包的重量y与试验次数x数据
序号 1 2 x 2 3 y 106.42 108.20 序号 8 9 x 11 14 y 110.59 110.60
3 4 5 6 7
4 5 7 8 10
109.58 109.50 110.00 109.93 110.49
10 11 12 13
15 16 18 19
y 106.3147 3.9466ln x
y 106.3013 1.1947 x
y 100 11.7506e1.1256/ x
第八章 方差分析与回归分析
第16页
三种方法的拟合效果比较：
112 散点图 回归函数 111
112 散点图 回归函数 111
112 散点图 回归函数 111
z=b(1)+b(2)*x1;
yc=1./z;
plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散
点图和回归直线图
第八章 方差分析与回归分析
第12页
变换后数据的散点图及回归直线图
9.45 9.4 9.35 9.3 9.25 9.2 9.15 9.1 9.05 9 8.95 0.05 x 10
第八章 方差分析与回归分析
第10页
112 散点图 111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第11页
x1=1./x;
y1=1./y;
plot(x1,y1,‘k+’); %变换后数据的散点图
x2=[ones(13,1) x1'];
[b,bint,rint,stats]=regress(y1',x2);
110
110
110
109
109
109
108
108
107
108
107
106
107
106
2
4
6
8
10
12
14
16
18
20
106
2
4
6
8
10
12
14
16
18
20
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第17页
8.5.3 曲线回归方程的比较
我们上面得到了四个曲线回归方程，通常可采 用如下二个指标进行选择。 （1）决定系数R ：类似于一元线性回归方程中 相关系数，决定系数定义为：
110.90 110.76 111.00 111.20
下面我们分三步进行。
第八章 方差分析与回归分析
第3页
112 散点图 111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第4页
8.5.1 确定可能的函数形式
为对数据进行分析，首先描出数据的散点图， 判断两个变量之间可能的函数关系，图8.5.1 是本例的散点图。
第八章 方差分析与回归分析
第1页
2 一元非线性回归
例 8.5.1 炼钢厂出钢水时用的钢包，在使用过 程中由于钢水及炉渣对耐火材料的浸蚀，其 容积不断增大。现在钢包的容积用盛满钢水 时的重量y (kg)表示，相应的试验次数用x表示。 数据见表8.5.1，要找出y 与x的定量关系表达 式。
第八章 方差分析与回归分析
13 2 i 1 i
R2 1
0.5743 0.9729, 21.2105
s
0.5743 0.2285 13 2
其它三个方程的决定系数及剩余标准差可同 样计算，我们将它们列在表8.5.5中。
第八章 方差分析与回归分析
第21页
表8.5.5 四种曲线回归的决定系数及剩余标准差
模型编号 R2 s 1) 0.9729 0.2285 2) 0.8773 0.4864 3) 0.7851 0.6437 4) 0.9623 0.2696
R2 = 0.78514164407253
第八章 方差分析与回归分析
第23页
第一种方法的程序
format long x=[2 3 4 5 7 8 10 11 14 15 16 18 19]; y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111
s
(y y )
i i
n2
(8.5.6)
ˆ i 间的平 s为诸观测点yi与由曲线给出的拟合值 y 均偏离程度的度量，s越小，方程越好。
第八章 方差分析与回归分析
第19页
在观测数据给定后，不同的曲线选择不会影
响 ( yi y )2 的取值，但会影响到残差平方
i 1
n
和 (yi yi )2 的取值。因此，对选择的曲线而
111.20]; plot(x,y,‘k+’);%数据的散点图 x1=1./x; y1=1./y; plot(x1,y1,‘k+’); %变换后数据的散点图 x2=[ones(13,1) x1']; [b,bint,rint,stats]=regress(y1',x2); z=b(1)+b(2)*x1; yc=1./z; plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散点图和回归直线图 n=length(x); lyy=sum(y.^2)-n*(mean(y))^2; R2=1-sum((y-yc).^2)/lyy;%模型的拟合优度系数 plot(x,y,'k+',x,yc,'r')%变换后数据的散点图和回归直线图 legend('散点图','回归函数')
2 2
(y y ) 1 ( y y)
i i i
2
2
(8.5.5)
R 越大，说明残差越小，回归曲线拟合越好， 2 R 从总体上给出一个拟合好坏程度的度量。
第八章 方差分析与回归分析
第18页
（2）剩余标准差s：类似于一元线性回归中标准差 的估计公式，此剩余标准差可用残差平方和来 获得，即 2
在初步选出可能的函数关系(即方程)后，我们必 须解决两个问题：
如何估计所选方程中的参数？
如何评价所选不同方程的优劣？
第八章 方差分析与回归分析
第7页
8.5.2 参数估计
对上述非线性函数，参数估计最常用的方法是 “线性化”方法。
以1/y=a+b/x为例，为了能采用一元线性回归分 析方法，我们作如下变换u=1/x,v=1/y 则曲线函数就化为如下的直线v=bu
v 0.00909744
u
2 i
u v 0.01883495
i i
nu 2 0.32354744
luu 0.21367054
nuv 0.01865778
luv 0.00017717
ˆ l /l 0.00082917 b uv uu
y x 0.00082917 0.00896663x
这是理论回归函数。对数据而言，回归方程为 vi=a+ bui + i 于是可用一元线性回归的方法估计出a,b。
第八章 方差分析与回归分析
第8页
表8.5.3 参数估计计算表
u
i
2.05088194
0.53721798
n 13
v 0.11826672
i
u 0.15776015
-3
散点图 回归函数
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
第八章 方差分析与回归分析
第13页
R2=1-sum((y-yc).^2)/lyy;%模型的拟
合优度系数 plot(x,y,‘k+’,x,yc,‘r’)%数据的散点图 和回归曲线图 legend('散点图','回归函数')
第八章 方差分析与回归分析
第6页
本例中，散点图呈现呈现一个明显的向上且上凸 的趋势，可能选择的函数关系有很多，比如，参 照图8.5.2，我们可以给出如下四个曲线函数： 1) 1/y=a+b/x 2) y=a+blnx 3) y a b x 4) y 100 a e x / b (b 0)
ˆ 0.00896663 ˆ v ub a
第八章 方差分析与回归分析
第9页
format long
x=[2 3 4 5 7 8 10 11 14 15 16 18
19]; y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111 111.20]; plot(x,y,‘k+’);%数据的散点图
观测这13个点构成的散点图，我们可以看到 它们并不接近一条直线，用曲线拟合这些点 应该是更恰当的，这里就涉及如何选择曲线 函数形式的问题。
第八章 方差分析与回归分析
第5页
首先，如果可由专业知识确定回归函数形式， 则应尽可能利用专业知识。当若不能有专业 知识加以确定函数形式，则可将散点图与一 些常见的函数关系的图形进行比较，选择几 个可能的函数形式，然后使用统计方法在这 些函数形式之间进行比较，最后确定合适的 曲线回归方程。为此，必须了解常见的曲线 函数的图形，见图8.5.2 。
i 1
n
言，决定系数和剩余标准差都取决于残差平
方和 (y y ) ，从而，两种选择准则是一致
2 i 1 i i n
的，只是从两个不同侧面作出评价。
第八章 方差分析与回归分析
第20页
表8.5.4给出第一个曲线回归方程的残差平方 和的计算过程， 由于n=13， (y y ) 0.5743 ， 故其决定系数及剩余标准差分别为：
第八章 方差分析与回归分析
第14页
b = 0.00896662968057 0.00082917436336 R2 =0.97292374957556
112 散点图 回归函数 111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第15页
用类似的方法可以得出其它三个曲线回归方程， 它们分别是：
从表8.5.5中可以看出，第一个曲线方程的决定系 数最大，剩余标准差最小，在这四个曲线回归方 程中，不论用哪个标准，都是第一个方程拟合得 最好。因此，近似得比较好的定量关系式就是
x y 0.00082917 0.00896663 x
第八章 方差分析与回归分析
第22页
三种方法的拟合效果比较：
112 散点图 回归函数 111
112 散点图 回归函数 111
112 散点图 回归函数 111
110
110
110
109
109
109
108
108
107
108
107
106
107
106
2
4
6
8
10
12
14
16
18
20
106
2
4
6
8
10
12
14
16
18
源自文库
20
2
4
6
8
10
12
14
16
18
20
R2 =0.97292374957556
R2 =0.87731500489620
第2页
表8.5.1 钢包的重量y与试验次数x数据
序号 1 2 x 2 3 y 106.42 108.20 序号 8 9 x 11 14 y 110.59 110.60
3 4 5 6 7
4 5 7 8 10
109.58 109.50 110.00 109.93 110.49
10 11 12 13
15 16 18 19
y 106.3147 3.9466ln x
y 106.3013 1.1947 x
y 100 11.7506e1.1256/ x
第八章 方差分析与回归分析
第16页
三种方法的拟合效果比较：
112 散点图 回归函数 111
112 散点图 回归函数 111
112 散点图 回归函数 111
z=b(1)+b(2)*x1;
yc=1./z;
plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散
点图和回归直线图
第八章 方差分析与回归分析
第12页
变换后数据的散点图及回归直线图
9.45 9.4 9.35 9.3 9.25 9.2 9.15 9.1 9.05 9 8.95 0.05 x 10
第八章 方差分析与回归分析
第10页
112 散点图 111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第11页
x1=1./x;
y1=1./y;
plot(x1,y1,‘k+’); %变换后数据的散点图
x2=[ones(13,1) x1'];
[b,bint,rint,stats]=regress(y1',x2);
110
110
110
109
109
109
108
108
107
108
107
106
107
106
2
4
6
8
10
12
14
16
18
20
106
2
4
6
8
10
12
14
16
18
20
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第17页
8.5.3 曲线回归方程的比较
我们上面得到了四个曲线回归方程，通常可采 用如下二个指标进行选择。 （1）决定系数R ：类似于一元线性回归方程中 相关系数，决定系数定义为：
110.90 110.76 111.00 111.20
下面我们分三步进行。
第八章 方差分析与回归分析
第3页
112 散点图 111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第4页
8.5.1 确定可能的函数形式
为对数据进行分析，首先描出数据的散点图， 判断两个变量之间可能的函数关系，图8.5.1 是本例的散点图。
第八章 方差分析与回归分析
第1页
2 一元非线性回归
例 8.5.1 炼钢厂出钢水时用的钢包，在使用过 程中由于钢水及炉渣对耐火材料的浸蚀，其 容积不断增大。现在钢包的容积用盛满钢水 时的重量y (kg)表示，相应的试验次数用x表示。 数据见表8.5.1，要找出y 与x的定量关系表达 式。
第八章 方差分析与回归分析
13 2 i 1 i
R2 1
0.5743 0.9729, 21.2105
s
0.5743 0.2285 13 2
其它三个方程的决定系数及剩余标准差可同 样计算，我们将它们列在表8.5.5中。
第八章 方差分析与回归分析
第21页
表8.5.5 四种曲线回归的决定系数及剩余标准差
模型编号 R2 s 1) 0.9729 0.2285 2) 0.8773 0.4864 3) 0.7851 0.6437 4) 0.9623 0.2696
R2 = 0.78514164407253
第八章 方差分析与回归分析
第23页
第一种方法的程序
format long x=[2 3 4 5 7 8 10 11 14 15 16 18 19]; y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111
s
(y y )
i i
n2
(8.5.6)
ˆ i 间的平 s为诸观测点yi与由曲线给出的拟合值 y 均偏离程度的度量，s越小，方程越好。
第八章 方差分析与回归分析
第19页
在观测数据给定后，不同的曲线选择不会影
响 ( yi y )2 的取值，但会影响到残差平方
i 1
n
和 (yi yi )2 的取值。因此，对选择的曲线而
111.20]; plot(x,y,‘k+’);%数据的散点图 x1=1./x; y1=1./y; plot(x1,y1,‘k+’); %变换后数据的散点图 x2=[ones(13,1) x1']; [b,bint,rint,stats]=regress(y1',x2); z=b(1)+b(2)*x1; yc=1./z; plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散点图和回归直线图 n=length(x); lyy=sum(y.^2)-n*(mean(y))^2; R2=1-sum((y-yc).^2)/lyy;%模型的拟合优度系数 plot(x,y,'k+',x,yc,'r')%变换后数据的散点图和回归直线图 legend('散点图','回归函数')