一元非线性回归分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
yc=1./z; plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散点图和回归直线图
n=length(x);
lyy=sum(y.^2)-n*(mean(y))^2; R2=1-sum((y-yc).^2)/lyy;%模型的拟合优度系数 plot(x,y,'k+',x,yc,'r')%变换后数据的散点图和回归直线图 legend('散点图','回归函数')
第八章 方差分析与回归分析
第9页
format long
x=[2 3 4 5 7 8 10 11 14 15 16 18 19];
y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111 111.20];
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
R2 = 0.78514164407253
第八章 方差分析与回归分析
第一种方法的程序
第23页
format long
x=[2 3 4 5 7 8 10 11 14 15 16 18 19];
y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111 111.20];
vi=a+ bui + i
于是可用一元线性回归的方法估计出a,b。
第八章 方差分析与回归分析
第8页
表8.5.3 参数估计计算表
ui 2.05088194
u 0.15776015
ui2 0.53721798
nu 2 0.32354744
n 13
uivi 0.01883495
观测这13个点构成的散点图，我们可以看到 它们并不接近一条直线，用曲线拟合这些点 应该是更恰当的，这里就涉及如何选择曲线 函数形式的问题。
第八章 方差分析与回归分析
第5页
首先，如果可由专业知识确定回归函数形式， 则应尽可能利用专业知识。当若不能有专业 知识加以确定函数形式，则可将散点图与一 些常见的函数关系的图形进行比较，选择几 个可能的函数形式，然后使用统计方法在这 些函数形式之间进行比较，最后确定合适的 曲线回归方程。为此，必须了解常见的曲线 函数的图形，见图8.5.2 。
第2页
表8.5.1 钢包的重量y与试验次数x数据
序号 1 2 3 4 5 6 7
x
y
序号
2 106.42 8
3 108.20 9
4 109.58 10
5 109.50 11
7 110.00 12
8 109.93 13
10 110.49
x
y
11 110.59
14 110.60
15 110.90
16 110.76
故其决定系数及剩余标准差分别为：
R2 1 0.5743 0.9729, s 0.5743 0.2285
21.2105
13 2
其它三个方程的决定系数及剩余标准差可同
样计算，我们将它们列在表8.5.5中。
第八章 方差分析与回归分析
第21页
表8.5.5 四种曲线回归的决定系数及剩余标准差
y
x
0.00082917 0.00896663x
第八章 方差分析与回归分析
第22页
三种方法的拟合效果比较：
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
R2 =0.97292374957556 R2 =0.87731500489620
plot(x,y,‘k+’);%数据的散点图
第八章 方差分析与回归分析
第10页
112 散点图
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第11页
x1=1./x;
y1=1./y; plot(x1,y1,‘k+’); %变换后数据的散点图
x2=[ones(13,1) x1'];
如何估计所选方程中的参数？
如何评价所选不同方程的优劣？
第八章 方差分析与回归分析
第7页
8.5.2 参数估计
对上述非线性函数，参数估计最常用的方法是 “线性化”方法。
以1/y=a+b/x为例，为了能采用一元线性回归分 析方法，我们作如下变换u=1/x,v=1/y 则曲线函数就化为如下的直线v=bu
这是理论回归函数。对数据而言，回归方程为
18 111.00
19 111.20
下面我们分三步进行。
第八章 方差分析与回归分析
第3页
112 散点图
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第4页
8.5.1 确定可能的函数形式
为对数据进行分析，首先描出数据的散点图， 判断两个变量之间可能的函数关系，图8.5.1 是本例的散点图。
模型编号 R2 s
1) 0.9729 0.2285
2) 0.8773 0.4864
3) 0.7851 0.6437
4) 0.9623 0.2696
从表8.5.5中可以看出，第一个曲线方程的决定系
数最大，剩余标准差最小，在这四个曲线回归方
程中，不论用哪个标准，都是第一个方程拟合得
最好。因此，近似得比较好的定量关系式就是
散点图 回归函数
9.3
9.25
9.2
9.15
9.1
9.05
9
8.95 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5
第八章 方差分析与回归分析
第13页
R2=1-sum((y-yc).^2)/lyy;%模型的拟 合优度系数 plot(x,y,‘k+’,x,yc,‘r’)%数据的散点图 和回归曲线图 legend('散点图','回归函数')
plot(x,y,‘k+’);%数据的散点图
x1=1./x;
y1=1./y; plot(x1,y1,‘k+’); %变换后数据的散点图
x2=[ones(13,1) x1'];
[b,bint,rint,stats]=regress(y1',x2);
z=b(1)+b(2)*x1;
第八章 方差分析与回归分析
b = 0.00896662968057 0.00082917436336
R2 =0.97292374957556
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第14页
第八章 方差分析与回归分析
第15页
用类似的方法可以得出其它三个曲线回归方程， 它们分别是：
第八章 方差分析与回归分析
第1页
2 一元非线性回归
例 8.5.1 炼钢厂出钢水时用的钢包，在使用过 程中由于钢水及炉渣对耐火材料的浸蚀，其 容积不断增大。现在钢包的容积用盛满钢水 时的重量y (kg)表示，相应的试验次数用x表示。 数据见表8.5.1，要找出y 与x的定量关系表达 式。
第八章 方差分析与回归分析
R2 1 ( yi yi )2 ( yi y)2
(8.5.5)
R2越大，说明残差越小，回归曲线拟合越好， R2从总体上给出一个拟合好坏程度的度量。
第八章 方差分析与回归分析
第18页
（2）剩余标准差s：类似于一元线性回归中标准差
的估计公式，此剩余标准差可用残差平方和来
获得，即
s
第八章 方差分析与回归分析
第6页
本例中，散点图呈现呈现一个明显的向上且上凸 的趋势，可能选择的函数关系有很多，比如，参 照图8.5.2，我们可以给出如下四个曲线函数：
1) 1/y=a+b/x
2) y=a+blnx
3) y a b x
4) y 100 a ex/b (b 0) 在初步选出可能的函数关系(即方程)后，我们必 须解决两个问题：
nuv 0.01865778
vi 0.11826672
v 0.00909744
luu 0.21367054
luv 0.00017717
bˆ luv/luu 0.00082917
aˆ v ubˆ 0.00896663
y
x
0.00082917 0.00896663x
[b,bint,rint,stats]=regress(y1',x2);
z=b(1)+b(2)*x1;
yc=1./z;
plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散 点图和回归直线图
第八章 方差分析与回归分析
第12页
变换后数据的散点图及回归直线图
-3
x 10 9.45
9.4 9.35
y 106.3147 3.9466ln x
y 106.3013 1.1947 x y 100 11.7506e1.1256/ x
第八章 方差分析与回归分析
第16页
三种方法的拟合效果比较：
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
( yi yi )2
n2
(8.5.6)
s为诸观测点yi与由曲线给出的拟合值 yˆi 间的平
均偏离程度的度量，s越小，方程越好。
第八章 方差分析与回归分析
第19页
在观测数据给定后，不同的曲线选择不会影
n
响 ( yi y)2 的取值，但会影响到残差平方
i 1
和
n
(yi
yi )2
的取值。因此，对选择的曲线而
i 1
言，决定系数和剩余标准差都取决于残差平
方和
n
(yi
yi )2
Biblioteka Baidu
，从而，两种选择准则是一致
i 1
的，只是从两个不同侧面作出评价。
第八章 方差分析与回归分析
第20页
表8.5.4给出第一个曲线回归方程的残差平方
和的计算过程，
由于n=13，
13
(yi y)2
0.5743
，
i 1
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第17页
8.5.3 曲线回归方程的比较
我们上面得到了四个曲线回归方程，通常可采 用如下二个指标进行选择。 （1）决定系数R2：类似于一元线性回归方程中 相关系数，决定系数定义为：
n=length(x);
lyy=sum(y.^2)-n*(mean(y))^2; R2=1-sum((y-yc).^2)/lyy;%模型的拟合优度系数 plot(x,y,'k+',x,yc,'r')%变换后数据的散点图和回归直线图 legend('散点图','回归函数')
第八章 方差分析与回归分析
第9页
format long
x=[2 3 4 5 7 8 10 11 14 15 16 18 19];
y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111 111.20];
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
R2 = 0.78514164407253
第八章 方差分析与回归分析
第一种方法的程序
第23页
format long
x=[2 3 4 5 7 8 10 11 14 15 16 18 19];
y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111 111.20];
vi=a+ bui + i
于是可用一元线性回归的方法估计出a,b。
第八章 方差分析与回归分析
第8页
表8.5.3 参数估计计算表
ui 2.05088194
u 0.15776015
ui2 0.53721798
nu 2 0.32354744
n 13
uivi 0.01883495
观测这13个点构成的散点图，我们可以看到 它们并不接近一条直线，用曲线拟合这些点 应该是更恰当的，这里就涉及如何选择曲线 函数形式的问题。
第八章 方差分析与回归分析
第5页
首先，如果可由专业知识确定回归函数形式， 则应尽可能利用专业知识。当若不能有专业 知识加以确定函数形式，则可将散点图与一 些常见的函数关系的图形进行比较，选择几 个可能的函数形式，然后使用统计方法在这 些函数形式之间进行比较，最后确定合适的 曲线回归方程。为此，必须了解常见的曲线 函数的图形，见图8.5.2 。
第2页
表8.5.1 钢包的重量y与试验次数x数据
序号 1 2 3 4 5 6 7
x
y
序号
2 106.42 8
3 108.20 9
4 109.58 10
5 109.50 11
7 110.00 12
8 109.93 13
10 110.49
x
y
11 110.59
14 110.60
15 110.90
16 110.76
故其决定系数及剩余标准差分别为：
R2 1 0.5743 0.9729, s 0.5743 0.2285
21.2105
13 2
其它三个方程的决定系数及剩余标准差可同
样计算，我们将它们列在表8.5.5中。
第八章 方差分析与回归分析
第21页
表8.5.5 四种曲线回归的决定系数及剩余标准差
y
x
0.00082917 0.00896663x
第八章 方差分析与回归分析
第22页
三种方法的拟合效果比较：
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
R2 =0.97292374957556 R2 =0.87731500489620
plot(x,y,‘k+’);%数据的散点图
第八章 方差分析与回归分析
第10页
112 散点图
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第11页
x1=1./x;
y1=1./y; plot(x1,y1,‘k+’); %变换后数据的散点图
x2=[ones(13,1) x1'];
如何估计所选方程中的参数？
如何评价所选不同方程的优劣？
第八章 方差分析与回归分析
第7页
8.5.2 参数估计
对上述非线性函数，参数估计最常用的方法是 “线性化”方法。
以1/y=a+b/x为例，为了能采用一元线性回归分 析方法，我们作如下变换u=1/x,v=1/y 则曲线函数就化为如下的直线v=bu
这是理论回归函数。对数据而言，回归方程为
18 111.00
19 111.20
下面我们分三步进行。
第八章 方差分析与回归分析
第3页
112 散点图
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第4页
8.5.1 确定可能的函数形式
为对数据进行分析，首先描出数据的散点图， 判断两个变量之间可能的函数关系，图8.5.1 是本例的散点图。
模型编号 R2 s
1) 0.9729 0.2285
2) 0.8773 0.4864
3) 0.7851 0.6437
4) 0.9623 0.2696
从表8.5.5中可以看出，第一个曲线方程的决定系
数最大，剩余标准差最小，在这四个曲线回归方
程中，不论用哪个标准，都是第一个方程拟合得
最好。因此，近似得比较好的定量关系式就是
散点图 回归函数
9.3
9.25
9.2
9.15
9.1
9.05
9
8.95 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5
第八章 方差分析与回归分析
第13页
R2=1-sum((y-yc).^2)/lyy;%模型的拟 合优度系数 plot(x,y,‘k+’,x,yc,‘r’)%数据的散点图 和回归曲线图 legend('散点图','回归函数')
plot(x,y,‘k+’);%数据的散点图
x1=1./x;
y1=1./y; plot(x1,y1,‘k+’); %变换后数据的散点图
x2=[ones(13,1) x1'];
[b,bint,rint,stats]=regress(y1',x2);
z=b(1)+b(2)*x1;
第八章 方差分析与回归分析
b = 0.00896662968057 0.00082917436336
R2 =0.97292374957556
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第14页
第八章 方差分析与回归分析
第15页
用类似的方法可以得出其它三个曲线回归方程， 它们分别是：
第八章 方差分析与回归分析
第1页
2 一元非线性回归
例 8.5.1 炼钢厂出钢水时用的钢包，在使用过 程中由于钢水及炉渣对耐火材料的浸蚀，其 容积不断增大。现在钢包的容积用盛满钢水 时的重量y (kg)表示，相应的试验次数用x表示。 数据见表8.5.1，要找出y 与x的定量关系表达 式。
第八章 方差分析与回归分析
R2 1 ( yi yi )2 ( yi y)2
(8.5.5)
R2越大，说明残差越小，回归曲线拟合越好， R2从总体上给出一个拟合好坏程度的度量。
第八章 方差分析与回归分析
第18页
（2）剩余标准差s：类似于一元线性回归中标准差
的估计公式，此剩余标准差可用残差平方和来
获得，即
s
第八章 方差分析与回归分析
第6页
本例中，散点图呈现呈现一个明显的向上且上凸 的趋势，可能选择的函数关系有很多，比如，参 照图8.5.2，我们可以给出如下四个曲线函数：
1) 1/y=a+b/x
2) y=a+blnx
3) y a b x
4) y 100 a ex/b (b 0) 在初步选出可能的函数关系(即方程)后，我们必 须解决两个问题：
nuv 0.01865778
vi 0.11826672
v 0.00909744
luu 0.21367054
luv 0.00017717
bˆ luv/luu 0.00082917
aˆ v ubˆ 0.00896663
y
x
0.00082917 0.00896663x
[b,bint,rint,stats]=regress(y1',x2);
z=b(1)+b(2)*x1;
yc=1./z;
plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散 点图和回归直线图
第八章 方差分析与回归分析
第12页
变换后数据的散点图及回归直线图
-3
x 10 9.45
9.4 9.35
y 106.3147 3.9466ln x
y 106.3013 1.1947 x y 100 11.7506e1.1256/ x
第八章 方差分析与回归分析
第16页
三种方法的拟合效果比较：
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
( yi yi )2
n2
(8.5.6)
s为诸观测点yi与由曲线给出的拟合值 yˆi 间的平
均偏离程度的度量，s越小，方程越好。
第八章 方差分析与回归分析
第19页
在观测数据给定后，不同的曲线选择不会影
n
响 ( yi y)2 的取值，但会影响到残差平方
i 1
和
n
(yi
yi )2
的取值。因此，对选择的曲线而
i 1
言，决定系数和剩余标准差都取决于残差平
方和
n
(yi
yi )2
Biblioteka Baidu
，从而，两种选择准则是一致
i 1
的，只是从两个不同侧面作出评价。
第八章 方差分析与回归分析
第20页
表8.5.4给出第一个曲线回归方程的残差平方
和的计算过程，
由于n=13，
13
(yi y)2
0.5743
，
i 1
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
112 散点图 回归函数
111
110
109
108
107
106
2
4
6
8
10
12
14
16
18
20
第八章 方差分析与回归分析
第17页
8.5.3 曲线回归方程的比较
我们上面得到了四个曲线回归方程，通常可采 用如下二个指标进行选择。 （1）决定系数R2：类似于一元线性回归方程中 相关系数，决定系数定义为：