SAS统计之第六章非线性回归
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
SP xy xy x y / n 308.515 10516.114/ 7 66.805
SSx x x / n
2 2
2275 105 / 7
2
700
实例1：曲线回归
66.808 b 0.0954 SSx 700 SP xy
t 17.06 ，df n 2 5 t t0.01 (5) 4.032 p 0.0001 0.01
x和y’回归关系达极显著。
实例2：对数曲线的拟合
用光电比色计测定溶液中叶绿素浓度（x，mg/L） 和透光度（y）的关系，试拟合曲线模型。
x
5 10 15 20 25 30 35 40
第三节 多项式回归
5. 回归系数的假设检验
2.F检验 H0 ：β i＝0
b / c(i 1)(i 1) U i 统计量： F Q / n k 1 Q / n k 1
其中：Ui 为xi对y的回归平方和，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素
lnx
1.609 2.303 2.708 2.996 3.219 3.401 3.555 3.689
y
82.0 65.0 52.0 44.0 36.0 30.0 25.0 21.0
x
45 50 55 60 65 70 75 80
lnx
3.807 3.912 4.007 4.094 4.174 4.248 4.317 4.382
函数表达式比较复杂很难或不能转化为 直线回归模型的曲线回归模型。
第六章 非线性回归
非线性回归的三种类型
3、多项式回归
一元多项式回归（一个自变量，有一次项、二
次项…高次项等，图形是曲线。）
多元多项式回归（两个或多个自变量，各有一
次项、二次项…高次项和交叉乘积项等，图形是曲面。）
反应面回归（多个自变量、一次或二次多项式回
归，图形是曲面。）
第一节 可以转化为直线 的曲线回归
第一节 可转化为直线的曲线回归
一、
第一节 可转化为直线的曲线回归
二、
第一节 可转化为直线的曲线回归
三、
第一节 可转化为直线的曲线回归
四、S形曲线（Logistic曲线）
1. 基本形式 2. 图形 k
k y bx 1 ae
第一节 可转化为直线的曲线回归
第二节 不可转化为直线的曲线回归
3.常用计算迭代方向的方法
1）Gauss 高斯-牛顿法（缺省方法）
（一阶偏导数）
2）Newton 牛顿法（一、二阶偏导数） 3）Marquardt 麦夸特法（一阶偏导数） 4）Gradient 梯度法（最速下降法）
（一阶偏导数）
5）Dud 正割法（无需偏导数）
第三节 多项式回归
第一节 可转化为直线的曲线回归
第 11 种曲线模型: y=a+b*ln(x) 第 12 种曲线模型: y=a+b*√x 第 13 种曲线模型: y=x/(a+bx) 第 14 种曲线模型: y=a*(x^b) 第 15 种曲线模型: y=a*(b^√x) 第 16 种曲线模型: y=1/(a+b*ln(x)) 第 17 种曲线模型: y=1/(a+b*√x) 第 18 种曲线模型: y=a*exp(b/x) 第 19 种曲线模型: y=L+K/(1+a*exp(bx)) 第 20 种曲线模型:y=b0+b1*x+b2*x*x 第 21 种曲线模型:y=b0+b1*x+b2*x*x+b3*x*x*x
U k 检验统计量F： F Q (n k 1)
第三节 多项式回归
5. 回归系数的假设检验
对于x任意i次项分量回归系数的检验
1.t检验 H0 ：β i＝0
统计量t ：
bi t S bi
Q n m 1
其中： Sb S y c(i 1)(i 1) S y i
自由度：n-k-1，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素
1.非线性回归模型
y = F(x1,x2,x3…xm；β)+ε
其中：F 为数学函数关系表达式 β=(β1,β2,…,βm)’ 为回归系数 ε 为随机误差
第二节 不可转化为直线的曲线回归
将观测值带入非线性回归模型 简记为：
Y = F(β)+E
其中：Y=(y1,y2,…,yn)’ 为y的观察值向量 β=(β1,β2,…,βm)’为回归系数 E=(ε1,ε2,…,εn)’为随机误差向量
实例2：曲线回归
276.214 b 29.568 SSx 9.341 SP x' y
a y bx ' 26.781 (29.568) 3.526 131.05
得线性回归模型：
ˆ 131.05 29.568x y
实例2：曲线回归 决定系数：R
2 x' y
第六章 非线性回归
1.可以转化为直线的曲线回归 2.不可转化为直线的曲线回归
3.多项式回归
第六章 非线性回归
非线性回归的三种类型
1、可转化为直线回归的曲线回归 包括指数函数曲线、对数函数曲线、幂 函数曲线、S型函数曲线和双曲线函数等回 归模型，可以通过数学变换方法转化为直线 回归问题来解决。 2、不可转化为直线回归的曲线回归
第三节 多项式回归 1.多项Fra Baidu bibliotek回归模型
在数学上，一般函数都可以用多项 式来逼近，当两个变量间的关系复杂 难于确定时，可以使用多项式回归来 拟合。 k次多项式回归模型：
y = b0+b1x1+b2x2+…+bkxk+ε
第三节 多项式回归 2. 回归次数的初步确定
拟合多项式回归的两个变量有n对观察 值时，最多可以配到k=n-1次多项式。 根据散点图所表现的曲线趋势，回归 k =1(波谷)+1=2 k =2(波峰)+1(波谷)+1=4 模型的次数为： k = 波峰数 + 波谷数 + 1 若波动较大或峰谷两侧严重不对称， 可再增加一次。
y a b ln x
化为： y a bx'
实例2：曲线回归 计算：
SSx ' x ' x ' / n
2 2
208.313 56.423 / 16
2
9.341
SPx ' y x' y x' y / n 1234.864 56.423 428.5 / 16 276.214
y
17.0 14.0 11.0 9.0 7.5 6.0 5.0 4.0
实例2：曲线回归
散点图：
y
90 80 70 60 50 40 30 20 10 0 0 20 40 60 80 100
x
采用对数曲线模型： y a b ln x
实例2：曲线回归 对数曲线模型直线化 令： x' ln x 则：
3. 线性化方法 整理后，取自然对数得：
令
得： y ' a 'bx
k y ln y ln a bx k y a' ln a，y ' ln y
第一节 可转化为直线的曲线回归
k值的计算 （1）k若是累积百分数，则 k=100% （2）否则取接近 x2 ( x1 x3 ) 2 关系 的三对观察值 ( x1 , y1 ), ( x2 , y2 ), ( x3 , y3 )
1 2 n
则模型可以表示为：Y=XB+E
最小二乘法解得：B=(X’X) -1X’Y
第三节 多项式回归
4. 回归关系的假设检验
变量y的总平方和(SSy)分解为回归 平方和(U)和误差平方和(Q)
SS y U Q
回归项自由度为：k（自变量次数） 误差项自由度为：n-k-1
第三节 多项式回归
3. 回归系数的计算
对于n对观测数据，令
y1 y 2 Y yn
1 1 X 1 1 x1 x2 x3 xn x12
2 x2 2 x3
2 xn
x1k b0 b k x2 1 k B b2 x3 k xn bm
第二节 不可转化为直线的曲线回归
2.回归系数的计算
用最小二乘法估计回归系数β，使 残差平方和：
1 1 Qe ( ) E ' E (Y F ( )) '(Y F ( )) 2 2
达到最小值。
非线性回归系数的计算一般采用数 值迭代法来进行。
第二节 不可转化为直线的曲线回归
将三对观察值带入下式，可解得：
y ( y1 y3 ) 2 y1 y2 y3 k 2 y2 y1 y3
2 2
第一节 可转化为直线的曲线回归
五、
第一节 可转化为直线的曲线回归
常用的可转化为直线的曲线模型： 第 １ 种曲线模型: y=a+bx*x. 第 ２ 种曲线模型: y=a+bx*x*x. 第 ３ 种曲线模型: y=1/(a+bx) 第 ４ 种曲线模型: y=1/(a+b*exp(-x)) 第 ５ 种曲线模型: y=1/(a+bx*x) 第 ６ 种曲线模型: y=1/(a+bx*x*x) 第 ７ 种曲线模型: y=a*exp(bx) 第 ８ 种曲线模型: y=a*exp(bx*x) 第 ９ 种曲线模型: y=a*b^(x*x*x) 第 10 种曲线模型:y=(a+bx)/x
实例1：曲线回归 散点图：
y
40 35 30 25 20 15 10 5 0 0 5 10 15 20 25 30 35
x
采用指数曲线模型： y
ae
bx
实例1：曲线回归 曲线模型直线化
ln y ln a bx
令： y ' ln 则：
y a ln a
y' a'bx
实例1：曲线回归
实例1：指数曲线的拟合
序号 1 2 3 4 5 6 7 合计 天数 x 0 5 10 15 20 25 30 105 枝稍生长 量y 2.1 3.7 6.4 12.2 18.1 26.3 34.5 103.3
y' ln y
0.742 1.308 1.856 2.501 2.896 3.270 3.541 16.114
a y 'bx 2.302 0.095415.0 0.8705
实例1：曲线回归
a ln a
ae e
a
0.8705
2.388
得指数曲线模型：
ˆ ae 2.388e y
bx
0.0954 x
实例1：曲线回归 决定系数：R
2 xy
0.9831
回归系数b检验：
0.9965
回归系数b的显著性检验： t 63.31 ，df n 2 14
| t | t0.01 (14) 2.977
y 和x’线性回归关系达极显著
ˆ 131.05 29.568ln x 对数回归方程：y
第二节 不可转化为直线 的曲线回归
第二节 不可转化为直线的曲线回归
回归系数的数值迭代法计算步骤
1.选定回归系数β的初始值β0 2.选择适当的搜索方向向量Δ和步长t 3.计算新回归系数 β= β0 + t· Δ 使得 Qe(β) < Qe (β0) 4.重复上述2-3步的过程，直至Qe(β) 达到最小值为止
第二节 不可转化为直线的曲线回归
1974年，Bard给出了使Qe(β)下降的 充要条件： Δ = PG‘(Y-F(β)) 得到迭代公式 β = β0 + t· Δ = β0 + tPG‘(Y-F(β)) 其中：P 为任意正定矩阵 G 为F 函数的梯度 t 满足Qe(β)<Qe (β0)的正实数
2 i
自由度：df1＝1 df2=n-m-1
第三节 多项式回归
6. 多项式回归注意事项
多项式回归模型通常只能用于描述 变量试验范围内的变量回归关系，外 推一般并不可靠。
由于(X’X)-1的计算复杂而且也不稳 定，可以采用正交多项式来进行多项 式回归。
SSx x x / n
2 2
2275 105 / 7
2
700
实例1：曲线回归
66.808 b 0.0954 SSx 700 SP xy
t 17.06 ，df n 2 5 t t0.01 (5) 4.032 p 0.0001 0.01
x和y’回归关系达极显著。
实例2：对数曲线的拟合
用光电比色计测定溶液中叶绿素浓度（x，mg/L） 和透光度（y）的关系，试拟合曲线模型。
x
5 10 15 20 25 30 35 40
第三节 多项式回归
5. 回归系数的假设检验
2.F检验 H0 ：β i＝0
b / c(i 1)(i 1) U i 统计量： F Q / n k 1 Q / n k 1
其中：Ui 为xi对y的回归平方和，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素
lnx
1.609 2.303 2.708 2.996 3.219 3.401 3.555 3.689
y
82.0 65.0 52.0 44.0 36.0 30.0 25.0 21.0
x
45 50 55 60 65 70 75 80
lnx
3.807 3.912 4.007 4.094 4.174 4.248 4.317 4.382
函数表达式比较复杂很难或不能转化为 直线回归模型的曲线回归模型。
第六章 非线性回归
非线性回归的三种类型
3、多项式回归
一元多项式回归（一个自变量，有一次项、二
次项…高次项等，图形是曲线。）
多元多项式回归（两个或多个自变量，各有一
次项、二次项…高次项和交叉乘积项等，图形是曲面。）
反应面回归（多个自变量、一次或二次多项式回
归，图形是曲面。）
第一节 可以转化为直线 的曲线回归
第一节 可转化为直线的曲线回归
一、
第一节 可转化为直线的曲线回归
二、
第一节 可转化为直线的曲线回归
三、
第一节 可转化为直线的曲线回归
四、S形曲线（Logistic曲线）
1. 基本形式 2. 图形 k
k y bx 1 ae
第一节 可转化为直线的曲线回归
第二节 不可转化为直线的曲线回归
3.常用计算迭代方向的方法
1）Gauss 高斯-牛顿法（缺省方法）
（一阶偏导数）
2）Newton 牛顿法（一、二阶偏导数） 3）Marquardt 麦夸特法（一阶偏导数） 4）Gradient 梯度法（最速下降法）
（一阶偏导数）
5）Dud 正割法（无需偏导数）
第三节 多项式回归
第一节 可转化为直线的曲线回归
第 11 种曲线模型: y=a+b*ln(x) 第 12 种曲线模型: y=a+b*√x 第 13 种曲线模型: y=x/(a+bx) 第 14 种曲线模型: y=a*(x^b) 第 15 种曲线模型: y=a*(b^√x) 第 16 种曲线模型: y=1/(a+b*ln(x)) 第 17 种曲线模型: y=1/(a+b*√x) 第 18 种曲线模型: y=a*exp(b/x) 第 19 种曲线模型: y=L+K/(1+a*exp(bx)) 第 20 种曲线模型:y=b0+b1*x+b2*x*x 第 21 种曲线模型:y=b0+b1*x+b2*x*x+b3*x*x*x
U k 检验统计量F： F Q (n k 1)
第三节 多项式回归
5. 回归系数的假设检验
对于x任意i次项分量回归系数的检验
1.t检验 H0 ：β i＝0
统计量t ：
bi t S bi
Q n m 1
其中： Sb S y c(i 1)(i 1) S y i
自由度：n-k-1，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素
1.非线性回归模型
y = F(x1,x2,x3…xm；β)+ε
其中：F 为数学函数关系表达式 β=(β1,β2,…,βm)’ 为回归系数 ε 为随机误差
第二节 不可转化为直线的曲线回归
将观测值带入非线性回归模型 简记为：
Y = F(β)+E
其中：Y=(y1,y2,…,yn)’ 为y的观察值向量 β=(β1,β2,…,βm)’为回归系数 E=(ε1,ε2,…,εn)’为随机误差向量
实例2：曲线回归
276.214 b 29.568 SSx 9.341 SP x' y
a y bx ' 26.781 (29.568) 3.526 131.05
得线性回归模型：
ˆ 131.05 29.568x y
实例2：曲线回归 决定系数：R
2 x' y
第六章 非线性回归
1.可以转化为直线的曲线回归 2.不可转化为直线的曲线回归
3.多项式回归
第六章 非线性回归
非线性回归的三种类型
1、可转化为直线回归的曲线回归 包括指数函数曲线、对数函数曲线、幂 函数曲线、S型函数曲线和双曲线函数等回 归模型，可以通过数学变换方法转化为直线 回归问题来解决。 2、不可转化为直线回归的曲线回归
第三节 多项式回归 1.多项Fra Baidu bibliotek回归模型
在数学上，一般函数都可以用多项 式来逼近，当两个变量间的关系复杂 难于确定时，可以使用多项式回归来 拟合。 k次多项式回归模型：
y = b0+b1x1+b2x2+…+bkxk+ε
第三节 多项式回归 2. 回归次数的初步确定
拟合多项式回归的两个变量有n对观察 值时，最多可以配到k=n-1次多项式。 根据散点图所表现的曲线趋势，回归 k =1(波谷)+1=2 k =2(波峰)+1(波谷)+1=4 模型的次数为： k = 波峰数 + 波谷数 + 1 若波动较大或峰谷两侧严重不对称， 可再增加一次。
y a b ln x
化为： y a bx'
实例2：曲线回归 计算：
SSx ' x ' x ' / n
2 2
208.313 56.423 / 16
2
9.341
SPx ' y x' y x' y / n 1234.864 56.423 428.5 / 16 276.214
y
17.0 14.0 11.0 9.0 7.5 6.0 5.0 4.0
实例2：曲线回归
散点图：
y
90 80 70 60 50 40 30 20 10 0 0 20 40 60 80 100
x
采用对数曲线模型： y a b ln x
实例2：曲线回归 对数曲线模型直线化 令： x' ln x 则：
3. 线性化方法 整理后，取自然对数得：
令
得： y ' a 'bx
k y ln y ln a bx k y a' ln a，y ' ln y
第一节 可转化为直线的曲线回归
k值的计算 （1）k若是累积百分数，则 k=100% （2）否则取接近 x2 ( x1 x3 ) 2 关系 的三对观察值 ( x1 , y1 ), ( x2 , y2 ), ( x3 , y3 )
1 2 n
则模型可以表示为：Y=XB+E
最小二乘法解得：B=(X’X) -1X’Y
第三节 多项式回归
4. 回归关系的假设检验
变量y的总平方和(SSy)分解为回归 平方和(U)和误差平方和(Q)
SS y U Q
回归项自由度为：k（自变量次数） 误差项自由度为：n-k-1
第三节 多项式回归
3. 回归系数的计算
对于n对观测数据，令
y1 y 2 Y yn
1 1 X 1 1 x1 x2 x3 xn x12
2 x2 2 x3
2 xn
x1k b0 b k x2 1 k B b2 x3 k xn bm
第二节 不可转化为直线的曲线回归
2.回归系数的计算
用最小二乘法估计回归系数β，使 残差平方和：
1 1 Qe ( ) E ' E (Y F ( )) '(Y F ( )) 2 2
达到最小值。
非线性回归系数的计算一般采用数 值迭代法来进行。
第二节 不可转化为直线的曲线回归
将三对观察值带入下式，可解得：
y ( y1 y3 ) 2 y1 y2 y3 k 2 y2 y1 y3
2 2
第一节 可转化为直线的曲线回归
五、
第一节 可转化为直线的曲线回归
常用的可转化为直线的曲线模型： 第 １ 种曲线模型: y=a+bx*x. 第 ２ 种曲线模型: y=a+bx*x*x. 第 ３ 种曲线模型: y=1/(a+bx) 第 ４ 种曲线模型: y=1/(a+b*exp(-x)) 第 ５ 种曲线模型: y=1/(a+bx*x) 第 ６ 种曲线模型: y=1/(a+bx*x*x) 第 ７ 种曲线模型: y=a*exp(bx) 第 ８ 种曲线模型: y=a*exp(bx*x) 第 ９ 种曲线模型: y=a*b^(x*x*x) 第 10 种曲线模型:y=(a+bx)/x
实例1：曲线回归 散点图：
y
40 35 30 25 20 15 10 5 0 0 5 10 15 20 25 30 35
x
采用指数曲线模型： y
ae
bx
实例1：曲线回归 曲线模型直线化
ln y ln a bx
令： y ' ln 则：
y a ln a
y' a'bx
实例1：曲线回归
实例1：指数曲线的拟合
序号 1 2 3 4 5 6 7 合计 天数 x 0 5 10 15 20 25 30 105 枝稍生长 量y 2.1 3.7 6.4 12.2 18.1 26.3 34.5 103.3
y' ln y
0.742 1.308 1.856 2.501 2.896 3.270 3.541 16.114
a y 'bx 2.302 0.095415.0 0.8705
实例1：曲线回归
a ln a
ae e
a
0.8705
2.388
得指数曲线模型：
ˆ ae 2.388e y
bx
0.0954 x
实例1：曲线回归 决定系数：R
2 xy
0.9831
回归系数b检验：
0.9965
回归系数b的显著性检验： t 63.31 ，df n 2 14
| t | t0.01 (14) 2.977
y 和x’线性回归关系达极显著
ˆ 131.05 29.568ln x 对数回归方程：y
第二节 不可转化为直线 的曲线回归
第二节 不可转化为直线的曲线回归
回归系数的数值迭代法计算步骤
1.选定回归系数β的初始值β0 2.选择适当的搜索方向向量Δ和步长t 3.计算新回归系数 β= β0 + t· Δ 使得 Qe(β) < Qe (β0) 4.重复上述2-3步的过程，直至Qe(β) 达到最小值为止
第二节 不可转化为直线的曲线回归
1974年，Bard给出了使Qe(β)下降的 充要条件： Δ = PG‘(Y-F(β)) 得到迭代公式 β = β0 + t· Δ = β0 + tPG‘(Y-F(β)) 其中：P 为任意正定矩阵 G 为F 函数的梯度 t 满足Qe(β)<Qe (β0)的正实数
2 i
自由度：df1＝1 df2=n-m-1
第三节 多项式回归
6. 多项式回归注意事项
多项式回归模型通常只能用于描述 变量试验范围内的变量回归关系，外 推一般并不可靠。
由于(X’X)-1的计算复杂而且也不稳 定，可以采用正交多项式来进行多项 式回归。