非线性回归模型的建立共39页文档
非线性回归分析常见模型
非线性回归常见模型一．基本内容模型一xc e c y 21=，其中21,c c 为常数.将xc ec y 21=两边取对数，得x c c e c y xc 211ln )ln(ln 2+==，令21,ln ,ln c b c a y z ===，从而得到z 与x 的线性经验回归方程a bx z +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型二221c x c y +=，其中21,c c 为常数.令a c b c x t ===212,,，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型三21c x c y +=，其中21,c c 为常数.a cbc x t ===21,,，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型四反比例函数模型：1y a b x=+令xt 1=，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型五三角函数模型：sin y a b x=+令x t sin =，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.二．例题分析例1．用模型e kx y a =拟合一组数据组()(),1,2,,7i i x y i =⋅⋅⋅，其中1277x x x ++⋅⋅⋅+=；设ln z y =，得变换后的线性回归方程为ˆ4zx =+，则127y y y ⋅⋅⋅=（）A．70e B．70C．35e D．35【解析】因为1277x x x ++⋅⋅⋅+=，所以1x =，45z x =+=，即()127127ln ...ln ln ...ln 577y y y y y y +++==，所以35127e y y y ⋅⋅⋅=.故选：C例2．一只红铃虫产卵数y 和温度x 有关，现测得一组数据()(),1,2,,10i i x y i =⋅⋅⋅，可用模型21e c x y c =拟合，设ln z y =，其变换后的线性回归方程为4zbx =- ，若1210300x x x ++⋅⋅⋅+=，501210e y y y ⋅⋅⋅=，e 为自然常数，则12c c =________.【解析】21e c x y c =经过ln z y =变换后，得到21ln ln z y c x c ==+，根据题意1ln 4c =-，故41e c -=，又1210300x x x ++⋅⋅⋅+=，故30x =，5012101210e ln ln ln 50y y y y y y ⋅⋅⋅=⇒++⋅⋅⋅+=，故5z =，于是回归方程为4zbx =- 一定经过(30,5)，故ˆ3045b -=，解得ˆ0.3b =，即20.3c =，于是12c c =40.3e -.故答案为：40.3e -.该景点为了预测2023年的旅游人数，建立了模型①：由最小二乘法公式求得的数据如下表所示，并根据数据绘制了如图所示的散点图.。
计量经济学基础-非线性回归模型
第四节 非线形回归模型一、 可线性化模型在非线性回归模型中，有一些模型经过适当的变量变换或函数变换就可以转化成线性回归模型，从而将非线性回归模型的参数估计问题转化成线性回归模型的参数估计，称这类模型为可线性化模型。
在计量经济分析中经常使用的可线性化模型有对数线性模型、半对数线性模型、倒数线性模型、多项式线性模型、成长曲线模型等。
1．倒数模型我们把形如:u xb b y ++=110；u x b b y ++=1110 （3.4.1） 的模型称为倒数(又称为双曲线函数)模型。
设：xx 1*=，y y 1*=，即进行变量的倒数变换，就可以将其转化成线性回归模型。
倒数变换模型有一个明显的特征：随着x 的无限扩大，y 将趋于极限值0b (或0/1b )，即有一个渐进下限或上限。
有些经济现象(如平均固定成本曲线、商品的成长曲线、恩格尔曲线、菲利普斯曲线等)恰好有类似的变动规律，因此可以由倒数变换模型进行描述。
2．对数模型模型形式：u x b b y ++=ln ln 10 （3.4.2）(该模型是将ub e Ax y 1=两边取对数，做恒等变换的另一种形式，其中A b ln 0=)。
上式lny 对参数0b 和1b 是线性的，而且变量的对数形式也是线性的。
因此，我们将以上模型称为双对数(double-log)模型或称为对数一线性(log-liner)模型。
令：x x y y ln ,ln **==代入模型将其转化为线性回归模型： u x b b y ++=*10* （3.4.3）变换后的模型不仅参数是线性的，而且通过变换后的变量间也是线性的。
模型特点：斜率1b 度量了y 关于x 的弹性：xdx y dy x d y d b //)(ln )(ln 1== （3.4.4） 它表示x 变动1%，y 变动了多少，即变动了1b %。
模型适用对象：对观测值取对数，将取对数后的观测值（lnx ，lny ）描成散点图，如果近似为一条直线，则适合于对数线性模型来描述x 与y 的变量关系。
非线性回归模型
• 由于逻辑表达式只能是1或0，于是 当X<=0时，结果为1*0+0*X+0*1=0 当X>0&X<1时,结果为0*0+1*X+0*1=X 当X>1时, 结果为0*0+0*X+1*1=1 • 字符串变量也可以用于逻辑表达式,如:
(city=‘New York’)*costliv+(city=Washington)*0.59*costliv
缺点：a.计算复杂；b.初始值不适当时，估计不准确.
采用SPSS进行曲线拟合
曲线直线化
Analyze Regression Curve Estimation … 可选Power 、Logarithmic、Exponential、 Quadratic、Cubic 等
非线性回归
Analyze Regression Nonlinear … 设置模型： Model Expression 参数赋初值：Parameters…
Parameter Estimates 95% Confidence Interval Lower Bound Upper Bound .088 .234 .075 .097
Parameter A B
Estimate .161 .086
Std. Error .035 .005
Correlations of Parameter Estimates A B A 1.000 -.990 B -.990 1.000
ANOVAa Source Reg ression Residual Uncorrected Total Corrected Total Sum of Squares 201.543 3.510 205.053 108.796 df 2 19 21 20 Mean Squares 100.771 .185
第六章 非线性回归模型
第六章 非线性回归模型经济模型本来就存在许多非线性形式，我们在引言与第一章就曾经处理过“可以线性化的非线性模型”，即经过简单函数变换后可以化为一元或多元线性回归模型的非线性回归模型。
但是在一般情况下，非线性模型难以精确地线性化，这就需要予以特别的考虑。
一般的非线性回归模型可以表示为()εβ+=,X f Y（6.0.1）这里X 是可观察的独立随机变量，β是待估的参数向量，Y 是独立观察变量，它的均值依赖于X 与β，ε是随机误差。
函数形式f （• ）是已知的。
Cobb-Douglas 生产函数是非线性回归模型的典型例子：εββ+=21K aL Q（6.0.2）这里Q 是经济部门的产出，L 是劳动力投入，K 是资本投入，待估参数是α，β1与β2。
定 义Y=Q ，X ′=(L,K)，β=(α，β1,β2)′，以及()2111,βββK aL X f =，则Cobb-Douglas 生产函数就可以写为(6.0.1)的形式。
另一个例子是消费函数εβββ++=321Y C（6.0.3）这里Y 是居民收入，C 是居民消费。
其中参数β3的估计问题就很有必要。
如果贸然假定β3=1，那就是线性函数了，可是实际资料也许会否定β3=1。
有些经济模型到底能不能线性化，取决于误差项的假定。
例如Cobb-Douglas 生产函数，如果将误差假定为与函数部分相乘，即εββe K aL Q 21=（6.0.4）则取对数后可以线性化：εββα+++=K L Q ln ln ln ln 21（6.0.5）另一方面，有些线性回归模型也可以视为非线性问题，例如广义最小二乘问题()()ψ==+=2 ,0 ,σεεεβVar E X Y（6.0.6）的极大似然估计就可以被看作非线性问题。
本章就讨论这些非线性回归模型的性质与计算问题，涉及到一些大样本理论，介绍了非线性强度度量的几何意义。
作为特别的非线性回归模型，重点是介绍了增长曲线模型与失效率模型。
第五章 非线性回归
β = ( β1 , β 2 ,..., β m )′
如果函数在参数向量 β 0 附近连续可微，将函数 在 β 0 附近进行一阶泰勒展开
∂f ( xt , β 0 ) f ( xt , β) = f (xt , β 0 ) + (β − β 0 ) + rt0 ∂β ∂f (xt , β 0 ) 0 ∂f (xt , β 0 ) = [ f (xt , β ) − β ]+ β + rt 0 ∂β ∂β
S ( β j +1 ) ≈ S ( β j ) + λ j g ( β j ) ∆ j
S ( β j +1 ) − S ( β j ) ≈ λ j g ( β j ) W j ( g j ) ′
附近
三、牛顿-拉弗森法 牛顿 拉弗森法
最基本的迭代算法是牛顿-拉弗森法（NewtonRaphson Method）。牛顿-拉弗森法的基本思想 是利用泰勒级数展开近似，通过迭代运算寻找 NLS估计的数值解法。 具体算法是 1．给定参数初值 2．将残差平方和函数在附近展开成二阶泰勒级 数 3．迭代公式
令
∂f (xt , β 0 ) 0 Yt = Yt − [ f (xt , β Βιβλιοθήκη − β ] ∂β ∂β0 0
∂f (xt , β0 ) z = = ( Z10t ∂β ∂β
0 t
0 Z 2t
0 L Z mt )
u t0 = u t + rt 0
则
Yt 0 = z t 0 β + ut0
0 0 = β1 Z10t + β 2 Z 2t + ... + β m Z mt + ut0
j
非线性回归模型
由于是非线性形式出现，非线性最小二乘法 的解，一般没有线性情形那样的公式可用，只 能通过一个数学分支“最优化”的方法使SSE达 到极小。最优化的理论和方法非常丰富，有多 种方法使SSE达到极小。
例 已知牧草重量y与生长天数x的关系是
y a exp{ exp{b cx}}
9次观察的数据为表4.13,试估计a,b,c的值,并预 报第101天牧草的重量。
data hw; input x y; cards; 9 8.93 14 10.8 21 18.59 28 22.33 42 39.35 57 56.11 63 61.73 70 64.62 79 67.08 ; proc nlp data=hw tech=nmsimp; min u; parms a=70,b=1.48884,c=0.05601; u=abs(y-a*exp(-exp(b-c*x))); run;
医学实例
Brown(1980)在术前检查了53例前列腺 癌患者，拟用年龄(AGE)、酸性磷酸酯酶 (ACID)两个连续型的变量，X射线(X_RAY)、 术前探针活检病理分级(GRADE)、直肠指检 肿瘤的大小与位置(STAGE)三个分类变量与 手术探查结果变量NODES（1、0分别表示癌 症淋巴结转移与未转移 ）建立淋巴结转移 的预报模型。
95.7 -24 2.86 -4
96.8 -21 2.82 -3
97 -23 2.99 -3
36
96.6 -19 3.18 -3
96.9 -22 3
-3
93.6 -26 3.32 -3
eviews技术操作：非线性回归模型的建立PPT教学课件
2020/12/10
8
❖ (2)迭代和收敛
❖ EViews用的是Gauss- Seidel迭代法求参数估计值。 迭代停止遵循的法则: 基于回归函数或参数在每次 迭代后的变化率。当待估参数的变化百分比的最大 值小于事先给定的水平时，就会停止迭代。
2020/12/10
10
PPT教学课件
谢谢观看
Thank You For Watching
11
2020/12/10
5
❖ 有时遇到估计结果不符合常规或显示出无法 收敛的错误信息时，需要设定选项重新估计。
❖ （1）初始值(Start Value)
❖ 初始值是EViews进行第一次迭代计算时参 数所取的数值。这个值保存在与回归函数有 关的系数向量中。
❖ 回归函数必须定义初始值。例如如果回归函 数包含表达式1/C (1)，就不能把C (1)的初 始值设定为0，同样如果包含表达式LOG (C (2))，那C (2)必须大于零。
第五章 非线性回归模型的建立
2020/12/10
1
❖ 一、非线性模型的估计方法（迭代法） ❖ 二、 非线性模型的极大似然估计
2020/12/10
2
一、迭代法
❖ 并非所有的非线性模型都可做线性化处理， 非线性最小二乘法(NLS :Nonlinear Least Square)是非线性模型的常用估计方法。
❖ 例1 根据case3数据用非线性最小二乘法建 立单位成本函数模型。
2020/12/10
3
❖ 建模过程仍是先打开方程定义窗口，在定义 栏中输入模型的非线性表达式即可。不同的 是有时候可能迭代无法收敛，则需要通过修 改选项设置来重新估计。
回归分析(设计)非线性回归
图2.18 S型曲线 y
1 a b ex
例2.4 通过试验得到表2.4的测试数据，求 x 与 y 的回归方程。 解 将测试数据描一散点图，如图2.19所示。 从图2.19可以看出， 与 之间似乎有双曲线 x y 关系，即 1 1
： 则得 y a bx
3 108.20 8 11 110.60
4 109.58 9 14 110.90
5 109.50 10 15 110.0
7 110.00 11 16 110.76
8 109.53
y
序 号
x
y
（例如，第一组数据 x(1) 2, y(1) 106.42 对应为 x 1和 y 1的数据 x 1 , y 1 。利用线性回归系数 2 106.42 计算公式，可以求出 a 0.008966, b 0.0008303 ，从 而得到和的回归方程：
i
f i ( ) 0 i ˆ
对于式（2.32）一般可用最优化迭代算法， 求出最优解 ˆ ，从而确定非线性回归数学模型。 具体最优化迭代算法可参见参考文献[10]。
x1 1 ( z1 , z 2 , , z k ) x 2 2 ( z1 , z 2 , , z k ) x m m ( z1 , z 2 , z k )
则上述方程即可写成
y b0 b1 x 1 b2 x 2 bm x m
从而，这一类问题均可化为多元线性回归问题加 以处理。 数学理论已证明，任何连续函数可用足够高阶 的多项式任意逼近。因此，对比较复杂的实际问 题，可以不问 y与诸因素的确切关系如何，而直 接用多项式回归。
例2.5 实验测得两个变量 x 与 y 的关系如表 2.5所示，试求变量 y 对 x 的回归方程。
第2讲 非线性回归模型
第05章 非线性回归模型
模型中的偏斜率系数B2、B3又称为偏弹性系数。因此B2度 量了X3不变条件下，Y对X2的弹性，即在X3为常量时，X2每变 动1%，Y变化的百分比。由于X3的影响保持不变，所以称此 弹性为偏弹性。在多元对数线性模型中，每一个偏斜率系数 度量了在其他变量保持不变的条件因变量对某一个解释变量 的偏弹性。
18
3
安徽大学经济学院
计量经济学讲义
5.1 非线性回归模型
线性回归模型的系数解释：
C = a + b *Y
(5.6)
问题：消费与收入之间的线性回归模型C = a + b*Y，其中回归系数b在《西方经济学》的含义是表示边 际消费倾向。在此模型中的斜率仅仅给出了个人收入单 位变动引起的消费的绝对量变化。 如果我们考虑商品需求的价格弹性变化，如何建立 回归模型。即研究这样的问题：价格每变化一个百分点， 商品的需求量将引起多大的变化率？
+ 0 . 7961
x
计算结果表明，在其他条件不变时，能源消耗量每增加一个单 位（十万吨），工业总产值将增加0.7961个单位（亿元）。
6
安徽大学经济学院
计量经济学讲义
5.2 双对数模型：度量弹性
将上述线性模型改变为非线性回归模型:
Y i = AX
变换为下列(5.8)形式：
B2 i
(5.7)
其中Y为工业总产值，X为能源消耗量。两边取对数将(5.7)
logindustrylogindustry0963811420logenergyse006341202553500963811420logenergy11安徽大学经济学院t18009723774381p000000000021r20958f324349900000000计量经济学讲义能耗与工业增加值取对数后的散点图12安徽大学经济学院计量经济学讲义双对数回归模型13安徽大学经济学院计量经济学讲义双对数模型的假设检验logindustry0963811420logenergyse00634120255350t18009723774381p000000000021r20958ff3243499p0000000032434990000000014安徽大学经济学院就假设检验而言线性模型与双对数模型并没有什么不同
非线性回归
= −2
������ ������������ − ������������ ������������������������������ ������������������ = 0
(3)
设法求出θ 的解，用������（hat 西塔）表示，整理（3）式有：
������ ������������ ������������������������������ ������������ = (������������������������������ )������������2������
������ ������������ = ������������ + ������������
(1)
此模型与线性模型类似，我们采用最小二乘法极小化：
������ 2 ������ ������ = (������������ − ������������ )
(2)
估计θ ，S 代替 S（θ ） ，S 对θ 求微分后导数等于零得到 S 的最小值，
������ , = ������0 + ������1 ������ ������ = ������0 + ������1 ������ , ������ , = ������0 + ������1 ������ ,
, ������ , = ������0 + ������1 ������
但此种方式存在明显的局限性，为了说明它，我们先来回顾一下线性回归模 型中核心的最小二乘法（OLS） 。 1.1 最小二乘法回顾 在线性回归中,我们学会了普通最小二乘法(OLS),但它在使用时有相应的前 提假设: （1）正确的期望函数。第一个条件意味着计量模型的适用性，它不仅指出 期望函数部分包括所有重要的自变量， 同时随机变量部分包括不重要的可以忽略 的自变量；此外，还意味着我们需要确定一个较为合理的模型形式（不论是线性 还是非线性模型） ，这一点可以通过观察散点图进行判定。 （2） 自变量(Y)等于期望函数与随机变量之和，这一条假设使得 Y 的概率密 度函数可以通过随机变量的概率密度函数加以计算： ������������ = ������ ������，������ 2 = ������随机变量 y − Xβ ������ 2
非线性回归模型建立及案例
y* 0 1x* (4.18)
半对数模型通常用于测度许多经济变量和非经济变 量的增长率，所以半对数模型又称为增长模型。 在实际工作中，双对数模型应用的非常广泛，其原 因在于，由于回归线是一条直线（y和x都是对数形
式），所以它的斜率（ ）1 为一常数。对于这个模型
1994 178700
1400
1987 62900
700
1995 203100
1500
1988 86300
900
根据成本理论，成本函数可用产量的三次多项式 近似表示
c 0 1x 2 x2 3x3
令 z1 x， z2 x2 ， z3 x3
则
c 0 1z1 2 z2 3z3
Q f (X , P1, P0 )
(*)
Q:居民对食品的需求量，X：消费者的消费支出总额
P1：食品价格指数，P0：居民消费价格总指数。
零阶齐次性，当所有商品和消费者货币支出总额按同 一比例变动时，需求量保持不变
Q f (X / P0 , P1 / P0 )
(**)
为了进行比较，将同时估计（*）式与（**）式。
其斜率等于其弹性，因为
1
dy* dx*
d （ln y) d (ln x)
y / x /
y x
E
所以弹性为一常数。由于这个特殊的性质，双对 数模型又称为不变弹性模型。
4、非线性回归模型的直接代换的应用举例
例3.5.1 建立中国城镇居民食品消费需求函数模型。
根据需求理论，居民对食品的消费需求函数大致为
105.1
105.4
1344.1
06非线性回归模型
函数 的泰勒级数为：
f (x)
是x与x0之间的某个值
f (x)
f ( x0 )
f (x0 )( x x0 )
f
( x0 2!
)
(
x
x0
)2
第18页，共22页。
f
(n) ( x0 ) n!
(x
x0 )n
18
❖ 给定一般的非线性函数模型为 ：
Y f ( X1, X 2, , X k ;b1, b2, , bp ) v
►可以根据理论分析或过去的实际经验事先确定； ►不能根据理论或过去积累的经验确定时，根据实际资
料作散点图，从其分布形状选择适当的曲线来配合。
– 2、确定相关函数中的未知参数
►最小二乘法是确定未知参数最常用的方法。
❖ 选择合适的曲线类型不是一件轻而易举的工作，主要依靠专业知识 和经验，也可以通过计算剩余均方差来确定。
1.9378
1.9378 0.9898
0.045199 10 268.58 (51.0)2 1.9578
由于商品零售额增加，流通费用率呈下降趋势，两者之间为负相关关系，故相关系
数取负值-0.989 8，说明两者高度相关，用双曲线回归模型配合进行预测是可 靠的。
第五步，预测。
将2001年该商店零售额36.33万元代入模型，得2001年流通费用率为：
式(6.1.9)所示的模型。
❖ 对于这一类非线性模型，可采用一种借助于泰勒级 数展开式进行逐次线性逼近的估计方法。
17
第17页，共22页。
❖ 泰勒级数：
定理：设函数 f (在x) 点x0的某一邻域 U (内x0具) 有各阶导数，则 在该f (邻x)域内能展开成泰勒级数的充分必要条件是 泰勒公式
非线性回归模型的建立
如果是非线性约束，则不论方程形式如何， 检验结果只能是卡方统计量的近似结果和相 应的近似既率。 事实上， Wald检验对二阶段最小二乘法、非 线性最小二乘法等建立的模型均有效，只是 检验统计量有所不同 EViews中，方程结果输出窗口点击View按钮， 然后在下拉菜单中选择Coefficient Tests/Wald-Coefficient Restrictions
例3.5
续例3.3，利用线性化方法估计CobbDouglas生产函数模型并检验参数是否满足约 束条件 α + β = 1 。
遗漏变量检验(testadd检验)
遗漏(Omitted)变量检验用以查看对现有模型 添加某些变量后，新变量是否对因变量的解 释有显著贡献。检验的原假设是新变量都是 不显著的。检验统计量
例3.4
1985-2002年中国家用汽车拥有量（y）与城 镇居民家庭人均可支配收入(x)，数据见 case6。画散点图后发现1996年应该是一个 突变点。当城镇居民家庭人均可收入突破 4838.9元之后，城镇居民家庭购买家用汽车 的能力大大提高。现在用邹突变点检验法检 验1996年是不是一个突变点。
注意 : 计算时都要求原模型与检验模型的观测量相 同，即新变量不能在原来的样本期内含有缺 失值，因此，像加入滞后变量等情况，检验 是失效的。 EViews中，方程结果输出窗口中选择 View/Coefficient Tests/Omitted VariablesLikelihood Ratio．
例3.6
例3.3
粮食产量通常由粮食产量（Y）、农业生产劳 动力(L)、粮食播种面积（M）、化肥施用量 (K)等因素决定。case4是我国粮食生产的有 关数据(由于粮食生产劳动力不易统计，假定 它在农业劳动力中的比例是一定的，故用农 业劳动力的数据代替)，研究其间关系，建立 Cobb-Douglas生产函数模型。