常见非线性回归模型

常见非线性回归模型

1.简非线性模型简介

非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型, 但也有一些非线性回归模型却无法通过代换转化为线性回归模型。

柯布—道格拉斯生产函数模型

εβα+=L AK y

其中 L 和 K 分别是劳力投入和资金投入, y 是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。

对于联立方程模型, 只要其中有一个方程是不能通过代换转化为线性, 那么这个联立方程模型就是非线性的。

单方程非线性回归模型的一般形式为

εβββ+=),,,;,,,(2121p k x x x f y

2.可化为线性回归的曲线回归

在实际问题当中，有许多回归模型的被解释变量y 与解释变量x 之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为

线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。

（1）εββ++=x e y 10

（2）εββββ+++++=p p x x x y 2210

（3）ε+=bx ae y

(4)y=alnx+b

对于（1）式，只需令x e x ='即可化为y 对x '是线性的形式εββ+'+=x y 10，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令1x =x ,2x =2x ,…, p x =p x ,于是得到y 关于1x ,2x ,…, p x 的线性表达式εββββ+++++=p p x x x y 22110

对与（3）式，对等式两边同时去自然数对数，得ε++=bx a y ln ln ,令 y y ln =',a ln 0=β,b =1β，于是得到y '关于x 的一元线性回归模型： εββ++='x y 10。

乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为t y 本身是异方差的，而t y ln 是等方差的。加性误差项模型认为t y 是等方差的。从统计性质看两者的差异，前者淡化了t y 值大的项（近期数据）的作用，强化了t y 值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则对近期数据拟合得效果较好。

影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用加权最小二乘。

3.多项式回归

多项式回归模型是一种重要的曲线回归模型，这种模型通常容易转化为一般的多元线性回归来做处理。

1、常见的多项式回归模型

回归模型i i i i x x y εβββ+++=2210称为一元二阶多项式模型。通常将回归模

型中的系数表示成：i i i i x x y εβββ+++=21110,回归函数21110i i i x x y βββ++=是一条抛物线方程，通常称为二项式回归函数。回归系数1β为线性效应系数，11β为二次效应系数。

当自变量的幂次超过3时，回归系数的解释变得困难起来，回归函数也变得很不稳定，对回归模型的应用会收到影响。因而，幂次超过3 的多项式回归模型不常使用。在实际应用当中，常遇到含两个或两个以上自变量的情况，称回归

模型：i i i i i i i i x x x x x x y εββββββ++++++=21122222222111110为二元二阶多项式回

归模型。它的回归系数中分别含有两个自变量的线性项系数1β和2β，二次项系数11β和22β，并含有交叉乘积项系数12β，交叉乘积项表示1x 与2x 的交互作用，系数12β通常称为交互影响系数。

4.非线性模型

在非线性回归中，平方和分解式SST=SSR+SSE 不在成立，类似于线性回归中的复决定系数，定义非线性回归的相关指数：R^2=1-SSE/SST

用非线性最小二乘法求解非线性回归方程,非线性最小二乘是使残差平方和达到最小,这种平方损失函数的优点是数学性质好,在一定条件下具有统计学的一

些优良性质,但其最大的缺点是缺乏稳健性。当数据存在异常值时,参数的估计效果变得很差。因而在一些场合,可以用一些更稳健的残差损失函数代替平方和损

失函数，例如绝对值损失函数。绝对值残差损失函数为:∑

=-

=

n

i

i i

x

f

y

Q

1

)

, (

)

(θ

θ有时候用最小绝对值法的最大残差比普通最小二乘法的最大残差更大，这是否与最小绝对值法的稳健性相矛盾？其实这正说明了最小绝对值法的稳健性。这是因为最小绝对值法受异常值的影响程度小，回归线向异常值靠拢的程度也小，因而异常值的残差反而大。

5.最小二乘估计

参数估计的常见方法

直接搜索法

直接搜索法是把参数的所有可能取值都代入S, 使S达到最小的取值即为参数的估计值。

直接搜索法原理简单, 但只适用参数个数少, 且参数的可能取值也少(或对参数估计的精度要求不高)的情况。

格点搜索法

格点搜索法的效率高于直接搜索法。格点搜索法不是是把参数的所有可能取值都代入S , 而是按一定规律把部分取值代入S。

例1 设只有一个参数b , b的可能取值为区间[0,1]。先把区间10等分, 然后分别把a0=0,a1=0.1,…,a10=1带入S，设ai使得S最小，然后重新把[ai,a(i+1)]10等分，重复上述方法，使参数的可能取值范围不断减小，直到满足精度要求或者收敛，即得参数的最小二乘估计。