非线性回归预测法——高斯牛顿法(詹学朋)

非线性回归预测法

前面所研究的回归模型，我们假定自变量与因变量之间的关系是线性的，但社会经济现象是极其复杂的，有时各因素之间的关系不一定是线性的，而可能存在某种非线性关系，这时，就必须建立非线性回归模型。 一、非线性回归模型的概念及其分类

非线性回归模型，是指用于经济预测的模型是曲线型的。常见的非线性回归模型有下列几种： (1)双曲线模型：

i i

i x y εββ++=1

2

1 (3-59) (2)二次曲线模型：

i i i i x x y εβββ+++=2321 (3-60)

(3)对数模型：

i i i x y εββ++=ln 21 (3-61)

(4)三角函数模型：

i i i x y εββ++=sin 21 (3-62)

(5)指数模型：

i x i i ab y ε+= (3-63)

i i i x x i e y εβββ+++=221110 (3-64)

(6)幂函数模型：

i b i i ax y ε+= (3-65)

(7)罗吉斯曲线：

i x x i i

i

e e y εββββ++=++1101101 (3-66)

(8)修正指数增长曲线：

i x i i br a y ε++= (3-67)

根据非线性回归模型线性化的不同性质，上述模型一般可细分成三种类型。 第一类：直接换元型。

这类非线性回归模型通过简单的变量换元可直接化为线性回归模型，如：(3-59)、(3-60)、(3-61)、(3-62)式。由于这类模型的因变量没有变形，所以可以直接采用最小平方法估计回归系数并进行检验和预测。 第二类：间接代换型。

这类非线性回归模型经常通过对数变形的代换间接地化为线性回归模型，如：(3-63)、(3-64)、(3-65)式。由于这类模型在对数变形代换过程中改变了因变量的形态，使得变形后模型的最小平方估计失去了原模型的残差平方和为最小的意义，从而估计不到原模型的最佳回归系数，造成回归模型与原数列之间的较大偏差。 第三类：非线性型。

这类非线性回归模型属于不可线性化的非线性回归模型，如：(3-66)和(3-67)式。第一类和第二类非线性回归模型相对于第三类，又称为可线性化的非线性回归模型。本节重点研究第一类和第二类即可线性化的非线性回归模型。 二、可线性化的非线性回归模型的模型变换及参数估计 1.直接换元法

换元过程和参数估计方法，如表3-6所示。例设某商店1991～2000年的商品流通费用率和商品零售额资料如下表：

表3-7 直接换元法计算表

根据上述资料，配合适当的回归模型分析商品零售额与流通费用率的关系，若2001年该商店商品零售额将为36.33万元，对2001年的商品流通费用额作出预测。 解：(1)绘制散点图(图略)。从图中可清楚看到：随着商品零售额的增加，流通费用率有不断下降的趋势，呈双曲线形状。 (2)建立双曲线模型。

i i

i x y εββ++=12

1 令 i i x x 1'=

得 i i i x y εββ++='

21

(3)估计参数。

Eviews4.0 软件，hzz －暴P92表3－7

得回归模型为：i

i x y 17610.425680.2+=∧

2.间接代换法

代换过程和参数估计方法如（暴经济预测P96）表3-8所示。

三、高斯—牛顿迭代法

高斯—牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。高斯—牛顿法的一般步骤为： (1)初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。

(2)泰勒级数展开式。设非线性回归模型为：

i i i r x f y ε+=),( i=1,2,…,n (3-68)

其中r 为待估回归系数，误差项 i ε～N(0, 2

σ)，设：

')0(1)0(1)

0(00),,(-=p g g g g Λ，

为待估回归系数'110),,(-=p r r r r Λ的初始值，将(3-68)式),(r x f i 在g 0

点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导

数项，得

())

0(1

0)

0()

0(),(),(),(k

k

g

r p k k i i i g r

r r x f g x f r x f -⎥

⎦⎤

⎢⎣

⎡∂∂+≈=-=∑ (3-69) 将(3-69)式代入(3-68)式，则

()

i k k

g

r p k k i i i g r r r x f g x f y ε+-⎥

⎦⎤

⎢⎣

⎡∂∂+≈=-=∑)

0(1

0)

0()

0(),(),(

移项：

()

i k k

g

r p k k i i i g r

r r x f g x f y ε+-⎥

⎦⎤

⎢⎣

⎡∂∂≈-=-=∑)

0(1

0)

0()

0(),(),(

令：

)

0()0()

0()0()0()

0(),(),(k

k k g r k i ik i i i g r r r x f D g x f y y -=⎥

⎦⎤⎢⎣⎡∂∂=-==β 则：i k p k ik i

D y

εβ+≈∑-=)

0(1

)0()0( i=1,2，…，n 用矩阵形式表示，上式则为：ε+≈)0()0()

0(B D Y (3-70)

其中：

⎪⎪⎪⎪⎭

⎫ ⎝⎛=⎪⎪⎪⎪⎭

⎫ ⎝⎛=⎪⎪⎪⎭

⎫

⎝⎛--=-⨯--⨯⨯)0(1)

0(0)

0(1

)0(1)0(0)0(11)0(10)

0()0()0(11)

0(1

),(),(p p np

n p p n n n n B D D D D D g x f y g x f y Y ββM ΛM

ΛM

(3)估计修正因子。用最小平方法对(3-70)式估计修正因子B （0）

，

则：(

)

)0()0(1

)

0()0()

0('

'

Y D D D b

-= (3-71)

设g (1)

为第一次迭代值，则：)0()0()

1(b g g

+=

(4)精确度的检验。设残差平方和为：