高斯—牛顿迭代法

高斯牛顿法

高斯—牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。高斯—牛顿法的一般步骤为：

(1)初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。

(2)泰勒级数展开式。设非线性回归模型为：

i=1,2,…,n (3-68)

其中r为待估回归系数，误差项～N(0, )，设：

，为待估回归系数的初始值，将(3-68)式在g点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导数项，得

(3-69)

将(3-69)式代入(3-68)式，则

移项：

令：

则：i=1,2，…，n

用矩阵形式表示，上式则为：(3-70)

其中：

(3)估计修正因子。用最小平方法对(3-70)式估计修正因子B，

则：(3-71)

设g为第一次迭代值，则：

(4)精确度的检验。设残差平方和为：

，S为重复迭代次数，对于给定的允许误差率K，当时，则停止迭代；否则，对(3-71)式作下一次迭代。

(5)重复迭代。重复(3-71)式，当重复迭代S次时，则有：修正因子：

第(S+1)次迭代值：

四、应用举例

设12个同类企业的月产量与单位成本的资料如下表：

表3-9 间接代换法计算表

企业编号单位产品成

本（元）

月产量

1 2 3 4 5 6 7 8 9

10

11

12

160

151

114

128

85

91

75

76

66

60

61

60

10

16

20

25

31

36

40

45

51

56

60

65

(注：资料来源《社会经济统计学原理教科书》第435页)

试配合适当的回归模型分析月产量与单位产品成本之间的关系。

解：(1)回归模型与初始值的选择。根据资料散点图的识别，本数据应配合指数模型：对指数模型两边取对数，化指数模型为线性回归模型，然后施行最小平方法求出初始

值。即：

则上述指数模型变为：

对分别求反对数，得，带入原模型，

得回归模型：

高斯—牛顿迭代法

初始回归模型：

残差平方和：

（2）泰勒级数展开式。先对指数模型中的a和b分别求偏导数。

然后用泰勒级数展开指数模型，移项整理得(注：参见(3-69)、(3-70)式)：160-150.5866 0.82545 1535.0316

151-134.2148 0.73571 2189.0282

114-124.3015 0.68137 2534.1796

128-112.9332 0.61905 2878.0110

85-100.6550 0.55175 3180.7400 a

91- 91.4493 = 0.50128 3355.9387

75- 84.6948 0.46246 3453.4052

76- 76.9488 0.42180 3529.7593 b

66- 68.5829 0.37594 3565.4701

60- 62.3104 0.34156 3556.9658

61- 57.7081 0.31633 3529.5468

60-52.4302 0.28740 3473.9702

(3-72)

(3)估计修正因子。解(3-72)式矩阵，得：

a 12.09660288

=

b －0.00180342

第一次迭代值：

a1 a0 a 194.5266

= + =

b1 b0 b 0.9792

第一次迭代回归模型：

(4)精确度的检验。残差平方和：

给定误差率K=10,则：

作下一次迭代。

(5)重复迭代。

将a1 代入(3-71)式作第二次迭代。得估计修正因子：b1

a 0.647654043

=

b －0.000066948

第二次迭代值：

a2 a1 a 195.1743

= + =

b2 b1 b 0.9791

第二次迭代回归模型：

残差平方和：

误差率：

误差率达到要求，停止迭代。表3-10计算结果比较

平方法的不足。其缺陷是计算量较大，但随着电子计算机的日益普及，这点计算就显得微不足道了。