§2 回归系数的最小二乘估计

§2 回归系数的最小二乘估计

设分别为的最小二乘估计值, 于是的观测值

, , (2.1)

其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有

, (2.2)

, , (2.3)

(2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和

达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组

, (2.4)

即

, (2.5)

整理并化简则得以下正规方程组:

, (2.6)

如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有

, (2.7)

, (2.8)

因此正规方程(2.6)的矩阵形式为

, (2.9)

或

, (2.10)

其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有

, (2.11)

(2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。

正规方程组(2.6)亦可表达为下述另一种形式, 如果记

, ,

,

则由(2.6)式中第一等式可解出

, (2.12)

再将(2.12)代入到(2.6)其它各式中并经化简整理可得

, (2.13)

又由

, ,

, ,

如果记

, , (2.14)

, , (2.15)

则(2.13)式可以表示为

, (2.16)

(2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程

, (2.17)

(2.17)式称为回归超平面方程。

如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则

,

,

且记, 则正规方程组(2.16)的矩阵形式为

, (2.18)

解(2.18)得

, (2.19)

再代回到(2.12), 则得到。

以下是一对多线性回归分析的两个例子。

例2.1某养猪场估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表１, 试建立与及的预测方程。

表2.1

经计算: , , , ,

,

,

,

,

,

于是正规方程组为

,

解此方程组得

, ,

又

,

因此所求预测回归方程为

回归方程中系数与的含义是体长每增加1cm, 则猪体重毛重平均增加0.522kg, 胸围每增加1cm, 则猪体重毛重平均增加0.475kg。

例2.2某地区二化螟的第一代成虫发生量与四个因素有关, 这四个因素分别如下, 已知原始观测数据如表2.2, 试建立二化螟发生总量的回归方程。

: 冬季积雪期限(单位为周),

: 每年化雪日期(以2月1日为1),

: 二月份平均气温(℃),

: 三月份平均气温(℃),

: 二化螟发生总量(头),

经计算:

,

,

表2.2

,

于是

,

又

＝24 + 0.99742×11.8462 + 1.62581×26.6923 + 11.19263×0.3615 + 16.95291×3.1692 ＝ 136.98554,

因此所求二化螟发生总量的预测回归方程为

。