线性模型的广义最小二乘估计递推算法

2
2． 1
广义最小二乘估计估计递推算法
多元线性模型纳新样本资料广义最小二乘
∑ ∑ σji X j X T i = i=1 j=1
估计递推算法 在统计中往往遇到这样的问题， 根据所给的 数据建立模型后， 又得到一批新的数据， 纳新问 题是已获得一批样本资料建立了统计模型得到 了最小二乘估计， 而后又获得第二批样本资料， 将两批信息整合在一起的得到线性模型的最小 二乘估计， 从而得到 β 的广义最小二乘估计． 定理 1
刘洪伟， 徐文科
（ 东北林业大学） *
【摘要 】 基于广义线性模型， 讨论了新增样品后其系数的广义最小二乘估计 与原有的样品其系数的广义最小二乘估计之间的关系 ， 在此基础上， 讨论剔除某个 过时的样品后， 其系数的广义最小二乘估计与原有样品的系数的广义最小二乘估 计之间的关系， 最后研究新增样品、 剔除样品和原有样品它们三个的系数的广义最 小二乘估计之间的关系． 关键词： 线性模型； 广义最小二乘估计； 递推算法
－1
用广义最小二乘法的正规方程 －1 ^ = XT ∑ －1 y （ X T ∑ X） β 参数 β 的广义最小二乘估计为
收稿日期： 2011－02－14 * 通讯作者， E－mail： xuwenke2004@ sina． com
样本资料就是在已获得的一批样本资料后建立 线性模型得到最小二乘估计， 而后又获得第二批 样本资料， 再利用第一批样本资料运算所得的结 果， 将两批资料的信息整合在一起建立统计模
mm T m
XT ∑ X =
－1
∑ ∑ σij X i X T j
i=1 j=1 n n ij σ Xi yj ∑ ∑ i=1 j=1
XT ∑ y = 由（ 2 ） 可得
n
n
n
ij ^ ∑ ∑ σij X i X T j β（ n） = ∑ ∑ σ X i y j i=1 j=1 i=1 j=1 n n
T 所以 I + σpx（ 1 － σx px）
（ 1）
∑
X 为 n × p 阶列满秩 其中 y 为 n 维的因变量， 矩阵， ε 为 n 维误差项， ∑ 为 n × n 的正定阵，
2 σ ＞ 0 为参数， β 为待定参数． 为了估计参数 β，
x T 为 I － σpxx T 的逆． 在根据样本资料建立线性统计模型时 ， 纳新
=（σ ）
ij
n ×n
， i， j = 1，
^ － 1 ） + σ nn X n X T n β（ n －
nn
由（ 3 ） 可知
n n
^ （ n － 1） + σ Xn yn 1） － σ Xn X β
－1 ^ Pn － m） － 1 β（ n
=
ij σ Xi yj ∑ ∑ i = 1， i≠m j = 1 ， j≠ m
［1 ］
^ 记 假设实验的数据跟 n 有关， 把 （ 2 ） 中的 β ^ （ n） ， 为β 表示新增加了第 n 个样品后其系数的广 ^ （ n － m） 表示剔除第 m 个样品 β 义最小二乘估计， 2， 后其系数的广义最小二乘估计， 其中 m = 1 ， …， n．
［2 ］ x 分别为 n 维列向量， 引理 1 设 p、 σ 为常 T T 数， 且 1 － σx px ≠ 0 ， 则 I － σpxx 是可逆的且
=
第3 期
n n n n
线性模型的广义最小二乘估计递推算法
31
ji σ Xj yi ∑ ∑ i =1 j =1
Biblioteka Baidu
－ σmm Xm ym =
ij T σ Xi Xj ^ β（ n） ∑ ∑ i = 1， i≠mj = 1， j≠m
+
mm T^ （ n） － σ mm X m y m ． σ Xm Xm β 所以两边同时右乘 p n －m 得到 ^ （ n － m） = β ^ ^ （ n） + σ mm p n －m X m（ X T β m β（ n） － y m ）
（ n + 1） （ n + 1） Pn Xn +1 XT σ n +1 Pn n + 1n + 1 T 1 +σ Xn +1 Pn Xn +1
（ 6） 另外
n －1 Pn = n ij T σ Xi Xj ∑ ∑ i=1 j=1 n －1
n －1
=
ij T σ Xi Xj ∑ ∑ i = 1， i ≠ mj = 1 ， j≠ m
新增加了第 n 个样品后其系数的广义最小二乘 ^ （ n） 有如下式子 估计 β ^ （ n） = β ^ ^ （ n － 1 ） + σ nn P n X n（ y n － X T β n β（ n － 1 ） ） 其中 P n = P n － 1 －
nn T σ Pn －1 Xn Xn Pn －1 ， nn T 1 + σ Xn Pn －1 Xn n ×n
给出了线性模型普通最
（ I － σpxx T ）
－1
= I + σpx（ 1 － σx T px）
－1
xT ．
小二乘估计的递推公式． 给出了线性模型的广义 最小二乘估计的递推公式．
1
线性模型的建立
Y = Xβ + ε 设广义线性模型： E （ ε） = 0 cov（ ε） = σ
2
{
证明 因 （ I － σpxx T） ［ I + σpx（ 1 － σx T px） － 1 x T］ = I + σpx（ 1 － σx T px） － 1 x T － σpxx T － 2 T T －1 T σ pxx px（ 1 － σx px） x = I － σpxx T + σ（ px － σpxx T px） （ 1 － T －1 T σx px） x = I － σpxx T + σpxx T =I
证明 由（ 4 ） 可知 ^ ^ （ n） + σ （ n + 1） （ n + 1） P n + 1 X n + 1 （ y n + 1 － （ n + 1 ） =β β ^ XT n + 1 β（ n） ） 由（ 6 ） ^ （ n － m） = β ^ （ n） + σ mm p n －m X m（ X T ^ β m β（ n） － y m ） 代入上式得 mm T ^ β（ n + 1） = ^ β（ n － m） － σ pn －m Xm（ Xm ^ β（ n） － （ n + 1） （ n + 1） T ^ ym ） + σ P n + 1 X n + 1（ y n + 1 － X n + 1 β（ n） ） 由（ 5 ） 可得到
∑
－1
= （ σ ij ）
， i， j = 1， 2， …， n．
n
Pn = Pn －1 －
（ 5）
证明
－1
由代数的知识可知
n
多元线性模型吐故样本资料广义最小二乘
XT ∑ X = 即 同理
n －1
∑ ∑ X i σij X Τ j
i=1 j=1 n n
估计递推算法 若按不同批次得到样本资料后， 从全部的样 本中剔除早期的样本资料， 在这里若 m = 1 时， 则 剔除最早纳入的一个样品， 只留下近期的样本资 料． 这样建立的线性模型就是吐故问题． 这里给 出的是剔除第 m 个样品． XT x i2 ， 定理 2 对于线性模型 （ 1 ） ， i = （ x i1 ， ^ …， x ip ） ， i = 1， 2， …， n， pm ， Xm ， y m 已知， 若 β（ n） ， 则剔除第 m 个样品后其系数的广义最小二乘估 ^ （ n － m） 有如下式子 计β ^ （ n － m） = β ^ ^ （ n） + σ mm P n －m X m（ X T β m β（ n） － ym ） （ 3） 其 中
T 在线性模型 （ 1 ） 中， 令 X i = （ x i1 ，
用 P n 左乘上式两端得
－1 nn T I = Pn Pn －1 + σ Pn Xn Xn 再用 P n － 1 右乘上式两端得
P n － 1 － P n = σ nn P n X n ·X T n Pn －1 再用 X n 右乘上式两端得 P n － 1 X n = P n X n + σ nn P n X n X T n Pn －1 Xn = P n X n（ 1 + σ nn X T n Pn －1 Xn ） Pn －1 Xn = Pn Xn 则 1 + σ nn X T n Pn －1 Xn 再用 X n P n － 1 右乘上式两端 Pn －1 Xn XT n Pn －1 = Pn Xn XT n Pn －1 = nn T 1 + σ Xn Pn －1 Xn （ Pn －1 － Pn ） 则 2． 2 1 nn σ
第 27 卷 第3 期
哈尔滨师范大学自然科学学报 NATURAL SCIENCES JOURNAL OF HARBIN NORMAL UNIVERSITY
Vol． 27 ，No． 3 2011

线性模型的广义最小二乘估计递推算法
－ 1）
+ σ nn X n（ y n －
^ XT n β（ n － 1 ） ） 在上式两边同时左乘 P n 得 ^ （ n） = β ^ （ n － 1 ） + σ nn P n X n（ y n － X T ^ β n β（ n － 1 ） ） （ 4）
n －1 另外 P n = n －1 n －1 ji T σ Xj Xi ∑ ∑ i=1 j=1 －1 nn T + σ nn X n X T n = Pn －1 + σ Xn Xn n
（ 2）
30
哈尔滨师范大学自然科学学报
n n
2011 年 第 27 卷
型， 进而求得最小二乘估计的递推算法． 吐故样 本资料是把陈旧的没有信息价值的样本资料剔 除， 从而得到最小二乘估计的递推算法． 吐故纳 新样本资料问题是将吐故纳新两种递推算法整 ［3 － 5 ］ ． 合在一起的递推算法
=
ij T^ （n σ Xi Xj β ∑ ∑ i=1 j=1
mm
T m
代入上式得 Pn +1 =
（ n + 1） （ n + 1）
－
mm T σ P n X m X m ） P n －m
－
Pn Xn +1 X Pn σ （ n + 1） （ n + 1） 1 +σ XT n +1 Pn Xn +1 给出了多元线性回归模型的广义最小二乘 吐故问题、 吐故纳新问题的递 估计的纳新问题、 推算法的公式， 从而简化了建立模型求解最小二 乘估计的计算量， 提高了运算速度与效率， 节省 了计算机的存储空间等． 参 考 文 献
nn T σ Pn －1 Xn Xn Pn －1 nn T 1 + σ Xn Pn －1 Xn T
x i2 ， …， x ip ） ， i = 1， 2， …， n， X T = （ X1 ， X2 ， …， Xn ） ，
－1 －1 －1 ^ （ n － 1） 、 Pn = X T ∑ X， Xn 、 若β 则 ∑ 已知，
+ σ mm X m X T m
Pn +1 = Pn － 由（ 7 ）
－1 mm = Pn Xm XT －m + σ m
则
－1 mm I = Pn Pn Pn Xm XT －m + σ m
（ 1 － σ mm P n X m X T m ） P n －m = P n （I
T n +1
P n －m = P n + σ P n X m X P n －m （ I － σ mm P n X m X T m ） P n －m = P n 由引理 1 可知 （ 7）
P n －m
－1 T m
=
［ I
+
－1
mm σ P n X m（ 1
－
nn ^ ∑ ∑ σij X i X T j β（ n － 1 ） + σ X n y n ij T^ （n σ Xi Xj β ∑ ∑ i=1 j=1 nn T n
σ X Pn Xm ） 2， …， n． 证明
X ］ Pn ， ∑
^ = （ X T ∑ － 1 X） β
－1
XT ∑ y
－1
0
引言
根据原有数据建立了线性模型， 得到了原有
随着新增样品的不 样品其系数的最小二乘估计， 断涌入， 需要重新建立样品其系数的最小二乘估 实现的有效方法是利用将原有样品和新增样 计， 品结合在一起重新构造模型， 但这种方法计算量 李世达， 陈土生 较大，
令
－1 Pn =
∑ ∑ σij X i X T j i=1 j=1
n n ij σ Xi yi ∑ ∑ i=1 j=1
－1 ^ Pn β（ n） = n －1 n －1
= = =
∑ ∑ σij X i y j i=1 j=1
n －1 n －1 i=1 j=1 n －1 n －1
+ σ nn X n y n