病态总体最小二乘问题的广义正则化(伍吉仓)

， 犃 犫 狊 狋 狉 犪 犮 狋： 犜 狅 狋 犪 犾 犾 犲 犪 狊 狋 狊 狌 犪 狉 犲 狊犿 犲 狋 犺 狅 犱 犻 狊犪犱 犲 狉 犲 狌 犾 犪 狉 犻 狕 犻 狀 狉 狅 犮 犲 犱 狌 狉 犲 狊 狅狋 犺 犲 犻 犾 犾 狅 狊 犲 犱狆 狉 狅 犫 犾 犲 犿 狊狑 犻 犾 犾 犫 犲犿 狅 狉 犲狊 犲 狉 犻 狅 狌 狊 ． 狇 犵 犵狆 狆 犜 犺 犪 狋犿 犲 犪 狀 狊犲 狉 狉 狅 狉 狊犻 狀狋 犺 犲犱 犪 狋 犪犪 狉 犲犿 狅 狉 犲犾 犻 犽 犲 犾 狅犪 犳 犳 犲 犮 狋狋 犺 犲狋 狅 狋 犪 犾犾 犲 犪 狊 狋狊 狌 犪 狉 犲 狊狊 狅 犾 狌 狋 犻 狅 狀狋 犺 犪 狀狋 犺 犲犾 犲 犪 狊 狋狊 狌 犪 狉 犲 狊 狔狋 狇 狇 ， 狊 狅 犾 狌 狋 犻 狅 狀 ． 犐 狋 犻 狊狆 狉 狅 狅 狊 犲 犱狌 狊 犻 狀 犲 狀 犲 狉 犪 犾 犻 狕 犲 犱狉 犲 狌 犾 犪 狉 犻 狕 犪 狋 犻 狅 狀狋 狅狊 狅 犾 狏 犲 犻 犾 犾 狅 狊 犲 犱狆 狉 狅 犫 犾 犲 犿 狊 犻 狀狋 狅 狋 犪 犾 犾 犲 犪 狊 狋 狊 狌 犪 狉 犲 狊 狊 狅犪 狊 狋 狅 狆 犵犵 犵 狆 狇 ， 狀 狌 犿 犲 狉 犻 犮 犪 犾 犲 狓 犲 狉 犻 犿 犲 狀 狋 狊犪 狉 犲犮 犪 狉 狉 犻 犲 犱狅 狌 狋 狋 狅犱 犲 犿 狅 狀 狊 狋 狉 犪 狋 犲狋 犺 犲狆 犲 狉 犳 狅 狉 犿 犪 狀 犮 犲犪 狀 犱 犻 犿 狉 狅 狏 犲狊 狋 犪 犫 犻 犾 犻 狋 犳 狋 犺 犲 狉 犲 狊 狌 犾 狋 狊 ． 犉 犻 狀 犪 犾 犾 狆 狆 狔狅 狔 犲 犳 犳 犻 犮 犻 犲 狀 犮 犳 狋 犺 犲犵 犲 狀 犲 狉 犪 犾 犻 狕 犲 犱狉 犲 狌 犾 犪 狉 犻 狕 犪 狋 犻 狅 狀犿 犲 狋 犺 狅 犱狑 犺 犻 犮 犺犺 犪 狏 犲狊 犻 狀 犻 犳 犻 犮 犪 狀 狋犪 犱 狏 犪 狀 狋 犪 犲 狊 犻 狀狊 狅 犾 狏 犻 狀 犻 犾 犾 狅 狊 犲 犱狆 狉 狅 犫 犾 犲 犿 狊 ． 狔狅 犵 犵 犵 犵 狆 ； ； 犓 犲 狅 狉 犱 狊： 犻 犾 犾 狅 狊 犲 犱狋 狅 狋 犪 犾 犾 犲 犪 狊 狋狊 狌 犪 狉 犲 狊 犈 犐 犞； 犲 狀 犲 狉 犪 犾 犻 狕 犲 犱狉 犲 狌 犾 犪 狉 犻 狕 犪 狋 犻 狅 狀 犔 犮 狌 狉 狏 犲 狔狑 狆 狇 犵 犵 摘 要： 总体最小二乘（ ） 算法可以视为一个降正则化的过程 ， 对比最小二乘算法 ， 病态总体最小二乘方法的解受系数阵数 犜 犔 犛 据误差和观测值误差的影响将更为严重 。本文探讨用广义正则化的方法降低病态性对总体最小二乘数值求解的影响 ， 以提高 本文采用的广义正则化方法在处理病态总体最小二乘问题上具有明显的优势 。 求解结果的稳定性 。通过多组算例结果表明 ， 关键词 ： 病态总体最小二乘 ； 广义正则化 ； 犈 犐 犞； 犔 曲线 中图分类号 ： （ ） 犘 ２ ０ ７ 文献标识码 ： 犃 文章编号 ： １ ０ ０ １ １ ５ ９ ５ ２ ０ １ ２ ０ ３ ０ ３ ７ ２ ０ ６ 基金项目 ： 国家自然科学基金 （ ） ； 中美国际合作项目 （ ） ４ １ ０ ７ ４ ０ １ ９ ２ ０ １ ０ 犇 犉 犅 ２ ０ １ ９ ０
病态总体最小二乘问题的广义正则化
２ 葛旭明１ ，伍吉仓１，
上海 ２ 上海 ２ １．同济大学 测量与国土信息工程系 ， ０ ０ ０ ９ ２； ２．现代工程测量国家测绘局重点实验室 ， ０ ０ ０ ９ ２
犌 犲 狀 犲 狉 犪 犾 犻 狕 犲 犱犚 犲 狌 犾 犪 狉 犻 狕 犪 狋 犻 狅 狀狋 狅 犐 犾 犾 狅 狊 犲 犱犜 狅 狋 犪 犾 犔 犲 犪 狊 狋犛 狌 犪 狉 犲 狊犘 狉 狅 犫பைடு நூலகம்犾 犲 犿 犵 狆 狇
１ １２ 犌 犈犡 狌 犿 犻 狀 犻 犮 犪 狀 犵 ，犠犝犑 犵 ，
，犜 ，犛 １． 犇 犲 犪 狉 狋 犿 犲 狀 狋狅 犳犛 狌 狉 狏 犲 犻 狀 狀 犱犌 犲 狅 犐 狀 犳 狅 狉 犿 犪 狋 犻 犮 狊 狅 狀 犻犝 狀 犻 狏 犲 狉 狊 犻 狋 犺 犪 狀 犺 犪 犻２ ０ ０ ０ ９ ２，犆 犺 犻 狀 犪；２．犓 犲 犪 犫 狅 狉 犪 狋 狅 狉 犳犕 狅 犱 犲 狉 狀 狆 狔 犵犪 犵 犼 狔 犵 狔犔 狔狅 犈 狀 犻 狀 犲 犲 狉 犻 狀 狌 狉 狏 犲 犻 狀 犛 犅 犛 犕， 犛 犺 犪 狀 犺 犪 犻 ２ ０ ０ ０ ９ ２， 犆 犺 犻 狀 犪 犵 犵犛 狔 犵， 犵
可能存在于 Ｔ ］ 利 用广义奇 Ｌ Ｓ 的解算中 。 文献 ［ ８ 的办法得到了 Ｔ 异值分解 （ Ｇ Ｓ Ｖ Ｄ） Ｌ Ｓ的截断奇 异值解法 （ ） ； 文献 ［ ］ 推导并证明了总体最 Ｔ Ｔ Ｌ Ｓ ９ 的 可 靠 性； 随 后， 文 小二乘正 则 化 算 法 （ Ｒ Ｔ Ｌ Ｓ） 献［ ］ 也相 继 推 导 并 证 明 了 多 种 形 式 的 Ｒ １ ０—１ ２ 方法 。 国 内 对 病 态 总 体 最 小 二 乘 的 分 析 及 Ｔ Ｌ Ｓ 其在测量数据处 理 中 的 应 用 还 不 多 ， 相关文献也 较少 。 文献 ［ ］ 推导了病态总体最小二乘模型的 １ ３ 文献［ 基于平差模型推导了 正则化迭代算法 ； １ ４］ 加 权 病 态 总 体 最 小 二 乘 的 岭 估 计 算 法。 文 献［ ］ 中对病态总体最小二乘问题的处理主 １ ３—１ ４ 要是基于文献 ［ ］ 的推导基础及经典最小二乘平 １ ５ 差理论 ， 正则化参数 的 选 择 则 主 要 以 文 献 ［ 提 １ ６］ 求 解结果为 总体 最 小二乘 出的 Ｌ 曲线法 为基础 ， 的标准正则化解 ， 较之文献［ 提出的最小二乘 １ ６］ 正则化 Ｌ 曲线法所得到的结果并无明显地提高 。 基于 文 献 ［ 提出的 Ｒ ９］ Ｔ Ｌ Ｓ的思想以及文 ］ 的分 析 结 果 ， 结合文献［ 提出的 Ｌ 献［ １ ０—１ １ １ ６］ 曲线法的思想 ， 本文探讨了病态总体最小二乘的 一种广义正则化方法 （ 。通过数值算例 Ｒ Ｇ Ｔ Ｌ Ｓ） 结果表明 该 方 法 在 处 理 病 态 总 体 最 小 二 乘 问 题
１ 引 言
文献 ［ 提出了建立在 Ｅ １］ Ｉ Ｖ 模型上的 Ｔ Ｌ Ｓ 概念 ， 并 将 其 应 用 于 数 值 分 析 计 算 中 ，随 后 文 ］ 将 总 体 最 小 二 乘 算 法 推 广， 并完善了文 献［ ２ ］ 提出的总体最小二乘算法 ， 得到了广义总体 献［ １ 最小二乘求解 算 法 。 近 几 年 ， Ｔ Ｌ Ｓ算法在测量模 型的建立 及 数 据 处 理 上 均 得 到 了 较 为 广 泛 地 应 用 。 文献 ［ ］ 提出基于 Ｔ ３ Ｌ Ｓ 方法的球靶 标 定 位方 文献 ［ ］ 利用加权总体最小二 乘 （ 算法 法； ４ ＷＴ Ｌ Ｓ） 对平 面 靶 标 及 球 靶 标 进 行 拟 合 ； 文献［ 利用 ５］ Ｔ Ｌ Ｓ 方法 建 立 了 更 加 可 靠 的 坐 标 转 换 系 统 。 以 上应用均是基于模型中系数矩阵与观测量矩阵均 通过建 立 Ｅ 含有误差的情况 ， Ｉ Ｖ 模型来求得更加 可靠的解算结果 ， 但并没有考虑系数矩阵病态的 情况 。 另一方 面 ， 在传统最小二乘方法（ 中， Ｌ Ｓ） 由于系数矩阵的病态性进而会导致因观测量的微 小波动 而 造 成 解 算 结 果 产 生 巨 大 的 波 动 。 文 献［ ］ 提出的正则化理论以及文献 ［ ］ 提出的截断 ６ ７ 奇异值 （ 的办法通常 被 用 来 解 决 线 性 估 计 Ｔ Ｓ Ｖ Ｄ） 下Ｌ 病态性的问题同样也 Ｓ 的 病 态 问 题。 显 然，
第４ １卷 第３期 ０ １ ２年６月 ２
测 绘 学 报
犃 犮 狋 犪犌 犲 狅 犱 犪 犲 狋 犻 犮 犪犲 狋犆 犪 狉 狋 狅 狉 犪 犺 犻 犮 犪犛 犻 狀 犻 犮 犪 犵 狆
犞 狅 犾 ． ４ １， 犖 狅． ３ ， 犑 狌 狀 ． ２ ０ １ ２
，ＷＵＪ ］ ， Ｇ ＥＸ ｕ ｍ ｉ ｎ ｉ ｃ ａ ｎ ． Ｇ ｅ ｎ ｅ ｒ ａ ｌ ｉ ｚ ｅ ｄＲ ｅ ｕ ｌ ａ ｒ ｉ ｚ ａ ｔ ｉ ｏ ｎｔ ｏＩ ｌ ｌ ｏ ｓ ｅ ｄＴ ｏ ｔ ａ ｌＬ ｅ ａ ｓ ｔＳ ｕ ａ ｒ ｅ ｓＰ ｒ ｏ ｂ ｌ ｅ ｍ［ Ｊ ．Ａ ｃ ｔ ａＧ ｅ ｏ ｄ ａ ｅ ｔ ｉ ｃ ａｅ ｔＣ ａ ｒ ｔ ｏ ｒ ａ ｈ ｉ ｃ ａＳ ｉ ｎ ｉ ｃ ａ ｇ ｇ ｇ ｐ ｑ ｇ ｐ （ ） ： （ 葛旭明 ，伍吉仓 ．病态总体最小二乘问题的广义正则化 ［ ］ 测绘学报 ， （ ） ： ） ２ ０ １ ２， ４ １ ３ ３ ７ ２ ３ ７ ７． Ｊ ． ２ ０ １ ２， ４ １ ３ ３ ７ ２ ３ ７ ７．
２ 犔（ 犃＃ ， 狓， ＝‖ （ 犃， 犫） －（ 犃＃ ， 犃＃狓） ‖犉 ＋ μ） ２ （ ） 狓‖２ ９ ‖犔 δ） ２－ μ（ 式中 ， 得 ａ ｒ ａ ｎ ｅ 因子 。 同样 假 定δ 足 够 小 ， ｇ ｇ μ为 Ｌ ） 相类似总体最小二乘解满足的目标函数 到与式 （ ７ ［］
２ 病 态 总 体 最 小 二 乘 的 分 析 及 正 则 化 模型
本文所采用的线性估计基础模型为 犿×狀 狀 ， 犃 狓≈ 犫， 犫∈犚 犿≥ 狀 犃∈犚 ，
（ ） １ 式中 ， 为系数矩阵 ； 为观测量矩阵 ； 为 待求 参 犃 犫 狓 而系数 数。针 对 误 差 仅 存 在 于 观 测 量 矩 阵犫 中， 矩阵 犃 中不含误差 的 情 况 ， 最小二乘求解约束条 件可表达为 ｍ ｉ ｎ‖犃 狓－ 犫‖２ ＝ ‖Δ 犫‖２ 其中 犃 狓＝ 犫＋Δ 犫 （ ） ２ 总体最小二乘方法相对于最小二乘方法建 立 了更 将误差同时合理地分配于系 加可靠的 Ｅ Ｉ Ｖ 模 型， 数矩阵与观测量矩阵中 ， 其求解约束条件可表达为 ｍ ｉ ｎ 犃， 犫） －（ 犃＃ ， 犫＃ ） 犫＃ ‖（ ‖犉 其中 犃＃狓＝ （ ） ３ 犃 、 犫 为 不 含 误 差 的 系 数 矩 阵 及 观 测 量 矩 阵。 基于以上约束 ， 基础模型的最小二乘解和总体最
第３期
葛旭明 ， 等： 病态总体最小二乘问题的广义正则化
３ ７ ３
时， 较之 Ｒ Ｌ Ｓ与 Ｒ Ｔ Ｌ Ｓ 有 较 明 显 的 优 势。 最 后 本文对该方法进行了详细的总结 。
部分情况下 可 以 得 到 比 Ｔ Ｓ Ｖ Ｄ 更加理想的解算 结果 。 第 ２ 类病态问题中奇异值的分布呈现逐步 该类病态问题的解决主要采用的是 衰减的过程 ， Ｔ ｉ ｋ ｈ ｏ ｎ ｏ ｖ 正则化 方 法 。 本 文 主 要 探 讨 第 ２ 类 病 态问题下的总体最小二乘问题 。 Ｔ ｉ ｋ ｈ ｏ ｎ ｏ ｖ 正则化理论下的最小二乘模型为 （ ） ｍ ｉ ｎ 狓－ 犫‖２ 并且 ‖犔 狓‖２ ≤ ５ ‖犃 δ 式中 ， 犔 通常为基于１次或２次偏导 δ 为正常数 ； 数的 约 束 矩 阵 。 在 不 等 式 约 束 条 件 下 ， 建立 多项式 ９ Ｌ ａ ｒ ａ ｎ ｅ ｇ ｇ ２ ） 犔（ 狓， ＝ ‖犃 狓－ 犫‖２ 狓‖２ ６ λ） λ（ ‖犔 δ ）（ ２＋ ２－ 式中 ， ａ ｒ ａ ｎ ｅ因 子 。 在 该 表 达 式 中 求 解 参 λ为 Ｌ ｇ ｇ 数 狓， 并满足式（ 。 当δ 足 够 小 时 ， 解参数狓 满 ５） 足如下目标函数 （ ） ｍ ｉ ｎ｛ 狓－ 犫‖２ 狓‖２ ７ ‖犃 λ‖犔 ２＋ ２｝ 此时 ， λ 即 为 正 则 化 因 子。 根 据 最 小 二 乘 的 正 则 化模 型 ， 建立总体最小二乘下的 Ｔ ｉ ｋ ｈ ｏ ｎ ｏ ｖ正则 化模型为 ｍ ｉ ｎ‖ （ 犃， 犫） －（ 犃＃ ， 犫＃ ） ‖犉 并且 犃＃狓＝ 犫＃ ， 狓‖２ ≤ ‖犔 δ 相应的 Ｌ ａ ｒ ａ ｎ ｅ多项式为 ｇ ｇ