矩阵奇异值分解在最小二乘法中的应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
的应用 。 １ 奇 异 值分 解 在 Ｌ Ｓ问题 中 的应 用
Ｄ
ｙ２
ｂ ｂ ＋ １
０
， ，
ｂ
显然 ， ６最 近 ∑Ｙ的是 向量 （ ， ：Ｌ ， ，， ） ， 令 离 ｂ ｂ ， ｂ ０ Ｌ０ 并 Ｙ ＝ｂ／ 。ｉ ，， ，） 到 。注意 假定 Ａ的秩 为 ｎ保证 了 ｄ≠ 】 ＇ ｄ（ ＝１２ Ｌ ｎ 得 ｉ ｌ 假 设 已知矩 阵 Ａ有式 子 得 到 的 Ｓ Ｄ分 解 式 为 ｕ ， Ｖ ∑ ｕ和 ０ 。最 后 由 ＝ 求 出 ， 里 ， 出了解 的 表达 式 。 这 给 分 别 为 ｍ， 正交 方 阵 ， ∑为 和 Ａ具 有 相 同 维 数 的对 角 矩 阵 ， ３ 齐 次 方程 组的 最小 二乘 解 ｎ阶 而 那 么 我们 可 以得 到 ： 与前 一 问题类 似 的 问题是 求形 如 Ａ ０的 方程 组 的非 零解 。 ｘ＝ ｂ＝ＵＺ ｖｘ—ｂ ｒ 注 意 到如 果 是 这方 程 组 的一个 解 ， 么 对 任何 标 量 ａ ， 是 那 ， 也 （ ） （ ） ∑ 一Ｕ Ｕ ｂ 解， 因此为 了排除 非零 解 ， 加入 约束 条件 ｌ＝１ ｌ 是合 理 的 。 ＝Ｕ ∑） ） （ ， 一ｃ 这样 的方程 组 一 般 不存 在精 确 解 。假 定 Ａ的 维数 是 ｍ ｘ ， ｎ 因 为 ｕ是 一 正 交 矩 阵 ， 以 Ｉ 一 ： Ｉ （ 所 ｌ ｂｌ ＝ ｌ ∑Ｙ—ｃ Ｉ 那 么存 在 精确 解 的充 要条 件是 ｒｎ （ ）＜ｎ 即 ： 阵 Ａ不 是 列 满 Ｉ ） Ｊ ： ａｋ Ａ ， 矩 ＝ ０∑， ：从 而把原 最 小二 乘 法 问 题 化 为 求 使 ｌ∑，一ｃ Ｉ 秩 的 。 当没有 精确 解 时 ， 们通 常 将求 它 的 一个 最 小 二 乘解 。现 ， Ｉ， 一ｃｌ ｌ ， Ｉ ： 我 最 小 的 Ｙ这 一 最 小 二 乘 法 问题 ， 为 ∑为 对 角矩 阵 ， 以使 得 新 在 问 题可 以叙 述为 因 所
ｂｔ ｂ２
，ｌ ，
奇异值分解 （ Ｖ 是一种正交矩阵分解法 ；Ｖ Ｓ Ｄ） Ｓ Ｄ是最可霏 的 分解法， 但是它的计算 时间几乎十倍于 Ｑｔ ｒ 分解 ； 使用 奇异值分 解 ， 仅 可 以挖 掘矩 阵 中 隐藏 的重 要 结 构 信 息 ， 而 发 现 局 部 与 不 从 整 体 之 间潜 在 的重要 关 联模 式 ， 且 ， 为 重要 的是 ， 可 以 降低 而 更 它 矩 阵 的维 数 。 以下将 讨论 矩 阵 的奇 异 值 分解 在 最 小 二 乘 问 题 中
一
问题 即 相 当于 ， Ａ∈Ｒ （ ＞ ） ｂ Ｒ 求 ∈ 得 设 ｍ ｎ ， Ｅ ， Ｒ使 ｌ ｘ ＝ｍｎ Ｉ ２ ∈ Ｉ —ｂｌ ｉ｛ｌ 一ｂｌ ： Ｒ ｝ Ａ Ｉ Ａ Ｉ
＝
的这一 最 ｄ －乘 法 问题 简单 的多 ， 将对 此 仔 细分 析 。 ￣－ Ｖ ． 接着 假 设 矩 阵 Ａ的秩 为 约束 条 件 ｌ ｌ＝ｌ的条 件 下 ， 使 ｌ ｌ最小 ｌ ｌ 求 ｌ Ｉ
的 。
注意 到求 ｌ ｌ ｌ Ｉ Ａ 的最 小 值 等 价 于求 Ｉ Ｉ 的 最小 值 ， ｌ Ｉ ｌ 。 而 ｌ － ＾ Ａ ， ｌ （ ｒ ） 因 此这 个 问题 可 以化 为 求 对 称 矩 阵 Ａ Ａ的 最 ｏ 一 ｃ 小 特征 值 问题 ， 面我 们用来 Ｓ Ｄ求解 这个 问题 ： 下 Ｖ ， ， ， ∑Ｙ＝ ０ ∑，一ｃ＝ ， Ｃ，＋１ 设 Ａ＝ ∑ ， 么 问题 变成 求 ｌ ， Ｉ 那 Ｉ∑ ￡ Ｉ 的最小 值 。而 ｌ ｌ Ｏ Ｃｒ ２ ＋ ∑ 。ｌ ｌ ｌ ｌ＝ ｌ ∑ ｌ 和 ｌ ｌ ’ｌｏ因此 ， Ｊ＝ Ｉ ｌ 问题 变 成 在 约束 条 件 Ｉ ’ ｌ 下 ， ｌ∑ｖｘＩ的最小 值 。令 Ｙ＝ｖｘ则 问 题 简 ｌ ｌ＝１ 求 ｌ ｒ ｌ ｒ， Ｍ Ｏ 化为： Ｃｍ 问题 １ 在 约束 条件 ｌ ｌ 下 ， ０∑ＹＩ ｌ ：１ 求 Ｙｌ Ｉ 的最 小值 。 可知 Ｙ ＝ 。ｏ ，ｉ １２ Ｌ ｒ使得 ∑，一 达 到 它 的最小 长 度 。 ｃ／＂ （ ＝ ，， ，） ｌ ，ｃ 现 在 ， 对 角元 素按 降序 排列 的一个 对 角 矩 阵 。 由此 推 出 ∑是 ［∑ ｃ］ ， 且 可见 当 ｒ ｍ 时 ， 面 的 这 一 长度 为 ０ 也 就 是 当 该 问题 的解 是 Ｙ＝（ ，， ０ １ ， 的唯 一非 零元 素 ｌ 最 后 的位 并 ： 上 ， Ｏ０ Ｌ ，） 它 在 矩阵 Ａ的列张成空间时最小二乘法问题可以无误差地求解 。而 置 上 （ 即为 ｅ） 。最 后 由 ＝ 解 出 ， 就 是 的最后 一列 。 即 当 ｒ ｎ时 ， ＋， 可 以任 意取 ， ＜ 而不影 响 ∑，一 的 长度 。 ，ｃ 的 最后 一列 实 际上 也是 Ａ 的与最 小 特征 值对 应 的特 征 向量 。 我 们将 对 ∑转置 并 且 对 非 零 的 对 角 元 素 求 逆 所 得 到得 矩 阵 ４ 带 约束 方程 组 的最 小二乘 解 定义为 ∑ 那么 Ｙ ｃ的前 ｒ ， ＝∑ 个元素将等于 ｃ ｏ ， ｉ ，， ￣ ＂ （ ＝１２ Ｌ ／ 在 一些 应用 场 合 ， 求解 的未 知 向 量必 须 严 格 地满 足 某些 线 所 ｒ ， 且其 余 的元素 为 ０ 并且 由 Ｙ＝ ， ＝Ｕ ｂ容 易 得 到 ： ）并 ， ｃ ， 性约束 ， 这样 的约束可以用矩阵方程 ＝ ０来描述。要求它应准
２１ ０ １年 １ ２月
第
矩 阵 奇 异 值 分 解 在 最 小 二 乘 法 中 的 应 用
严 雯
（ 天水 师 范 学院数 学与统 计 学院 甘肃 天水
中 图分 类号 ： ５ ．１ ０１ １２ 文 献标 识 码 ： Ａ
７ １０ ） ４ ００
文章编 号 ：０ ８－ ２ Ｘ（０ １ １ ０ ３ ０ １０ ９ ５ ２ １ ）２— １ ５— ２
摘 要： 总结 了奇异值分解矩阵的降维、 比例不变性、 奇异值对矩阵的扰动不敏感等六个特征， 并应用于最小二乘法 问题 中， 列举 了 矩 阵满 秩情 形 ， 次方 程 组和 带约 束 方程 组 的最 小 二乘 解 。 齐 关键 词 ： 矩阵 奇异值 分 解 降维
１ 引言
ｎ矩 阵并 且对 角 线 以外 的元 素 为零 。这方 程 组 的形 式是
Ｄ
ｙ２
ｂ ｂ ＋ １
０
， ，
ｂ
显然 ， ６最 近 ∑Ｙ的是 向量 （ ， ：Ｌ ， ，， ） ， 令 离 ｂ ｂ ， ｂ ０ Ｌ０ 并 Ｙ ＝ｂ／ 。ｉ ，， ，） 到 。注意 假定 Ａ的秩 为 ｎ保证 了 ｄ≠ 】 ＇ ｄ（ ＝１２ Ｌ ｎ 得 ｉ ｌ 假 设 已知矩 阵 Ａ有式 子 得 到 的 Ｓ Ｄ分 解 式 为 ｕ ， Ｖ ∑ ｕ和 ０ 。最 后 由 ＝ 求 出 ， 里 ， 出了解 的 表达 式 。 这 给 分 别 为 ｍ， 正交 方 阵 ， ∑为 和 Ａ具 有 相 同 维 数 的对 角 矩 阵 ， ３ 齐 次 方程 组的 最小 二乘 解 ｎ阶 而 那 么 我们 可 以得 到 ： 与前 一 问题类 似 的 问题是 求形 如 Ａ ０的 方程 组 的非 零解 。 ｘ＝ ｂ＝ＵＺ ｖｘ—ｂ ｒ 注 意 到如 果 是 这方 程 组 的一个 解 ， 么 对 任何 标 量 ａ ， 是 那 ， 也 （ ） （ ） ∑ 一Ｕ Ｕ ｂ 解， 因此为 了排除 非零 解 ， 加入 约束 条件 ｌ＝１ ｌ 是合 理 的 。 ＝Ｕ ∑） ） （ ， 一ｃ 这样 的方程 组 一 般 不存 在精 确 解 。假 定 Ａ的 维数 是 ｍ ｘ ， ｎ 因 为 ｕ是 一 正 交 矩 阵 ， 以 Ｉ 一 ： Ｉ （ 所 ｌ ｂｌ ＝ ｌ ∑Ｙ—ｃ Ｉ 那 么存 在 精确 解 的充 要条 件是 ｒｎ （ ）＜ｎ 即 ： 阵 Ａ不 是 列 满 Ｉ ） Ｊ ： ａｋ Ａ ， 矩 ＝ ０∑， ：从 而把原 最 小二 乘 法 问 题 化 为 求 使 ｌ∑，一ｃ Ｉ 秩 的 。 当没有 精确 解 时 ， 们通 常 将求 它 的 一个 最 小 二 乘解 。现 ， Ｉ， 一ｃｌ ｌ ， Ｉ ： 我 最 小 的 Ｙ这 一 最 小 二 乘 法 问题 ， 为 ∑为 对 角矩 阵 ， 以使 得 新 在 问 题可 以叙 述为 因 所
ｂｔ ｂ２
，ｌ ，
奇异值分解 （ Ｖ 是一种正交矩阵分解法 ；Ｖ Ｓ Ｄ） Ｓ Ｄ是最可霏 的 分解法， 但是它的计算 时间几乎十倍于 Ｑｔ ｒ 分解 ； 使用 奇异值分 解 ， 仅 可 以挖 掘矩 阵 中 隐藏 的重 要 结 构 信 息 ， 而 发 现 局 部 与 不 从 整 体 之 间潜 在 的重要 关 联模 式 ， 且 ， 为 重要 的是 ， 可 以 降低 而 更 它 矩 阵 的维 数 。 以下将 讨论 矩 阵 的奇 异 值 分解 在 最 小 二 乘 问 题 中
一
问题 即 相 当于 ， Ａ∈Ｒ （ ＞ ） ｂ Ｒ 求 ∈ 得 设 ｍ ｎ ， Ｅ ， Ｒ使 ｌ ｘ ＝ｍｎ Ｉ ２ ∈ Ｉ —ｂｌ ｉ｛ｌ 一ｂｌ ： Ｒ ｝ Ａ Ｉ Ａ Ｉ
＝
的这一 最 ｄ －乘 法 问题 简单 的多 ， 将对 此 仔 细分 析 。 ￣－ Ｖ ． 接着 假 设 矩 阵 Ａ的秩 为 约束 条 件 ｌ ｌ＝ｌ的条 件 下 ， 使 ｌ ｌ最小 ｌ ｌ 求 ｌ Ｉ
的 。
注意 到求 ｌ ｌ ｌ Ｉ Ａ 的最 小 值 等 价 于求 Ｉ Ｉ 的 最小 值 ， ｌ Ｉ ｌ 。 而 ｌ － ＾ Ａ ， ｌ （ ｒ ） 因 此这 个 问题 可 以化 为 求 对 称 矩 阵 Ａ Ａ的 最 ｏ 一 ｃ 小 特征 值 问题 ， 面我 们用来 Ｓ Ｄ求解 这个 问题 ： 下 Ｖ ， ， ， ∑Ｙ＝ ０ ∑，一ｃ＝ ， Ｃ，＋１ 设 Ａ＝ ∑ ， 么 问题 变成 求 ｌ ， Ｉ 那 Ｉ∑ ￡ Ｉ 的最小 值 。而 ｌ ｌ Ｏ Ｃｒ ２ ＋ ∑ 。ｌ ｌ ｌ ｌ＝ ｌ ∑ ｌ 和 ｌ ｌ ’ｌｏ因此 ， Ｊ＝ Ｉ ｌ 问题 变 成 在 约束 条 件 Ｉ ’ ｌ 下 ， ｌ∑ｖｘＩ的最小 值 。令 Ｙ＝ｖｘ则 问 题 简 ｌ ｌ＝１ 求 ｌ ｒ ｌ ｒ， Ｍ Ｏ 化为： Ｃｍ 问题 １ 在 约束 条件 ｌ ｌ 下 ， ０∑ＹＩ ｌ ：１ 求 Ｙｌ Ｉ 的最 小值 。 可知 Ｙ ＝ 。ｏ ，ｉ １２ Ｌ ｒ使得 ∑，一 达 到 它 的最小 长 度 。 ｃ／＂ （ ＝ ，， ，） ｌ ，ｃ 现 在 ， 对 角元 素按 降序 排列 的一个 对 角 矩 阵 。 由此 推 出 ∑是 ［∑ ｃ］ ， 且 可见 当 ｒ ｍ 时 ， 面 的 这 一 长度 为 ０ 也 就 是 当 该 问题 的解 是 Ｙ＝（ ，， ０ １ ， 的唯 一非 零元 素 ｌ 最 后 的位 并 ： 上 ， Ｏ０ Ｌ ，） 它 在 矩阵 Ａ的列张成空间时最小二乘法问题可以无误差地求解 。而 置 上 （ 即为 ｅ） 。最 后 由 ＝ 解 出 ， 就 是 的最后 一列 。 即 当 ｒ ｎ时 ， ＋， 可 以任 意取 ， ＜ 而不影 响 ∑，一 的 长度 。 ，ｃ 的 最后 一列 实 际上 也是 Ａ 的与最 小 特征 值对 应 的特 征 向量 。 我 们将 对 ∑转置 并 且 对 非 零 的 对 角 元 素 求 逆 所 得 到得 矩 阵 ４ 带 约束 方程 组 的最 小二乘 解 定义为 ∑ 那么 Ｙ ｃ的前 ｒ ， ＝∑ 个元素将等于 ｃ ｏ ， ｉ ，， ￣ ＂ （ ＝１２ Ｌ ／ 在 一些 应用 场 合 ， 求解 的未 知 向 量必 须 严 格 地满 足 某些 线 所 ｒ ， 且其 余 的元素 为 ０ 并且 由 Ｙ＝ ， ＝Ｕ ｂ容 易 得 到 ： ）并 ， ｃ ， 性约束 ， 这样 的约束可以用矩阵方程 ＝ ０来描述。要求它应准
２１ ０ １年 １ ２月
第
矩 阵 奇 异 值 分 解 在 最 小 二 乘 法 中 的 应 用
严 雯
（ 天水 师 范 学院数 学与统 计 学院 甘肃 天水
中 图分 类号 ： ５ ．１ ０１ １２ 文 献标 识 码 ： Ａ
７ １０ ） ４ ００
文章编 号 ：０ ８－ ２ Ｘ（０ １ １ ０ ３ ０ １０ ９ ５ ２ １ ）２— １ ５— ２
摘 要： 总结 了奇异值分解矩阵的降维、 比例不变性、 奇异值对矩阵的扰动不敏感等六个特征， 并应用于最小二乘法 问题 中， 列举 了 矩 阵满 秩情 形 ， 次方 程 组和 带约 束 方程 组 的最 小 二乘 解 。 齐 关键 词 ： 矩阵 奇异值 分 解 降维
１ 引言
ｎ矩 阵并 且对 角 线 以外 的元 素 为零 。这方 程 组 的形 式是