第三章最小二乘问题的解法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
定 理(QR分 解 定 理 )设A R nn (m n), rank( A) n, 则A有QR分 解 : R A Q , 0 其 中Q R mm 是 正 交 矩 阵 , R R nn是 具 有 正 对 角 元 的 上 角 三 阵.而 且 当 m n 且 A非 奇 异 时 , 上述分解还是唯一. 的
利 用QR分 解, 我 们 就 可 以 实 现 正 交 算 化 法.现 将Q分 块 为 T Q1 b n c mn m ( m n ) T Q Q1 , Q 2 , Q1 R , Q 2 R , 并 记 Q b T d Q 2 b m n Rx c 2 2 那么 Ax b 2 Q Ax Q b Rx c 2 d 2 2 0 d 2 由此可知 : “ x是 最 小 二 乘 问 题 min Ax b 2 的 解 的 充 分 必 要 条 件 x 是 为Rx c的 解”且 d min Ax b 为 最 佳 逼 近 值 。
Th3.1.3
proof
线性方程组Ax b的最小二乘问题的解总 是存在的,而且其 解唯一的充要条件是Null ( A) 0.
因R m R( A) R( A) , 所 以 向 量 b可 以 唯 一 地 表 示 为 b b1 b2 , 其 中b1 R( A), b2 R( A) . 于是对任意 x R m , b1 Ax R( A)且 与b2正 交, 从 而 2 2 2 2 b Ax 2 (b1 Ax ) b2 2 b1 Ax 2 b2 2 . 故 此, b Ax 2 达 到 最 小 当 且 仅 当 b1 Ax 2 达 到 最 小 . 注意到 b1 R( A),因 此, b1 Ax 2 的 充 分 必 要 条 件 是 Ax b1 .且 解x 唯一的充分必要是 null ( A) 0.
必要性.设x是Ax b的最小二解, 那么Ax b1 ,于是 0 AT b2 AT (b b1 ) AT (b Ax ),即AT Ax AT b. 充分性.设x是方程AT Ax AT b的解, 则b Ax R( A) ,由b b1 b2 的唯一性, 知Ax b1 ,即x是Ax b的最小二乘解.
•最小二乘问题
•正则化算法
•正交变换 •正交化算法
最小二乘问题
最小二乘问题多产生于数据拟合问题．已知表函数： t t1 t2 tm
y
t o
y f (t )
y1
y2
ym
并假定给出在t i 上取值的n个已经函数 1 (t ),, n (t ).考虑 i的线性组合 f ( x; t ) x1 1 (t ) x 2 2 (t ) x n n (t ) 希望在 t1 ,, t m点 上f ( x; t )能 最 佳 地 逼 近 数 据 y1 ,, y m .为 此,定 义 残 量
正则化算法
正则化算法的基本步骤如下：
(1)计 算C AT A, d AT b; (2)用 平 方 根 法 计 算 C的cholesky 分 解 : C LLT ; (3)求 解 三 角 方 程 组 Ly d和LT x y.
来自百度文库
正交变换
为了给出求解最小二乘问题的正交化算法，我们引入两种最基本的 正交变换，它们是数值线性中许多算法的基础．
2 T T 2 2
2
正则化算法的理论基础
Th3.1.1 方程组Ax b的解存在的充分必要条 件是 rank( A) rank([A, b] )
proof : 必 要 性 .设 存 在 x使Ax b, 则b是A的 列 向 量 的 线 性 组 合 ,即 有 b R( A).这 说 明 R([ A, b]) R( A) 由此即知 , 必 有rank( A) rank([ A, b]). 充分性 .若rank( A) rank([ A, b])成 立, 则b R( A),即b可 表 为 b xi ai ,
３．Ｃ语言程序设计
正交化算法
１．正交化算法的基本思想
设A R nn , b R n ,由2范 数 具 有 的 正 交 不 变 , 性 对任意的正交矩阵 Q R nn Ax b 2 Q T ( Ax b) . 2 于 是, 原 最 小 二 乘 问 题 就 等 于 价 min Q T Ax Q T b . 由 此, 我 们 可 以 考 虑 能 否 适 选 当取正交矩阵 Q, 使 原 问 题 转 化 为 较 容 求 易解的最小二乘问题 .
Th3.1.4 x是Ax b的最小二乘解的充分必 要条件是 AT Ax AT b. proof 注 意 到: b b1 b2 , 其 中b1 R( A), b2 R( A) , 那 么Ax b1的 解 恰 是Ax b的 最 小 二 乘 解 , 且AT b2 0.
２．算法（计算Householder变换）
function : [v , ] house( x ) n length( x ) x , x x / x ( 2 : n) T x ( 2 : n) v (1) 1, v (2 : n) x (2 : n) if ( 0) 0 else x (1) * x (1) if ( x (1) 0) v (1) x (1) else v (1) /( x (1) ) end 2v (1) * v (1) /( v (1) * v (1));v v / v (1) end
Hx
x
u
w
proof
(1)显然成立， ( 2)和(3)可直接得出， 事实上 H T H H 2 ( I 2 ww T )( I 2 ww T ) I 4 ww T 4 ww T ww T I
2
w
令w ( x y ) / x y 2 , 构 造Householde r变 换 2 H I 2 ww T I ( x y )( x y ) T 2 x y 2 注意到 x T x y T y (已 知),于 是 2 x y 2 ( x y ) T ( x y ) 2( x T x y T x ) 2 ( x y ) T x 从而 2 Hx x ( x y )( x y ) T x x ( x y ) y 2 x y 2 proof
T T G (i, k , ) I s (ei ek ek eiT ) (c 1)(ei eiT ek ek )
1 c s i 则 称G为Givense变 换.
i s k c 1 k
ri ( x ) y i x j j (t i ) ,
j 1
n
i 1,, m .
则问题转化为 : 估计参数 x1 ,, x n , 使残量 r1 ,, rm尽可能地小 .
若用引入矩阵 A和 向 量 b 1 ( t1 ) A 1 (t m ) 则残量可表示为下列量 向形式 , n (t m ) r ( x ) b Ax
Householder正交变换的性质
TH3.2.1(性质定理)Householder变换阵H满足:
(1)对 称 性: H T H ; (2)正 交 性: H T H I ; (3)对 合 性: H 2 I ; (4)反 射 性: 对 任 意 的 x Rn , 如 图 所 示 , Hx是x关 于w的 垂 直 超 平 面 的 镜 面 射 反.
Th3.2.2(变 换 性 质 )设x, y R n , x y, 且 x Hx y
y
2
0, 则 存 在 一 个 H使
构造Householder变换
作为Householder变换的重要应用在于矩阵的ＱＲ分解．在矩阵的ＱＲ分 解过程中，我们主要使用如下推论： 推 论 设0 x R n , 则 可 构 造 Householde r变 换H R nn , 使 Hx e1 其 中, x 2 .
i 1 T n
这 里A a i ,, a n .
于 是, 令x ( x1 , , x n ) ,即 有Ax b. 定理得证 Th3.1.2 方程 组 Ax b的解 存在 , 并且 假定 x是其 任一 给 定的 解 , 则方 程组 的全 部解 的集 合是 x N ( A) proof : 如 果y满 足 方 程 组 , 则A( y x ) 0,即( y x ) N ( A), 于是有 y x ( y x ) x N ( A).反 之, 如 果y x N ( A),则 存 在z N ( A),使y x z, 从 而 有 Ay Ax Az Ax b. 证 毕.
n ( t1 )
y1 , b ym
定 义3.1.1
给定矩阵 A R m n及 向 量 b R m , 确 定x R n 使 得 b Ax 2 min b Ay 2 n
yR
该问题称为最小二乘题 问,简 记 为 LS( Least Squares)问 题.
1. Householder变 换 定 义 设w R n满 足 w 2 1， 定 义H R nn为 H I 2 ww T , 则 称H为Householde r变 换.
2.Givense变 换 定 义 设 , c, s R且c cos , s sin , 则 定 义 G R nn为
根据Th3.2.2的证明过程 , 对于给定的 x R n ( x 0),得到构造 H I 2ww T 的方法: (1)计算: v x x 2 e1 , (2)计算: w v / v 2 .
构造算法程序时，应注意以下几个问题： 1)计 算 x 2时,为 避 免 溢 出 ,应 考 虑 将 x规 范 化 为x 1的 向 量 ; 2)v x x 2 e1 ; 3)在 计 算 向 量 v的 第 一 个 分 量 v1 x1 x 2时,为 避 免 两 相 近 数 相 减 ,可 x1 x 2 , 当x1 0时, 2 n xn ) v1 ( x 2 , 当x1 0时. x1 x 2 4)考 虑 到 实 际 计 算 的 需 , 要 计算得到向量 v后, 再 用v1除 其 各 个 分 量 ,以 保 证 v1 1; 5) Householde r矩 阵 的 保 存 ,只 需 输 出 : v及 2 / v T v , H I v T v.
定 理(QR分 解 定 理 )设A R nn (m n), rank( A) n, 则A有QR分 解 : R A Q , 0 其 中Q R mm 是 正 交 矩 阵 , R R nn是 具 有 正 对 角 元 的 上 角 三 阵.而 且 当 m n 且 A非 奇 异 时 , 上述分解还是唯一. 的
利 用QR分 解, 我 们 就 可 以 实 现 正 交 算 化 法.现 将Q分 块 为 T Q1 b n c mn m ( m n ) T Q Q1 , Q 2 , Q1 R , Q 2 R , 并 记 Q b T d Q 2 b m n Rx c 2 2 那么 Ax b 2 Q Ax Q b Rx c 2 d 2 2 0 d 2 由此可知 : “ x是 最 小 二 乘 问 题 min Ax b 2 的 解 的 充 分 必 要 条 件 x 是 为Rx c的 解”且 d min Ax b 为 最 佳 逼 近 值 。
Th3.1.3
proof
线性方程组Ax b的最小二乘问题的解总 是存在的,而且其 解唯一的充要条件是Null ( A) 0.
因R m R( A) R( A) , 所 以 向 量 b可 以 唯 一 地 表 示 为 b b1 b2 , 其 中b1 R( A), b2 R( A) . 于是对任意 x R m , b1 Ax R( A)且 与b2正 交, 从 而 2 2 2 2 b Ax 2 (b1 Ax ) b2 2 b1 Ax 2 b2 2 . 故 此, b Ax 2 达 到 最 小 当 且 仅 当 b1 Ax 2 达 到 最 小 . 注意到 b1 R( A),因 此, b1 Ax 2 的 充 分 必 要 条 件 是 Ax b1 .且 解x 唯一的充分必要是 null ( A) 0.
必要性.设x是Ax b的最小二解, 那么Ax b1 ,于是 0 AT b2 AT (b b1 ) AT (b Ax ),即AT Ax AT b. 充分性.设x是方程AT Ax AT b的解, 则b Ax R( A) ,由b b1 b2 的唯一性, 知Ax b1 ,即x是Ax b的最小二乘解.
•最小二乘问题
•正则化算法
•正交变换 •正交化算法
最小二乘问题
最小二乘问题多产生于数据拟合问题．已知表函数： t t1 t2 tm
y
t o
y f (t )
y1
y2
ym
并假定给出在t i 上取值的n个已经函数 1 (t ),, n (t ).考虑 i的线性组合 f ( x; t ) x1 1 (t ) x 2 2 (t ) x n n (t ) 希望在 t1 ,, t m点 上f ( x; t )能 最 佳 地 逼 近 数 据 y1 ,, y m .为 此,定 义 残 量
正则化算法
正则化算法的基本步骤如下：
(1)计 算C AT A, d AT b; (2)用 平 方 根 法 计 算 C的cholesky 分 解 : C LLT ; (3)求 解 三 角 方 程 组 Ly d和LT x y.
来自百度文库
正交变换
为了给出求解最小二乘问题的正交化算法，我们引入两种最基本的 正交变换，它们是数值线性中许多算法的基础．
2 T T 2 2
2
正则化算法的理论基础
Th3.1.1 方程组Ax b的解存在的充分必要条 件是 rank( A) rank([A, b] )
proof : 必 要 性 .设 存 在 x使Ax b, 则b是A的 列 向 量 的 线 性 组 合 ,即 有 b R( A).这 说 明 R([ A, b]) R( A) 由此即知 , 必 有rank( A) rank([ A, b]). 充分性 .若rank( A) rank([ A, b])成 立, 则b R( A),即b可 表 为 b xi ai ,
３．Ｃ语言程序设计
正交化算法
１．正交化算法的基本思想
设A R nn , b R n ,由2范 数 具 有 的 正 交 不 变 , 性 对任意的正交矩阵 Q R nn Ax b 2 Q T ( Ax b) . 2 于 是, 原 最 小 二 乘 问 题 就 等 于 价 min Q T Ax Q T b . 由 此, 我 们 可 以 考 虑 能 否 适 选 当取正交矩阵 Q, 使 原 问 题 转 化 为 较 容 求 易解的最小二乘问题 .
Th3.1.4 x是Ax b的最小二乘解的充分必 要条件是 AT Ax AT b. proof 注 意 到: b b1 b2 , 其 中b1 R( A), b2 R( A) , 那 么Ax b1的 解 恰 是Ax b的 最 小 二 乘 解 , 且AT b2 0.
２．算法（计算Householder变换）
function : [v , ] house( x ) n length( x ) x , x x / x ( 2 : n) T x ( 2 : n) v (1) 1, v (2 : n) x (2 : n) if ( 0) 0 else x (1) * x (1) if ( x (1) 0) v (1) x (1) else v (1) /( x (1) ) end 2v (1) * v (1) /( v (1) * v (1));v v / v (1) end
Hx
x
u
w
proof
(1)显然成立， ( 2)和(3)可直接得出， 事实上 H T H H 2 ( I 2 ww T )( I 2 ww T ) I 4 ww T 4 ww T ww T I
2
w
令w ( x y ) / x y 2 , 构 造Householde r变 换 2 H I 2 ww T I ( x y )( x y ) T 2 x y 2 注意到 x T x y T y (已 知),于 是 2 x y 2 ( x y ) T ( x y ) 2( x T x y T x ) 2 ( x y ) T x 从而 2 Hx x ( x y )( x y ) T x x ( x y ) y 2 x y 2 proof
T T G (i, k , ) I s (ei ek ek eiT ) (c 1)(ei eiT ek ek )
1 c s i 则 称G为Givense变 换.
i s k c 1 k
ri ( x ) y i x j j (t i ) ,
j 1
n
i 1,, m .
则问题转化为 : 估计参数 x1 ,, x n , 使残量 r1 ,, rm尽可能地小 .
若用引入矩阵 A和 向 量 b 1 ( t1 ) A 1 (t m ) 则残量可表示为下列量 向形式 , n (t m ) r ( x ) b Ax
Householder正交变换的性质
TH3.2.1(性质定理)Householder变换阵H满足:
(1)对 称 性: H T H ; (2)正 交 性: H T H I ; (3)对 合 性: H 2 I ; (4)反 射 性: 对 任 意 的 x Rn , 如 图 所 示 , Hx是x关 于w的 垂 直 超 平 面 的 镜 面 射 反.
Th3.2.2(变 换 性 质 )设x, y R n , x y, 且 x Hx y
y
2
0, 则 存 在 一 个 H使
构造Householder变换
作为Householder变换的重要应用在于矩阵的ＱＲ分解．在矩阵的ＱＲ分 解过程中，我们主要使用如下推论： 推 论 设0 x R n , 则 可 构 造 Householde r变 换H R nn , 使 Hx e1 其 中, x 2 .
i 1 T n
这 里A a i ,, a n .
于 是, 令x ( x1 , , x n ) ,即 有Ax b. 定理得证 Th3.1.2 方程 组 Ax b的解 存在 , 并且 假定 x是其 任一 给 定的 解 , 则方 程组 的全 部解 的集 合是 x N ( A) proof : 如 果y满 足 方 程 组 , 则A( y x ) 0,即( y x ) N ( A), 于是有 y x ( y x ) x N ( A).反 之, 如 果y x N ( A),则 存 在z N ( A),使y x z, 从 而 有 Ay Ax Az Ax b. 证 毕.
n ( t1 )
y1 , b ym
定 义3.1.1
给定矩阵 A R m n及 向 量 b R m , 确 定x R n 使 得 b Ax 2 min b Ay 2 n
yR
该问题称为最小二乘题 问,简 记 为 LS( Least Squares)问 题.
1. Householder变 换 定 义 设w R n满 足 w 2 1， 定 义H R nn为 H I 2 ww T , 则 称H为Householde r变 换.
2.Givense变 换 定 义 设 , c, s R且c cos , s sin , 则 定 义 G R nn为
根据Th3.2.2的证明过程 , 对于给定的 x R n ( x 0),得到构造 H I 2ww T 的方法: (1)计算: v x x 2 e1 , (2)计算: w v / v 2 .
构造算法程序时，应注意以下几个问题： 1)计 算 x 2时,为 避 免 溢 出 ,应 考 虑 将 x规 范 化 为x 1的 向 量 ; 2)v x x 2 e1 ; 3)在 计 算 向 量 v的 第 一 个 分 量 v1 x1 x 2时,为 避 免 两 相 近 数 相 减 ,可 x1 x 2 , 当x1 0时, 2 n xn ) v1 ( x 2 , 当x1 0时. x1 x 2 4)考 虑 到 实 际 计 算 的 需 , 要 计算得到向量 v后, 再 用v1除 其 各 个 分 量 ,以 保 证 v1 1; 5) Householde r矩 阵 的 保 存 ,只 需 输 出 : v及 2 / v T v , H I v T v.