最小二乘法 看这个就够了_张俊_包教包会

• 特定形式：


• 一般形式：
总结
• 线性：
• 解法：
min Ax b
2
• QR分解：避开求逆
总结
• 非线性：
• Gauss-Newton解法：
• Levenberg-Marquardt , LM解法：
一. 最小二乘问题
两大应用 • 1) 回归方程 • 2) 解方程组
怎么得到的？
一. 最小二乘问题
特例（线性）： y F(t1 ,...,tn ,x 1 ,..., x n )
y x 0 x 1t1 x 2t2 ... x ntn y (i ) x 0 x 1t1
(i )
三. Gauss-Newton法
• 结论！
其中,
1. 怎么得到？
2.非线性迭代公式？
引入-非线性
目录
• 零. 引入，举普通例，举例2个，例子的问题迭代公式 • 一. 最小二乘问题 • 二. 最小二乘解法
• 解条件 • 解方程组 （理论上） • QR分解（实际操作上） • 线性化 • 迭代 • 推导迭代公式
• 解条件 • 解方程组 （理论上） • QR分解（实际操作上） • 线性化 • 迭代 • 推导迭代公式
• 三. Gauss-Newton法
• *四. 修正Gauss-Newton • *五. 阻尼最小二乘法（Levenberg-Marquardt , LM）
五. 阻尼最小二乘法（LM）
• 另一个角度处理 奇异时的情况。
x 2t2
(i )
... x ntn (i 1... m)
(i )
m 2 方程组： min f i (x 1 ,..., x n ) i 1 m (i ) (i ) 2 回归： min F(t ,x ) y i 1


m 2 方程组： min f i (x 1 ,..., x n ) i 1 m (i ) (i ) 2 回归： min F(t ,x ) y i 1
• 四. 修正Gauss-Newton • 五. 阻尼最小二乘法（Levenberg-Marquardt , LM）
三. Gauss-Newton法（非线性）
• 本质：
• 线性化 • 迭代一种迭代算法
• 求法：线性化，Taylor展开，用线性逼近非线性。
三. Gauss-Newton法
三. Gauss-Newton法


m 2 方程组： min f i (x 1 ,..., x n ) i 1 m (i ) (i ) 2 回归： min F(t ,x ) y i 1

来自百度文库

1.（ 线性）怎么得到？
2.（非线性）迭代公式？
• 零. 引入，举普通例，举例2个，例子的问题迭代公式 • 一. 最小二乘问题 • 二. 最小二乘解法（线性）
例：结合我们的3D SLAM
• 机器人测得离墙 面x1x2的距离yi是 x1、x2的函数： • yi=fi(x1i,x2i) =b0+b1x1i+b2x2i +e
多元
实际中，影响变量y 的不止一个x，而是 多个xi。
多元
线性可以这样解出参数b
• 以上多元线性：y关于参数b线性; • 以上都是回归。 最小二乘有两种应用 • 应用1：回归 • 应用2：解方程组
最小二乘法
张俊 2016/3/21
目录
• 引入 • 一. 最小二乘问题 • 二. 最小二乘解法（线性） • 三. Gauss-Newton法（非线性） • *四. 修正Gauss-Newton • *五. 阻尼最小二乘法（Levenberg-Marquardt , LM）
引入
• 简单的一元 • 二元 • n元 y = b0+bx1 y = b0+b1x1+b2x2 y = b0+b1x1+b2x2+…+bkxk
T
• 1）解条件
• 证明？
②
• 2) 法方程组的解法
min Ax b
2
x ( AT A) 1 AT b
能不能不求逆？ 答：可以，QR分解！
1.（ 线性）怎么得到？
2.（非线性）迭代公式？
min Ax b
2
可逆才行！
• 3) 用QR分解求线性最小二乘解
避免求逆
x ( AT A) 1 AT b
五. 阻尼最小二乘法（LM）
五. 阻尼最小二乘法（LM）
五. 阻尼最小二乘法（LM）
总结
• 2个应用：
• 解方程组 • 回归（拟合）
m 2 方程组： min f i (x 1 ,..., x n ) i 1 m (i ) (i ) 2 回归： min F(t ,x ) y i 1
• 非线性：
• 举例1： 解非线性方程组 • 举例2： 非线性回归
• 问题：上两例中，迭代公式怎么来的？
一元
• y = b0 + bx
一、参数估计： 10名学生的身高与体重散点图
75 70 65
体重（Y）
确定两个变量之间的线性关系，即直线拟合问题。
60 55 50 45 40 158 160 162 164 166 168 170 身高（X） 172 174 176 178
y = b0 + bx b0 、 b是未知参数，待估计 优化
• 10个测量方程 • vi = yi-(b0+bxi ) • 2个未知数b0、b。 • 估计b0、b的最佳值，使误 差和最小。 • min {Σ [yi-(b0+bxi )]2
作为未知量
二元的
例：结合我们的3D SLAM
• Kinect数据 • RGB图，深度图D，点云图
• 三. Gauss-Newton法
• *四. 修正Gauss-Newton • *五. 阻尼最小二乘法（Levenberg-Marquardt , LM）
四. 修正Gauss-Newton
• 处理当 奇异时的情况。
四. 修正Gauss-Newton
目录
• 零. 引入，举普通例，举例2个，例子的问题迭代公式 • 一. 最小二乘问题 • 二. 最小二乘解法
• 解条件 • 解方程组 （理论上） • QR分解（实际操作上） • 线性化 • 迭代 • 推导迭代公式
• 三. Gauss-Newton法（非线性）
• 四. 修正Gauss-Newton • 五. 阻尼最小二乘法（Levenberg-Marquardt , LM）
二. 最小二乘解法（线性）
• 最小二乘法的一般形式可写为 min f ( x) f ( x)
• 结论！对A做QR分解，那么解
即可。不需求逆
• 零. 引入，举普通例，举例2个，例子的问题迭代公式 • 一. 最小二乘问题 • 二. 最小二乘解法（线性）
• 解条件 • 解方程组 （理论上） • QR分解（实际操作上） • 线性化 • 迭代 • 推导迭代公式
• 三. Gauss-Newton法（非线性）
非线性？ 解方程组？
引入-非线性
引入-非线性最小二乘问题
一般地，
其中，
f(x )
[f1(x ) ，f2(x )... fm (x )]T f1(x ) f ( x ) 2 ... fm (x )
目录
• 零. 引入，举普通例，举例2个，例子的问题迭代公式 • 一. 最小二乘问题 • 二. 最小二乘解法（线性） • 三. Gauss-Newton法（非线性） • *四. 修正Gauss-Newton • *五. 阻尼最小二乘法（Levenberg-Marquardt , LM）