全最小二乘法(y=ax+b形式讨论)+演示文稿
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
d (3 x y 2 x) e (x f
2
y
n
i i
2
i
2y 2y )
2
x y
n
xy
由一元三次方程的求根公式可以求出a的值为 d 3 27c 2 f 9cde 2d 3 27c 2 f 9cde 2d 3 2 3ce d 2 3 a ( ) ( ) 3 3 2 3c 54c 54c 9c 27c 2 f 9cde 2d 3 27c 2 f 9cde 2d 3 2 3ce d 2 3 3 ( ) ( ) 3 3 2 54c 54c 9c
全最小二乘法
y=ax+b形式讨论
南昌大学管理科学与工程 张星标(405504208177)
elva6401@163.com 2009-3-23
1.问题的引入
• 最小二乘法是在计算沿着y方向到直线y=ax+b的距离（即 AB）平方和最小的基础上的得出的a和b的估计值。可不可 以在计算AC平方和的基础来估计a和b的值？
i i 2
2
n
n
i
a 2ab xi 2 2ab y n
wk.baidu.com.3化简
把（3）代入有：
x y
n
i i
a 2 a (a 1)( y ax) x yi 2a( y ax) xi 2 2a( y ax) y n n
2 i i
x y
n
x ya x y x a
5.参考资料
• 王福昌．经典最小二乘法与全最小二乘法及其参 数估计．统计与决策，2009，1：16-17 • 胡学军．全最小二乘法在三坐标测量中的应 用．武汉工程大学学报，2008，30(4)：112-113 • 袁荫棠．概率论与数理统计．北京：中国人民大 学出版社，2001 • 百度百科---一元三次方程求根公式 http://baike.baidu.com/view/1382952.htm
2.2计算AC平方
AC 2 ( xi xc ) 2 ( yi yc ) 2 S12 S 2 2 xi ayi ab a 2 x i ayi ab a ( yi axi b ) S1 xi 2 2 a 1 a 1 a2 1 ( xi ayi ab) (a 2 1) xi a (a 2 1) yi S 2 yi a (a 2 1) (1 a 2 1) xi ayi ab yi axi b S2 2 a (a 1) a2 1 yi axi b 2 2 ( yi axi b) 2 所以AC 2 S12 S 2 2 ( ) (a 1) 2 a 1 a2 1
x xi yi y a a y ax b
2.1计算过程
x xi ax b yi a a xi 1 (a ) x yi b a a 2 (a 1) x xi ayi ab xi ayi ab 所以C点的横坐标xc a2 1 1 xi ayi ab xi C点的纵坐标yc * yi 2 a a 1 a ( xi ayi ab) (a 2 1) xi a (a 2 1) yi yc a (a 2 1)
3.1对平方和求导
Q 2 令 2 a (a 1) 2
( y ax b)( x ay ab) 0(1)
i 1 i i i i
n
Q 2 n 2 ( yi axi b) 0(2) b (a 1) i 1 ( yi axi b)( xi ayi ab) xi yi axi 2 bxi ayi 2 abyi abyi a 2bxi ab 2 axi xi yi (a b b) xi ayi 2abyi ab
2 2 2 2
3.2化简
由(2)得： y=nb+a x y b ax b y ax(3) 由(1)得： xi yi (a b b) xi a yi 2nab a xi 2ab yi
2 2 2
x y ( a b b) x a y
3.y=ax+b的全最小二乘法求解过程
n ( yi axi b) 2 Q Qi 2 a 1 i 1 i 1 n
Qi a Qi a Qi a Qi b
2( yi axi b) *( xi ) *(a 2 1) 2a *( yi axi b) 2 (a 2 1) 2 2( yi axi b) *(a 2 xi xi ayi a 2 xi ab) (a 2 1) 2 2( yi axi b)( xi ayi ab) (a 2 1) 2 2( yi axi b) *(1) 2( yi axi b) 2 a 1 a2 1
• AB
( yi axi b)2
i 1
n
2.前提假设
• 在这里假设A坐标为（xi，yi），被估计的直线方 程为y=ax+b。 • 对直线AC的方程可以假设为y=-x/a+k，k为要求 的参数。 • 代入点A有：yi=-xi/a+k =>k=yi+xi/a • 所以AC方程为：y=-x/a+yi+xi/a • 解下面的方程组求出C点坐标。
2
2 3
y x a
2
2
i
2 ya 2 xa
2 2 3
xi 2 n
n
a
a 2 y a 2 x ya 2
2 2
2
x a (3x y 2 x)a ( x
y
n
2
i
x y xy 0 2 y 2 y )a
2 i i
n
现在的问题就变成解上面的一元三次方程： 记c= x
d (3 x y 2 x) e (x f
2
y
n
i i
2
i
2y 2y )
2
x y
n
xy
由一元三次方程的求根公式可以求出a的值为 d 3 27c 2 f 9cde 2d 3 27c 2 f 9cde 2d 3 2 3ce d 2 3 a ( ) ( ) 3 3 2 3c 54c 54c 9c 27c 2 f 9cde 2d 3 27c 2 f 9cde 2d 3 2 3ce d 2 3 3 ( ) ( ) 3 3 2 54c 54c 9c
全最小二乘法
y=ax+b形式讨论
南昌大学管理科学与工程 张星标(405504208177)
elva6401@163.com 2009-3-23
1.问题的引入
• 最小二乘法是在计算沿着y方向到直线y=ax+b的距离（即 AB）平方和最小的基础上的得出的a和b的估计值。可不可 以在计算AC平方和的基础来估计a和b的值？
i i 2
2
n
n
i
a 2ab xi 2 2ab y n
wk.baidu.com.3化简
把（3）代入有：
x y
n
i i
a 2 a (a 1)( y ax) x yi 2a( y ax) xi 2 2a( y ax) y n n
2 i i
x y
n
x ya x y x a
5.参考资料
• 王福昌．经典最小二乘法与全最小二乘法及其参 数估计．统计与决策，2009，1：16-17 • 胡学军．全最小二乘法在三坐标测量中的应 用．武汉工程大学学报，2008，30(4)：112-113 • 袁荫棠．概率论与数理统计．北京：中国人民大 学出版社，2001 • 百度百科---一元三次方程求根公式 http://baike.baidu.com/view/1382952.htm
2.2计算AC平方
AC 2 ( xi xc ) 2 ( yi yc ) 2 S12 S 2 2 xi ayi ab a 2 x i ayi ab a ( yi axi b ) S1 xi 2 2 a 1 a 1 a2 1 ( xi ayi ab) (a 2 1) xi a (a 2 1) yi S 2 yi a (a 2 1) (1 a 2 1) xi ayi ab yi axi b S2 2 a (a 1) a2 1 yi axi b 2 2 ( yi axi b) 2 所以AC 2 S12 S 2 2 ( ) (a 1) 2 a 1 a2 1
x xi yi y a a y ax b
2.1计算过程
x xi ax b yi a a xi 1 (a ) x yi b a a 2 (a 1) x xi ayi ab xi ayi ab 所以C点的横坐标xc a2 1 1 xi ayi ab xi C点的纵坐标yc * yi 2 a a 1 a ( xi ayi ab) (a 2 1) xi a (a 2 1) yi yc a (a 2 1)
3.1对平方和求导
Q 2 令 2 a (a 1) 2
( y ax b)( x ay ab) 0(1)
i 1 i i i i
n
Q 2 n 2 ( yi axi b) 0(2) b (a 1) i 1 ( yi axi b)( xi ayi ab) xi yi axi 2 bxi ayi 2 abyi abyi a 2bxi ab 2 axi xi yi (a b b) xi ayi 2abyi ab
2 2 2 2
3.2化简
由(2)得： y=nb+a x y b ax b y ax(3) 由(1)得： xi yi (a b b) xi a yi 2nab a xi 2ab yi
2 2 2
x y ( a b b) x a y
3.y=ax+b的全最小二乘法求解过程
n ( yi axi b) 2 Q Qi 2 a 1 i 1 i 1 n
Qi a Qi a Qi a Qi b
2( yi axi b) *( xi ) *(a 2 1) 2a *( yi axi b) 2 (a 2 1) 2 2( yi axi b) *(a 2 xi xi ayi a 2 xi ab) (a 2 1) 2 2( yi axi b)( xi ayi ab) (a 2 1) 2 2( yi axi b) *(1) 2( yi axi b) 2 a 1 a2 1
• AB
( yi axi b)2
i 1
n
2.前提假设
• 在这里假设A坐标为（xi，yi），被估计的直线方 程为y=ax+b。 • 对直线AC的方程可以假设为y=-x/a+k，k为要求 的参数。 • 代入点A有：yi=-xi/a+k =>k=yi+xi/a • 所以AC方程为：y=-x/a+yi+xi/a • 解下面的方程组求出C点坐标。
2
2 3
y x a
2
2
i
2 ya 2 xa
2 2 3
xi 2 n
n
a
a 2 y a 2 x ya 2
2 2
2
x a (3x y 2 x)a ( x
y
n
2
i
x y xy 0 2 y 2 y )a
2 i i
n
现在的问题就变成解上面的一元三次方程： 记c= x