数值分析15(最小二乘法1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x
1 x arg min ( Ax , x ) (b, x ) x 2 线性方程组 Ax = b 的解 x 。 证明: 设 u 是 Ax = b的解 1 Au = b f ( u) ( Au, u) 2 对任意 x∈R n , 只须证明 f (x) – f (u) ≥ 0 1 1 f ( x ) f ( u) ( Ax , x ) (b, x ) ( Au, u) 2 2
所以u 是方程组 Ax = b 的解。 思考: 如果矩阵半正定呢?
20:23
15/43
定理 如果矩阵A 列满秩, 则ATA正定。
证明 : 如果矩阵列满秩则矩阵列向量
1 , 2 ,
,m
线性无关, 则对于任意的非零向量 Ac c11 c2 2 cm m 0, 进一步对任意非零向量cT AT Ac 0, 故矩阵A A正定, A A可逆。
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
m 超定方程组 x y i i i 1 i 1 c =AT A \ AT y m m 2 x i x i yi 20/43 i 1 i 1
T T
20:23
10/43
1 1 2 例2 x1 1 1 1 x 2 1 1 3 1 1 1 1 1 3 1 T A A 1 1 1 3 1 1 1 1 1 2 x 3 1 1 1 1 6 1 T A b 1 1 1 1 4 1 3 x2 3 0.5 残差( residuals )r b Ax 0 2 20:23 2 2 2 r 2 r1 r2 r3 ( least squares ) 0.5
20:23
7/43
离散数据的拟合 x x1 f(x ) y1
求拟合函数:
x2 y2
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
Βιβλιοθήκη Baidu
( x ) c1 c2 x
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
|| Ax b || = (Ax–b , Ax–b )
2 2
=(Ax, Ax) – 2(Ax, b )+(b, b) =(ATAx, x) – 2(ATb, x)+(b, b)
arg min( A Ax , x ) 2( A b, x ) (b, b)
T T x
= arg min( A Ax , x ) 2( A b, x )
《数值分析》 15
最小二乘
最小二乘拟合
模型综述
20:23
1/43
例1: 研究弹簧伸长的长度跟引起形变的外力的关系。
load Hooke.mat
Hooke's Law
u=0.08:.0001:0.35; plot(x,y,‘o’);
v=interp1(x,y,u,'spline');hold on, plot(u,v,‘-’);
6 4
11/43
任一m n方程组Ax =b都可以看作向量方程组 x1v1 x2v2 xnvn b
寻求x的公式(b Ax ) { Ax | x R }
n
( Ax ) (b Ax ) 0, x R
T
n
x A (b Ax ) 0, x R
x1 x2 · · · · · · · · · · xm
y1
y2
· · · · · · · · · · ym
20:23
2/43
离散数据的拟合 x x1 f(x ) y1
求拟合函数:
x2 y2
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
( x ) c1 c2 x
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
m
c1 c2 xm ym
m AT Ac AT y m 20:23 xi i 1
例3: 美国人口统计数据(censusgui)
load census 研究美国人口增长的规律并预测2010年的人口。 求拟合函数:
( x) a0 a1 x a2 x a3 x
2 n an x k k 1
m k 1
an x
n
x
k 1
m
n 1 k
T T a A A \ A y m xn y 22/43 k k k 1
离散数据的最小二乘拟合
如果我们已经有了m个观测值(observations), 例如在m个x值对应的y值: x f(x )
plot(x,y,'o',u,v,'-')
20:23
19/43
离散数据的拟合 x x1 f(x ) y1
求拟合函数:
x2 y2
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
( x ) c1 c2 x
超定方程组
c1 c2 xm ym
20:23
3/43
给定n+1个数据, 存在唯一性定理保证小于等于n次插 值多项式的存在且唯一。
(n个方程n个未知量, 适定方程组)
注释: m>n
给定n+1个数据, n+1次插值多项式有无穷多个。 (n个方程m个未知量, 欠定方程组 underdetermined)
20:23
5/43
不相容方程组(inconsistent equation)
Ax b
当方程组不相容时, 如何寻求次佳(next-best)解。
r Ax b 0
我们希望残差r尽可能小,这里小的标准是什么呢？
r
2 2
Ax b 2 即 min r ( x ) ri ( least squares) min x x
如果b不属于v1和v2张成的平面?
20:23
9/43
寻求x的公式(b Ax ) { Ax | x R }
2
( Ax) (b Ax ) 0, x R
T
2
x A (b Ax ) 0, x R
T T
2
A (b Ax ) 0
T
正规方程(normal equation) A Ax A b
给定n+2个数据, n次插值多项式有多少个?
(m个方程n个未知量, 超定方程组 overdetermined)
20:23
4/43
不相容方程组(inconsistent equation)
x1 x2 2, x1 x2 1, x x 3. 1 2
Ax b
x
k 1
m
k
y1 x a0 y2 n xm an y mm y k m k 1 n x k m a k 1 0 x k yk
x 2
进一步地如果AT A可逆, 则x ( AT A)1 AT b
20:23
17/43
大数据环境下的噪声数据挖掘
20:23
18/43
例2: 研究弹簧伸长的长度跟引起形变的外力的关系。
load Hooke.mat
Hooke's Law
u=0.08:.0001:0.35; v=interp1(x,y,u,'spline');
2
2
n
2 2
20:23
i 1
6/43
例1: 研究弹簧伸长的长度跟引起形变的外力的关系。
load Hooke.mat
Hooke's Law
u=0.08:.0001:0.35; plot(x,y,‘o’);
v=interp1(x,y,u,'spline');hold on, plot(u,v,‘-’);
T T
20:23
16/43
回顾:
Ax b
m n
超定方程Ax b, 其中A R
x
,m n
最小二乘解 x arg min || Ax b ||2 （least squares） 2
初等变分原理 arg min Ax b 2 AT Ax AT b ( normal eqaution )
T T x
20:23
arg min ( A Ax , x ) ( A b, x )
x 1 2 T T
13/43
定理4.10(初等变分原理) 设A =(aij )n×n为实对称正 n 定矩阵, x, b R ,则二次函数的极值点
1 ( A( x u), ( x u)) 0 20:23 2 T T T T 1 x argmin 2 ( A Ax, x) ( A b, x) A Ax A b 14/43
超定方程组
c1 c2 xm ym
20:23
8/43
1 1 2 1 1 2 1 1 x1 1 等价于x 1 x 1 1 1 2 x 2 1 1 3 1 1 3
T T
n
AT (b Ax ) 0
正规方程(normal equation)A Ax A b
T T
20:23
12/43
方程组 Ax b 的残差: r = b – Ax
|| Ax b || 最小二乘问题 x arg min x (least squares)
2 2
Ax b
（ arg ument of the min imum）
2
3
20:23
21/43
离散数据的多项式拟合 x x1 x2 f(x ) y1 y2
求拟合函数:
1 1 x1 xm
n 1
· · · · · · · · · · xm · · · · · · · · · · ym
( x) a0 a1 x
m T T A Aa A y m xn 20:23 k k 1
一个无解的方程组称为不相容。许多情况下方程 个数大于未知量个数使解不大可能满足所有的方程。 定义: 一个方程组称为相容方程(consistent equation),若 至少存在一个解能够严格满足该方程组。 定理: 线性方程Ax=b是相容的当且仅当增广矩阵的秩 等于矩阵A的秩, 即rank([A,b])=rank(A) 。
设 u 是 f(x) 极小值点。取非零向量 x∈R n,
对任意 t∈R , 有
1 g( t ) f ( u tx ) ( A( u tx ), u tx ) ( b, u tx ) 2 2 t f ( u) t ( Au b, x ) ( Ax , x ) 2 当 t=0 时, g(0)= f(u)达到极小值, 所以 g′ (0) =0,即 ( Au – b , x ) = 0 Au – b = 0
1 x arg min ( Ax , x ) (b, x ) x 2 线性方程组 Ax = b 的解 x 。 证明: 设 u 是 Ax = b的解 1 Au = b f ( u) ( Au, u) 2 对任意 x∈R n , 只须证明 f (x) – f (u) ≥ 0 1 1 f ( x ) f ( u) ( Ax , x ) (b, x ) ( Au, u) 2 2
所以u 是方程组 Ax = b 的解。 思考: 如果矩阵半正定呢?
20:23
15/43
定理 如果矩阵A 列满秩, 则ATA正定。
证明 : 如果矩阵列满秩则矩阵列向量
1 , 2 ,
,m
线性无关, 则对于任意的非零向量 Ac c11 c2 2 cm m 0, 进一步对任意非零向量cT AT Ac 0, 故矩阵A A正定, A A可逆。
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
m 超定方程组 x y i i i 1 i 1 c =AT A \ AT y m m 2 x i x i yi 20/43 i 1 i 1
T T
20:23
10/43
1 1 2 例2 x1 1 1 1 x 2 1 1 3 1 1 1 1 1 3 1 T A A 1 1 1 3 1 1 1 1 1 2 x 3 1 1 1 1 6 1 T A b 1 1 1 1 4 1 3 x2 3 0.5 残差( residuals )r b Ax 0 2 20:23 2 2 2 r 2 r1 r2 r3 ( least squares ) 0.5
20:23
7/43
离散数据的拟合 x x1 f(x ) y1
求拟合函数:
x2 y2
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
Βιβλιοθήκη Baidu
( x ) c1 c2 x
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
|| Ax b || = (Ax–b , Ax–b )
2 2
=(Ax, Ax) – 2(Ax, b )+(b, b) =(ATAx, x) – 2(ATb, x)+(b, b)
arg min( A Ax , x ) 2( A b, x ) (b, b)
T T x
= arg min( A Ax , x ) 2( A b, x )
《数值分析》 15
最小二乘
最小二乘拟合
模型综述
20:23
1/43
例1: 研究弹簧伸长的长度跟引起形变的外力的关系。
load Hooke.mat
Hooke's Law
u=0.08:.0001:0.35; plot(x,y,‘o’);
v=interp1(x,y,u,'spline');hold on, plot(u,v,‘-’);
6 4
11/43
任一m n方程组Ax =b都可以看作向量方程组 x1v1 x2v2 xnvn b
寻求x的公式(b Ax ) { Ax | x R }
n
( Ax ) (b Ax ) 0, x R
T
n
x A (b Ax ) 0, x R
x1 x2 · · · · · · · · · · xm
y1
y2
· · · · · · · · · · ym
20:23
2/43
离散数据的拟合 x x1 f(x ) y1
求拟合函数:
x2 y2
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
( x ) c1 c2 x
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
m
c1 c2 xm ym
m AT Ac AT y m 20:23 xi i 1
例3: 美国人口统计数据(censusgui)
load census 研究美国人口增长的规律并预测2010年的人口。 求拟合函数:
( x) a0 a1 x a2 x a3 x
2 n an x k k 1
m k 1
an x
n
x
k 1
m
n 1 k
T T a A A \ A y m xn y 22/43 k k k 1
离散数据的最小二乘拟合
如果我们已经有了m个观测值(observations), 例如在m个x值对应的y值: x f(x )
plot(x,y,'o',u,v,'-')
20:23
19/43
离散数据的拟合 x x1 f(x ) y1
求拟合函数:
x2 y2
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
( x ) c1 c2 x
超定方程组
c1 c2 xm ym
20:23
3/43
给定n+1个数据, 存在唯一性定理保证小于等于n次插 值多项式的存在且唯一。
(n个方程n个未知量, 适定方程组)
注释: m>n
给定n+1个数据, n+1次插值多项式有无穷多个。 (n个方程m个未知量, 欠定方程组 underdetermined)
20:23
5/43
不相容方程组(inconsistent equation)
Ax b
当方程组不相容时, 如何寻求次佳(next-best)解。
r Ax b 0
我们希望残差r尽可能小,这里小的标准是什么呢？
r
2 2
Ax b 2 即 min r ( x ) ri ( least squares) min x x
如果b不属于v1和v2张成的平面?
20:23
9/43
寻求x的公式(b Ax ) { Ax | x R }
2
( Ax) (b Ax ) 0, x R
T
2
x A (b Ax ) 0, x R
T T
2
A (b Ax ) 0
T
正规方程(normal equation) A Ax A b
给定n+2个数据, n次插值多项式有多少个?
(m个方程n个未知量, 超定方程组 overdetermined)
20:23
4/43
不相容方程组(inconsistent equation)
x1 x2 2, x1 x2 1, x x 3. 1 2
Ax b
x
k 1
m
k
y1 x a0 y2 n xm an y mm y k m k 1 n x k m a k 1 0 x k yk
x 2
进一步地如果AT A可逆, 则x ( AT A)1 AT b
20:23
17/43
大数据环境下的噪声数据挖掘
20:23
18/43
例2: 研究弹簧伸长的长度跟引起形变的外力的关系。
load Hooke.mat
Hooke's Law
u=0.08:.0001:0.35; v=interp1(x,y,u,'spline');
2
2
n
2 2
20:23
i 1
6/43
例1: 研究弹簧伸长的长度跟引起形变的外力的关系。
load Hooke.mat
Hooke's Law
u=0.08:.0001:0.35; plot(x,y,‘o’);
v=interp1(x,y,u,'spline');hold on, plot(u,v,‘-’);
T T
20:23
16/43
回顾:
Ax b
m n
超定方程Ax b, 其中A R
x
,m n
最小二乘解 x arg min || Ax b ||2 （least squares） 2
初等变分原理 arg min Ax b 2 AT Ax AT b ( normal eqaution )
T T x
20:23
arg min ( A Ax , x ) ( A b, x )
x 1 2 T T
13/43
定理4.10(初等变分原理) 设A =(aij )n×n为实对称正 n 定矩阵, x, b R ,则二次函数的极值点
1 ( A( x u), ( x u)) 0 20:23 2 T T T T 1 x argmin 2 ( A Ax, x) ( A b, x) A Ax A b 14/43
超定方程组
c1 c2 xm ym
20:23
8/43
1 1 2 1 1 2 1 1 x1 1 等价于x 1 x 1 1 1 2 x 2 1 1 3 1 1 3
T T
n
AT (b Ax ) 0
正规方程(normal equation)A Ax A b
T T
20:23
12/43
方程组 Ax b 的残差: r = b – Ax
|| Ax b || 最小二乘问题 x arg min x (least squares)
2 2
Ax b
（ arg ument of the min imum）
2
3
20:23
21/43
离散数据的多项式拟合 x x1 x2 f(x ) y1 y2
求拟合函数:
1 1 x1 xm
n 1
· · · · · · · · · · xm · · · · · · · · · · ym
( x) a0 a1 x
m T T A Aa A y m xn 20:23 k k 1
一个无解的方程组称为不相容。许多情况下方程 个数大于未知量个数使解不大可能满足所有的方程。 定义: 一个方程组称为相容方程(consistent equation),若 至少存在一个解能够严格满足该方程组。 定理: 线性方程Ax=b是相容的当且仅当增广矩阵的秩 等于矩阵A的秩, 即rank([A,b])=rank(A) 。
设 u 是 f(x) 极小值点。取非零向量 x∈R n,
对任意 t∈R , 有
1 g( t ) f ( u tx ) ( A( u tx ), u tx ) ( b, u tx ) 2 2 t f ( u) t ( Au b, x ) ( Ax , x ) 2 当 t=0 时, g(0)= f(u)达到极小值, 所以 g′ (0) =0,即 ( Au – b , x ) = 0 Au – b = 0