数值分析16(最小二乘法2)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n 1
17/46
初等行变换不改变方程组的解
1. 交换矩阵第i行与第j行 2.非零数k乘以矩阵第i行的每个元素
3. 矩阵第i行的每个元素的k倍加到第 j行的对应元素
1 1 2 1 1 x1 1 x 2 1 1 3
ann ( x)
超定方程组
20:23
4/46
回顾:
Ax b
m n
2 2
超定方程Ax b, 其中A R
x
,m n
最小二乘解 x arg min || Ax b ||（next best）
初等变分原理 arg min Ax b 2 AT Ax AT b ( normal eqaution )
( u1 , vk ) ( u1 , u1 )
uk -1 +uk
23/46
Gram-Schmidt正交化的矩阵编码
v1 u1 v2 v3 vk
( u1 , v2 ) ( u1 , u1 ) ( u1 , v3 ) ( u1 , u1 )
u1 u2 u1 ( u22 ,u32 ) u2 u3 u1
不相容方程
首先最小二乘解一定存在, 如果矩阵列满秩则最小二 乘解唯一, 如果矩阵秩亏损的情形, 所有最小二乘解有 唯一的最小范数最小二乘解。
20:23
13/46
对于任意矩阵, Moore-Penrose逆矩阵存在且唯一。
如果X 是方阵且非奇异, 则X † X 1 , 如果X 是列满秩, X † ( X T X )1 X T , 如果X 是行满秩, X † X T ( XX T )1 ,
( x ) c1 c2 x
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
超定方程组
c1 c2 xm ym
20:23
—— Gram-Schmidt正交化——
v1 u1 v2 v3 vk
20:23
( u1 , v2 ) ( u1 , u1 ) ( u1 , v3 ) ( u1 , u1 )
u1 u2 u1 u1
( u2 , v3 ) ( u2 , u2 )
u2 u3
( uk 1 , vk ) ( uk 1 , uk 1 )
2/46
离散数据的多项式拟合 x x1 x2 f(x ) y1 y2
求拟合函数:
1 1
· · · · · · · · · · xm · · ·源自文库· · · · · · · ym
( x) a0 a1 x
x1 xm
n 1
an x
n
y1 x a0 y2 n xm an y m
超定方程组
3/46
20:23
离散数据的线性拟合 x x1 x2 f(x ) y1 y2
· · · · · · · · · · xm · · · · · · · · · · ym
求拟合函数: ( x ) a00 ( x) a11 ( x)
0 ( x1 ) 1 ( x1 ) 0 ( xm ) 1 ( xm ) y1 n ( x1 ) a0 y2 n ( xm ) an y m
《数值分析》 16
最小二乘解的存在唯一性
最小二乘解的数值方法
20:23
1/46
离散数据的直线拟合 x x1 x2 f(x ) y1 y2
求拟合函数:
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
Matlab: pinv (Pseudoinverse) 比较back slash和pinv的区别。
1 2 3 16 4 5 6 17 X 7 8 9 , y 18 10 11 12 19 13 14 15 20
初等变分原理 arg min Ax b 2 AT Ax AT b ( normal eqaution )
x 2
20:23
20/46
正交矩阵QTQ=QQT=I 半正交矩阵QTQ=I(列正交)或QQT=I (行正交)
回顾:正交矩阵乘向量,则向量2范数不变。 QTQ= I , y =Qx
yT y (Qx)T (Qx) xT QT Qx xT x
20:23
10/46
定理 如果矩阵A 列满秩, 则ATA可逆。
证明 : 如果矩阵列满秩则矩阵列向量1 , 2 , 线性无关, 则对于任意的非零向量c Ac c11 c2 2 cn n 0, 进一步有对任意非零向量c A Ac 0,
T T
, n
因为矩阵AT A正定, AT A可逆。
其中Fk 为 Frobenius矩阵。
A=F1-1F2-1 · · · · · · Fn-1-1 A(n – 1) L U
1 m 21 L 1 m n1 m n , n 1
20:23
1
a11 U
a12 (1) a 22
20:23
( u1 , v2 ) ( u1 , u1 ) ( u1 ,v3 ) ( u1 , u1 )
u1 u1 u1
( u2 , v3 ) ( u2 , u2 )
u2
( uk 1 , vk ) ( uk 1 , uk 1 )
( u1 ,vk ) ( u1 , u1 )
uk -1
22/46
20:23
8/46
相容方程解的唯一性 是否存在某种意义下的唯一性?
最小范数解(minimum norm solution):
如果存在G满足 Gb 2 = min x 2 , 则称Gb为相容方程的最小范数解,
Ax b
广义逆矩阵G为最小范数广义逆矩阵。
定理: Gb是相容矩阵的最小范数解当且仅当 AGA=A, (GA)H=GA。 参考: 张贤达, 矩阵分析与应用, 清华大学
如果m =n且A非奇异, 则方程的解为x A-1b。一个自然的问题是在 m n和A为秩亏缺( rank ( A) min{m , n})的情况下是否存在一个与 x A-1b相类似的解, 比如x Gb是相容方程的解?
定理: 相容方程Ax=b对y不等于零有解x=Gb当且仅当 AGA=A。(G称为是A的广义逆generalized inverse)
定理: Gb是不相容矩阵的最小范数最小二乘解当且仅当 AGA=A, (AG)H=AG, GAG=G, (GA)H=GA。
注释: 最小范数最小二乘广义矩阵即Moore-Penrose矩阵。
20:23
12/46
总结 相容方程
Ax b Ax b
arg min Ax b
x 2 2
矩阵可逆则解唯一, 如果矩阵秩亏损的情形, 则所有解 中有唯一的最小范数解。
20:23 pinv(X)*y, norm(X\y) , norm(pinv(X)*y) X\y,
14/46
1范数意义下的残差最小
Sparse and Redundant Representations:
参考文献:
From Theory to Applications in Signal and Image Processing
20:23
1 1 2 1 1 x1 1 x 2 3 3 9
18/46
1.7500 0.7500 1.9500 0.9500
直接方法: 高斯消元法
A(n – 1) = Fn-1Fn-2· · · · · · · F1 A
20:23
15/46
最小二乘拟合问题研究包括:
模型的选取
存在唯一性 最小二乘解的计算
20:23
16/46
为什么不直接求解正规方程?
正规方程(normal equation) AT Ax AT b
A Rmn , 其中m n, AT Ax AT b注意AT A Rnn cond ( A A) (cond ( A))
T 2
1 1
x1 xm
1 1 2 1 1 T X 0 , X X 2 1 1 20:23 0
y1 x a0 y2 n xm an y m
1 k ( ukk1 , uk 1 ) uk -1 +uk
( u ,v )
( u1 , vk ) ( u1 , u1 )
(u
,v )
1 r12 1 v1v2 vk u1u2 uk u1,u2, un是正交基向量
r13 r23 1
r1k r2 k rk 1,k 1
20:23
9/46
不相容方程解的存在性
Ax b
x arg min || Ax b ||2 2
x
不相容方程的最小二乘解总是存在的。 证明: 即证明正规方程是相容方程。 rank([ATA, b])=rank(ATA)
设rank( A) k , 则rank( AT A) rank( AT ) rank( A) k , rank([ AT A, AT b]) rank( AT A) k 由于[ AT A, AT b] AT [ A, b], 故rank([ AT A, AT b]) min{rank( AT ),rank([ A, b])} rank([ AT A, AT b]) k 综上所述 ,rank([ AT A, AT b]) rank(AT A) k
x
20:23
2
进一步地如果AT A可逆, 则x ( AT A)1 AT b
5/46
最小二乘拟合问题研究包括:
模型的选取
存在唯一性 最小二乘解的计算
20:23
6/46
广义矩阵(Ax=b统一的理论解释)
Ax =b
Ax b
20:23
7/46
相容方程的解
定义: 一个方程组称为相容方程(consistent equation),若 至少存在一个解能够严格满足该方程组。 定理: 线性方程Ax=b是相容的当且仅当增广矩阵的秩 等于矩阵A的秩, 即rank([A,b])=rank(A) 。
定理 矩阵A列满秩时, 最小二乘解唯一x= (ATA ) -1ATb。
20:23
11/46
不相容方程解的唯一性 是否存在某种意义下的唯一性? 最小范数最小二乘解 (minimum norm least squares solution)
若存在G满足 Gb 2 x 2 其中x {x : Ax b 2 Az b 2 z }, 则称Gb 是最小范数最小二乘解, G称为最小范数最小二乘广义矩阵。
a1n (1) a2 n ( n 1 ) a nn
19/46
矩阵LU分解是高斯消元法的矩阵编码。
回顾:
不相容Ax b
m n
超定方程Ax b, 其中A R
x
,m n
最小二乘解 x arg min || Ax b ||2 （least squares） 2
|| y || || Qx || || x ||
2 2 2 2
x 2 2
2 2
2 2
x arg min || QAx Qb || arg min || Rx Qb ||
x
20:23
21/46
—— Gram-Schmidt正交化——
u1 v1 u2 v2 u3 v3 uk vk
17/46
初等行变换不改变方程组的解
1. 交换矩阵第i行与第j行 2.非零数k乘以矩阵第i行的每个元素
3. 矩阵第i行的每个元素的k倍加到第 j行的对应元素
1 1 2 1 1 x1 1 x 2 1 1 3
ann ( x)
超定方程组
20:23
4/46
回顾:
Ax b
m n
2 2
超定方程Ax b, 其中A R
x
,m n
最小二乘解 x arg min || Ax b ||（next best）
初等变分原理 arg min Ax b 2 AT Ax AT b ( normal eqaution )
( u1 , vk ) ( u1 , u1 )
uk -1 +uk
23/46
Gram-Schmidt正交化的矩阵编码
v1 u1 v2 v3 vk
( u1 , v2 ) ( u1 , u1 ) ( u1 , v3 ) ( u1 , u1 )
u1 u2 u1 ( u22 ,u32 ) u2 u3 u1
不相容方程
首先最小二乘解一定存在, 如果矩阵列满秩则最小二 乘解唯一, 如果矩阵秩亏损的情形, 所有最小二乘解有 唯一的最小范数最小二乘解。
20:23
13/46
对于任意矩阵, Moore-Penrose逆矩阵存在且唯一。
如果X 是方阵且非奇异, 则X † X 1 , 如果X 是列满秩, X † ( X T X )1 X T , 如果X 是行满秩, X † X T ( XX T )1 ,
( x ) c1 c2 x
y1 1 x1 1 x c y 1 2 2 Ac=y c2 1 x m ym
超定方程组
c1 c2 xm ym
20:23
—— Gram-Schmidt正交化——
v1 u1 v2 v3 vk
20:23
( u1 , v2 ) ( u1 , u1 ) ( u1 , v3 ) ( u1 , u1 )
u1 u2 u1 u1
( u2 , v3 ) ( u2 , u2 )
u2 u3
( uk 1 , vk ) ( uk 1 , uk 1 )
2/46
离散数据的多项式拟合 x x1 x2 f(x ) y1 y2
求拟合函数:
1 1
· · · · · · · · · · xm · · ·源自文库· · · · · · · ym
( x) a0 a1 x
x1 xm
n 1
an x
n
y1 x a0 y2 n xm an y m
超定方程组
3/46
20:23
离散数据的线性拟合 x x1 x2 f(x ) y1 y2
· · · · · · · · · · xm · · · · · · · · · · ym
求拟合函数: ( x ) a00 ( x) a11 ( x)
0 ( x1 ) 1 ( x1 ) 0 ( xm ) 1 ( xm ) y1 n ( x1 ) a0 y2 n ( xm ) an y m
《数值分析》 16
最小二乘解的存在唯一性
最小二乘解的数值方法
20:23
1/46
离散数据的直线拟合 x x1 x2 f(x ) y1 y2
求拟合函数:
· · · · · · · · · · xm · · · · · · · · · · ym
c1 c2 x1 y1 c1 c2 x2 y2
Matlab: pinv (Pseudoinverse) 比较back slash和pinv的区别。
1 2 3 16 4 5 6 17 X 7 8 9 , y 18 10 11 12 19 13 14 15 20
初等变分原理 arg min Ax b 2 AT Ax AT b ( normal eqaution )
x 2
20:23
20/46
正交矩阵QTQ=QQT=I 半正交矩阵QTQ=I(列正交)或QQT=I (行正交)
回顾:正交矩阵乘向量,则向量2范数不变。 QTQ= I , y =Qx
yT y (Qx)T (Qx) xT QT Qx xT x
20:23
10/46
定理 如果矩阵A 列满秩, 则ATA可逆。
证明 : 如果矩阵列满秩则矩阵列向量1 , 2 , 线性无关, 则对于任意的非零向量c Ac c11 c2 2 cn n 0, 进一步有对任意非零向量c A Ac 0,
T T
, n
因为矩阵AT A正定, AT A可逆。
其中Fk 为 Frobenius矩阵。
A=F1-1F2-1 · · · · · · Fn-1-1 A(n – 1) L U
1 m 21 L 1 m n1 m n , n 1
20:23
1
a11 U
a12 (1) a 22
20:23
( u1 , v2 ) ( u1 , u1 ) ( u1 ,v3 ) ( u1 , u1 )
u1 u1 u1
( u2 , v3 ) ( u2 , u2 )
u2
( uk 1 , vk ) ( uk 1 , uk 1 )
( u1 ,vk ) ( u1 , u1 )
uk -1
22/46
20:23
8/46
相容方程解的唯一性 是否存在某种意义下的唯一性?
最小范数解(minimum norm solution):
如果存在G满足 Gb 2 = min x 2 , 则称Gb为相容方程的最小范数解,
Ax b
广义逆矩阵G为最小范数广义逆矩阵。
定理: Gb是相容矩阵的最小范数解当且仅当 AGA=A, (GA)H=GA。 参考: 张贤达, 矩阵分析与应用, 清华大学
如果m =n且A非奇异, 则方程的解为x A-1b。一个自然的问题是在 m n和A为秩亏缺( rank ( A) min{m , n})的情况下是否存在一个与 x A-1b相类似的解, 比如x Gb是相容方程的解?
定理: 相容方程Ax=b对y不等于零有解x=Gb当且仅当 AGA=A。(G称为是A的广义逆generalized inverse)
定理: Gb是不相容矩阵的最小范数最小二乘解当且仅当 AGA=A, (AG)H=AG, GAG=G, (GA)H=GA。
注释: 最小范数最小二乘广义矩阵即Moore-Penrose矩阵。
20:23
12/46
总结 相容方程
Ax b Ax b
arg min Ax b
x 2 2
矩阵可逆则解唯一, 如果矩阵秩亏损的情形, 则所有解 中有唯一的最小范数解。
20:23 pinv(X)*y, norm(X\y) , norm(pinv(X)*y) X\y,
14/46
1范数意义下的残差最小
Sparse and Redundant Representations:
参考文献:
From Theory to Applications in Signal and Image Processing
20:23
1 1 2 1 1 x1 1 x 2 3 3 9
18/46
1.7500 0.7500 1.9500 0.9500
直接方法: 高斯消元法
A(n – 1) = Fn-1Fn-2· · · · · · · F1 A
20:23
15/46
最小二乘拟合问题研究包括:
模型的选取
存在唯一性 最小二乘解的计算
20:23
16/46
为什么不直接求解正规方程?
正规方程(normal equation) AT Ax AT b
A Rmn , 其中m n, AT Ax AT b注意AT A Rnn cond ( A A) (cond ( A))
T 2
1 1
x1 xm
1 1 2 1 1 T X 0 , X X 2 1 1 20:23 0
y1 x a0 y2 n xm an y m
1 k ( ukk1 , uk 1 ) uk -1 +uk
( u ,v )
( u1 , vk ) ( u1 , u1 )
(u
,v )
1 r12 1 v1v2 vk u1u2 uk u1,u2, un是正交基向量
r13 r23 1
r1k r2 k rk 1,k 1
20:23
9/46
不相容方程解的存在性
Ax b
x arg min || Ax b ||2 2
x
不相容方程的最小二乘解总是存在的。 证明: 即证明正规方程是相容方程。 rank([ATA, b])=rank(ATA)
设rank( A) k , 则rank( AT A) rank( AT ) rank( A) k , rank([ AT A, AT b]) rank( AT A) k 由于[ AT A, AT b] AT [ A, b], 故rank([ AT A, AT b]) min{rank( AT ),rank([ A, b])} rank([ AT A, AT b]) k 综上所述 ,rank([ AT A, AT b]) rank(AT A) k
x
20:23
2
进一步地如果AT A可逆, 则x ( AT A)1 AT b
5/46
最小二乘拟合问题研究包括:
模型的选取
存在唯一性 最小二乘解的计算
20:23
6/46
广义矩阵(Ax=b统一的理论解释)
Ax =b
Ax b
20:23
7/46
相容方程的解
定义: 一个方程组称为相容方程(consistent equation),若 至少存在一个解能够严格满足该方程组。 定理: 线性方程Ax=b是相容的当且仅当增广矩阵的秩 等于矩阵A的秩, 即rank([A,b])=rank(A) 。
定理 矩阵A列满秩时, 最小二乘解唯一x= (ATA ) -1ATb。
20:23
11/46
不相容方程解的唯一性 是否存在某种意义下的唯一性? 最小范数最小二乘解 (minimum norm least squares solution)
若存在G满足 Gb 2 x 2 其中x {x : Ax b 2 Az b 2 z }, 则称Gb 是最小范数最小二乘解, G称为最小范数最小二乘广义矩阵。
a1n (1) a2 n ( n 1 ) a nn
19/46
矩阵LU分解是高斯消元法的矩阵编码。
回顾:
不相容Ax b
m n
超定方程Ax b, 其中A R
x
,m n
最小二乘解 x arg min || Ax b ||2 （least squares） 2
|| y || || Qx || || x ||
2 2 2 2
x 2 2
2 2
2 2
x arg min || QAx Qb || arg min || Rx Qb ||
x
20:23
21/46
—— Gram-Schmidt正交化——
u1 v1 u2 v2 u3 v3 uk vk