计算智能 非线性优化计算(3)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T 2 i T
AA vi v
T
2 i i
A UDV
T
Amn
( AA )mm
T
U
A ui
1 i T
V
A UDV
mn
( A A)nn
T
T
Amn
V
Avi
1 i
U V
m n
Amn
( AA )mm
T
U
A ui
1 i T
1
根据上述定理及推论,对实对称矩阵来构造与 之对应的正定阵.
设G为非奇异的实对称矩阵,其特征值系统是
i 0 (i 1, , n)
ui (i 1, , n)
n
是G的特征值, 是对应的特征向量.
T i i
G | i | u u
i 1
正定矩阵
设G为实对称矩阵， 0
⑤ 令
u
(k ) j
u || u
(k ) j (k ) j
n
||
i max{| i |, }
⑥ 计算 ⑦ 计算
G i1ui( k )ui( k )T
i 1
1 k
p k -G g
1 k k
⑧ 执行求迭代步长阻尼系数 k 的算法后返回⑨ ⑨ 计算 xk+1 xk k pk ⑩ 终止检测。是转12
m n
A UFV
T
T T
A VFU
T
T
A A VFU UFV A A VF V
T 2 T T T 2
T
V A AV F
A Avi v
T
2 i i
设：
T
ui Avi
1 i
AA ui AA Avi
T 1 i T
AA ui A( A A)vi T 2 AA ui Ai vi
i max{| i |, }, i 1, 2, , n ,
G u u
i 1
n
T i i i
G 1 i1ui uiT
i 1
n
0 ① 送 x0 , ② 置 k 0 ③ 计算 g k 和 Gk (k ) (k ) u ④ 用幂法计算 Gk 的特征值 j 和特征向量 j ( j 1, , n)
定理: 设G为实对称矩阵,i为G的特征值, 应于 i 的特征向量, 则
ui
是对
G i ui uiT
i 1
n
证
Gui iui
G1T G G T n
G u iu ji
T j i
(i, j 1, ,n)
其中 ui (u1i , , uni )T , i 1, , n n u ( m 1, , n ) R 由于 m 组成 上的一组基,于是对 于每一个j均存在一组实数u jm ( j, m 1,, n) ,使 得
1
1
假设对于任意矩阵
0 T A U V 0 0
r r U AmnV 0
T
T
0 0 mn
mn mn
Dnn U AmnV F 0 mn
U T AmnV Dmn F U T AmnV Dmm 0mn F
G 1 i1uiuiT
i 1 n
证 由于G为实对称矩阵,且 G 亦为对称阵, 且特征值系统为 i1 (i 1, , n) 是 G 1的特征值, 1 ui (i 1, , n) 是对应于 i 特征向量. 故有前述定理知
G u u
1 i 1 n 1 1 i i i
T 1 i 1 i
AA ui ( Avi ) T 2 AA ui i ui
T 2 i 1 i
A UDV
T
Amn
( A A)nn
T
V
Avi
源自文库 i
U
m n ??
A UFV
T
T T
A VFU
T
T
AA UFV VFU AA UF U
T 2 T 2
T
非线性优化——特征值
主要内容
特征值法
SVD
2 Newton法往往要Hesse矩阵 G(x ) f (x ) 正定
当不满足要求时，负定 (奇异)而遭到破坏。如果 强迫Hesse矩阵正定是修正Newton法的一条重要 途径。
特征值法即是利用Hesse矩阵的特征值系统来构造 正定矩阵的一种方法。
G j u jmum
m 1
n
由上两式得
T u u jm m ui iu ji m 1 n
再由 ui (i 1, , n) 的正交性,知 u ji iu ji (i 1, , n)
综合上三式即得
G u u
i 1 n T i i i
推论 设G为实对称矩阵,且det(G) 0,则
11.置k=k+1,
12.置 x* xk 1 13. Stop。
转3；
SVD分解
在工程上任意矩阵A
0 T A U V 0 0
U1 0 V1 A V U 0 0 2 2
矩阵A的广义逆：
T
A V1 U1
U AA U F
T T
AA ui u
T
2 i i
设：
T
vi A ui
1 i T
A Avi A A A ui
T 1 i T
A Avi A ( AA )ui T 2 A Avi A i ui
T 1 T i 1 T i 1 i T
A Avi ( A ui )
AA vi v
T
2 i i
A UDV
T
Amn
( AA )mm
T
U
A ui
1 i T
V
A UDV
mn
( A A)nn
T
T
Amn
V
Avi
1 i
U V
m n
Amn
( AA )mm
T
U
A ui
1 i T
1
根据上述定理及推论,对实对称矩阵来构造与 之对应的正定阵.
设G为非奇异的实对称矩阵,其特征值系统是
i 0 (i 1, , n)
ui (i 1, , n)
n
是G的特征值, 是对应的特征向量.
T i i
G | i | u u
i 1
正定矩阵
设G为实对称矩阵， 0
⑤ 令
u
(k ) j
u || u
(k ) j (k ) j
n
||
i max{| i |, }
⑥ 计算 ⑦ 计算
G i1ui( k )ui( k )T
i 1
1 k
p k -G g
1 k k
⑧ 执行求迭代步长阻尼系数 k 的算法后返回⑨ ⑨ 计算 xk+1 xk k pk ⑩ 终止检测。是转12
m n
A UFV
T
T T
A VFU
T
T
A A VFU UFV A A VF V
T 2 T T T 2
T
V A AV F
A Avi v
T
2 i i
设：
T
ui Avi
1 i
AA ui AA Avi
T 1 i T
AA ui A( A A)vi T 2 AA ui Ai vi
i max{| i |, }, i 1, 2, , n ,
G u u
i 1
n
T i i i
G 1 i1ui uiT
i 1
n
0 ① 送 x0 , ② 置 k 0 ③ 计算 g k 和 Gk (k ) (k ) u ④ 用幂法计算 Gk 的特征值 j 和特征向量 j ( j 1, , n)
定理: 设G为实对称矩阵,i为G的特征值, 应于 i 的特征向量, 则
ui
是对
G i ui uiT
i 1
n
证
Gui iui
G1T G G T n
G u iu ji
T j i
(i, j 1, ,n)
其中 ui (u1i , , uni )T , i 1, , n n u ( m 1, , n ) R 由于 m 组成 上的一组基,于是对 于每一个j均存在一组实数u jm ( j, m 1,, n) ,使 得
1
1
假设对于任意矩阵
0 T A U V 0 0
r r U AmnV 0
T
T
0 0 mn
mn mn
Dnn U AmnV F 0 mn
U T AmnV Dmn F U T AmnV Dmm 0mn F
G 1 i1uiuiT
i 1 n
证 由于G为实对称矩阵,且 G 亦为对称阵, 且特征值系统为 i1 (i 1, , n) 是 G 1的特征值, 1 ui (i 1, , n) 是对应于 i 特征向量. 故有前述定理知
G u u
1 i 1 n 1 1 i i i
T 1 i 1 i
AA ui ( Avi ) T 2 AA ui i ui
T 2 i 1 i
A UDV
T
Amn
( A A)nn
T
V
Avi
源自文库 i
U
m n ??
A UFV
T
T T
A VFU
T
T
AA UFV VFU AA UF U
T 2 T 2
T
非线性优化——特征值
主要内容
特征值法
SVD
2 Newton法往往要Hesse矩阵 G(x ) f (x ) 正定
当不满足要求时，负定 (奇异)而遭到破坏。如果 强迫Hesse矩阵正定是修正Newton法的一条重要 途径。
特征值法即是利用Hesse矩阵的特征值系统来构造 正定矩阵的一种方法。
G j u jmum
m 1
n
由上两式得
T u u jm m ui iu ji m 1 n
再由 ui (i 1, , n) 的正交性,知 u ji iu ji (i 1, , n)
综合上三式即得
G u u
i 1 n T i i i
推论 设G为实对称矩阵,且det(G) 0,则
11.置k=k+1,
12.置 x* xk 1 13. Stop。
转3；
SVD分解
在工程上任意矩阵A
0 T A U V 0 0
U1 0 V1 A V U 0 0 2 2
矩阵A的广义逆：
T
A V1 U1
U AA U F
T T
AA ui u
T
2 i i
设：
T
vi A ui
1 i T
A Avi A A A ui
T 1 i T
A Avi A ( AA )ui T 2 A Avi A i ui
T 1 T i 1 T i 1 i T
A Avi ( A ui )