非线性奇异值问题的计算

复旦大学 硕士学位论文 非线性奇异值问题的计算 姓名：刘明李 申请学位级别：硕士 专业：计算数学 指导教师：苏仰锋
20030512
复旦：赶学硕士些业论文
摘要
奇异值分解（ＳＶＤ）在科学活动中有着广泛的应用，如信号处理，图象压缩，模式识别． 它作为一个有利的分析工具为我们揭示了数据之问的本质特征．本文讨论一种非线性奇异 值问题，并给出三种新的算法在第一章介绍了非线性奇异值问题的由来．在第二章我们 给出了几种求解非线性奇异值问题的算法：乘幂法，Ｎｅｗｔ，ｏｎ Ｒａ．ｐｈｓｏｎ迭代，Ｒａｙｌｅｉｇｈ商迭 代和特征向量法，并对其中的Ｎｅｗ／，ｏｎ Ｒ．ａｐｈｓｏｎ迭代和特征向量法的收敛性进行分析，最后 给出数值例子验汪ｒ我们给出的Ｎｅｗｔｏｎ Ｉ｛ａｐｈｓｏｎ迭代在精度，时间上的优越性．
有 定理１．『１１．９ＴＬＳ问题
伽＝Ｄｙｘａ，ｚ７ｚ＝１，
ＡＴ。＝Ｄ。ｙａ， ｙＴｙ＝１
㈨ 、’
蜓毋ｉｎ∈ｍ萎（。。一玩）２一ｔ·Ｂ（ｂ）ｙ ２ ｏ：Ⅳｒ∥＿１
其中ａｉ、ｉ＝１，．，ｍ是向量ａ∈Ｒ”的元素Ｂ（ｂ）＝日ｏ＋６ｌＢｌ＋ ＋６。Ｂ。∈兄ｐ。。为以
向量ｂ∈Ｒｍ作参数的仿射矩阵函数，晟∈印“，ｉ＝０：１，…，ｍ为给定的矩阵．则它的解
２２１
（¨１ 叫 ９）
：。，１曼：限Ｔｉ曼∥［（Ｂ。∥丁（鼠。ｙ丁）鼠】ｉ矿ｍｙ２ｌ：）】矿。：ＸｚＴＤａｙｚｚ：。ｚ，：ｚ４ｒ∥４∥一。
ｔ＝１
如果（珏，ｒ，ｕ）是（１．７）的解．那么
ⅡｒＡｖ＝（ｕ于Ｄｕ札）丁＝丁
（１ １０）
将ｕ，ｕ标准化得
４南＝蒜静№…川Ｉ）
复旦大学硕士毕业论ｘ
７
ｄＴ兰：
１１…１
Ａ。＋Ｅ。≤胁≤Ａ。＋５１，ｉ＝１
定义１．Ｃ“内所有ｆ维列空间的全体，记作Ｇ７．
定理５．【４】如果…是Ｃ““上的范数，则ＩＩＰｈ（ｚ）一尸ｋ（ｗ）｜｜是Ｇ？上的度量，其中Ｚ，Ｗ∈
凹…，
如果…１是Ｃ””上的酉不变范数，则｛ＩＲＲ（Ｚ）一ＰＲ（Ｗ）｜ｌ是Ｇｒ上的酉不变度量．
供中ＰＲ（ｚ）．斥（ｗ］分别表示到咒（ｚ），Ｒ（Ⅳ）上的正交投影箅子．Ｊ 定义２．设Ｚ，Ｗ∈凹。。令
其中Ｂ（ｂ）＝Ｂｏ＋ｂｌＢｌ＋．＋ｂ。Ｂ。∈殿。目为以向量ｂ∈Ｒ”作参数的仿射矩阵函数， 马∈舻”，ｉ＝０，１， ，ｍ为给定的矩阵．按上面的方法定义函数
￡（ｂ，Ｙ，２，Ａ）＝∑（ｎ。一ｂ。）２＋２１Ｔ（Ｂｏ＋ｂｌＢｌ＋． ＋６ｍＢｍ）掣＋Ａ（１一ｙＴ掣），
。２ｌ
４
复旦大学硕士毕业论文
其中ｆ∈１７１’、Ａ∈几对其求导得
ＢｌＹＹ丁口｝ｚ＋Ｂ１ｙＡｙＴＢｆｚ＋ＢｌｄａｙｙＴＢｆｚ＋ＢｌＡｙＡｙ７１ＢＴｘ ＋Ｂｌｙ可ＴＢｌ△ｚ＋Ｂ１ｙＡｙ，ＢＦ△ｚ＋Ｂ１ＡｙｙＴＢ｝△ｚ＋ＢｌＡｙＳｙ丁Ｂｊ△ｚ
反玢
，∑Ⅲ ，∑脚 辟
ｒ弘
∑Ｐ（拶Ｔ碱岛）ｚ，
因此
Ｂ１９（ｆＴＢｌＹ）＝
ｙＴ［１
旷５：
ｙ了’瓦
注意等式右边作用在ｆ上的矩阵是一个向量和自身的外积，是一个秩一的矩阵，是非负定
的显然对（１．Ｉ）式右边每一项重复以上过程，则（１ ２）式右边可写成
ｍ
∑［Ｂｄ Ｚ丁Ｂ；Ⅳ）］ｇ＝ＤⅣ２．
（１，４）
２＝１
因此Ｄ。是一个非负或正定阵，它的元素是关于向量Ｙ的元素的二次函数．同理可得（１．３）
ｚ１＝ｚ（ｚ”ｚ）一，Ⅵ，ｌ＝ｗ（ｗ”ｗ）～
定义
ｅ（ｚ，ｗ）＝ａｒｃｃｏｓ（ｚｆ阢ｗ甲ｚ１）｛≥０
定理６．［４］对于谱范数，有等式
｜｜ｓｉｎｅ（ｚ，ｗ）ｈ＝ＩＩ屹一ＰⅣ怯Ｖ ｚ，Ｗ∈曰…
第二章算法分析
§２．１ 算法推导 由第一章知我们需要求解非线性奇异值问题
Ａｙ＝ＤⅣｚ口，ｘＴｘ＝１ ４７ｚ＝Ｄｚｙｏ、 ｙＴｙ＝１
式的右边：
∑孵（２ＴＢ，洲＝Ｄｚｙ，
（１ ５）
ｔ＝Ｉ
Ｄ。是一个非负或正定阵，它的元素是关于向量｛的元素的二次函数．
设ｚ＝ｆ／ｉ…，盯＝…Ｄ：按Ｄｆ方式定义，即出现在Ｄｚ中的ｆ的元素用。中的对应元素
代替，由于上）２是关于向量ｆ的元素的二次函数。所以ＤＩ＝Ｄ。口２定义Ａ＝∑ａ｛Ｂ。∈印”
复旦大学硕士毕业论文
￡ 口 Ｖ Ａ ＝ ，∑㈦ 。∑雠 毗
其中！∈彤，Ａ∈Ｒ对其求导得如下方程
Ａ—Ｂ＝ｌｙＴ，Ｂ７ｋⅣＡ，Ｂｙ＝０，ｙＴｙ＝ｌ
注意Ａ—Ｂ是秩一阵，由２７１Ｂｙ＝０知Ａ＝０ 由（Ａ—Ｂ）＝ｆⅣ７，（Ａ—Ｂ）Ｔ！＝Ｆ（ｆ。１ｆ）知
Ａｙ＝ｆ，ＡＴｂⅣ（２７ｆ），ｙＴｙ＝１
设ｚ＝ｌ／ｌｌ Ｚｌ｛，一＝…１．可得
（１ ３）
通过观察可以发现玩已被消去， （１ ２）式的右边关于Ｙ是二次的，关于ｆ是线性的． （１ ３）式的右边关于ｆ是二次的，关于Ｙ是线性的．不失一般性，考虑（１ １）式右边的第一 项．定义％为日ｌ的第（ｉ，Ｊ）个元素，－－ｂ。＇１为Ｂ１的第ｉ行．有：
。∑皿 ｅ ｅ 船 疵 砖 吖 Ｂ 萝 Ｔ Ｂ 曲 ＪＪ
赫南㈠㈧…圳）
ｖ＝＂／｜【口｛Ｉ：盯＝丁ｌ｜¨ｌＩｌ｜”ＩＩ 由（１．９），（１ １０）得
。７却ａ＝篙Ａ南（ｒ忆ＩＩ ＩＩ刮）＝高需（ｒ㈣㈣）２＝ｒ２－ （１１１）
这表明我们要找最小的ｒ．由（２）得
ｋ＝。ｔ一赢取丽Ｖ。２‰－－ｕＴＢｋｖＴ．
§１．２器础知识
正交性一组向量｛ｚｌ，。２，…，Ｚｐ｝∈Ｒ”是正交的当对任意ｉ≠，都有ｚ｝巧＝０如果 ｚＴｑ：６。则称为单位正交．直观的说，正交向量是最无关的，因为它们指向完全不同的向
由下面生成： ｆ叫找到满足下面条件最小的ｆ及其对应的ｕ，ｕ
Ａｖ＝Ｄ＂ｕ丁，
Ａ丁ｕ＝Ｄ“＂丁，
ｕＴＤ口ｕ＝ｌ， ｙＴＤｕ口＝１．
、
’
其中＾＝ｉ曼＝１％鼠Ｄ“由Ｄ。ｕ＝圣曰｝（ｔ￡ＴＢ∥）“定义． Ｄ。是一个正定或非负定矩阵，Ｄ。
的元素关于ｕ的元素是二次的Ｄ。由Ｄ。ｕ＝∑Ｂ。（“ＴＢ。ｖ）ｖ定义．Ｄ，，是一个正定或非
关键字： 非线性奇异值分解；最小二乘法；Ｎｅｗｔｏｎ Ｒａｐｈｓｏｎ迭代
复旦大学硕圭毕业论文
２
Ａｂｓｔｒａｃｔ
ＳＶＤ ｈａｓ ａ ｇｒｅａｔ ｄｅａｌ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｍａｎｙ ａｒｅａｓ ｓｕｃｈ ａｓ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ，ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ， ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ Ａｓ ａ ｐｏｗｅｒｆｕｌ ａｎａｌｙｔｉｃａｌ ｍｅｔｈｏｄ，ｉｔ ｓｈｏｗｓ ｔｈｅ ｅｓｓｅｎｔｉａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ａｍｏｎｇ ｄａｔａｓ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｗｅ ｄｉｓｃｕｓｓ ａ ｋｉｎｄ ｏｆ ｎｏｎｌｉｎｅａｒ ＳＶＤ ｐｒｏｂｌｅｍｓ ａｎｄ ｐｒｏｐｏｓｅ ａ ｎｅｗ ｍｅｔｈｏｄ ｗｈｉｃｈ ｉｓ ｑｕａｄｒａｔｉｃａｌｌｙ ｃｏｎｖｅｒｇｅｎｔ Ｉｎ ｃｈａｐｔｅｒ ｌ，ｗｅ ｐｒｏｐｏｓｅ ｔｈｅ ｎｏｎｌｉｎｅａｒ ＳＶＤ ｐｒｏｂｌｅｍｓ ａｎｄ ｇｉｖｅ
Ｖ七：吼一‰＝２ＴＢｋｙ，
（Ｂ彳＋ｂｌＢ｝＋．．．＋６ｍＢｉ；：）ｆ＝ｙｋ，
（Ｂｏ＋ｂｌＢｌ＋ ＋ｂｍＢｍ）掣＝０，
ｙＴｙ＝１．
ｈ¨
１１ １Ｉ
由ｆ７Ｂ（ｂ）Ｙ＝０知Ａ；ｏ由ｂ≈＝ａ≈一ｌＴＢｅｙ知
（ａｌＢｌ＋ ．十ｏ。Ｂ。）ｇ＝［（ＩＴＢｌｇ）Ｂｌ＋ ＋（［ＴＢ。ｙ）Ｂ。］９，
（１ ２）
（ａ１日｝＋．．＋ａｍＢＴ）ｌ＝［（１ｒＢｌＹ）ＵＴ＋．．．＋（ＩＴＢ。Ⅳ）日磊¨
（２．１）
即求奇异三元组（Ｘ，正ｇ）使之满足以上方程． 通过观察可以发现（２．１）等价于求解非线性特征值问题
（，：，吾）（：）＝（气９。羔）（。Ｙ）盯，ｚｒｚ＝·，ＶｒＶ＝－ （２ ２）
其中Ｄ。，Ｄｇ为对称正定或正半定矩阵，且关于ｚ，Ｙ是二次的
§２．１．１乘幂法
在文【１］中给出了基于ＱＲ分解的反幂法它是如下算法的一个改进形式 算法１．乘幂法
由于牛顿法在非线性问题中的广泛应用，以下我们考虑用Ｎｅｗｔｏｎ Ｒａｐｈｓｏｎ迭代来求
９
复旦大学项÷毕业论文
ｌ（）
解非线性＾＋△Ａ）Ａ悖十△可）＝Ｄ”＋△。（ｚ＋△ｚ）， （Ａ十ＡＡ）Ａ７０＋Ａｘ）＝Ｄ。＋△。白＋△∥），
（ｚ＋△ｚ）Ｔ（ｚ＋△。）＝ｌ （Ｙ＋ａｙ）ｒ＠＋Ａｙ）＝ｌ
的正交阵Ｑ和ｚ，有ＩＩＱＡＺｌｂ＝ＩＩＡＩｌＦ和１］ＱＡＺＩＩ。＝ＩＩＡＩｌ２．
定理２．『６］倚异值分解ｐＶＤ）Ｊ设Ａ是实ｍ×ｎ矩阵，则必存在正交阵
Ｕ＝№”．，ｕ。］∈驴一
复旦大学硬士垡业论文
８
｛口
Ｖ＝［Ｖｌ， ，仉。］∈Ｒ““
使得
ＵＴＡＶ：ｄｉａｇ（ａｌ， 、唧）∈Ｒｍ×竹．Ｐ＝ｍｉｎ｛ｖｎ，ｎ｝
ｊ选取ｚｏ，Ｙｏ，＾ｏ，且ｌ ｚｏ｜｜＝１，｜｜，ｏ｜＿＝１．
２．迭代计算，Ｆｏｒ ｋ＝ｌ，２，．，ｄＤ’ 形成矩阵Ｄ。。，ＤⅣ。
计算Ｘｋ＋ｌ＝Ａ～Ｄ。ｋＹ☆，
２赫 规范化吼１
计算玑＋ｌ＝Ａ＿。Ｄ”ｋＸｋ＋１，
计算Ａ女＋１＝ｊ』弧＋１ ＪＪ，
规范化肌ｌ：赫
以下我们给出三种新算法．
§２．１．２ Ｎｅｗｔｏｎ Ｒａｐｈｓｏｎ迭代
量．
Ｒｍ中一组子空间Ｓ１，…，岛称为相互正交的，如果对ｉ≠Ｊ都有ｚＴｙ＝Ｏ（ｚ∈＆、９∈
Ｓ，）Ｓ∈兄“的正交补是由
Ｓ１＝ｆＹ∈Ｒ…：ｙＴｚ＝０，Ｖｘ∈Ｓ）
所定义，不难证明ｒａｎ（Ａ）１＝ｎｕｌｌ（ＡＴ）如果向量Ｖｌ，…，讥是单位正交且张成彤“中的子
空间ｓ，则它们形成Ｓ的一组单位正交基． 如果Ｑ∈Ｒｍ×ｍ满足ＱＴＱ＝』，则称其为正交的．如果ｑ＝［ｑｌ，
其中盯ｌ ２盯２ ２ ．２仃口＞０
定理３．［６］设…为Ｃ““上的酉不变范数，则有
ＡＢ［１≤１ＩＡＩｌ２ １＿ＢｍＶＡ∈Ｃ”。”，ＶＢ∈Ｃ…。”
知
ＡＢｌｌ曼｝ＩＡＩ｜｜ＩＳ ｈＶＡ∈Ｃ““，ＶＢ∈Ｇ“” 定理４．【４］设Ａ，Ｂ＝Ａ＋Ｅ∈Ｃ““，Ａ，Ｂ和Ｅ皆为Ｈｅｒｒｎｉｔｅ阵，它们的特征值分别为
Ａ１≥． ２ Ａ。，肛１≥．．≥肛。，￡１≥ 三Ｅ。
负定矩阵，Ｄ。的元素关于７３的元素是二次的．
俐向量Ｙ＝ｕ川ｕｍ
忙／向量ｂ的元素ｂｋ＝。≈一“ＴＢｋ∥ｆ，七二ｌ，．．．，仃。．
证明由（１ ６）得
，Ａｙ＝ｙＴＡ７ｚ＝ＸＴＤ目３：０－＝ｙＴＤ。ｙａ
（Ｉ ８）
由（１．１）得
曼∑（啦（“啦。“）２：。（１Ｔ）Ｂ。２Ⅳ＝）２：曼（ｘＴＢｌＴＢ。Ⅳ）２＝￡ ＸＴＢ。Ⅳ。Ⅳ）２）口２口２２
，‰］是正交的，
则吼形成Ｒｍ的单位正交基．如果ｕ∈彤…具有单位正交列，则存在％∈即。‘”’。使得
ｖ＝ｆＫ １纠是正交的，且ｒⅡｎ（Ｈ）１＝７１。ｎ（％）
２范数在正交变换下是不变的，这是因为若ＱＴＱ＝，，则ＩＩＱ－ｚｌｌ！＝ｚ了１Ｑ７Ｑｚ＝ｚ７１ｚ＝
㈦巨矩阵的２范数和Ｆｒｏｂｅｎｉｕｓ范数关于正交变换也是不变的．特别的，对于维数适当
ｓＯｉｌｌｅ ｐｒｅｌｉｍｉｎａｒｉｅｓ．Ｉｎ ｃｈａｐｔｅｒ ２，Ｐｏｗｅｒ Ｍｅｔｈｏｄ，Ｎｅｗｔｏｎ Ｒａｐｈｓｏｎ Ｉｔｅｒａｔｉｏｎ，Ｒａｙｌｅｉｇｈ Ｑｕｏｔｉｅｎｔ
Ｉｔｅｒａｔｉｏｎ ａｎｄ Ｅｉｇｅｎｖａｌｕｅ Ｍｅｔｈｏｄ ａｒｅ ｐｒｏｖｉｄｅｄ．Ｔｈｅ ｃｏｎｖｅｒｇｅｎｃｅ ａｎａｌｙｓｉｓ ｏｆ Ｎｅｗｔｏｎ Ｒａｐｈｓｏｎ Ｉｔｅｒａｔｉｏｎ ａｎｄ Ｅｉｇｅｎｖａｌｕｅ Ｍｅｔｈｏｄ ａｒｅ ｄｉｓｃｕｓｓｅｄ．Ｓｅｖｅｒａｌ ｎｕｍｅｒｉｃａｌ ｅｘａｍｐｌｅｓ ３ｘｅ ａｌｓｏ ｇｉｖｅｄ
Ｋｅｙｗｏｒｄｓ：Ｎｏｎｌｉｎｅａｒ ＳＶＤ；ＳＴＬＳ；Ｎｅｗｔｏｎ Ｒａｐｈｓｏｎ Ｍｅｔｈｏｄ
第一章背景介绍
§１，１问题的来源
本节先给出一般的数学模型，从而推导出所要求解的问题， 先讨论如下问题：
脚捌气呻惮一引｝ｓ·ｔ－Ｂｙ ２ ０，ｙＴｙ ２ １·
显然，由限制条件知Ｂ是秩亏的，所以这不是一个凸最优问题现用Ｌａｇｒａｎｇｅ乘子法求 解这一问题．定义函数：
其中
Ｄ。＝∑Ｂｉｙ（／３。ｇ）７，Ｄ。
先考虑Ｄ。的第一项有
ｍ∑Ⅻ 口丁０ Ｚ 日 丁０ Ｚ ７
Ｂ１（Ｙ＋ａＹ）（Ｙ＋△ｙ）丁Ｂｆ＝Ｂｌ（掣掣ｒ＋ｙｄｘｙ丁＋ＡｙｙＴ＋ＡｙＡｙＴ）Ｂｒ
ＢｌＹＹ了１ＢＴ＋口１ｙＡｙ了１Ｂ｝＋Ｂ１ ＡｙｙＴ口｝＋Ｂ１ＳｙＡｙ丁Ｂ，
所以
Ｂｌ（ｖ＋Ａｙ）（可＋△可）ｒＢ＿＠＋△。）＝（日ｌＹＹＴＢＴ＋ｓｌｙＡｙｒＢｆ＋日ｌＧｙｙｒＢＴ＋ＢｌＡｙＡｙＴＢｆ）（ｚ＋△。）
Ａｙ＝。口，ｚ７＂２９＝ｌ
ＡＴｚ＝ｙｇ．ｙＴｙ。１
这说明（ｚ．Ｏ－，Ⅳ）是矩阵Ａ的奇异三元组（即左奇异向量，奇异值，右奇异向量）由－４ Ｂ＝Ｉｙ７
知ＪＩＡ—Ｂ慷＝口２所以我们需要的是对应最小奇异值的三元组．所求的矩阵Ｂ＝Ａ—ｘｇｙ丁
是Ａ的秩一修正． 考虑如下形式的结构全局最小二乘问题（ＳＴＬＳ）：
锄ｒａ哪ｉｎ∞∑（口ｔ“ｔ）２一邶（６）Ⅳ２ ｏ，ⅣＦＹ－１