预处理变形共轭梯度法并行求解矩阵的Moore-Penrose逆

预处理变形共轭梯度法并行求解矩阵的Moore-Penrose逆曹方颖;吕全义

【摘要】提出了一种求解Moore-Penrose逆的并行预处理变形共轭梯度法,将求解Moore-Penrose 逆转化求解矩阵方程极小范数解或极小范数最小二乘解的问题.给出了两种预处理方法.一种方法是给出预处理矩阵是可逆对角矩阵,然后并行求解预处理矩阵方程；另一种方法是给出预处理矩阵是严格对角占优矩阵,该方法提出了迭代法的预处理模式,构造并行迭代求解预处理矩阵方程的迭代格式,进而使用变形共轭梯度法并行求解.通过数值试验,这两种预处理方法与直接使用变形共轭梯度法相比较,第二种方法有效提高了收敛速度,而且具有很好的并行性.

【期刊名称】《纺织高校基础科学学报》

【年(卷),期】2013(026)001

【总页数】6页(P137-142)

【关键词】并行算法;预处理变形共轭梯度法;预处理矩阵方程;Moore-Penrose逆【作者】曹方颖;吕全义

【作者单位】西北工业大学应用数学系,陕西西安710129;西北工业大学应用数学系,陕西西安710129

【正文语种】中文

【中图分类】O246

广义逆矩阵是矩阵理论中的一项重要的发展，特别自近五十年代以来，广义逆矩阵

的理论和计算方法的研究取得了长足的发展，并在数值分析，数学规划，数理统计，控制论，博弈论和网络理论等领域发挥着重要的应用［1］.求解Moore-Penrose 逆的算法最终转化为求解线性矩阵方程.这种线性矩阵方程是无解的，因此求解线

性矩阵方程的极小范数最小二乘解.对于求解线性矩阵方程，虽然串行算法已经比

较完善，但随着计算规模的增大，求解线性矩阵方程的存储需求和计算量快速增加，单台处理机往往难以承受，并行计算势在必行.

近年来，一般求解线性矩阵方程的直接法［2］主要有LU分解法，Cholesky分解法，QR分解法等；迭代法［2］有Jacobi迭代法，Gauss-Seidel迭代法，JGS

迭代法，SOR迭代法，SSOR迭代法，SAOR迭代法，参数迭代法等.关于矩阵方

程的最小二乘解或矩阵Moore-Penrose逆的研究已经取得了许多成果［3-5］，但对于预处理与并行计算的研究还很少见.对于求解大型线性矩阵方程以共轭梯度

法和变形共轭梯度法为主，其具有存储量少，计算量少和适合并行计算等优点.文

献［2］研究了关于求解矩阵方程极小范数解或极小范数最小二乘解的变形共轭梯度法.变形共轭梯度法作为最基本的Krylov子空间方法，易于并行化.变形共轭梯度法的收敛速度与系数矩阵的条件数紧密相关，条件数愈小，收敛性愈好，该算法可以在很少的几步就会获得高精度的近似解.但当系数矩阵的条件数很大时，收敛速

度就很慢.于是出现了预处理变形共轭梯度法［6-7］（简称PMCG法），它是通

过适当的预处理方法引入预处理矩阵M，使矩阵的特征值分布更为集中，降低矩

阵条件数，以达到提高收敛速度的目的.

本文针对矩阵方程极小范数解或极小范数最小二乘解问题提出了两种并行解决方案.第一种方案是为了降低求解预条件矩阵方程AM-1＝的计算复杂度，选取预处理矩阵M为可逆对角矩阵，预处理矩阵方程在求解过程中只在相邻处理机间有通信.第二种方案是为了降低求解预条件矩阵方程AM-1 ＝的计算复杂度，对预处理矩阵

方程采取若干次迭代方法来求解，而且在求解过程中只在相邻处理机间有通信.两

种方法都有效的改变了原矩阵方程的条件数又具有很好的并行性.最后在HP2600

集群上进行了数值试验，并与传统的变形共轭梯度法的计算结果进行了比较.文中（ATA）⊗I表示矩阵（ATA）与I的Kronecker积（X）表示将矩阵X按行拉直

构成的列向量.定义同型矩阵A与B的内积为［A，B］＝tr（ATB），由此导出矩阵的Frobenius范数

1 预处理方法

1.1 方案一

求解矩阵A的Moore-Penrose逆就是求解线性矩阵方程AX＝I极小范数解或极

小范数最小二乘解，AX＝I正规线性矩阵方程为

其中 A为m×n矩阵，X为n×m矩阵.

将矩阵方程（1）通过按行拉直转化为线性方程组

设λ1，λ2，…，λn是 ATA的特征值，由文献［1］的结论可知矩阵（ATA）⊗I

的特征值为λ1，…，λ1，λ2，…，λ2，…，λn，…，λn，可见矩阵（ATA）⊗I与矩阵ATA的条件数相同.

若矩阵A的行数m≤n，则取M为n阶可逆的对角矩阵为

这样，矩阵方程（1）可转化为

只要使M-1ATAM-1的条件数小于ATA，则采用变形共轭梯度法求解矩阵方程（3）的速度将得到提高.对于方程（3）首先计算AM-1＝，设MX＝Y.则方程（3）可转化为求解

若m＞n，可将矩阵A的Moore-Penrose逆转化成AT的Moore-Penrose逆采用同样预处理矩阵即可.

1.2 方案二

选取预条件矩阵M使得AM-1尽量接近矩阵A的等价标准形，如果不考虑AM-1的精确解，采用迭代算法计算AM-1的近似矩阵，只要迭代法适合并行计算，那

么对于M的选取就简单的多.由于Jacobi迭代算法适合并行计算，所以采用该算法，又Jacobi迭代算法收敛的充分条件为系数矩阵为严格对角占优，故若m＜n，选取预处理矩阵M为n阶可逆且含矩阵A的带状部分，即

每行的半带宽ri的选取要求矩阵M是严格对角占优矩阵，若矩阵A主对角元有零元，在矩阵M中取1.

若m＞n，同样将矩阵A的Moore-Penrose逆转化成AT的Moore-Penrose逆即可.

在求解AM-1的近似值时，设＝AM-1采用的迭代格式为

其中 M＝D-L-U，D，-L，-U分别是矩阵M的对角矩阵，严格下三角矩阵与严格上三角矩阵.

求解线性矩阵方程AX＝I转化为求解

设MX＝Y，则式（5）可转化为求解

将文献［2］矩阵方程的变形共轭梯度法应用于方程（4）和（6），推出矩阵方程（4）和（6）变形共轭梯度算法为

步骤1 任给初始矩阵Y（0），计算