预处理子空间迭代法的一些基本概念

CG 算法的预处理技术： 、 为什么要对 A 进行预处理：其收敛速度依赖于对称正定阵 A 的特征值分布 特征值如何影响收敛性：特征值分布在较小的范围内，从而加速 CG 的收敛性 特征值和特征向量的定义是什么？（见笔记本以及收藏的网页） 求解特征值和特征向量的方法：Davidson 方法：Davidson 方法是用矩阵( D - θ I)- 1( A - θ I) 产生子空间，这里 D 是 A 的对角元所组成的对角矩阵。θ 是由 Rayleigh-Ritz 过程所得到 的 A 的近似特征值。 什么是子空间法： Krylov 子空间叠代法是用来求解形如 Ax=b 的方程， A 是一个 n*n 的矩阵， 当 n 充分大时，直接计算变得非常困难，而 Krylov 方法则巧妙地将其变为 Kxi+1=Kxi+b-Axi 的迭代形式来求解。这里的 K(来源于作者俄国人 Nikolai Krylov 姓氏的首字母)是一个构造出 来的接近于 A 的矩阵，而迭代形式的算法的妙处在于，它将复杂问题化简为阶段性的易于 计算的子步骤。 如何取正定矩阵 Mk 为： Span 是什么？ : 设 ������1, … , ������������ ∈ ������ , 称它们的线性组合 ������ ������ =1 ������������ ������������ |������������ ∈ ������ , ������ = 1,2 … ������ 为向量 ������1, … , ������������ 的生成子空间，也称为由������1, … , ������������ 张成的子空间。记为L（������1, … , ������������ ），也可以记为 Span（������1, … , ������������ ） 什么是 Jacobi 迭代法： 什么是 G_S 迭代法：请见 PPT《迭代法求解线性方程组》 什么是 SOR 迭代法： 什么是收敛速度：
Km Km ( A, r 0 ) Span(r 0 , Ar 0 ,..., Am1r 0 ) ，其中
0 r 0 b Ax 0 ，且 x0 为初始解，从 x Km 中寻找近似解 x m ，使相应的残向量与另某个子
空间 则称
Lm 正交，即 r m b Axm Lm
K m 为 Krylov 子空间，且上述方法称为 Krylov 子空间方法。
PCG，它通过适当的预处理方法引入预处理矩阵 M，使矩阵的特征值分布更为集中，降低矩 阵条件数，改善矩阵病态特性，已达到提高收敛速度的目的。 矩阵谱半径定义？: 设 A 是 n×n 矩阵,λ i 是其特征值,i=1,2,„,n.称ρ (A)=max{|λ i|,i=1,2,„„ n}为 A 的谱半径。 共轭梯度法的推导？： （1）采用泛函多项式的推导过程请见：网页《共轭梯度法》 。 （2）用矩阵知识进行推导的过程请见：张永杰的论文 p34 页。 什么是 BEM（边界元方法）？：边界元法（boundary element method）是一种继有限元法 之后发展起来的一种新数值方法， 与有限元法在连续体域内划分单元的基本思想不同， 边界 元法是只在定义域的边界上划分单元， 用满足控制方程的函数去逼近边界条件。 所以边界元 法与有限元相比，具有单元个数少，数据准备简单等优点。但用边界元法解非线性问题时， 遇到同非线性项相对应的区域积分， 这种积分在奇异点附近有强烈的奇异性， 使求解遇到困 难。 什么是引理？： 引理 （lemma） 是数学中为了取得某个更好的结论而作为步骤被证明的命题， 其意义并不在于自身被证明， 而在于为达成最终目的作出贡献。 一个引理可用于证明多个结 论。数学中存在很多著名的引理，这些引理可能对很多问题的解决有帮助。例如欧几里得引 理，乌雷松引理，德恩引理，法图引理，高斯引理，中山引理，庞加莱引理，里斯引理和佐 恩引理等。引理和定理没有严格的区分。 什么是谱半径的相似不变性？： 什么是正则化？：正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一 组线性代数方程定义的， 而且这组方程组通常来源于有着很大的条件数的不适定反问题。 大 条件数意味着舍入误差或其它误差会严重地影响问题的结果。 什么是不适定问题？：在经典的数学物理中，人们只研究适定问题。适定问题是指满足下列 三个要求的问题： ①解是存在的； ②解是惟一的； ③解连续依赖于定解条件。 这三个要求中， 只要有一个不满足，则称之为不适定问题。特别，如果条件③不满足，那么就称为阿达马意 义下的不适定问题。一般地说不适定问题，常常是指阿达马意义下的不适定问题。 什么是残量？：r=b-AX，其中 r 为残量 什么是 Z-矩阵， L-矩阵， M-矩阵？： 如果一个 n*n 的矩阵 A= （aij） 满足i 称 A 为 Z-矩阵； 如果 A 是 Z-矩阵， 且 aii 称 A 为 M-矩阵。 ARG MIN 的含义是什么？：最通俗的理解：表示使目标函数取最小值时的变量值 ：=什么意思？：x：=y，表示 x 定义为 y 的一个名称。 什么是谱条件数？： 什么是主元？：主对角线上的元素，左上角到右下角。 不是方阵就是左上角到最下一行，将这一行数的左下角那些数化成零，不就是阶梯型了嘛。 可以很方便的讨论矩阵的解，和矩阵的其他性质。 什么是共轭？：设 A 为 n 阶实对称正定矩阵，如果有两个 n 维向量 S1 和 S2 满足 S1AS2=0 （1） 则称向量 S1 与对于矩阵 A 共轭。如果 A 为单位矩阵，则式(1)即成为 S1S2，这样两个向量的
什么是线性无关？：向量 v1, v2, ..., vn 线性无关，当且仅当它们满足以下条件：如果 a1, a2, ..., an 是 K 的元素，适合： a1v1 + a2v2 + ... + anvn = 0， 那么对所有 i = 1, 2, ..., n 都有 ai = 0。
什么是 hermite 矩阵即厄米特矩阵？：厄米特矩阵（Hermitian Conjugate Matrix， 又译作“埃尔米特矩阵”或“厄米矩阵”），指的是自共轭矩阵。矩阵中每一个第 i 行第 j 列的元素都与第 j 行第 i 列的元素的共轭相等。对称矩阵是 hermite因为它实际上求式 AZ=r 的解等价在在 Krylov 子空间中极小化 残余向量的||.||范数。但 GMRES 会有失去超线性收敛性、可能产生停滞、GMRES 每迭代 一步都要进行 Arnoldi 过程中都要消耗大量的计算时间、随着子空间维数的增大，引起存储 空间过多的需求，每次迭代正交化过程所需代价显著增长等缺点。 矩阵右上角有个 H，这是什么矩阵呢？（有个 T 是转置，有个 H 是什么）:一般来讲 A^T 表 示转置，A^H 表示转置共轭，对实矩阵而言是一回事，对复矩阵而言转置共轭比单纯的转置 更常用一些，比如酉变换、Hermite 型等。 什么是正交投影法和斜投影法？： 从 n 维向量空间中找出一个子空间 ， 从其中寻找近似解， 子空间 常称为搜索空间。如果 dim m ，则为在 中求出一个近似解，显然要有 m 个 闲置条件，通常采用 m 个正交性条件，特别地，可以采用残向量 r b Ax 与 m 个线性 无关向量正交的条件， 这 m 个线性无关向量就定义了另外一个 m 维子空间 ， 通常称之为限 制子空间或左子空间，同时称该限制条件为 Petrov-Galerkin 条件。当 时，称对应的投 影法为斜交投影法，否则称为正交投影法。 什么是 Hessenberg 矩阵？：假设一个 N*N 矩阵 A，在 i>j+1 时，它的 a（i,j）=0。 （A 的 i,j 项=0） ，那么这个矩阵 A 就叫做 HESSENBERG MATRIX。 常用范数有哪些？：这里以 Cn 空间为例，Rn 空间类似。 最常用的范数就是 p-范数。若，那么 可以验证 p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常 称为闵可夫斯基(Minkowski）不等式。 当 p 取 1，2，∞的时候分别是以下几种最简单的情形： 1-范数：║x║1=│x1│+│x2│+„+│xn│
倒着的 A:任意的 ∧逻辑合取陈述 A ∧ B 为真， 如果 A 与 B 二者都为真； 否则为假。 n < 4 ∧ n >2 ⇔ n = 3 当 n 是自然数的时候。 与命题逻辑∨逻辑析取陈述 A ∨ B 为真，如果 A 或 B (或二者)为真；如果二者都为假， 则陈述为假。 n ≥ 4 ∨ n ≤ 2 ⇔ n ≠ 3 当 n 是自然数的时候。 迭代法与直接法比较优劣是什么？： 对称正定的定义是什么？：设 M 是 n 阶方阵，如果对任何非零向量 z，都有 z'Mz> 0，其中 z' 表示 z 的转置，就称 M 正定矩阵。 判定定理 1：对称阵 A 为正定的充分必要条件是：A 的特征值全为正。 判定定理 2：对称阵 A 为正定的充分必要条件是：A 的各阶顺序主子式都为正。 迭代法求解稀疏矩阵时是否有填充元问题？： CG 法求解线性矩阵时有无误差问题？：有。误差可能导致收敛变慢甚至无法求解。 什 么 是 Krylov 子 空 间 法 ？ ： 设 要 求 解 线 性 代 数 方 程 组 Ax=b ， 取
如果判断线性方程组是病态？：一般当 det（A）的绝对值很小时，方程组 Ax=b 就可能是病 态。 为什么预处理方法备受关注？：对不同的矩阵情况，有不同的预处理方案，没有一种通用的 预处理方案，于是出现了很多种预处理方法。 预处理矩阵与迭代矩阵是什么关系？：M 为预条件矩阵，G 为迭代矩阵。有 G=M-1N。 什么是表征矩阵性态的条件数？：系数矩阵的最大特征值和最小特征值之比。 为什么 PCG 算法强于 CG 算法？： 虽然共轭梯度法在理论上最多 n 次迭代就可以达到精度解， 但由于舍入误差的存在和矩阵 A 的一些病态特性， 使{p1， p2， 。 。 。 ， pk}A 正交性以及{r1, r2, …,rk } 的正交性随着 k 增加而变差。故 xn 一般不是精确解，而且降低了收敛的速度。何况对于大 型和超大型的线性方程组，即使 n 次迭代收敛，也是实际计算中不能接受的。于是出现了
定义5 : R(B ) ln (B ) 为迭代法的渐近收敛速 度，简 称收敛速度。
什么是可约矩阵与不可约矩阵？：不可约矩阵（irreducible matrix）和可约矩阵（reducible matrix）两个相对的概念。 定义 1： 对于 n 阶方阵 A 而言， 如果存在一个排列阵 P 使得 P'AP 为一个分块上三角阵， 我们就称矩阵 A 是可约的；否则称矩阵 A 是不可约的。 定义 2：对于 n 阶方阵 A=(aij) 而言，如果指标集 {1，2，...，n} 能够被划分成两个不相交 的非空指标集 J 和 K，使得对任意的 j∈J 和任意的 k∈K 都有 ajk=0, 则称矩阵 A 是可约 的；否则称矩阵 A 是不可约的。 n 阶方矩阵 A 是不可约的当且仅当与矩阵 A 对应的有向图是强连通的。 什么是正交？：在三维向量空间中，两个向量的内积如果是零，那么就说这两个向量是正交 的。 换句话说， 两个向量正交意味着它们是相互垂直的。 若向量α 与β 正交， 则记为α ⊥β 。 什么是正交矩阵？： 如果： AA'=E （E 为单位矩阵， A'表示 “矩阵 A 的转置矩阵” 。 ） 或 A′A=E， 则 n 阶实矩阵 A 称为正交矩阵，若 A 为单位正交阵，则满足以下条件: 1) AT 是正交矩阵 2)（E 为单位矩阵） 3) A 的各行是单位向量且两两正交 4) A 的各列是单位向量且两两正交 5) (Ax,Ay)=(x,y) x,y∈R 6) |A| = 1 或-1 倒着写的 A 和 E 都是什么意思啊？： 反着的 E:谓词逻辑存在量词∃ x: P(x) 意味着有至少一个 x 使 P(x) 为真。 n ∈ N: n 是偶数。
2-范数：║x║2=（│x1│2+│x2│2+„+│xn│2）1/2 ∞-范数：║x║∞=max（│x1│，│x2│，„，│xn│） 共轭梯度法的原理是什么？：请见 PPT《共轭梯度法》 自己理解的预条件技术？：对线性方程组 AX=b，对 A 进行一些变换，例如 LAL-1，使 LAL-1 的特征值变得相对集中，提高投影算法（CG，PCG）的收敛性。对 A 进行的变化就称为预条 件技术。 什么是 Petrov-Galerkin 条件？： 预条件技术有几种？：有五种 （1）对角预处理法：若 A 是严格对角占优的矩阵，则可以选择 M=diag（a11， a22，…ann）, 可以通过初等矩阵变换，将 A 变换成 M 矩阵的形式。 （2）基于经典迭代的预处理方法（矩阵分裂法） ：Jacobi，GS，Sor （3）多项式预处理方法：选择一个多项式 s（x）预处理矩阵选择为 M-1=s(A)，具体做法如 下：将预处理矩阵取为一个低次的矩阵多项式 M-1=s(A)，原方程变为：s(A)Ax=s(A)b，然后用 迭代法求解。 （见张兰的论文） （4）无填充不完全分解预处理法：以系数矩阵的因子分解为基础得到的预处理，这是一种 比较有效的预处理方程，主要有不完全 LU 分解，不完全 Cholesky 分解以及相应的块不完全 分解等。 （5）子结构、区域分裂、EBE 预处理途径（见张永杰论文） 。 -1 -1 什么是左预条件？：如果将迭代方法应用于 M Ax=M b,则称之为左预条件技术 什么是右预条件？：如果将迭代方法应用于 AM-1z=b，再通过 Mx=z，求出解 x，则称之为右 预条件技术。 什么是 cond（）？：Cond(A)称作矩阵 A 的条件数，为矩阵 A 的范数与 A 的逆矩阵的范数的 乘积。cond(A)=‖A‖·‖A-1‖。从线性代数的分析可知，矩阵的条件数总是大于 1.正交矩 阵的条件数等于 1，奇异矩阵的条件数为无穷大，而病态矩阵的条件数则为比较大的数据。