矩阵范数的意义

矩阵范数的意义

几何方法是一种数学思维方法。函数和几何是数学的两条主要主线。我们学习各种函数及其性质，比如微积分、复变函数、实变函数、泛函等。而几何是函数形象表达，函数是几何的抽象描述，几何研究“形”，函数研究“数”，它们交织在一起推动数学向更深更抽象的方向发展。

函数图象联系了函数和几何，表达两个数之间的变化关系，映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n维空间。

由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物，自然也可以抽象为映射空间中的一个点，这就是泛函中需要研究的对象——函数。

从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看线性作映射，线性映射的性质可以通过研究矩阵的性质来获得，比如矩阵的秩反映了线性映射值域空间的维数，可逆矩阵反映了线性映射的可逆，而矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例。

并不是只有线性空间才有范数的定义，任意空间都可以引入范数，这样的空间称为赋范空间，使得这个空间可以被度量，如希尔伯特空间。

范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数，所以，范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出），要理解矩阵的算子范数，首先要理解向量范数的内涵。矩阵的算子范数，是由向量范数导出的，由形式可以知：

或方阵

由矩阵算子范数的定义形式可知，矩阵A 把向量x 映射成向量Ax ，取其在向量x 范数为1所构成的闭集下的向量Ax 范数最大值作为矩阵A 的范数，即矩阵对向量缩放的比例的上界，矩阵的算子范数是相容的。由几何意义可知，矩阵的算子范数必然大于等于矩阵谱半径（最大特征值的绝对值），矩阵算子范数对应一个取到向量Ax 范数最大时的向量x 方向，谱半径对应最大特征值下的特征向量的方向。而矩阵的奇异值分解SVD ，分解成左右各一个酉阵，和拟对角矩阵，可以理解为对向量先作旋转、再缩放、最后再旋转，奇异值，就是缩放的比例，最大奇异值就是谱半径的推广，所以，矩阵算子范数大于等于矩阵的最大奇异值，酉阵在此算子范数的意义下，范数大于等于1。此外，不同的矩阵范数是等价的。

范数理论是矩阵分析的基础，度量向量之间的距离、求极限等都会用到范数，范数还在机器学习、模式识别领域有着广泛的应用。

矩阵范数的应用

矩阵范数的应用与应用领域有关，在计算机领域中，应用比较多的是迭代过程中收敛性质的判断。迭代前后步骤的差值的范数表示其大小，常用的是二范数，其值越小表示越逼近实际值，可以认为达到要求的精度，即收敛。

总的来说，范数的本质是距离，存在的意义是为了实现比较。

困惑

经常遇到双竖线包括的矩阵，若是简单的矩阵运算，它有严格的数学计算形式，比较容易接受。但是在优化算法中，经常看到同样的描述，有时候写作2，有时候记作22，对矩阵范数展开，它的展开形式是H 2=A A A ，还是2H 2=A A A ？，有这方面困惑主要

原因是自己数学知识功底不深，另外文献写作的格式不统一，这样的情况下，我无法判断出来这些表达式之间的区别。如果你在这方面有造诣，那么请不吝指教，欢迎给我留言。