矩阵与范数—扫盲

矩阵论主要研究的是线性空间以及在线性空间中的一些操作，主要是线性变换。

当然书中主要是针对有限维的情况来讨论的，这样的话就可以用向量和矩阵来表示线性空间和线性变换，同其他的数学形式一样，矩阵是一种表达形式（notation），而这一方面可以简洁地表达出我们平时遇到的如线性方程和协方差关系的协方差矩阵等，另一方面又给进一步的研究或者问题的简化提供了一个平台。

如特征值分析、稳定性分析就对应着诸如统计分布和系统稳定性等实际问题。

而一系列的分解则可以方便方程的数值计算。

作为矩阵论的学习，我们需要了解具体的一些计算究竟是怎么算的，但更关键的是要知道各个概念和方法的实际意义，各个概念之间的关系。

首先介绍的是线性空间，对于线性空间中的任意一个向量的表示有基（相当于度量单位）和坐标（相当于具体的尺度），基既然作为度量标准了，当然要求对每一个向量都适用，同时这个标准本身也应该尽可能的简洁，那么就得到了基定义的两点约束：１、基的组成向量线性无关；２、线性空间中的任一个向量都可以由基的线性表示。

基作为一种“计量标准”，当然可能会存在多种形式，只要满足上面的两点条件，因而就有必要解决不同的度量标准之间的转换关系，从而得到过渡矩阵的概念，同时可以使用这种转换关系（过渡矩阵）去完成度量量（坐标）之间的转换。

在完成了线性空间这一对象的认识和表达之后，下面需要研究对象和对象之间的关系。

这里主要是线性变换，线性变换针对于实际对象主要完成类似于旋转和尺度变换方面的操作，而这种操作也牵涉到表达的问题。

为了保持与空间的一致性，我们也同样是在特定的基下来表示，从而线性变换就具体化为一个变换矩阵，并且，在不同的基下对应的变换矩阵当然也不相同，这里的不同的变换矩阵的关系就是相似的概念。

到此，我们完成了空间中向量的表示和线性变换的矩阵表达。

这里涉及了基、坐标、过渡矩阵、变换矩阵、相似矩阵这几个重要的概念。

上面算是内涵上的认识，下面我们需要知道线性空间里究竟有些什么东西，它是如何组成的，各个组成成分之间的关系，也就是空间的结构性方面的东西。

首先认识子空间（空间的组成部分），当然既然也是空间，也就要满足空间的加法和数乘的封闭性，要满足那八条定律。

后者可以由父空间保证，前面的就要子空间自身素质了。

同时要看子空间之间的并、交、直和运算和相应的秩的关系。

这里提到了维数，就要多说几句了，空间中的元素往往是连续过渡的，但是对于有限空间而言还有离散的性质，那就是维数，我称其为“不伸则已，一伸则增一”，从这也就说明了为什么可以用若干个子空间的直和可以等价于原线性空间。

子空间的形式很多，有生成子空间、值域空间、零空间（木木先生注：此处指核空间）和特征子空间等等，我们重点看看特征子空间。

一个空间可以划分为若干个特征子空间的直和形式，而每个特征子空间的共同特征就是具有相同的特征值，范围就是对应着这个特征值的若干特征向量的生成子空间。

为什么要这样划分？因为我们在平时的研究中，整个线性空间太大了，我们需要缩小研究范围，某一个或几个特征子空间就够了。

或者是模式分类时，每一个样本点就属于某个子空间，我们首先需要知道有哪些类，类的特点是什么，这就是特征子空间。

当然对于协方差矩阵而言，特征值还具有能量属性，在清楚各个特征子空间的位置后，我们可以通过某些变换改变这些子空间的空间分布。

在系统研究中，还可以在清楚特征子空间分布后成功地实现系统或方程的解耦。

呵呵，可能其用途很多很多，但关键的一点就是，我们必须认识空间的结构，在此基础上再结合对应的物理空间或几何空间的实际意义进行进一步的处理。

人心苦不足，在知道了上面的东西之后，大家在想，可视的二维平面和三维立体空间中，为了研究向量的长度及向量和向量之间的角度，提出了内积的概念，在线性空间中，人们也对内积的概念作了延拓，于是将原先的线性空间添油加醋改装成了内积空间（分为实数的欧式空间和复内积空间），这里的油醋就是以下的四点：1、交换律；2、分配律；3、齐次性；4、非负性。

向量自身的内积开二次根得到长度，两个向量内积除以两个向量的长度得到角度的余弦。

所有这些都是与可视空间中的性质是一致的（可以参阅《由相容性想到的》）。

这里要注意的是，它只给出了内积的约束，但在具体的向量空间中内积的计算形式却没有硬性规定，要想量化内积，很自然地就是要知道，量化的标准是什么，这就引出了度量矩阵（结合具体的内积计算式，计算得到的基的内积构成的矩阵）的概念。

考虑到内积的非负性和交换律，度量矩阵必须是对称正定矩阵。

这里也和前面一样，度量矩阵是在一定基下定义的，当基变化了，度量矩阵也会发生改变，相同的内积定义式在不同的基下得到的度量矩阵是合同的，呵呵，又多了一个概念。

而且，对称变换、正交性也在内积这找到了家。

老是待在线性代数的视野范围内，终归有些不爽，下面就正式进入了分析的领域，既然是矩阵分析，首先就是什么是矩阵函数，该如何定义，当然书中是先从矩阵级数出发的，既然是级数，就会牵涉到部分和的收敛问题，收敛就是极限问题，如何定义矩阵的极限？最原始的就是按坐标收敛，不过那么多的元素要收敛，太累了！怎么办呢？其实这从本质上来说是多元衡量尺度一元化的问题，于是就找出了范数的概念，用一个范数来代替多个元素的收敛问题的讨论。

不同矩阵范数的等价性保证了函数极限的一致性。

在某种程度上范数成了距离的代名词，但要注意的是范数的概念要比距离强得多（主要是增加了绝对齐次性），我们会用范数去表示不同样本之间的距离，用范数去表示误差程度，用范数去衡量许许多多的表示某种程度的量。

其实总结到此本来可以宣告结束，但是随着计算技术的发展，诸如线性方程组求解、矩阵求逆等问题都需要一些补充内容：1、矩阵分解（简化方程求解）2、广义逆（病态矩阵和一般矩阵的求逆问题）不过其最小二乘性质还真好使。

3、特征值估计（求高阶的多项式方程可是要命的事，大概知道特征值和特征空间的位置对于一定的应用场合就可以了）这就是我暂时对矩阵论的理解，呵呵，相对于一年前对线性代数的理解要深刻得多了，在以后的研究实践中会进一步丰富的。

什么是范数矩阵论及矩阵计算在介绍主题之前，先来谈一个非常重要的数学思维方法：几何方法。

在大学之前，我们学习过一次函数、二次函数、三角函数、指数函数、对数函数等，方程则是求函数的零点；到了大学，我们学微积分、复变函数、实变函数、泛函等。

我们一直都在学习和研究各种函数及其性质，函数是数学一条重要线索，另一条重要线索——几何，在函数的研究中发挥着不可替代的作用，几何是函数形象表达，函数是几何抽象描述，几何研究“形”，函数研究“数”，它们交织在一起推动数学向更深更抽象的方向发展。

函数图象联系了函数和几何，表达两个数之间的变化关系，映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n 维空间。

由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物，自然也可以抽象为映射空间中的一个点，这就是泛函中需要研究的对象——函数。

从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看作线性映射，线性映射的性质可以通过研究矩阵的性质来获得，比如矩阵的秩反映了线性映射值域空间的维数，可逆矩阵反映了线性映射的可逆，而矩阵的范数又反映了线性映射的哪些方面的性质呢？矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例。

范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数，所以，范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出），要理解矩阵的算子范数，首先要理解向量范数的内涵。

矩阵的算子范数，是由向量范数导出的，由形式可以知：由矩阵算子范数的定义形式可知，矩阵A把向量x映射成向量Ax，取其在向量x范数为1所构成的闭集下的向量Ax范数最大值作为矩阵A的范数，即矩阵对向量缩放的比例的上界，矩阵的算子范数是相容的。

由几何意义可知，矩阵的算子范数必然大于等于矩阵谱半径（最大特征值的绝对值），矩阵算子范数对应一个取到向量Ax范数最大时的向量x方向，谱半径对应最大特征值下的特征向量的方向。

而矩阵的奇异值分解SVD，分解成左右各一个酉阵，和拟对角矩阵，可以理解为对向量先作旋转、再缩放、最后再旋转，奇异值，就是缩放的比例，最大奇异值就是谱半径的推广，所以，矩阵算子范数大于等于矩阵的最大奇异值，酉阵在此算子范数的意义下，范数大于等于1。

此外，不同的矩阵范数是等价的。

范数理论是矩阵分析的基础，度量向量之间的距离、求极限等都会用到范数，范数还在机器学习、模式识别领域有着广泛的应用。

首先说说空间(space)，这个概念是现代数学的命根子之一，从拓扑空间开始，一步步往上加定义，可以形成很多空间。

线形空间其实还是比较初级的，如果在里面定义了范数，就成了赋范线性空间。

赋范线性空间满足完备性，就成了巴那赫空间；赋范线性空间中定义角度，就有了内积空间，内积空间再满足完备性，就得到希尔伯特空间。

总之，空间有很多种。

你要是去看某种空间的数学定义，大致都是“存在一个集合，在这个集合上定义某某概念，然后满足某些性质”，就可以被称为空间。

这未免有点奇怪，为什么要用“空间”来称呼一些这样的集合呢？大家将会看到，其实这是很有道理的。

我们一般人最熟悉的空间，毫无疑问就是我们生活在其中的（按照牛顿的绝对时空观）的三维空间，从数学上说，这是一个三维的欧几里德空间，我们先不管那么多，先看看我们熟悉的这样一个空间有些什么最基本的特点。

仔细想想我们就会知道，这个三维的空间：1.由很多（实际上是无穷多个）位置点组成；2. 这些点之间存在相对的关系；3. 可以在空间中定义长度、角度；4.这个空间可以容纳运动，这里我们所说的运动是从一个点到另一个点的移动（变换），而不是微积分意义上的“连续”性的运动，上面的这些性质中，最最关键的是第4条。

第1、2条只能说是空间的基础，不算是空间特有的性质，凡是讨论数学问题，都得有一个集合，大多数还得在这个集合上定义一些结构（关系），并不是说有了这些就算是空间。

而第3条太特殊，其他的空间不需要具备，更不是关键的性质。

只有第4条是空间的本质，也就是说，容纳运动是空间的本质特征。

认识到了这些，我们就可以把我们关于三维空间的认识扩展到其他的空间。