矩阵理论

矩阵理论

通过学习矩阵理论这门课，发现在这个大数据的时代，矩阵理论是这个时代的基础学科，也是计算机飞速发展的引擎，它的重要性令我咂舌。一下内容是我对矩阵理论这门课程的总结和描述。

本门课程主要包含以下几部分内容：线性方程组、线性空间与线性变换、内积空间、特殊变换及其矩阵、范数及其应用、矩阵分析及其应用、特征值问题。

一 线性方程组

对*m n 矩阵A 施行一次初等行变换(初等行变换)，相当于在A 的左边(右边)乘以相应的m 阶(n 阶)初等矩阵。

由于现代计算机处理的数据越来越多，运行的任务越来越大，因此，对矩阵的处理复杂度就是我们关注的重点。

对行列式的拉普拉斯变换是将一个n 阶行列式的计算转化为n 个1n -阶行列式的计算，但是它的计算时间是!n 级。所以拉普拉斯展开定理在理论上非常重要，但在计算上一般仅用于低阶或特殊的行列式。

判断一个算法的优劣，有很多标准，包括时间复杂度和空间复杂度，显然，时间复杂度越小，说明算法效率越高，因此算法也越有价值；而空间复杂度越小，说明算法越好。但主要考虑时间复杂度，因为人生苦短嘛哈哈。

对于一些常用的()f n ，成立下列重要关系：

23(1)(log )()(log )()()

(2)(3)(!)()n n n O O n O n O n n O n O n O O O n O n <<<<<<<<<

LU 分解就是致力于对降低对方程组求解的复杂度。LU 分解就是在可以的情况下，将矩阵A 分解成单位下三角矩阵和一个上三角的乘积。这样的话，对Ax b =求解，可以转化为对Ly b =求解，然后对Ux y =求解。但是，不是每一个矩阵都可以这样分解，是要满足一定的要求的，这个要求就是矩阵A 的顺序主子式均不为零。

但是不满足这个条件的矩阵就不能分解了吗？当然不是啦！加入一个方阵A 不是顺序主子式不全为零的时候，但是通过行变换，可以满足要求，这样就得了下面这个定理。

如果存在置换矩阵P 、单位下三角矩阵L 与上三角矩阵U ，使得方阵A 满足P A L U =，称作带置换的LU 分解。

在计算机处理数据的过程中，由于其精度的问题，可能会出现大数吃掉小数的情况，这就是小主元带来的误差危害，因此在消去的过程中，可以通过选主元技术，以避免方大数据误差。

二 线性空间与线性变换

向量空间是本科的线性代数曾经学习过的，而现在学的矩阵理论这门课程，引入了新的概念——线性空间。如果把向量空间比作“原始人”，那么线性空间就是“现代人”。

什么是向量空间呢？如果n 维向量的非空集合V 对于加法及数乘两种运算封闭，那么就称集合V 为向量空间。一个很容易犯的错就是集合

1212{[,,1],,}T V x x x x x x R ==∈

不是一个向量空间。因为加法不封闭。

线性空间是线性代数最基本的概念之一，是矩阵论中极其重要的概念之一。它是向量空间在元素和线性运算上的推广和抽象。线性空间中的元素可以是向量、矩阵、多项式、函数等，线性运算可以是我们熟悉的一般运算，也可以是各种特殊的运算。线性代数中关于向量的线性组合、线性表示、线性相关、线性无关、基、坐标等的定义和结论都可以推广到一般线性空间。尤其是坐标，能够将一般线性空间的问题转化成向量空间的问题，是一个十分有力的工具。

从向量空间到线性空间，依然要满足一下8条运算律：

交换律：αββα+=+

加法结合律：()()αβγαβγ++=++

具有加法单位元（零向量）2R θ∈，使得αθα+= 具有加法逆元（负向量）2

R α-∈，使得()ααθ+-= 数乘的结合律：()()k l kl αα=

数乘的单位元：1αα⋅=

分配律1：()k k k αβαβ+=+

分配律2：()k l k l ααα+=+

这八个运算律是线性空间的本质特性，因此，可以这样定义线性空间：如果非空集合V 对于加法及数乘两种运算封闭，并且对于加法和数乘满足上面8条运算律，那么就称集合V 为数域F 上的线性空间。当然，这里的线性不再只是我们以前简单认为的线性，而是可以自己定义运算规律的。

线性变换

线性变换是线性空间的核心内容，反映的是线性空间中元素间的一种基本联系，体现出一种“动态的”或者“直观的”视角。借助基的概念，可在线性变换与矩阵之间建立一一对应关系，因此通俗地讲“变换即矩阵”。常见的变换有旋转变换（Givens 变换）、反射变换

（Householder 变换）、伸缩变换、投影变换。

同一个线性变换，当基改变后，它的矩阵表示也改变，但矩阵表示是相似的。相似变换矩阵就是线性空间中不同基间的过渡矩阵。

矩阵的Jordan 标准型

相似矩阵有许多相似不变量：特征多项式、特征值、行列式、迹及秩等，这自然导出了寻找相似矩阵集合中的“代表矩阵”的问题。“代表矩阵”当然越简单越好。对于可对角化矩阵，“代表矩阵”就是特征值组成的对角矩阵。但是一般矩阵未必与对角矩阵相似，因此找一个与对角阵接近的矩阵，这就是研究约旦标准型的目的。

三 内积空间

现实世界是3维空间，也就是欧几里得空间，将它推广到维空间，也就是定义了内积的线性空间就是欧氏空间，内积公式为1122(,)n n x y x y x y x y ≡+++ ，其中，有一个

重要的不等式——柯西--施瓦茨不等式：

2(,)(,)(,)x y x x y y ≤，还有一个平行四边形公式（可以通过内积公式来证明），即平行四边形的对角线长度的平方和等于四边的边长的平方和：2222

22x y x y x y ++-=+。通过内积运算，可以在n 维空间得到标准正交基。

QR 分解在矩阵计算中占据相当重要的地位。利用QR 分解，可以解决各种应用中出现的最小二乘问题、特征值问题等矩阵计算中的核心问题。QR 分解也是基于内积以及标准正交化运算而得出的，把一个矩阵分解成QR 形式，对于计算机运行来说大大的降低了复杂度。

当线性空间中向量的坐标分量的取值由实数域推广为复数域时，欧氏空间中关于向量的内积、标准正交基、向量元素之间的正交变换等概念和结论都可以“平滑地”推广到所谓酉空间。

四 特殊变换及其矩阵

特殊变换及其矩阵关心永恒的主题----“对角化”的问题，对称矩阵最主要的性质是可以对角化，尤其是可以正交对角化。

方阵A 是正规的，当且仅当A 与对角矩阵酉相似，并且对角矩阵的对角元就是正规矩阵的特征值。

方阵A 是正规的，当且仅当A 有n 个两两正交的单位特征向量,即对应于不同特征值的特征子空间相互正交（完备正交系）。

Hermite 矩阵可对角化，同样，实数空间中的正交空间也也可对角化，因此，可以将两

者联系起来。实对称矩阵A 满足关系式T A A =，推广到酉空间，相应的矩阵称为Hermite

矩阵，满足关系式H A A =. 奇异值分解也是一个重要的概念，大大降低了计算机的处理难度，已经成为矩阵计算中最有用和最有效的工具之一，并在最小二乘问题、最优化、统计分析、信号与图像处理、系统理论与控制等领域被广泛使用。对任意矩阵m n A C ⨯∈，都存在一个完全奇异值分解