(整理)工程矩阵理论

双语国际教育版
系统分析的数学工具——工程矩阵理论（适用于数学专业和其它理工科研究生）
倪郁东编著
合肥工业大学数学学院
目录
第一章线性空间与线性变换 1 §1.1 线性空间 1
§1.2 线性变换及其矩阵 3
§1.3 内积空间8
§1.4 正交变换及其几何与代数特征
§1.5 应用于小波变换的框架理论15 第二章矩阵的标准形理论
§2.1 线性变换的特征值和特征向量29 §2.2 矩阵的相似对角化32 §2.3 特征矩阵的Smith标准形34 §2.4 矩阵的Jordan标准形34 §2.5 矩阵的最小多项式
第三章矩阵分解29 §3.1 Gauss消去法与矩阵三角分解29 §3.2 矩阵的QR分解32 §3.3 矩阵的满秩分解34 §3.4 矩阵的奇异值分解34 §3.5 矩阵分解的应用
第四章矩阵范数理论及其应用16 §4.1 范数与赋范线性空间
§4.2 向量范数及其性质17 §4.3 矩阵的范数18 §4.4 范数的应用19 第五章矩阵分析及其应用20 §5.1 矩阵序列20 §5.2 矩阵级数21 §5.3 矩阵函数22 §5.4 矩阵的微分和积分25
§5.5 矩阵函数的一些应用26 §5.6 梯度分析和最优化27 第六章特征值估计及极性38 §6.1 特征值的估计38 §6.2 广义特征值问题40 §6.3 对称矩阵特征值的极性41 §6.4 广义特征值分析的应用42 第七章广义逆矩阵43 §7.1 投影矩阵43 §7.2 广义逆矩阵46 §7.3 总体最小二乘方法49 第八章Matlab中的矩阵运算简介50 §8.1 基本矩阵运算50 §8.2 矩阵分解52 §8.3 广义逆矩阵和解线性系统54 参考文献57
编著者说明
1、体例格式为：知识要点，章节内容，各章习题。

2、章节内容包括：定义，结论，例题，定理，推论，注记。

其中，定理和例题均有证明或解答，而结论和推论则不加详述。

前言
矩阵的概念和理论已被广泛地应用于现代科技的各个领域，有力地推动着现代科学技术的发展。

矩阵的思想方法，被广大的科技工作者所掌握和应用(矩阵切换器，线性控制理论)，尤其是计算机科学家和控制科学家爱不释手的重要工具。

矩阵的概念脱胎于行列式的形式，是作为表达线性方程组的简单记法而产生的，但其发展的历史却耐人寻味。

为了求解线性方程组，1693年莱布尼茨首次使用行列式概念，1750年克拉姆(Gramer)法则创立，1820年高斯(Gauss)提出消元法（这是一种基本而又重要的方法，广泛用于线性方程组的求解，更重要的是由此凝炼出了矩阵初等变换的基本方法），但矩阵的概念一直没有形成。

虽然，1801年高斯已把一个线性变换的全部系数视作一个整体，而爱森斯坦因(Eisenstein)在1844年就讨论了线性变换及其乘积，并强调了乘法次序的重要性。

直到1851年，西尔维斯特(Sylverster)首先提出使用二维数表的符号表示线性方程组，才引入了矩阵的概念。

将矩阵作为一个独立的数学对象进行的研究，开始于1855年以及其后凯莱(Cayley)发表的一系列研究矩阵理论的文章。

在这些文献中，他引进了关于矩阵的一些直至现代仍通用的定义，如矩阵相等、零矩阵、单位矩阵、矩阵的和、一个数与一个矩阵的数量积、矩阵的乘积（并且注意到：矩阵的乘法是可结合的，但一般不可交换，且m n
⨯矩阵去
⨯矩阵只能用n m
右乘）、矩阵的逆、转置矩阵、对称矩阵等，并借助于行列式定义了方阵的特征方程和特征根。

1858年凯莱发表了《关于矩阵理论的研究报告》，证明了一个重要结果：任何方阵都满足它的特征方程。

这个结果现被称为凯莱－哈密顿定理。

由于正是由于这些奠基性的工作，凯莱被认为是矩阵理论的创始人。

当然，在矩阵理论之中，也积淀了其它众多科学家的卓越贡献。

埃米特(Hermite)证明了别的数学家发现的一些矩阵类的特征根的特殊性质，如现在称为埃米特矩阵的特征根性质等。

后来，克莱伯施(Clebsch)、布克海姆(Buchheim)等证明了对称矩阵的特征根性质。

泰伯(Taber)引入矩阵的迹的概念并给出了一些有关的结论。

在矩阵论的发展史上，弗罗伯纽斯(Frobenius)的贡献是不可磨灭的。

他讨论了最小多项式问题，引进了矩阵的秩、不变因子和初等因子、正交矩阵、矩阵的相似变换、合同矩阵等概念，以合乎逻辑的形式整理了不变因子和初等因子的理论，并讨论了正交矩阵与合同矩阵的一些重要性质。

1870年，约当(Jordan)研究了矩阵化为标准形的问题，建立了著名的约当标准型理论。

1892年，梅茨勒(Metzler)引进了矩阵的超越函数概念并将其写成矩阵的幂级数的形式。

傅立叶、西尔和庞加莱的著作中还讨论了无限阶矩阵问题，这主要是适用方程发展的需要而开始的。

到19世纪末，矩阵理论已日臻完善，但其应用并不十分广泛，这主要归因于大规模线性方程组求解问题的计算复杂度太大，难以手工进行下去。

进入20世纪之后，当人们渐渐以为有限维度的矩阵理论和方法已经终结的时候，计算机技术出现了，这使得矩阵理论获得新生。

矩阵本身所具有的性质依赖于元素的性质即相互关系，矩阵由最初作为一种工具经过一个多世纪的发展，现在已成为独立的一门数学分支——矩阵理论。

而矩阵理论又可分为矩阵方程论、矩阵分解论和广义逆矩阵论等矩阵的现代理论。

矩阵及其理论的应用是多方面的，不仅在数学领域里，而且在力学、物理、科技等方面都十分广泛的应用。

这些应用主要集中于线性问题表示、计算与分
析，以及非线性问题的线性分析与处理。

矩阵理论发展示意图
第一章 线性空间与线性变换
知识要点：
1、线性空间的概念（数域、线性运算封闭性、线性运算公理），结构（线性无关、基、维数，向量在基下的线性表示和坐标），过渡矩阵和向量的坐标变换（可按形式矩阵乘法直接表示）。

2、线性空间同构的概念（可自学）。

3、线性子空间的概念（定义与充要条件，生成子空间，交空间，和空间，维数定理，直和与直和分解定理）。

4、线性变换及其矩阵表示（定义与运算，象空间、核空间和不变子空间，线性变换在基下的表示:变换与矩阵一一对应、不同基下矩阵相似，线性变换下向量的坐标：变换矩阵左乘向量坐标）。

5、欧氏空间与酉空间（内积、范数与距离，正交基、正交阵与酉阵，正交补与正交分解）。

6、正交变换及其特征（正交变换及其线性性，正交变换的几何特征，正交变换的矩阵特征）。

7、应用于小波变换的框架理论（对偶框架，紧框架，Riesz 基）。

§1.1线性空间
一、线性空间的概念
定义1：设非空集合V 相对于数域P 具有封闭的加法和数乘运算，并且具有与任何元素之和仍为该元素的零元素，同时每个元素均具有与其之和为零元素的负元素。

若V 中运算满足加法结合律与交换律、数乘结合律与分配律、乘1不变性，则称V 为数域P 上的线性空间。

注1：数域是指对加减乘除四则运算封闭的数集，如有理数集、实数集、复数集等。

注2：易证零元素和负元素均是唯一的。

例1：数域P 上的n 维（列）向量空间n
P 。

按n 维向量的线性运算，n
P 构成数域P 上的线性空间。

例2：n
P 中的子集{}
0m n S x A x ⨯==。

按n P 中的线性运算，非空子集S 是封闭的，从而构成数域P 上的线性空间。

例3：数域P 上的m n ⨯阶矩阵空间m n
P ⨯。

按m n ⨯阶矩阵的线性运算，m n
P
⨯构成数域P 上的线性空间。

例4：数域P 上的多项式空间[]P x 。

按多项式的线性运算，[]P x 构成数域P 上的线性空间。

例5：区间[,]a b 上的实值连续函数空间[,]C a b 。

按函数的线性运算，[,]C a b 构成数域P 上的线性空间。

例6：n P 例7：
二、线性空间的结构 定义2：设12,,,r ααα为数域P 上的线性空间V 中的一组向量，若有P 中不全为零的一
组数12,,
,r k k k ，使得11220r r k k k ααα++
+=，则称12,,
,r ααα线性相关，否则称
为线性无关。

定义3：设线性空间V 中有一组向量12,,,r ααα，满足：
（1）12,,
,r ααα线性无关；
（2）V 中任一向量均可由12,,,r ααα线性表示。

则称12,,
,r ααα为V 的一组基，数r 称为V 的维数，记为dimV 。

结论1：设12,,,n ααα为数域P 上线性空间V 的一组基，则对于任何向量V β∈,存在唯
一一组数12,,
,n k k k P ∈,使得1122n n k k k βααα=++
+,从而
{}112212,,
,n n n V k k k k k k P ααα=++
+∈。

将β记为1212,,
,n n k k k ααα⎛⎫ ⎪ ⎪ ⎪ ⎪⎝⎭（），12n k k k ⎛⎫
⎪
⎪ ⎪ ⎪⎝⎭
称为β在基12,,,n ααα下的坐标。

注：线性空间的基可以理解为空间中的一种参照系，能将所有元素线性表示出来。

例6：
1,0,,0,1,
,00,0,
,1T
T T （）,（0）,,（）为n
P 中的一组基，n dimP n =；
1
000100000000
00000,,0
00
00
1m n m n m n
⨯⨯⨯⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪
⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，为m n
P ⨯中的一组基，m n dimP mn ⨯=； 211,,,,n x x x -为[]n P x 中的一组基，[]n dimP x n =；
11,,
,,
n x x -中任意有限个向量均为[,]C a b 中线性无关的向量组，因而[,]C a b 不是有限
维空间。

注：有限维空间的基不是唯一的，但其维数是唯一确定的。

三、过渡矩阵和向量的坐标变换 定义4：设12,,
,n ααα和12,,,n βββ为线性空间V 中的两组基，若
11112121n n p p p βααα=++
+
21212222n n p p p βααα=+++ …………………
1122n n n nn n p p p βααα=++
+
则矩阵()ij n P p =称为从12,,
,n ααα到12,,,n βββ的过渡矩阵。

将上述基变换表达式简记为()()1212,,,,,,n n P βββααα=，称之为基变换公式。

定理1：线性空间基之间的过渡矩阵是可逆的。

证明：设从基12,,
,n ααα到基12,,,n βββ的过渡矩阵为P ，则
()()1212,,
,,,,n n P βββααα=。

对于任何列向量()12,,
,T
n k k k ，120n k k P k ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭
时，
()()11221212,,
,,,
,0n n n n k k k
k
P k k βββααα⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭。

由此可得120n k k k ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭
，从而过渡矩阵P 是可逆的。

推论：设P 为12,,,n ααα到12,,,n βββ的过渡矩阵，则12,,,n βββ到12,,,n ααα的
过渡矩阵为1
P -。

证明：设12,,
,n βββ到12,,,n ααα的过渡矩阵为Q ，则由
()()1212,,
,,,,n n P βββααα=，()()1212,,,,,,n n Q αααβββ=
可得()()()121212,,,,,
,=,,,n n n P QP βββαααβββ=，从而QP E =，即1Q P -=。

这说明12,,
,n βββ到12,,
,n ααα的过渡矩阵为1P -。

定理2：设向量α在基12,,,n ααα和12,,
,n βββ下的坐标分别为12n λλλ⎛⎫ ⎪ ⎪ ⎪ ⎪⎝⎭和12n μμ
μ⎛⎫ ⎪ ⎪ ⎪ ⎪⎝⎭
，P 为
12,,
,n ααα到12,,,n βββ的过渡矩阵，则
1122n n P λμλμλμ⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭或11221n n P μλμλμλ-⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭。

证明：由11221212,,
,,,,n n n n λμλμαααβββλμ⎛⎫⎛⎫ ⎪
⎪
⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭
⎝⎭
（）=（）及()()1212,,,,,,n n P
βββααα=得，11221212,,
,,,,n n n n P
λμλμααααααλμ⎛⎫
⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭（）=（），从而1122n n P λμλμλμ⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭或11221n n P μλμλμλ-⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭。

注：上述公式称为向量在不同基下的坐标变换公式。

例9：验证2
1231,,x x ααα===和()2
1231,1,1x x βββ==-=- 均为3[]P x 中的基，并
求前一组基到后一组基的过渡矩阵，以及2
123p x x =--在后一组基下的坐标。

解：考察122330k k k ααα++=，即2
1230k k x k x ++≡对任何数x 成立，则由多项式理论
可知123===0k k k 。

因而123,,ααα是线性无关的，并构成3[]P x 的一组基。

由()2
1121231231,1,12x x βαβααβααα===-=-+=-=-+及
111012001P -⎛⎫ ⎪
=- ⎪ ⎪⎝⎭
可逆知，123,,βββ 也构成3[]P x 的一组基，并且123,,ααα到123
,,βββ的过渡矩阵为P 。

由22
12312348(1)3(1)483p x x x x βββ=--=-----=---可得，p 在123
,,βββ下的坐标为483-⎛⎫ ⎪
- ⎪ ⎪-⎝⎭。

注：也可先求出1
111012001P -⎛⎫ ⎪= ⎪ ⎪⎝⎭，再计算出111140122=800133-⎛⎫⎛⎫⎛⎫ ⎪⎪ ⎪-- ⎪⎪ ⎪ ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭。

例10：已知4
R 的两组基分别为
1234(1,1,2,1),(0,2,1,2),(0,0,3,1),(0,0,0,4)T T T T αααα====，1234(1,0,0,0),(1,2,0,0),(0,0,1,1),(0,0,1,1)T T T T ββββ====-，
试求1234,,,αααα到1234,,,ββββ的过渡矩阵。

解：设()()12341234,,,,,,P ββββαααα=，则1234,,,αααα到1234,,,ββββ的过渡矩阵
1
11
2
251
112
63371118
24
6
61
10010001100-0
012000200---21300011--1
21
40
11P -⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪== ⎪ ⎪ ⎪- ⎪ ⎪ ⎪-⎝⎭
⎝⎭⎝⎭。

四、线性子空间的概念
定义5：设W 是线性空间V 的非空子集，若W 关于V 中的加法和数乘也构成线性空间，则称W 是V 的一个线性子空间。

子空间判别定理：线性空间V 的非空子集W 为V 的子空间的充分必要条件是W 对V 中的线性运算封闭。

结论2：设1V 、2V 为V 的子空间，则1V 与2V 的交1
2V V 也是V 的子空间，称为交空间。

例11：设{}
10m n V x A x ⨯==，{}
20l n V x A x ⨯==，则{}1
20,0m n l n V V x A x A x ⨯⨯===。

结论3：设1V 、2V 为V 的子空间，则1V 与2V 的和{}121
21122,V V V V αααα+=
+∈∈也是V
的子空间，称为和空间。

例12：设()()()()12122,1,0,1,1,1,3,7,1,2,1,0,1,1,1,1T T T T
ααββ=-=-==-，
{}112,V Span αα=，{}212,V Span ββ=，求12V V 、12V V +及它们的一组基。

解：任取1
2V V α∈，则11221122=k k l l αααββ+=+，即12121212(,,,)0k k l l ααββ⎛⎫
⎪ ⎪--= ⎪ ⎪⎝⎭。

解之得，12122(,,,)=(3,1,1,4)T T k k l l k --，从而2(5,2,3,4)T
k α=-，2k R ∈。

由此可得，{}1
2=(5,2,3,4)T V V k k R -∈，(5,2,3,4)T -为其一组基。

任取12+V V α∈，则11221122=+k k l l αααββ++，因此{}121212=,,,V V Span ααββ+。

由1211212(,,)(,,,)3R R ααβααββ==可知，121,,ααβ为12V V +的一组基。

维数定理：()()()()121212dim V dim V dim V V dim V V +=++。

证明：设()()()1212,,dim V m dim V n dim V V l ===，取12V V 的一组基12,,
,l ααα，
并将其分别扩展为1V 和2V 的基：121,,,,,,l l m ααααα+，121
,,
,,,l n l αααββ-。

考察11110m m m m n l n l k k k k ααββ++--+
++++=，
由()1111m m m m n l n l k k k k ααββ++--+
+=-++可知，右端属于12V V 可由12,,
,l
ααα线性表示，即有()1111m m n l n l l l k k ββλαλα++---++=+
+，整理后得到
11110l l m m n l n l k k λαλαββ++--+
+++
+=。

由11,
,,,l n l ααββ-的线性无关性可得，110l m m n l k k λλ++-=
===
==，从而
110m m k k αα++=。

再由1,
,m αα的线性无关性可得，110m m m n l k k k k ++-====
==，从而向量组
11,,,,,,
,l m n l αααββ-线性无关，并构成12V V +的一组基。

由此可得，
()12dim V V n m l +=+-，并且()()()()121212dim V dim V dim V V dim V V +=++。

定义6：设1V 、2V 为V 的子空间，若12V V +中每个向量α的分解式12ααα=+是唯一的，则称12V V +为1V 与2V 的直和，记为12V V ⊕。

直和判别定理：{}()()()12121212120V V V V V V dim V dim V dim V V +=⊕⇔=⇔+=+。

证明：若12V V +是直和，假设存在1
2,0V V αα∈≠，则12,V V αα∈-∈，并且()0αα+-=，
由零向量分解式的唯一性可得，0α=，这与假设矛盾，因此而{}120V V =。

若{}1
20V V =，假设12V V +中向量α的分解式不唯一，即存在111222,,,V V αβαβ∈∈，
1122,αβαβ≠≠，使得1122ααβαβ=+=+。

由此可得，121212V V ααββ-=-∈，从
而12120ααββ-=-=，即1122,αβαβ==，这与假设矛盾，因此12V V +是直和。

注1：12V V +为直和的充要条件为某一向量（包括0）的分解式唯一。

（设分解式12ααα=+是唯一的，则对于0的分解式120ββ=+，11220()()αααβαβ=+=+++，由此可得，
120,0ββ==，因此0的分解式唯一）
注2：1V 、2V 的基合并在一起构成12V V +的充分必要条件是12V V +为直和。

直和分解定理：设1V 为V 的子空间，则存在V 的子空间2V ，使得12V V V =⊕。

证明：取1V 的一组基12,,
,l ααα，将其扩展为V 的一组基121,,,,,l l m ααααα+。

令
{}21
,l m V span αα+=，则{}120V V =，因此V 为1V 和2V 的直和。

注1：若12,,,n ααα为V 的一组基，则{}{}{}12n V Span Span Span ααα=⊕⊕
⊕，
但{}
{}{}12n Span Span Span ααα远充不满线性空间V 。

注2：直和分解的意义还在于将大规模的线性运算分解成较小规模线性运算的线性组合，这将大大加快线性运算的速度，傅立叶（Fourier ）变换的快速计算就是建立在这种思想上的。

§1.2线性变换及其矩阵
一、线性变换及其运算（定义与运算、构成线性空间）
线性变换是线性运算和运算具有线性性的共性化的概念，其本质是像的线性运算与原像的线性运算可以互相转换。

如n 维向量的线性变换、函数的微分和积分运算均为线性变换。

定义1：设T 是数域P 上线性空间V 到V （或另一线性空间）中的映射，若对任何,a b V ∈，
P λ∈，总成立着()T a b Ta Tb +=+，()()T a Ta λλ=，则称T 是V 上线性变换。

例1：对于
结论1：线性变换的加、减、乘、数乘和逆运算仍为线性变换，按线性运算构成线性空间()L V 。

注：线性变换的研究与其他许多数学对象一样，常常是从运算性质、特殊区域上的表现、运算表达式等方面着手的。

二、象空间、核空间和不变子空间
定义2：{}
()T V Tx x V =∈，{}
()0,Ker T x Tx x V ==∈。

定理1：()()()dimT V dimKer T dim V +=。

证明：取()Ker T 的一组基12,,,l ααα，并将其扩张为V 的一组基11,,,,,l l n αααα+，
则对于任何V α∈，11l l n n k k l αααα=+++
，总有11l l n n T k T k T ααα++=++，从
而{}1(),
,l n T V Sapn T T αα+=。

对于110l l n n T T λαλα+++
+=，由11()0l l n n T λαλα+++
+=可知， 11()l l n n Ker T λαλα++++∈，从而可由12,,,l ααα线性表示，即
111122l l n n l l λαλαμαμαμα+++
+=+++，再由11,
,,,
,l l n αααα+的线性无关
性可知，10l n λλ+=
==，从而1,
,l n T T αα+线性无关。

由此可知，1,
,l n T T αα+构成
()T V 的一组基，因此()dimT V n l =-，从而()()()dimT V dimKer T dim V +=。

定义3：若()T W W ⊂，则称W 为T 的不变子空间。

注：不变子空间是线性变换的属性在定义空间上的反映，不变子空间中线性变换的性质独立于其它范围中的性质，因此寻找合适的不变子空间是性质分析的重要的内容。

由特征向量生成的子空间就是一个不变子空间，特征向量的方向就是线性变换的信号增益通道。

结论2：()T V ，()Ker T 均为T 的不变子空间。

三、线性变换在基下的矩阵表示
定义4：设T 为线性空间V 上的线性变换，若V 的一组基12,,
,n e e e 在T 下的像为
11112121212122221122n n n n n n n nn n
Te a e a e a e Te a e a e a e Te a e a e a e =+++⎧⎪=+++⎪⎨⎪⎪=++
+
⎩，则称()n n ij n A a P ⨯=∈为T 在12,,
,n e e e 下的矩阵表示，
并将上述表达式记为121212(,,
,)(,,
,)(,,
,)n n n T e e e Te Te Te e e e A ==。

注：A 不一定可逆，但A 可逆时12,,,n Te Te Te 也构成一组基。

结论3：()L V 与n n P ⨯同构。

即()L V 中线性变换与n n P ⨯中矩阵一一对应，并且保持对应的线性变换。

注：这说明除具体形式和符号不同以外，从线性运算的角度看，两者没什么区别。

即同一个本质，具有两个不同的表现形式。

定理2：设12,,
,n ααα和12,,,n βββ为线性空间V 中过渡矩阵为P 的两组基，线性变换
T 在这两组基下的表示分别为,A B ，则1B P AP -=，即,A B 相似。

证明：由1212(,,
,)(,,,)n n T A αααααα=，1212(,,,)(,,,)n n T B ββββββ=，
()()1212,,
,,,,n n P βββααα=可得，()()11212,,,,,,n n P αααβββ-=，
[]121212(,,
,)(,,
,)(,,,)n n n B T T P ββββββααα==
[]()1
1212(,,
,),,
,n n AP P AP αααβββ-⎡⎤==⎣⎦
从而1
B P AP -=。

注：定理的意义还在于，可将矩阵的相似化理解为线性变换在不同基（或参照系）下的转换。

例2：设线性空间V 为由基函数1234,,,at at at at
x e cosbt x e sinbt x te cosbt x te sinbt ====生
成的实数域上的线性空间，令
1234(1),(1),(1),(1)at at at at y e cosb t y e sinb t y te cosb t y te sinb t =-=-=-=-。

（1）证明：1234,,,y y y y 也为V 的一组基；（2）求1234,,,y y y y 到1234,,,x x x x 的过渡矩阵；（3）求微分算子D 在基1234,,,x x x x 下的矩阵。

解：112(1)[]at at
y e cosb t e cosbt cosb sinbt sinb x cosb x sinb =-=⋅+⋅=⋅+⋅，
212(1)[]at at y e sinb t e sinbt cosb cosbt sinb x sinb x cosb =-=⋅-⋅=-⋅+⋅， 334(1)[]at at y te cosb t te cosbt cosb sinbt sinb x cosb x sinb =-=⋅+⋅=⋅+⋅， 434(1)[]at at y te sinb t te sinbt cosb cosbt sinb x sinb x cosb =-=⋅-⋅=-⋅+⋅。

由此可得，123412340000(,,,)(,,,)0000cosb sinb
sinb cosb y y y y x x x x cosb sinb sinb cosb -⎛⎫ ⎪ ⎪= ⎪- ⎪⎝⎭。

（1）由
00100
00
cosb sinb
sinb
cosb cosb sinb sinb cosb -=≠-可知，00000000cosb sinb
sinb cosb cosb sinb sinb cosb -⎛⎫ ⎪
⎪ ⎪- ⎪
⎝⎭ 可逆。

因此，1234,,,y y y y 线性无关，从而构成V 的一组基。

（2）1
0000000000000000cosb sinb cosb sinb
sinb cosb sinb cosb cosb sinb cosb sinb sinb cosb sinb cosb --⎛⎫⎛⎫ ⎪ ⎪- ⎪ ⎪= ⎪ ⎪- ⎪ ⎪-⎝⎭⎝⎭
为1234,,,y y y y 到1234,,,x x x x 的过渡矩阵。

（3）112at at
Dx ae cosbt be sinbt ax bx =-=-，
212at at Dx ae sinbt be cosbt bx ax =+=+，
3134at at at Dx e cosbt ate cosbt bte sinbt x ax bx =+-=+-， 4234at at at Dx e sinbt ate sinbt bte cosbt x bx ax =++=++。

由此可得，微分算子D 在基1234,,,x x x x 下的矩阵为11a b b a A a b b a ⎛⎫ ⎪- ⎪= ⎪ ⎪
-⎝⎭。

四、线性变换下向量的坐标
在线性空间中，由于每个向量均能表示成一组基的线性组合，因此向量在线性变换下的像将由基的像来决定。

结论4：设12,,
,n ααα为线性空间V 的一组基，线性变换T 在基12,,
,n ααα下的矩阵表
示为A ，向量α在此基下的坐标为()12,,,T
n k k k ，则T α的坐标为()12,,,T
n A k k k 。

例3：
§1.3内积空间
一、内积空间的基本概念
定义1：设V 是实数或复数域P 上的线性空间，若对任何向量,x y V ∈，都存在P 上的确
定数〉〈y x ,，满足以下条件：
（1）0,≥〉〈x x ，等号成立当且仅当0=x ； （2）〉〈+〉〈=〉⋅+⋅〈z y z x z y x ,,,βαβα； （3）〉〈=〉〈x y y x ,,。

则称〉〈y x ,为x 与y 的内积，V 为内积空间。

特别P R =时，V 称为欧氏空间；P C =时，
V 称为酉空间。

显然，内积空间中具有两种相容的基本运算：线性运算和内积，其中内积运算具有线性性。

内积运算虽然不是封闭的，但可视为元素的示性运算。

例1：常见的内积空间,,[,]n
m n
P P
C a b ⨯。

结论1：对每一个x V ∈，令〉〈=x x x ,，则x 为一个实数，并满足：①0≥x ，当且仅当0=x 时等号成立，②
,x x P ααα=∈，③y x y x +≤+，即x 构成V 上的
一个范数，称为内积诱导的范数，V 构成赋范线性空间。

注：若定义(,)d x y x y =-，则(,)d x y 具有正定性、对称性并满足三点不等式，从而
(,)d x y 构成V 上的一个距离，称为内积诱导的距离，V 构成一个距离空间。

Schwarz 不等式：,x y x y 〈〉≤⋅，等号成立当且仅当x 与y 线性相关。

证明：不妨设0y ≠，由,,,0,,x y x y x y x y y y y y 〈〉〈〉
〈-
-〉≥〈〉〈〉
可得， ,,,0,x y x y x x y y 〈〉〈〉〈〉-
≥〈〉
，从而〉〈⋅〉〈≤〉〈y y x x y x ,,,2
，
并且等号成立当且仅当,,0y y x x y y 〈〉-〈〉=即x 与y 线性相关。

二、正交基
1、正交向量组与Schmidt 正交化
定义2：设V 是内积空间，,x y V ∈，若0,=〉〈y x ，则称x 与y 正交，记为y x ⊥。

若V 中非零向量组12,,
,n ααα两两正交，则称12,,,n ααα为正交向量组。

结论2：正交向量组必是线性无关的，线性无关向量组必可Schmidt 正交化。

对于线性无关向量组12,,
,n ααα，令11αβ=，1111222ββββααβ〉
，〈〉
，〈-=，...，
11111111...n n n n n n n n αβαββαββββββ----=-
--〈，〉〈，〉
〈，〉〈，〉
，则12,,
,n ααα是与12,,
,n ααα相互
等价的正交向量组。

例2：试将内积空间[,]C a b 中向量2
1,,x x 正交化。

解：设11=α，x =2α，2
3x =α，令11αβ=，1111222ββββααβ〉
，〈〉
，〈-
=，
111132222333ββββαββββααβ〉，〈〉，〈〉，〈〉，〈--
=，则11=β，21
2-=x β，6
123+-=x x β。

2、标准正交基 定义3：设12,,
,n ααα为n 维内积空间V 中两两正交的单位向量组，则称12,,
,n ααα为
V 的标准正交基。

结论3：任何有限维内积空间总有标准正交基，标准正交基下向量的内积为对应坐标在n P 中的内积。

结论4：标准正交基之间的过渡矩阵P 是酉矩阵或正交矩阵，即H
P P E =。

推论：酉空间或欧氏空间中标准正交基之间的过渡矩阵为酉矩阵或正交矩阵。

注：可通过构造酉矩阵或正交矩阵来建立新的标准正交基。

结论5：方阵为酉矩阵（正交矩阵）的充分必要条件是其列向量组构成n
C （n R ）中的标准正交基。

三、正交分解
定义4：若A a ∈∀，有a x ⊥，则称x 与A 正交，记为A x ⊥。

若B b A a ∈∈∀,，有b a ⊥，则称A 与B 正交，记为A B ⊥。

定理：设21,V V 为内积空间V 的子空间，并且12V V ⊥，则12V V +是直和。

证明：任取12V V α∈，则1V α∈，2V α∈。

由12V V ⊥可得，,0αα〈〉=，从而0α=，
因此{}1
20V V =，从而12V V +是直和。

结论6：{},W W V ααα⊥
=
⊥∈为V 的子空间，称之为W 的正交补空间。

正交分解定理：对于任何V 的子空间W ，总有=V W W ⊥
⊕。

例3：在欧氏空间22
R
⨯中的内积定义为22
22
2211
(,) (()
,())ij ij
ij ij i j A B a b A a B b ⨯⨯===
==∑∑，
设121101, 0011A A ⎛⎫⎛⎫==
⎪ ⎪⎝⎭⎝⎭
，令{}12, W span A A =， 求（1）W ⊥
的一个基；（2）将12, A A 扩展为22
R
W W ⨯⊥=+的一个标准正交基。

解：(1)由11010,00011a b a b c d c d ⎛⎫⎛⎫⎛⎫⎛⎫
== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭
〈，〉〈，〉
， 即0,0a b b c d +=++=，解之得()()(),,,1,1,1,01,1,0,1T
T
T
a b c d c d =-+-。

由此可得，341111, 1001A A --⎛⎫⎛⎫
==
⎪ ⎪⎝⎭⎝⎭。

(2)
121111, 0022B B -⎫⎫=
=⎪⎪⎭⎭,341111, 1023B B --⎫⎫
==⎪⎪-⎭⎭。

四、最小二乘法 定义： 定理：
最小二乘法定理：设12,,
,n a a a b ,均为m 维列向量，若12(,,,)T n n x x x x R =∈使得
1122()n n b x a x a x a -+++达到最小，则T T A Ax A b =，其中12(,,
)n A a a a =,。

证明：由2
1122()()()2T T T T T n n b x a x a x a b Ax b Ax x A Ax b Ax b b -+++=--=-+可
得，1122()n n b x a x a x a -+++达到最小时，x 满足T T A Ax A b =。

注：1122()n n b x a x a x a -++
+的最小值为0时，x 满足Ax b =；
1122()n n b x a x a x a -++
+的最小值大于0时，由()()T T R A A R A =可知，
对于任何m b R ∈，T T A Ax A b =总是有解的。

例4：设1101121,12310A b ⎛⎫⎛⎫ ⎪ ⎪
== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭
，求Ax b =的最佳解。

§1.4正交变换及其特征
一、正交变换的概念
定义：设T 是内积空间V 到V 中的映射，若对任何,x y V ∈，都有,,Tx Ty x y <>=<>，则称T 是V 上的正交变换。

注：正交变换保持内积运算不变。

性质：正交变换必为线性变换； 证明：对任何,x y V ∈，
2
()(),()(),(),T x y Tx Ty T x y T x y T x y Tx T x y Ty +--=<++>-<+>-<+>
,(),,,(),,Tx T x y Tx Tx Tx Ty Ty T x y Ty Tx Ty Ty -<+>+<>+<>-<+>+<>+<>
,,,,x y x y x y x x y y x x y =<++>-<+>-<+>-<+>
+,,,+,,0x x x y y x y y x y y <>+<>-<+><>+<>=。

由此可得，对任何,x y V ∈，()T x y Tx Ty +=+。

对任何x V ∈，P λ∈，
2
()(),()(),,(),T x Tx T x T x T x Tx Tx T x Tx Tx λλλλλλλλλλ-=<>-<>-<>+<>
(),()(),,(),T x T x T x Tx Tx T x Tx Tx λλλλλλλλ=<>-<>-<>+<>
,,,,0x x x x x x x x λλλλλλλλ=<>-<>-<>+<>=
由此可得，对任何x V ∈，P λ∈，()T x Tx λλ=。

二、正交变换的特征
定理1：线性变换为正交变换的充分必要条件是在标准正交基下的矩阵为酉矩阵或正交矩阵。

证明：
注：标准正交基之间的过渡矩阵为酉矩阵或正交矩阵，因此可利用正交变换来构造新的标准正交基。

定理2：线性变换为正交变换的充分必要条件是将标准正交基变为标准正交基。

证明：
推论：向量在正交变换基下的坐标等于在原标准正交基下的坐标左乘过渡矩阵（也即正交变换系数矩阵）逆矩阵（也即转置矩阵）。

注：标准正交基之间的过渡矩阵恰好对应着一个正交变换。

定理3：线性变换为正交变换的充分必要条件是保持长度不变。

证明：
注：保持长度不变的线性变换也保持夹角不变。

三、正交变换的几何作用：二维和三维空间中的旋转、反射变换。

1、二维空间中的旋转变换
对于任何()2
,T
x y R ∈，设()(),=,T
T
T x y xcos ysin xsin ycos θθθθ+-+，则正交变
换T 是2
R 中的旋转变换。

事实上，若设()()121,0,0,1T
T
e e ==，则T 在12,e e 下的矩阵为cos sin A sin cos θ
θθθ⎛⎫
= ⎪-⎝⎭。

由此可知，T 是x 轴逆时针旋转θ的正交变换。

2、三维空间中的旋转变换
对于任何()3
,,T
x y z R ∈，设
()()
,,=,,T T
T x y z xcos cos ysin zsin cos xcos sin ycos zsin sin xsin zcos γθθγθγθθγθγγ--+-+则正交变换T 是3
R 中的旋转变换。

事实上，若设()()()1231,0,0,0,1,0,0,0,1T
T
T
e e e ===，则T 在123,,e e e 下的矩阵为
cos cos sin sin cos A cos sin cos sin sin sin cos γθθγθγθθγθγγ--⎛⎫
⎪
=- ⎪ ⎪⎝
⎭。

由此可知，T 是x 轴旋转(,)θγ、y 轴旋转θ、z 轴旋转γ的正交变换。

3、二维空间中的反射变换
对于任何()2,T
x y R ∈，设()()1,=,T
T
T x y x y -，()()121,0,0,1T
T
e e ==，则正交变换
1T 是2R 中关于y 轴的反射变换，基12,e e 下的矩阵为11001A -⎛⎫
= ⎪⎝⎭。

设()()2,=,T
T
T x y x y --，则正交变换2T 是2R 中关于坐标原点的反射变换，基12,e e 下的矩阵为21001A -⎛⎫
=
⎪-⎝⎭。

设()()3,=,T
T
T x y y x ，则正交变换3T 是2R 中关于对角线y x =的反射变换，基12,e e 下
的矩阵为30110A ⎛⎫
= ⎪⎝⎭。

4、三维空间中的反射变换
对于任何()3
,,T
x y z R ∈，设()(),,=,,T
T
T x y z y x z ，则正交变换T 是3
R 中关于平面
y x =的反射变换，基()()()1231,0,0,0,1,0,0,0,1T T T
e e e ===下的矩阵为
010100001A ⎛⎫
⎪= ⎪ ⎪⎝⎭。

注：任何正交变换总可分解为一系列旋转和反射变换的复合。

如，cos sin A sin cos θ
θθθ--⎛⎫
=
⎪-⎝⎭
对应的正交变换就是cos sin sin cos θ
θθ
θ⎛⎫
⎪-⎝⎭对应的旋转和1001-⎛⎫
⎪-⎝⎭
对应的反射的复合。

§1.5应用于小波变换的框架理论
一、框架与对偶框架：
二、紧框架：
三、Riesz 基：
第二章 矩阵的标准形理论
知识要点：
1、特征值和特征向量的概念（特征方程，特征子空间，特征值的几何重数与代数重数）
2、矩阵的相似对角化（相似对角化的特征，Schur 分解定理，正规矩阵及其酉相似对角化，
Hermite 阵与正定矩阵）
3、特征矩阵和Smith 标准形（秩，行列式因子，不变因子，Smith 标准形）
4、初等因子和Jordan 标准形（初等因子，矩阵相似的特征，Jordan 块和标准形）
5、Cayley Hamilton -定理和矩阵的最小多项式（矩阵多项式，Cayley Hamilton -定理，矩阵的零化多项式与最小多项式）
§2.1 线性变换的特征值和特征向量
一、特征值和特征向量的基本概念
定义1：设T 是内积空间V 上的线性变换，若存在数λ和V 中非零向量α，使得T αλα=，则λ称为T 的特征值，α称为T 属于λ的特征向量。

注：若线性变换由一线性系统来实现，则特征信号x 可方向不变地通过该系统，所产生的系统增益为对应的特征值。

例1：恒等变换的特征值均为1，所有非零向量均为其特征向量。

n R 中对角阵11
00000n D λλλ⎛⎫
⎪ ⎪
=
⎪
⎪⎝⎭
对应的线性变换的特征值为12,,,n λλλ，i λ对应
的特征向量为齐次线性方程组
0i E D x λ-=（）的所有非零解，1,2,,i n =。

结论1：若T 在基12,,,n ααα之下的矩阵为A ，属于特征值λ的特征向α在该基下的坐标
为()12,,,T
n x ξξξ=，则λ为矩阵A 的特征值，x 为A 属于λ的特征向量（与基的形式直
接相关）。

结论2：线性变换的特征值与基的形式无关，但特征向量与基的形式直接相关。

结论3：线性变换对应矩阵所有特征值之积等于其行列式的值，所有特征值之和等于其对角线元素之和。

结论4：线性变换在不同特征值下的特征向量线性无关。

二、特征子空间
定义2：设λ为线性变换的特征值，则集合{},V T V λααλαα=
=∈称为T 的特征子空间。

注：若T 在V 的一组基下对应的矩阵为A ，则{},V T V λααλαα=
=∈同构与
{}
,n S x Ax x x P λλ==∈，从而dim ()dimV S n R E A λλλ==--。

定义3： 特征子空间的维数dimV λ称为λ的几何重数，特征方程E A λ-中λ的重数称为λ
的代数重数。

注：A 的特征子空间为线性子空间，所有几何重数之和不超过n ，所有代数重数之和为n 。

结论5：特征值的几何重数不大于代数重数。

例2：设线性变换T 在基123,,ααα之下的矩阵为110430102A -⎛⎫
⎪
=- ⎪ ⎪⎝⎭
，求T 的特征值和特征向
量，以及各特征值的几何重数和代数重数。

解：由特征方程+1
1043
01
2
E A λλλλ--=
-=--可得，1232,1λλλ===。

对于12λ=，由3102410100E A -⎛⎫
⎪
-=- ⎪ ⎪-⎝⎭
，解得方程组()20E A x -=的基础解系为
(){}0,0,1T。

由此可得，在基1
2
3
,,ααα之下T 对应于1
2λ=的特征向量为3
c α，其中c 为
非0实数。

因此，12λ=的几何重数和代数重数分别为1,1。

对于231λλ==，由210420101E A -⎛⎫ ⎪
-=- ⎪ ⎪--⎝⎭
，解得方程组()0E A x -=的基础解系为
()
{}1,2,1T
-。

由此可得，在基1
2
3
,,ααα之下T 对应于2
31λ
λ==的特征向量为
()1232c ααα+-，
其中c 为非0实数。

因此，231λλ==的几何重数和代数重数分别为1,2。

§2.2 矩阵的酉相似对角化
一、线性变换完全解耦及矩阵相似对角化
定义1：设V 上的线性变换T 存在一组特征向量12,,,n ααα构成V 的一组基，12,,,n
λλλ为对应的特征向量，则称T 在基12,,
,n ααα下完全解耦，此时
111222,,
,n n n T T T αλααλααλα===。

结论1：线性变换T 在基12,,,n ααα下完全解耦的充分必要条件是T 在基12,,
,n ααα下
的表示矩阵为对角阵。

定理1：线性变换T 在基12,,,n ααα下的表示矩阵与对角阵相似（即可相似对角化）的充。