矩阵的定义、运算和性质

norm)，也称范数（norm），定义为：
N
∑ X =
xi 2
i =1
(C-4)
C.2 矩阵和向量的运算
N × M 矩阵 A 的转置(transpose) AT 是 M × N 矩阵，定义为 ATij = A ji ：
⎛ a11 … a1M ⎞T ⎛ a11 … aN1 ⎞
AT
=
⎜ ⎜
⎟ ⎟
=
⎜ ⎜
M k =1
xk
Aki
。N
维行向
∑ 量和 N 维列向量相乘的结果是一个标量 z = xy =
N i =1
xi
y
i
。注意到
N
维向量的转置是
N
维
∑ 行向量，因此定义两个 N 维向量的内积为 x, y = xT y =
N i =1
xi
y
i
。
对于矩阵 A 的一些行组成的子集，若其中任一行都不是其他行的线性组合，则这个子
( ) 向量[x1 xN ] 。无论 x 是行向量还是列向量，总有 xT T = x 。
矩阵 A 的复共轭(complex conjugate) A∗ 是将 A 的每个元素取复共轭：
A∗
=
⎛ ⎜ ⎜
a11
⎜⎝ aN1
…
a1M aNM
⎞∗ ⎟ ⎟⎟⎠
=
⎛ a∗
⎜ 11
⎜
⎜ ⎝
a∗ 1M
… a∗ ⎞
⎟ N 1
是满秩的。
2 × 2 矩阵 A 的行列式（determinant）定义为 det[A] = A11A22 − A21A12 。对于 N × N （N>2）矩阵 A， det[A] 以迭代方式定义为：
N
∑ det[A] = Aijcij i =1
(C-9)
其中 j 是1 ≤ j ≤ N 之间的任意整数， cij 是矩阵元素 Aij 的余子式（cofactor），定义为：
∑ 方阵的迹（trace）为对角元素的和：Tr[A] =
A N
i=1 ii
。若一个方阵的所有非对角元素都是
[ 零，即若 Aij = 0, i ≠ j ，则称其为对角阵（diagonal matrix）。我们用 diag a1, , aN ] 表示对
角 元 素 为 a1, , aN 的 对 角 阵 。 N × N 单 位 阵 IN 是 对 角 元 素 全 为 1 的 对 角 阵 ， 即
⎟
a∗ NM
⎟ ⎠
(C-7)
( ) 矩阵 A 的厄密共轭（Hermitian）AH 是其共轭转置：AH = A∗ T 。两次厄密运算的结果是
原矩阵：(AH )H = A ，故 A 也是 AH 的厄密共轭。称方阵 A 为厄密矩阵，若其满足 A = AH 。
程方阵 A 为正规矩阵（normal matrix），若其满足 AH A = AAH 。厄密矩阵同时也是正规矩
M j =1
Aij
2
。只要矩阵的维数相容，矩阵乘法满
足 结 合 律 ： ( AB) C = A (BC) ， 故 通 常 省 略 括 号 。 矩 阵 相 乘 也 满 足 分 配 律 ：
A (B + C) = AB + AC ， (A + B)C = AC + BC 。
M 维向量可以与 M 列的矩阵相乘。若 A 是一个 N × M 矩阵而 x 是一个 M 维向量（即
1/8
⎡B C⎤
A = ⎢⎣D E⎦⎥
(C-2)
矩阵 B、C、D 和 E 称为 A 的子阵（submatrix）。只要大小合适，一个矩阵可以由任意多个
子阵组成。也可以通过删除 A 的某些行或列得到子阵 A′ 。
只有一个列的矩阵（即 M = 1 ）称为列向量(column vector)或向量(vector)。向量的行数 称为其维数。例如下式的 x 就是一个 N 维向量：
并非所有的方阵都是可逆的，若其不可逆，则称其为奇异的（singular）或者不可逆的
( ) （noninvertible）。逆矩阵的逆是原矩阵： A−1 −1 = A 。矩阵积的逆为矩阵的逆以相反顺序 ( ) ( ) 的积： AB −1 = B−1A−1 。逆的 k 次幂为 A−k = A−1 k 。
附录 C 矩阵的定义、运算和性质
本附录概述书中所用到的矩阵方面的定义、运算和性质。关于更多矩阵方面的处理，以 及本附录中给出的性质的证明，请参见[1~4].
C.1 矩阵和向量
N×M 矩阵(matrix)A 是一个 N 行 M 列数字构成的方阵，记为：
⎡ a11 … a1M ⎤
A
=
⎢ ⎢
⎥ ⎥
⎢⎣aN1
乘：( AB)T = BT AT 。N × M 矩阵 A 与它的 M × N 厄密阵 AH 的积为方阵，AAH 为 N × N
方 阵 ， AH A 为 M × M 方 阵 。 矩 阵 A 的 Frobenius 范 数 定 义 为
∑ ∑ A = Tr[AAH ] = Tr[AH A] = F
N i =1
阵，因为 AH = A ，所以 AH A = AAH 。也可以对向量做复共轭和厄密运算。列向量或者
行向量 x 的复共轭 x∗ 是对 x 的每个元素取复共轭。向量 x 的厄密向量 xH 是其共轭转置：
( ) xH =
x∗
T
。
两个 N × M 矩阵可以相加，结果是一个新的 N × M 矩阵，加法是逐元素相加。也就是 说，两个 N × M 矩阵 A 和 B 的和 C = A + B 是 N × M 矩阵，其第 ij 个元素是 Cij = Aij + Bij 。 因为是逐元素相加，所以加法的交换律和结合律仍然成立，即 A+B =B+A ，
∑ M ×1矩阵），则它们的积是 N 维向量 y = Ax ，第 i 个元素为 yi =
M k =1
Aik
xk
。注意必须
是矩阵左乘向量，因为 xA 存在维数不相容的问题。但若 x 是 N 维行向量，则对于 N × M 矩
∑ 阵 A， xA 维数相容，结果是一个 M 维行向量，第 i 个元素是 yi =
IN = diag [1, ,1]。在不至混淆的情况下， IN 的下标 N 可以省略。
上三角（upper triangular）阵是这样一个方阵，其对角线之下的元素都为零，即
Aij = 0, i > j 。下三角（lower triangular）阵则是对角线之上的元素都为零的方阵，即 Aij = 0, i < j 。对角阵既是上三角阵，又是下三角阵。
可以对矩阵乘以任意标量，其结果是矩阵的每一个元素都乘以这个标量。如矩阵 A 乘
以标量 k 的结果 kA 为：
3/8
⎛ a11 … a1M ⎞ ⎛ ka11 … ka1M ⎞
kA
=
k
⎜ ⎜
⎟ ⎟
=
⎜ ⎜
⎟ ⎟
⎜⎝ aN1
aNM ⎟⎠ ⎜⎝ kaN1
kaNM ⎟⎠
(C-8)
行 向 量 x 乘 以 标 量 k 的 结 果 是 kx = [kx1 kxN ] ， 列 向 量 x 乘 以 标 量 k 的 结 果 是 kx = [kx1 ] kxN T 。
4/8
集是线性无关的(linearly independent)。类似地，矩阵 A 的一些列组成了一个线性无关子集，
若其中的任一列都不是其他列的线性组合。矩阵 A 的秩（rank）RA 等于矩阵 A 的线性无关
行构成的最大子集的行数，可证明它也等于矩阵 A 的线性无关列构成的最大子集的列数。
这表明 N × M 矩阵的秩不能超过 min[N , M ] 。若 RA = min[N, M ] ，则称 N × M 矩阵 A
⎡ x1 ⎤
x
=
⎢ ⎢
⎥ ⎥
⎢⎣ xN ⎥⎦
(C-3)
向量 x 的第 i 个元素记为 xi 。称所有元素均为 1 的 N 维向量为全幺向量，记为 1N 。只有一 个元素为 1，其余元素为零的向量称为单位向量。第 i 个单位向量 ei 有 eii = 1，eij = 0, j ≠ i 。 只有一个行的矩阵（即 N = 1）称为行向量（row vector）。行向量的列数是其维数。 M 维 行矢量为 x = [x1 xM ]，第 i 个元素 xi = xi 。 N 维行向量或者列向量的欧氏范数(Euclidean
cij = (−1)i+ j det[A′] 其中 A′ 是从 Aຫໍສະໝຸດ Baidu中删除第 i 行第 j 列后得到的子阵。
(C-10)
对于 N × N 方阵 A，若存在另外一个 N × N 方阵 B 使得 BA = IN ，则称 A 是可逆的 (invertible)，或者非奇异的（nonsingular），称 B 为 A 的逆(inverse)，记为 A−1 。于是 A−1A = I N 。 对于这样定义的 A−1 ，也有 AA−1 = I N 。只有方阵是可逆的，并且逆矩阵和原矩阵大小相同。 称可逆方阵 U 为酉（unitary）阵，若其满足 UUH = I ，这表明 UH = U−1 ，因而 UH U = I 。
矩阵 A 和 M × L 矩阵 B，积 BA 仅当 L = N 时存在，此时 BA 是 M × M 矩阵，它与 N × L 的矩阵 AB 可能大小都不一样。即便 M = L = N ， AB 和 BA 这两个矩阵虽然大小相同， 但内容不一定相等。方阵 A 可以自己乘自己，定义 A2 = AA ，Ak = A A 为 k 个 A 的连 乘，由此可得 Ak Al = Ak+l 。任意矩阵与维数相容的单位阵相乘的结果还是原矩阵，即若 A 为 N × M 矩阵，则 IN A = AIM = A 。两矩阵积的转置等于每个矩阵转置后以相反的顺序相
对 角 阵 D = diag [d1, , dN ] 当 所 有 di ≠ 0 （ i = 1, , N ） 时 ， 其 逆 存 在 且 为 D−1 = diag [1 d1, ,1 dN ] 。对于一般的 2× 2 矩阵 A，当 det[A] ≠ 0 时逆存在，为：
只要维数没问题，矩阵的元素也可以是矩阵。例如，若 B 是 N × M1 矩阵，C 是 N × M 2
矩阵，则 A = [B, C] 形成了一个 N × (M1 + M1) 矩阵，也可以写成 A = [B | C]，其第 i 行为
[Ai1 Ai(M1+M2 ) ] = [Bi1 BiM1Ci1 CiM2 ] 。若另有 K × L1 矩阵 D 和 K × L2 矩阵 E，且 M1 + M 2 = L1 + L2 ，则可以组成一个 (N + K ) × (M1 + M 2 ) 矩阵：
⎟ ⎟
⎜⎝ aN1
aNM ⎟⎠ ⎜⎝ a1M
aNM ⎟⎠
(C-5)
[ AT 也就是调换了 A 的行和列，A 的第 i 行是 AT 的第 i 列。行向量 x = x1
相同元素组成的列向量：
xN ] 的转置是
⎡ x1 ⎤
xT
= [x1...xN ]T
=
⎢ ⎢
⎥ ⎥
⎢⎣xN ⎥⎦
2/8
(C-6)
因此我们经常把列矢量写成 x = [x1 xN ]T 的形式。类似地， N 维（列）向量 x 的转置是行
维数相容的两个矩阵可以相乘，具体要求是第一个矩阵的列数应等于第二个矩阵的行
数。若 A 是 N × M 矩阵，B 是 M × L 矩阵，则 C = AB 是 N × L 矩阵，其第 ij 个元素是
M
∑ Cij = AikBkj 。矩阵乘法一般不满足交换率（即一般 AB ≠ BA ）。实际上，对于 N × M k =1
( A + B) + C = A + (B + C) 。矩阵和的转置等于矩阵的转置的和： ( A + B)T = AT + BT 。
矩阵的减法与此类似，对于两个 N × M 矩阵 A 和 B，C = A − B 是 N × M 矩阵，其第 ij 个 元素是 Cij = Aij − Bij 。行向量或列向量是矩阵的特例，也可以按矩阵加法的定义进行相加， 例如 N 维向量 x、y 相加得 z = x + y ，其第 i 个元素为 zi = xi + yi 。行向量类似。但一个维 数 N > 1的行向量不能同一个 N 维列向量相加，因为它们是大小不同的矩阵（行向量是 1× N ，列向量是 N ×1 ）。 N 维向量 x、y 的线性组合 z = cx + dy 是一个新的 N 维向量， 其第 i 个元素是 zi = cxi + dyi ， c 和 d 是任意的标量。
aNM ⎥⎦
(C-1)
A 的第 ij 个元素（即位于第 i 行第 j 列的元素）记为 Aij 。在式(C-1)中， Aij = aij 。矩阵的
元素也称为标量(scalar)以表明它是单个数字。对于 N×M 矩阵，N＝M 称为方阵，N>M 称 为瘦阵，N<M 称为胖阵。
方阵的对角元素指位于矩阵左上角到右下角的对角线上的元素，即 Aij ， i = j 。N×N