多元统计分析第一章_矩阵补充

第1章 矩阵知识补充

矩阵是多元统计分析的基本工具。考虑读者已学过线性代数，本章补充一些必不可少的矩阵知识，作为多元统计分析的基础。未学过线性代数的读者，可以先自学一本线性代数书，再阅读本章 。

本书中向量和矩阵全用黑体字表示。

以k a ,...a 1为对角线上元素的矩阵记为diag(k a ,...a 1),即

diag(k a ,...a 1)=⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡k 1

a 0...0a

矩阵的谱分解

定理（矩阵的谱分解） 设实对称矩阵

A 的特征值和相应的单位特征向量是

k k e e ,...,,...11λλ，其中k e e ,...1两两正交；则

'...'111k k k e e e e A λλ+=。

证明 因为A 实对称，存在正交阵T ，使得'T T A Λ=，其中

[]k e e e T ...21=

是以k e e ,...1为元素的分块矩阵；

[]k diag λλλ...21=Λ

是对角阵，对角线上元素为

k λλ,...1。于是

[]⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢

⎢⎣⎡='...''0...0............0...00...0 (212)

12

1

k k k e e e e e e A λλλ。 根据分块矩阵乘法原理，'...'111k k k e e e e A λλ+=

。

定义 （）式称为A 的谱分解。当特征值无重根时，单位特征向量在不计正负号条件下是唯一的，即同一个矩阵只有同一形式的谱分解。

当特征值有重根时，由于单位特征向量不唯一，同一个矩阵可以有不同形式的谱分解。 例

⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡----=020212022A 。

的特征值和相应的单位特征向量是

⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡---3/23/23/1,3/13/23/2,3/23/13/2,2,4,1

所以

[][][]3/2,3/2,3/13/23/23/1)2(3/1,3/2,3/23/13/23/243/2,3/1,3/23/23/13/21⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡-+-⎥⎥

⎥⎦⎤

⎢⎢⎢⎣⎡-+--⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--=A

例（谱分解形式不唯一）若

⎥⎦

⎤⎢⎣⎡=4004A

A 的特征值为1，1；相应的特征向量是

⎥⎦⎤⎢⎣⎡=ααsin cos 1e ，⎥

⎦

⎤⎢⎣⎡-=ααcos sin 2e 其中α是任意常数。A 的谱分解就可以是

'4'42211e e e e A +=

容易证明，当k λλ,...1全不为零时，'...'1

11111k k k e e e e A ---+=λλ。

矩阵开平方与比较

定义（半正定矩阵）设A 为实对称矩阵，对任何实向量x 有0'≥Ax x ，则称A 为

半正定矩阵。

容易看出，正定矩阵也是半正定矩阵，且有

定理 正定矩阵的特征值必为正实数。半正定矩阵的特征值必为非负实数。

定义（半正定矩阵的算术平方根）：设

A 是半正定矩阵，它的谱分解是

'...'111k k k e e e e A λλ+=，则

'...'2

1112

112

1k k k e e e e A λλ+=

称为A 的算术平方根，简称为A 的平方根。

显然，当特征根无重根时，半正定矩阵谱分解形式上唯一，从而矩阵的平方根是唯一的。当特征根有重根时，学者可以自证：半正定矩阵谱分解形式上不一定唯一，但这时矩阵的平方根是唯一的。例如

⎥⎦

⎤⎢⎣⎡=4004A '4'42211e e e e +=

其中

⎥⎦⎤⎢⎣⎡=ααsin cos 1e ，⎥

⎦

⎤⎢⎣⎡-=ααcos sin 2e 这时

⎥⎦

⎤

⎢⎣⎡=+=2002'2'222112/1e e e e A 与α无关。

例

⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡----=102221342413A

的特征值和相应的单位特征向量是

⎥⎥

⎥⎥⎥⎥⎦⎤⎢

⎢⎢⎢⎢⎢⎣⎡-⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢

⎢⎢

⎢⎢⎣

⎡-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡313232,184181181,02/12/1,18,9,9， 所以

[][]

[]3/1,3/2,3/23/13/23/21818

/4,18/1,18/118/418/118/130,2/1,2/102/12/132

1-⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡-+-⎥⎥⎥

⎦⎤⎢⎢⎢⎣⎡-+⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=A

⎥⎥⎥

⎥⎥

⎥⎥⎦

⎤

⎢⎢

⎢⎢⎢⎢

⎢

⎣

⎡+-+--+-+--+=3283

22232223

22232453244322232

443245 定理

2

1A

是半正定矩阵且A A A

=2

12

1 。

证明 由可见2

1A 是半正定阵；两边平方，左边是2

12

1A A ，由特征向量的正交性，右边是

=++----)'...')('...'(2

/1112

/11

2

/1112

/11

k k k

k k k

e e e e e e e e λλλλA e e e e k k k =+--)'...'(1

1111λλ，

从而命题得证。

一般矩阵是不能比较大小的，但是对于半正定矩阵，在一定条件下，可以比较

定义 设B A ,都是半正定矩阵，且B A -半正定，则称B A ≥。

由半正定定义容易证明，当B A ≥时，A 对角线上元素全大于B 对角线上相应元素，例如

⎥

⎦

⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡411242218333是正定阵，所以⎥⎦⎤

⎢⎣⎡≥⎥⎦⎤⎢⎣⎡42218333 这时13≥，48≥。

.矩阵的迹

定义 设A 是方阵，其对角线上元素之和

∑ii

a

，称为A 的迹，记为)(A tr 。

定理 （1）设A,B 是同阶方阵，c,d 是常数，则 tr(cA+dB)=c*tr(A)+d*tr(B),

(2)设A 是n m ⨯阵,B 是m n ⨯阵，则 tr(AB)=tr(BA) 如果A 是对称的n n ⨯矩阵，其特征值为i λ（I=1,2,3,⋅⋅⋅⋅⋅⋅⋅⋅,n ），则 (3) tr(A)=

∑=n

i i

1

λ

,