注水定理和矩阵分解

随机信号、非周期信号、准周期信号和周期信号，由于其时间是无限的，总为功率信号

能量信号只可能是有限时间内存在的确定性信号

1 AWGN 信道

离散事件加性高斯白噪声信道：[i][i][i]y x n =+ ，信道容量由香农公式得出：

2log (1)C B γ=+

接收信噪比定义为x [i ]的功率除以n [i ]的功率，即用公式（1）可计算N 次观测下出信号和噪声的功率，但由于白噪声单边功率谱密度为N 0/2，所以噪声功率可用N 0B 表示。

信道容量和注水定理

信道容量就是下面这个公式：

C=log(1+P/N)

其中C 是信道容量，P 是信号功率，N 是噪声功率。 这几个字母，是香农老人家最牛逼的成果，指引着通信技术的发展方向。

如果信号的功率为P=P1+P2，可以验证一个公式：

C=log(1+(P1+P2)/N)=log(1+P1/N)+log(1+P2/(P1+N))=C1+C2。

C1=log(1+P1/N)可理解为信号功率P1，噪声为N 时的容量，C2=log(1+P2/(P1+N))可理解为信号功率P2，噪声为(P1+N)时的容量。有人把这个叫superposition coding 。

也就是说，这两份功率，第一份功率产生了一个容量，同时等效成了对第二份功率的噪声。

了解了这个结论，我们来想，如果有N 个并行的信道，这N 个信道上已经有一些噪声或者信号的功率。如果我再有一小份功率，把它分配到哪个信道上能获得最大的信道容量呢？从上面的分析我们知道，已经存在的功率，无论是噪声还是信号，对后来的信号来说都是噪声，因此，这一小份功率分配到累计功率最小的信道上获得的容量最大。这样分配的结果就是N 个信道上的功率是相同的，就是注水定理。

注水定理可以看作是信道容量的动态过程。

matlab 中的矩阵分解

矩阵分解是指根据一定的原理用某种算法将一个矩阵分解成若干个矩阵的乘积。常见的矩阵分解有LU 分解（三角分解）、QR 分解（正交变换）、Cholesky 分解，以及Schur 分解、Hessenberg 分解、奇异分解等。

(1) LU 分解（三角分解）

矩阵的LU 分解就是将一个矩阵表示为一个交换下三角矩阵和一个上三角矩阵的乘积形式。线性代数中已经证明，只要方阵A 是非奇异（即行列式不等于0）的，LU 分解总是可以进行的。 MATLAB 提供的lu 函数用于对矩阵进行LU 分解，其调用格式为：

[L,U]=lu(X)：产生一个上三角阵U 和一个变换形式的下三角阵L(行交换)，使之满足X=LU 。注意，这里的矩阵X 必须是方阵。

[L,U,P]=lu(X)：产生一个上三角阵U和一个下三角阵L以及一个置换矩阵P，使之满足PX=LU。当然矩阵X同样必须是方阵。

（设P 是一个 m×n 的 (0,1) 矩阵，如 m≤n且 P*P′=E，则称 P为一个 m×n的置换矩阵。）

实现LU分解后，线性方程组Ax=b的解x=U\(L\b)或x=U\(L\Pb)，这样可以大大提高运算速度。

例7-2 用LU分解求解例7-1中的线性方程组。

命令如下：

A=[2,1,-5,1;1,-5,0,7;0,2,1,-1;1,6,-1,-4];

b=[13,-9,6,0]';

[L,U]=lu(A);

x=U\(L\b)

或采用LU分解的第2种格式，命令如下：

[L,U ,P]=lu(A);

x=U\(L\P*b)

(2) QR分解（正交变换）

对矩阵X进行QR分解，就是把X分解为一个正交矩阵Q和一个上三角矩阵R的乘积形式。QR分解只能对方阵进行。MATLAB的函数qr可用于对矩阵进行QR分解，其调用格式为：

[Q,R]=qr(X)：产生一个一个正交矩阵Q和一个上三角矩阵R，使之满足X=QR。

[Q,R,E]=qr(X)：产生一个一个正交矩阵Q、一个上三角矩阵R以及一个置换矩阵E，使之满足XE=QR。实现QR分解后，线性方程组Ax=b的解x=R\(Q\b)或x=E(R\(Q\b))。

例7-3 用QR分解求解例7-1中的线性方程组。

命令如下：

A=[2,1,-5,1;1,-5,0,7;0,2,1,-1;1,6,-1,-4];

b=[13,-9,6,0]';

[Q,R]=qr(A);

x=R\(Q\b)

或采用QR分解的第2种格式，命令如下：

[Q,R,E]=qr(A);

x=E*(R\(Q\b))

(3) Cholesky分解

如果矩阵X是对称正定的，则Cholesky分解将矩阵X分解成一个下三角矩阵和上三角矩阵的乘积。设上三角矩阵为R，则下三角矩阵为其转置，即X=R'R。MATLAB函数chol(X)用于对矩阵X进行Cholesky 分解，其调用格式为：

R=chol(X)：产生一个上三角阵R，使R'R=X。若X为非对称正定，则输出一个出错信息。

[R,p]=chol(X)：这个命令格式将不输出出错信息。当X为对称正定的，则p=0，R与上述格式得到的结果相同；否则p为一个正整数。如果X为满秩矩阵，则R为一个阶数为q=p-1的上三角阵，且满足R'R=X(1:q,1:q)。

实现Cholesky分解后，线性方程组Ax=b变成R‘Rx=b，所以x=R\(R’\b)。

例7-4 用Cholesky分解求解例7-1中的线性方程组。

命令如下：

A=[2,1,-5,1;1,-5,0,7;0,2,1,-1;1,6,-1,-4];

b=[13,-9,6,0]';

R=chol(A)

??? Error using ==> chol

Matrix must be positive definite

命令执行时，出现错误信息，说明A为非正定矩阵。

(4) 任意方阵的Schur分解

任意一个n阶方阵X可以分解为X=URU'，其中U为酉矩阵，R为上三角schur矩阵且其主对角线上的元素为X的特征值。

酉矩阵的相关性质：

设有A，B矩阵

（1）若A是酉矩阵，则A的逆矩阵也是酉矩阵

（2）若A，B是酉矩阵，则AB也是酉矩阵

（3）若A是酉矩阵，则|detA|=1

（4）A是酉矩阵的充分必要条件是，它的n个列向量是两两正交的单位向量

[U,R]=schur(X)

(5) 任意方阵的Hessenberg分解

任意一个n阶方阵X可以分解为X=PHP', 其中P为酉矩阵, H的第一子对角线下的元素均为0，即H 为Hessenberg矩阵。

[P,H]=hess(X)

(6) 任意方阵的特征值分解EVD

任意一个n阶方阵X可以分解为XV=VD，其中D为X的特征值对角阵，V为X的特征向量矩阵。[V,D]=eig(X)

[V,D]=eig(X,Y)计算广义特征值矩阵D和广义特征值向量矩阵V，使得XV=YVD。

(7)任意矩阵的奇异值分解SVD

任意一个m*n维的矩阵X可以分解为X=USV'，U，V均为酉矩阵，S为m*n维的对角矩阵，其对角线元素为X的从大到小排序的非负奇异值。U,V为正交阵，S为对角阵，svd(A)恰好返回S的对角元素，而且就是A的奇异值（定义为：矩阵A’*A的特征值的算数平方根）

[U,S,V]=svd(X)

(8) 任意矩阵的几何均值分解GMD

任意矩阵m*n维的矩阵X可以分解为X=QRP', Q，P均为酉矩阵，R为k*k维的实正线上三角矩阵，其主对角线元素均等于X的所有K个正奇异值的几何均值，k=rank(X)。

（PS: 一个n × n的实对称矩阵 M 是正定的当且仅当对于所有的非零实系数向量z，都有 zTMz > 0。其中zT 表示z的转置。

对于复数的情况，定义则为：一个n × n的埃尔米特矩阵 M 是正定的当且仅当对于每个非零的复向量z，都有z*Mz > 0。其中z* 表示z的共轭转置。由于 M是埃尔米特矩阵，经计算可知，对于任意的复向量z，z*Mz必然是实数，从而可以与0比较大小。因此这个定义是自洽的。正定方阵M的所有的特征值λi都是正的。）