信道容量

信道容量研究通信的科研人员总是逃不过信道容量的计算。

而且会经常使用到C=B\mathrm{Log(1+SNR)}这个公式。

所以这个信道容量到底是什么意思呢，到底是怎么来的？所以信道容量的定义是什么，怎么推导、计算，实际意义又是什么？信道容量有两种:香农容量(遍历容量)和中断容量。

香农容量信道容量是在不考虑编解码延时和复杂度的情况下，误码率趋近于零的最高传输速率。

通道容量是一个上限。

如果要以高于这个的速率传输，就要付出误码率的代价。

香农是这样描述信道容量的:存在一个输入分布，可以最大化传输信息时的互信息。

这个最大互信息就是信道容量。

至于香农为什么可以这样定义，已经严格证明了，这是信息论的内容，后面再说。

互信息那么什么是互信息(这里默认理解为信息熵)？首先互信息是描述一个信息传递过程的一个量，用来刻画这个传输过程传输了多少有价值的信息。

比如说，你暗恋一个姑娘，你想去告白但是你很忐忑，成功了就很棒，失败了可能连朋友都做不成，所以H(X)就表示这种不确定性。

有一天你终于鼓起勇气给他发告白了，正常情况下对方会回复你，可能是“你是个好人”或者“那我们明天一起去看电影吧”或者给你一个尼克杨表情包，所以互信息就是用来刻画这条携带了多少信息量。

显然“好人”和“电影”这两个信息终究是给了你一个答案，解除了你心中的不确定性，携带的信息量就是你心中本来的不确定性。

但是如果他把你当备胎，回复你一个表情包，当然表情包也是可以看出来一点点她对你的态度，所以你心中的不确定性可能减小了一点，你能感受到对方的态度是有机会的还是没有机会的，所以这个表情包的携带的信息量可能就很小，因为虽然知道了一点对方的态度，但是你还是搞不清楚对方怎么想的。

X,Y分别表示两个随机变量，因为信源发送什么信息是一个随机事件，信息熵H(X)量化了信源的平均不确定性，而接收的信息经过信道的污染，也是随机的，所以H(Y)也量化了接收信息的平均不确定性。

虽然X,Y是两个变量，但是接收到的Y 肯定和X有点关系，并不是完全独立的，那么我们就可以根据Y猜X，能缩小一些X范围，能减小一些不确定性（互信息），这个互信息用I(X,Y)表示。

所以I(X,Y)直觉上是这样计算：\begin{aligned}I(X,Y)&=H(X)-H(X|Y)\\&=H(Y)-H(Y|X)\end{aligned} \\第一个等号的解释：H(X)是信源本来的不确定性，H(X|Y)是一个条件熵，表示我现在在已经知道Y的情况下X还剩下的不确定性。

就是你收到你暗恋对象给你发的之后，你心里还有多少不确定性。

第二个等号的解释：第二个情况直观上可能难以理解一些。

互信息刻画的就是一个传播过程携带的信息量，从接收端的角度来看，本来我收到一个信息Y这个Y有5种可能，但是假设你知道发送端发的X是什么，你也知道在信道传输的过程中呢X 不管再怎么被污染都不可能出现某两种情况，所以你现在可以确定接收信息Y就只有三种可能了，这种不确定性减少的还是因为这个信息传递的过程带来的。

所以信息传递的信息量也可以看作接收端不确定性的减少。

实际上，这种计算方式使用更加广泛一些。

所以根据Shannon的定义和证明，需要遍历所有可能的信道输入分布，找到能够最大化互信息的一个。

即:C=\max _{p(x)} I(X ; Y)=\max _{p(x)} \sum_{x, y} p(x, y) \log \left(\frac{p(x, y)}{p(x) p(y)}\right) \\后面一个等式是这样计算出来的：\begin{aligned}I(X,Y)&=H(X)-H(X|Y)\\&=-\sum_x p(x) Log(p(x))+\sum_y\sum_xp(y)p(x|y)Log(p(x|y))\\&=\sum_{x ,y}p(x,y)Log(p(x|y))-\sum_{x,y}p(x,y)Log(p(x))\\&=\sum_{x,y}p(x,y)Log(\frac {p(x|y)}{p(x)})\\&=\sum_{x,y}p(x,y)Log(\frac{p(x,y)}{p (x)p(y)})\end{aligned} \\这里面用到两个技巧就是：p(x,y)=p(y)p(x|y)和\sum_{x,y} p(x,y)=\sum_{x}p(x)。

以上的定义是针对随机变量X,Y是离散变量的情况，针对连续变量，连续变量实际上是没有熵的，只有微熵。

其实在本质的内涵上不影响互信息的含义。

连续变量的微熵，联合熵、条件熵都可以简单认为就是将求和形式变成积分的形式。

即：C=\max _{p(x)} \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} p(x, y) \log (\frac{p(x, y)}{p(x)p(y)})\mathrm dx \mathrm dy \\所以香农信道容量也要考虑是连续信道还是离散信道，其次看这个信道的特征是什么（也就是X和Y的关系是什么）。

对于离散信道的这种关系一个套件概率p(y|x)就可以完全刻画了，对于不同的信道不同p(y|x)自然具有不同的信道容量，总而言之没有一个通用的方法，也没有一个固定的类型，有时候能算出来，有时候也算不出来。

但对于连续信道，可以分为固定类型，如高斯信道和衰落信道。

而且在现代数字通信系统中，数字信息通常是连续信号的采样和量化，所以也采用连续信道计算方法。

加性高斯白噪声信道的信道容量最简单的连续信道：加性高斯白噪声信道（AGWN）X 和Y的关系解析表达式来表达：Y=X+Z \\这三个变量都是连续值，Z是零均值高斯白噪声，方差为N，设定X这个随机变量的方差是P，要找到一个X分布p(x)使得I(X,Y)最大。

所以\begin{aligned}I(X,Y)&=H(Y)-H(X+Z|X)\\&=H(Y)-H(Z|X)\\&=H(Y)-\frac{1}{2}log_2 2\pi eN\\&\leq\frac{1}{2}log_2 2\pi e(P+N)-\frac{1}{2}log_2 2\pi eN\\&=\frac{1}{2}log_2 (1+\frac{P}{N})\end{aligned} \\我们来解释一下这个推导过程：首先，这个微熵H(X+Z|X)真正起作用的是这个噪声，在X已知的情况下，只有噪声才能带来不确定性，所以H(X+Z|X)=H(Z) \\至于H(Z)怎么求？从求互信息的过程中可以发现，变量X的均值没有出现过，因为决定微熵的是分布函数的形式，任意的均值放到微熵的积分里面都可以进行换元从而消除均值的影响。

所以，可以假设：p(x)=\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{x^2}{2\sigma^2}} \\所以微熵：\begin{aligned}H(X)&=-\int_{-\infty}^{\infty}p(x)Log(p(x))\mathrm{dx}\\&=-\int_{-\infty}^{\infty}p(x) Log(\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{x^2}{2\sigma^2}})\mathrm{dx}\\&令f(x)=Log(\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{x^2}{2\sigma^2}})\\&H(X)=-E(f(x))=-Log(\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{E(x^2)}{2\sigma^2}})\\&=-Log(\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{1}{2}})\\&=\frac{1}{2}Log(2\pi \sigma^2e)\end{aligned} \\这个式子会反复出现的。

然后可知，在方差相同的情况下，高斯分布的微熵最大。

所以，只有输入变量X是高斯分布的时候，互信息才能取得最大值。

从概率论可以知道，两个高斯变量叠加，新的变量也是高斯的，且均值方差线性叠加。

到此，我们终于理顺了AGWN信道的单位符号携带的最大互信息是：\begin{aligned}I(X,Y)&=\frac{1}{2}log_2(1+\frac{P}{N})\end{aligned} \\又因为这个方差E(X^2)就是信号的平均功率，所以\frac{P}{N}就是我们常说的信噪比（SNR）。

I(X,Y)是一个符号传输时能够携带最大信息量。

但是在真实的通信系统中，符号会经过脉冲成形，变成一个模拟信号进行传输。

在接收到模拟信号时候通常以两倍带宽的速率进行采样，也就是说在每一个采样点都是一个独立的符号变量。

所以：香农公式：C=2Blog_2 (1+\frac{P}{N}) \\这个式子的单位就是bit/s，表示每秒钟能够传输最大的信息量。

终于推出了AGWN信道的表达式了。

这个式子肯定都已经用烂掉了，但是这个式子成立的场景是AGWN信道，不能逮到就用。

虽然AGWN信道的要求很严格，只允许噪声的存在而不允许信道的衰落，但是AGWN信道容量的计算方式已经给出了衰落信道容量推导的方法论，计算过程还是非常重要。

平坦衰落信道的香农信道容量这里主要说的是平坦衰落的信道容量，平坦衰落意味着只考虑多径效应中那个l=0的抽头系数，不考虑多径中时延扩展带来的码间串扰。

也就是简单的y=hx+n的形式。

从图中看到这个时变的增益是\sqrt{g[i]}，但是我们更关注功率增益g[i]，因为我们算香农容量和信噪比有关系嘛。

所以以后说增益都是指功率增益。

这个g[i]也叫做信道边信息（CSI），g[i]的分布叫做信道分布信息（CDI）。

CDI通常是容易获得的，因为虽然CSI具体的值不知道，但是我天天观察总能测出来一个CDI出来。

而实时的CSI那就得进行实时的信道估计了，估计而且还不一定准，这里的信道估计指的是发射端发射导频接收端进行估计。

所以根据发射端对于信道增益的了解程度可以分为三类：1.反射端和接收端都只知道CDI.2 接收端通过信道估计可以获得时变CSI，当然CDI也是知道的。

3 发射端和接受端都知道CSI，CDI。

发射端知道的CSI是接收端估计出来然后告诉发射端的。

只知道CDI：只知道CDI的情况下，按照香农的定义求一个最优的输入分布使得互信息最大，简单来说只有CDI在及其特殊的情况下才可以求得一个数值解，例如独立同分布的瑞利分布、有限马尔可夫信道。

这里只是一个数值解，还不是闭式解。