信道容量的计算

§4.2信道容量的计算这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。

前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。

而);(Y X I 是r 个变量)}(),(),({21r x p x p x p 的多元函数。

并且满足1)(1=∑=ri i x p 。

所以可用拉格朗日乘子法来计算这个条件极值。

引入一个函数：∑-=iix p Y X I )();(λφ解方程组0)(])();([)(=∑∂-∂∂∂i ii i x p x p Y X I x p λφ1)(=∑iix p （4.2.1）可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C 。

因为)()(log)()();(11i i i i i ri sj i y p x y Q x y Q x p Y X I ∑∑===而)()()(1i iri ii x yQ x p y p ∑==，所以e e y p y p i i i i i y p x y Q i x p i x p l o g l o g))(ln ()(log )()()()(==∂∂∂∂。

解（4.2.1）式有0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q ii i i i r i s j i i i i sj i i （对r i ,,2,1 =都成立） 又因为)()()(1j k krk ky p x yQ x p =∑=ri x y Q sj i j,,2,1,1)(1==∑=所以(4.2.1)式方程组可以转化为),,2,1(log )()(log)(1r i e y p x y Q x y Q j i j sj i j =+=∑=λ1)(1=∑=ri ix p假设使得平均互信息);(Y X I 达到极值的输入概率分布},,{21r p p p 这样有e y p x y Q x y Q x p j i j i j r i sj i log )()(log)()(11+=∑∑==λ从而上式左边即为信道容量，得 e C log +=λ 现在令)()(log)();(1j i j sj i j i y p x y Q x y Q Y x I ∑==式中，);(Y x I i 是输出端接收到Y 后获得关于i x X =的信息量，即是信源符号i x X =对输出端Y 平均提供的互信息。

一般来讲，);(Y x I i 值与i x 有关。

根据（4.2.2）式和（4.2.3）式， C Y x I i =);( ),,2,1(r i = 所以对于一般离散信道有如下定理。

定理 4.2.1 一般离散信道的平均互信息);(Y X I 达到极大值（即等于信道容量）的充要条件是输入概率分布)}(,),({1n x p x p 满足)(a C Y x I =);(1 对所有的0)(,≠i i x p x )(b C Y x I i ≤);( 对所有的0)(,=i i x p x 这时C 就是所求的信道容量。

对于离散信道来说，其实信道容量还有一个解法：迭代解法。

定理4.2.2 设信道的向前转移概率矩阵为J K i j x y Q Q ⨯=))((，0P 是任给的输入字母的一个初始概率分布，其所有分量0)(0≠k x P 。

按照下式不断地对概率分布进行迭代，更新：∑=+=Ki riirr k k rk r P x P P x P x P 11)()()()()(ββ其中rP P k r k Y x X I P ===)];(exp[)(β()()()⎪⎪⎭⎪⎪⎬⎫⎪⎪⎩⎪⎪⎨⎧=∑∑==J j K i i j r i j k j x y Q P x y Q x y Q 11log exp由此所得的()Q P I r,序列收敛于信道容量C 。

我们还可以将上述过程写成算法以便编制程序实现（如图4.2.1） })()(log{1∑==Kk kkL P x P I β)}(log{P x ma I k kU β=})()(log{1∑==Kk k k L P x P I β)}(log{P x ma I k kU β=图4.2.1 信道容量的迭代算法对于一些特殊的离散信道，我们有方便的方法计算其信道容量。

定义4.2.1 设X 和Y 分别表示输入信源与输出信源，则我们称()Y X H 为损失熵，()X Y H 为信道噪声熵。

如果信道的损失熵()0=Y X H ，则次信道容量为开始 PP →0)(P k β)(P I L )(P I U ε<-L U I I L I C =∑-=1)()()()()(P x P P x P x P ββ()()()ogr X H Y X H x H I C x P x x P 1)(max )(max Y X;max )()(P )(==-=='（bit/符号）这里输入信源X 的信源符号个数为r 。

如果信道的噪声熵()0=X Y H ，则此信道容量为()s Y H Y X I C x P x P log )(max ;max )()(===''（bit/符号）这里输出信源符Y 的符号个数为s.定义4.2.2 一个信道Q 称为对称离散信道，如果它满足下面的性质： （1）信道Q 矩阵中每一行是另一行的置换； （2）每一列式另一列的置换。

例如，信道矩阵⎪⎪⎪⎪⎭⎫ ⎝⎛=3131616161613131Q 和⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=216131312161613121Q 满足对称性，所以对应信道是对称离散信道。

定义4.2.3 对称离散信道的信道容量为()s P PP H s C '''-=,,,log 21 （bit/符号） 上式只与対称信道矩阵中行矢量},,,{21s P PP ''' 和输出符号集的个数s 有关。

证明 ()X Y H Y H Y X I -=)();( 而 ()()()x y p x y P x P X Y H yx1log )(∑∑=()x X Y H x P x==∑)(由于信道的对称性，所以()x X Y H =与x 无关，为一常熟，即()[]s x P P PP H Y H C '''-=,,,)(max 21)( ),,,(log 21s P PP H s '''-= 接着举一个例子加以说明。

例4.2.1 某对称离散信倒的信道矩阵为⎪⎪⎪⎪⎪⎭⎫⎝⎛=3131616161613131P用公式计算信道容量)61,61,31,31(4log H C -= ⎪⎭⎫ ⎝⎛++++=61log 6161log 6131log 3131log312 0817.0=（bit/符号）定义4.2.3 若信道矩阵Q 的列可以划分成若干互不相交的子集矩阵K B ，即)(,j i B B j i ≠=⋂φ且Y B B B n = 21。

由K B 为列组成的矩阵k Q 是对称矩阵，则称信道矩阵Q 所对应的信道为准对称信道。

例如，信道矩阵⎪⎪⎪⎪⎪⎭⎫⎝⎛=31613161616131311P ⎪⎪⎭⎫⎝⎛=7.01.02.02.01.07.02P 都是准对称信道，在信道矩阵1P 中，Y 可以划分为三个子集，由子集的列组成的矩阵为⎪⎪⎪⎪⎪⎭⎫⎝⎛31616131 ， ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛3131 ， ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛3161 它们满足对称性，所以1P 对应的信道是准对称信道。

同理2P 可划分为 ⎪⎪⎭⎫⎝⎛7.02.02.07.0 ， ⎪⎪⎭⎫ ⎝⎛1.01.0 这两个矩阵也满足对称性。

下面，我们给出准对称离散信道的信道容量计算公式∑=-'''-=nk k ks M NP PP H r C 121log ),,,(log其中，r 是输入符号集的个数，),,,(21s P PP ''' 为准对称信道矩阵中的行矢量。

设矩阵可划分为n 个互不相交的子集。

k N 是第k 个子矩阵k Q 中行元素之和，k M 是第k 个子矩阵k Q 中列元素之和，即 ()∑∈=kY y ik x y P N()),,2,1(,,n k Y y x y P M kxik =∈=∑并且可以证明达到准对称离散信道容量的输入分布式等概分布，我们将推导作为习题留给读者。

例4.2.2 设信道传递矩阵为⎪⎪⎭⎫ ⎝⎛----=q p q p p q q p P 11 可表示成如图4.2.2所示，计算其信道容量根据上面计算公式可得q N q N =-=21,1 q M q M 2,121=-= 则有),,1(2l o g p q q p H C ---= q q q q 2l o g )1l o g ()1(---- qq q p q p p p --+----+=12l o g)1()1l o g ()1(l o g 图4.2.2 下面我们举一些其他信道容量的例子例4.2.3 设离散信道如图4.2.3所示，输入符号集为},,,,{54321a a a a a ，输出符号集为},{21b b ，信道矩阵为X Y1a 2a 1b 3a4a 2b 5a图4.2.30 01-p-q qpp 2q1-p-q1 1⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=101021210101P由于输入符号3a 传递到1b 和2b 是等概率的，所以3a 可以省去。

而且21,a a 与4a ，5a 都分别传递到1b 和2b ，因此可只取1a 和5a ，所以设输入概率分布21)()(51==a P a P ，0)()()(432===a P a P a P ，可以计算得21)()(21==b P b P ，由定理4.2.1得 2log );();(21====Y a x I Y a x I 2log );()Y ;(54====Y a x I a x I 0);(3==Y a x I可见，此假设分布满足定理4.2.1，因此，信道容量 12log ==C （bit/符号）最佳分布是0)()()(,21)()(43251=====a P a P a p a P a P 若设输入分布为0)(,41)()()()(35421=====a P a P a P a P a P 。

同理可得21)()(21==b P b P ，根据定理4.2.1有2log );(=Y x I i ),,,(5421a a a a x i = 2log );(<Y x I i )(3x x i = 从而，输入分布0)(,41)()()()(35421=====a P a P a P a P a P 也是最佳分布，可见，信道最佳输入分布不是唯一的。