信道容量的计算

§4.2信道容量的计算

这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。而);(Y X I 是r 个变量

)}(),(),({21r x p x p x p 的多元函数。并且满足1)(1

=∑=r

i i x p 。所以可用拉格朗日乘子法来

计算这个条件极值。引入一个函数：∑-=i

i

x p Y X I )();(λ

φ解方程组

0)(]

)();([)

(=∑∂-∂∂∂i i

i i x p x p Y X I x p λ

φ

1)(=∑i

i

x p （4.2.1）

可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C 。因为

)

()

(log

)()();(11

i i i i i r

i s

j i y p x y Q x y Q x p Y X I ∑∑===

而)()()(1

i i

r

i i

i x y

Q x p y p ∑==

，所以

e e y p y p i i i i i y p x y Q i x p i x p l o g l o g

))(ln ()(log )

()()()

(==∂∂∂∂。

解（4.2.1）式有

0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q i

i i i i r i s j i i i i s

j i i （对r i ,,2,1 =都成立） 又因为

)()()(1

j k k

r

k k

y p x y

Q x p =∑=

r

i x y Q s

j i j

,,2,1,1)(1

==∑=

所以(4.2.1)式方程组可以转化为

),,2,1(log )

()(log

)(1r i e y p x y Q x y Q j i j s

j i j =+=∑=λ

1)(1

=∑=r

i i

x p

假设使得平均互信息);(Y X I 达到极值的输入概率分布},,{21r p p p 这样有

e y p x y Q x y Q x p j i j i j r i s

j i log )

()(log

)()(11

+=∑∑==λ

从而上式左边即为信道容量，得 e C log +=λ 现在令

)

()(log

)();(1

j i j s

j i j i y p x y Q x y Q Y x I ∑==

式中，);(Y x I i 是输出端接收到Y 后获得关于i x X =的信息量，即是信源符号i x X =对输出端Y 平均提供的互信息。

一般来讲，);(Y x I i 值与i x 有关。根据（4.2.2）式和（4.2.3）式， C Y x I i =);( ),,2,1(r i = 所以对于一般离散信道有如下定理。

定理 4.2.1 一般离散信道的平均互信息);(Y X I 达到极大值（即等于信道容量）的充要条件是输入概率分布)}(,),({1n x p x p 满足

)(a C Y x I =);(1 对所有的0)(,≠i i x p x )(b C Y x I i ≤);( 对所有的0)(,=i i x p x 这时C 就是所求的信道容量。

对于离散信道来说，其实信道容量还有一个解法：迭代解法。

定理4.2.2 设信道的向前转移概率矩阵为J K i j x y Q Q ⨯=))((，0

P 是任给的输入字母的一个初始概率分布，其所有分量0)(0≠k x P 。按照下式不断地对概率分布进行迭代，更新：

∑=+=K

i r

i

i

r

r k k r

k r P x P P x P x P 1

1)()()

()

()(ββ

其中 r P P k r

k Y x X I P ===)];(exp[)(β

()()()⎪⎪⎭

⎪⎪⎬

⎫⎪⎪⎩⎪⎪⎨⎧=∑∑==J j K i i j r i j k j x y Q P x y Q x y Q 11log exp

由此所得的(

)

Q P I r

,序列收敛于信道容量C 。

我们还可以将上述过程写成算法以便编制程序实现（如图4.2.1） })()(log{

1

∑==K

k k

k

L P x P I β

)}(log{P x ma I k k

U β=

})()(log{1

∑==K

k k k L P x P I β

)}(log{P x ma I k k

U β=

图4.2.1 信道容量的迭代算法

对于一些特殊的离散信道，我们有方便的方法计算其信道容量。

定义4.2.1 设X 和Y 分别表示输入信源与输出信源，则我们称()

Y X H 为损失熵，

()X Y H 为信道噪声熵。

如果信道的损失熵()

0=Y X H ，则次信道容量为

开始 P

P →0

)(P k β

)(P I L )(P I U ε<-L U I I L I C =∑-=1)()()

()

()(P x P P x P x P ββ