第3章 离散信道和信道容量题目

第3章 离散信道和信道容量

一、例题：

【例3.1】 二元对称信道，简记为BSC （Binary Symmetric Channel ）。如图3.1所示。

10

a =

21

a =1

b =2

b =X

Y

图3.1 二元对称信道

这是很重要的一种特殊信道，其输入输出符号集均取值于{0,1}。此时2r s ==，而且

11220,1a b a b ====。又有转移概率

11221221(|)(0|0)1(|)(1|1)1(|)(0|1)(|)(1|0)P b a P p p P b a P p p P b a P p P b a P p

==-===-=====

于是，可得BSC 的信道转移概率矩阵P 为

11p

p p p -⎡⎤=⎢⎥

-⎣⎦

P 它满足2

2

121

1

(|)(|)1j

j j j P b

a P

b a ====∑∑

【例3.2】 二元删除信道，简记为BEC （Binary Erasure Channel ）。这时2,3r s ==。输入符号X 取值于{0,1}，输出符号Y 取值于{0,2,1}。其信道转移矩阵为

010101021

p p q q -⎡⎤=⎢

⎥-⎣⎦

P

【例3.3】 设二元对称信道的输入概率空间0

1()1X P x ωω⎡⎤⎡⎤=⎢⎥⎢⎥

=-⎣⎦⎣⎦

，而信道特性如图3.1所示，求平均互信息。

解：根据平均互信息的定义可得

11(;)()(|)

1()()log

(|)

1()()(|)log

(|)

11()()log log 11()log log ()()

r

s

i j i j j i X

Y

X I X Y H Y H Y X H Y P a b P b a H Y P x P y x P y x H Y P x p p p p H Y p p p p H Y H p ===-=-=-⎡⎤

=-+⎢⎥

⎣

⎦⎡⎤

=-+⎢⎥

⎣⎦=-∑∑∑∑∑

其中，()H p 是[0,1]区间上的熵函数。 可得

(0)(1)(1)(1)P y p p p p

P y p p p p

ωωωωωωωω==+-=+==+-=+

所以

(;)()()

11

()log

()log ()()()I X Y H Y H p p p p p H p p p p p

H p p H p ωωωωωωωωωω=-=+++-++=+-

其中()H p p ωω+也是[0,1]区间上的熵函数。可见，当信道固定即固定p 时，可得(;)I X Y 是ω的 型凸函数，其曲线如图3.2所示。从图中可知，当二元对称信道的信道矩阵固定后，输入变量X 的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入变量X 是等概分布时，即(0)(1)1/2P x P x ====时，在信道接收端平均每个符号才获得最大的信息量。

图3.2 二元对称信道的平均互信息（固定信道转移概率p ）

当固定信源的概率分布ω时，即得);(Y X I 是p 的 型凸函数，如图3.3所示。

图3.3 固定二元信源的平均互信息（固定信源概率分布ω）

从图中可知，当二元信源固定后，存在一种二元对称信道（其1/2p =），使信道输出获得的信息量最小，即等于零。也就是说，信源的信息全部损失在信道中。这是一种最差的信道（其噪声为最大）。

【例3.4】 设某对称离散信道的信道矩阵为

1

1

11336611116

633⎡⎤⎢⎥=⎢

⎥⎢⎥⎢⎥⎣⎦

P 求其信道容量。

解：由对称信道的信道容量公式，得

log ()

111111111111log 4(,,,)2log log log log

336633336666C s H H =-=-=++++P 的行矢量

0.0817= 比特/符号

在这个信道中，每个符号平均能够传输的最大信息为0.0817比特，而且只有当信道输入是等概分布时才能达到这个最大值。

【例3.5】 强对称信道（均匀信道）的信道矩阵是r r ⨯阶矩阵，强对称离散信道的信道容量为

1)log ,,,,11

1log log log log

1111log log log

1

r p p p C r H p r r r p p p p

r p p r r r r p

r p p p r -⎛

⎫=- ⎪

---⎝⎭=++++----=++-

共（项

log log(1)()r p r H p =---

式中p 是总的错误传递概率，p 是正确传递概率。

【例3.6】 设某信道的转移矩阵为：

11p q q

p p

q p q --⎡⎤=⎢⎥--⎣⎦P 求其信道容量。

解：分析该转移矩阵，可知这是一个准对称信道。

121211,11,

2N p q p q N q M p q p q M q

=--+=-==--+=-=

根据准对称离散信道的信道容量公式得

1

212

1

log (,,,)log log 2(1,,)log log 2(1,,)(1)log(1)log 22

log (1)log(1)(1)log

1n

s k k k k k

k C r H p p p N M H p q q p N M H p q q p q q q q p p p q p q q q

=='''=--=----=-------=+----+--∑∑

当0p =时，可得信道转移矩阵为