(完整版)信息论基础与编码课后题答案(第三章)

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤

=⎢

⎥⎢⎥

⎣⎦⎣⎦

，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516

61344P ⎡⎤⎢⎥

=⎢

⎥⎢⎥⎢⎥⎣

⎦

，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；

（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；

（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。 解：（1）12()0.737,() 1.322I x bit I x bit ==

（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，

22(;)0.907I x y bit =

（3）()(0.6,0.4)0.971/H X H bit symbol ==

()(0.6,0.4)0.971/H Y H bit symbol ==

（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==

(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =

（5）(;)0.9710.7140.257/I X Y bit symbol =-=

3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正

确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。

证明：信道传输矩阵为：

11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥

⎢⎥=⎢

⎥

⎢⎥

⎢⎥⎢⎥⎢⎥⎣⎦

，信源信宿概率分布为：

1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）

3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，

信宿收到的消息集合Y 包含12,y y 。给定信道矩阵为：0.980.020.2

0.8P ⎡⎤

=⎢

⎥⎣⎦

，求平均互信息(;)I X Y 。

解：I(X;Y)=H(X)+H(Y)-H(XY)

H(X)=1 bit/符号,H(Y)=0.93 bit/符号,H(XY)=1.34 bit/符号, I(X;Y)=0.59 bit/符号。

3-4 设二元对称信道的传递矩阵为：213

3123

3⎡⎤

⎢⎥⎢

⎥⎢⎥⎢⎥⎣⎦

， （1） 若P(0)=

34，P(1)=1

4

，求()H X ，(/)H X Y ，(/)H Y X 和(;)I X Y ； （2） 求该信道的信道容量及其达到信道容量时的输入概率分布。

解：（1）H(X)=0.811（bit/符号），H(XY)=1.73（bit/符号），H(Y)=0.98（bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X ；Y)=0.06（bit/符号）；

（2）C ＝0.082（bit/符号），最佳输入分布为：11{}22

X P = 3-5 求下列两个信道的信道容量，并加以比较：

（1） 22p p p p εεεε

ε

ε⎡⎤

--⎢

⎥--⎢⎥⎣⎦ （2） 200

2p p p p ε

εεε

ε

ε⎡⎤

--⎢⎥--⎢⎥⎣⎦

其中1p p +=。 解：（1）

1log 2(,,2)(12)log(12)2log 41()log()()log()2log 2(12)log(12)2log 412()log()()log()(12)log(12)

C H p p p p p p p p p p εεεεεεε

εεεεεεεεεεεεεεεεε=-------=+--+--+----=-+--+-----（2）

2log 2(,,2)(12)log(12)2log 21()log()()log()2log 2(12)log(12)2log 21()log()()log()(12)log(12)

C H p p p p p p p p p p εεεεεεε

εεεεεεεεεεεεεεεε=-------=+--+--+----=+--+-----两者的信道容量比较：212C C ε=+

3-6 求题图3-6中信道的信道容量及最佳的输入概率分布。并求当0ε=和1

2

时的信道容量C 。

00

1

2

1

2

1ε

-X Y

题图 3-6

解：由图知信道转移矩阵为：

1

000101P εεεε⎡⎤⎢⎥=-⎢⎥

⎢⎥-⎣⎦

，此信道非对称信道，也非准对称信道，不能利用其公式计算。

此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。但此信道矩阵是

非奇异矩阵，又r ＝s ，则可利用方程组求解：

3

3

1

1

(/)(/)log (/),1,2,3j

i j j i j i j j P b

a P

b a P b a i β====∑∑，所以

1232

30(1)(1)log(1)log (1)(1)log(1)log βεβεβεεεεεβεβεεεε

=⎧

⎪

-+=--+⎨⎪+-=--+⎩ 解得：10β=，23(1)log(1)log ββεεεε==--+，所以

1()log 2log[12]j H j

C β

ε-==+∑，

11()22C C p b β--==，2()2()22C H C p b βε---==，3()3()22C H C p b βε---==，

根据3

1

()()(/),1,2,3j i

j

i i P b P a P b

a j ==

=∑，得最佳输入分布为：

11()()2C p a p b -==，()2323()()()()2H C p a p a p b p b ε--====，

当ε＝0时，此信道为一一对应信道，