信息论第三版课后答案

信息论第三版课后答案

【篇一：西电邓家先版信息论与编码第3章课后习题解

答】

6

x1

1/6

y1

3/4

1/4

x2

图3.1 二元信道

y2

?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信

道传递概率如p(x)????图3.33所示。求：

（1）信源x中事件x1,和x2分别含有的自信息。

（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。（3）信源x和信源y的信息熵。

（4）信道疑义度h（x|y）和噪声熵h（y|x）。（5）接收到消息

y后获得的平均互信息。

解：（1）由定义得：i（x1）= －log0.6=0.74bit

i（x2）= －log0.4=1.32bit

i（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）]

= log[p（yj|xi）/p（yj）]

则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i （x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）

= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit

（3）由定义显然 h（x）=0.97095bit/符号

h（y）=0.72193bit/符号

（4）h（y|x）=

?

2

2

p（xy）log[1/p（y|x）]

=

??

i?1j?1

p（xi）p（yj|xi）log[1/p（yj|xi）]

h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号

(5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号

3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。

八个消息相应编成下述码字：

m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互

信息。

(2) 接受到第二个数字也是0时，得到多少关与m的附加互信息。

(3) 接受到第三个数字仍是0时，又增加多少关与m的互信息。(4) 接受到第四个数字还是0时，再增加了多少关与m的互信息。

解： (1 ) i(0;m1)= log[ p(0|m1)/p(0)]=1 bit

(2 ) i(00;m1)= log[ 1/p(00)]=2 bit2－1=1 bit(3 ) i(000;m1)=3 bit 3－2=1 bit(4 ) i(0000;m1)=4 bit4－3=1 bit

3.3 设二元对称信道的传递矩阵为

?2?3??1??3

1?3?? 2??3?

（1）若p(0)?3/4,p(1)?1/4，求h(x),h(x|y),h(y|x)和i(x;y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

解：（1）已知二元对称信道的传递矩阵，又已知输入的概率分布

p(0)?3/4,p(1)?1/4,

可以求得输出y的概率分别和后验概率。

p(y?0)??p(x)p(y?0|x)

x

?p(x?0)p(y?0|x?0)?p(x?1)p(y?0|x?1)

32117?????434312p(y?1)??p(x)p(y?1|x)

x

?p(x?0)p(y?1|x?0)?p(x?1)p(y?1|x?1) 31125?????434312

所以p(x?0|y?0)?

p(x?0)p(y?0|x?0)6

?

p(x)p(y?0|x)7x

p(x?1|y?0)?

p(x?1)p(y?0|x?1)1

?

p(x)p(y?0|x)7x

p(x?0|y?1)?

p(x?0)p(y?1|x?0)3

?

p(x)p(y?1|x)5

x

p(x?1|y?1)?

于是，h(x)??

p(x?1)p(y?1|x?1)2

?

p(x)p(y?1|x)5x

?p(x)logp(x)?0.811比特/符号

xx

y

h(x|y)????p(x)p(y|x)logp(x|y)

326111313122

?[??log??log??log??log]

437437435435?0.111?0.234?0.184?0.220?0.749比特/符号 h(y|x)????p(x)p(y|x)logp(y|x)

x

y

322111311122?[??log??log??log??log]

433433433433?0.918比特/符号

i(x;y)?h(x)?h(x|y)?0.062比特/符号

（2）此信道为二元对称信道，所以信道容量

2

c?1?h(p)?1?h()?0.082比特/符号

3

根据二元对称信道的性质可知，输入符号为等概率分布（即p(0)?p(1)?道的信息传输率才能达到这个信道容量值。

1

）时信2

解：

x2??x??x1?y??y1y2?

?p(x)???0.640.36?, ?p(y)???0.70.3? ????????

且p（x1∣y1）＝0.8 p(x2∣y1)=0.2 由p(x1)＝

p(y1)p(x1∣y1)+p(y2)p(x1∣y2) p(x2)＝

p(y1)p(x2∣y1)+p(y2)p(x2∣y2)

得p(x2∣y2)＝2.2/3 p(x1∣y2)＝0.8/3