北邮信息论201209级期末考题

2
1）该信源能否实现无失真传输？ 2） 如果对信源进行有失真压缩编码，最小失真为多少？ 答： 1) 信源熵=H(0.5)=1bit/symbol， 1bit/symbol×1 symbol/s =1bit/s> 0.81bit/s 所以不能无失真传输 2) R ( D ) 1 D 0.81 ，即 1 D 0.9
（4 分）
1 125 4 1 3 1 1 1 C log 1 log 1 log 1 log 1.9829比特/3个自由度 2 1 2 2 2 4 2 8 （4 分） 0.6610比特 /自由度 2)
E1 1 B E 3 E2 2 B B 2 E E E. 2 1
pa1
pa2
pa3
1 pa pa3 pa4 1 / 2 1 2 pa2 1 / 2
(4分)
六、计算题（15 分）
有三个箱子，第一个箱子中有 3 个黑球 1 个白球，第二个箱子中有 2 个黑球 3 个白球， 第三个箱子中有 3 个黑球 2 个白球。现随机取出一个箱子，再从这个箱子中任取一球。 1）如果取出的是白球，求这一结果与事件“取出的球是第一个箱子”之间的互信息。 （4 分） 2）利用最佳判决准则确定取出白球和黑球的箱子分别会是哪一只？ 3）如果重复做取球实验并对所取箱子的序号进行最佳判决，求平均错误率。 4）如果球总是从第一个箱子中取出，求利用最佳判决准则的错误率。 解：设 x=1,2,3 分别表示事件“取出的球是第 x 个箱子”， y=0 表示“取出的球为白球”，y=1 表示“取出的球为黑球”，则 p(xy) X 1 2 3 0 1/12 1/5 2/15 P(y=0)=5/12 Y 1 1/4 2/15 1/5 P(y=1)=7/12 （4 分） （3 分） （4 分）
噪声信道传输，噪声的单边带功率谱密度为 N 0 10 6 W / Hz ，若要保证信息正确传输，发送 功率 P 至少为 答案： （2, 4 106 ， 6） W。
三、简答题（5 分）
已知一等概离散二元信源，每秒发出 1 个符号，经过信道容量为 0.81 bit/s 的信道传输， 其信息率失真函数为： R ( D ) 1 D (0 D 1)
5
(2分)
q1 =q2 =1 / 2, C X Z 1 H (5 / 12) 0.0201 比特/符号。
(2分)
达到容量时的输入概率分布满足：
7 / 12 5 / 12 pa4 7 / 12 7 / 12 5 / 12 7 / 12 1 2 5 / 12 5 / 12
注：上面两小题中，如果输入概率分布不唯一，写出分布满足的最终表达式即可。
2 3 1 3 2 3 5 12
b1
c1
b1
b2
b3 0 0 1 1
b2
a1 3 / 4 1 / 4 a2 1 / 4 3 / 4 a3 0 0 a4 0 0
1 3 7 12
c2
b3
解： 1) CH1 的转移概率图如下：
2
（2 分） （3 分）
由 0 D 1， 可知， 1 D 0.9 因此，
0.1 D 1
所以最小失真为 0.1 。
四、计算题 (10 分)
汽车尾号为 0~9 之间的整数，先对汽车尾号进行调查，假设调查结果是：尾号为 4 的 概率为 1/20，尾号为 6 和 8 的各占 1/8，其他情况所占概率相同。现在要求某人向一车主提
C2 {1, 010, 011, 000}, C3 {0, 01, 001, 000}, C4 {1, 00, 010, 010} ，其中 属于唯一可译码， 属于最优码。
属于非奇异码，
1
答案： （ C1 , C2 , C3 ， C1 , C2 ， C1 ） （3）某信源输出符号集为{A、B、C、D、E}，每一个符号独立出现，出现概率分别为 1/8、 1/8、 1/8、 1/2、 1/8， 该信源熵为 此时，信息传输速率为 比特/符号。 如果编码以后符号的码元宽度为 0.5μs， bps。将这些数据通过一个带宽为 B=2MHz 的加性高斯白
H (X ) ； I (U ;V ) 。
H (X |Y)
H ( X | YV ) ；I ( X ;V | Y )
=， ， ）
H (Y ) ；I ( X ; Y )
（从符号集{ ， ，>，<，,= }中选择） 答案：（= ，
（ 2 ） 设 信 源 符 号 集 为 {a, b, c, d } ， 分 别 进 行 了 4 种 分 组 编 码 ， C1 {1,01,001, 000},
1/8 1/8 6 0 0.25 8 1 0
1/10 1/10
0
0 0 1 0 1 1 0.2 0.2 0 0.4 1 0.6 1.0
1
1/10
2
1/10 1/10
3 5
0 0 1 0.2 1 0 1 1 0.15 0.35
1/10 1/10
7 9
1/20
4
(6 分)
采用最佳策略的判平均每次提问的次数为 Huffman 编码的平均码长为 0.25+0.2+0.2+0.2+0.15+0.4+0.35+0.6+1=3.35，所以平均最少需要问 3.35 个问题才能知道车 主的车尾号。(4 分)
3）在发送端不了解信道信息的情况下，只能进行等能量分配。求 E 3 时等能量分配得到 的信道容量，并与 2)中的容量进行比较。 解： 1)
E1 1 B E2 2 B E3 4 B E1 E2 E3 8.
（2 分+2 分）
解得： E1 4, E2 3, E3 1, B 5
（5）并联信道每次传输能够使用所有子信道，而和信道每次传输只能使用一个子信道。 （ ）
（6） 由有噪信道编码定理可知， 码率接近信道容量且译码差错任意小的信道编码是存在 的。 （7）对于二元无记忆对称信道，最小汉明距离译码准则是最佳译码准则。 （8）唯一可译码一定满足 Kraft 不等式。 （ （ （ ） ） ） ）
五、计算题（20 分）
两信道 CH1 和 CH2 级联构成级联信道，其中 CH1 的输入 X 与输出 Y 的符号集分别为
3
A {a1 , a2 , a3 , a4 } 和 B {b1 , b2 , b3 } ，转移概率矩阵如图（左）所示；CH2 的输出 Z 与输入 Y
的转移概率如图（右）所示： 1) 2) 求 CH1 的信道容量和达到容量时的输入概率分布； 求级联信道的容量和达到容量时的输入概率分布。 （6 分+4 分） （6 分+4 分）
姓名
班级
学号
分数
注：所有答案均写在答题纸上，试卷和答题纸一起上交。
一、判断题（正确打√，错误打×） （共 10 分，每小题 1 分）
（1）离散信源 X 的 N 次扩展源的熵是信源 X 熵的 N 倍。 （2）熵、联合熵、条件熵及平均互信息的取值均不小于零。 （3）对于有限状态马氏链，平稳分布恒存在且唯一。 （4）连续信源输出的消息经过一一对应变换后，信源熵一定会发生变化。 （ （ （ （ ） ） ） ）
（9） 一个 AWGN 信道， 1MHz 带宽的信道容量是 2MHz 带宽的信道容量的 2 倍。 （
（10）对于给定的输入分布，必存在一种最差的信道，此信道的干扰最大，而输出端获 得的信息量最小。 答案（×√ ××√，√×√×√） （ ）
二、填空题（共 20 分，每空 2 分）
（ 1 ） 设 离 散 符 号 集 U ， X ， Y ， V 构 成 马 氏 链 ， 则 H (2 X )
ቤተ መጻሕፍቲ ባይዱC X Y log 2C1 2C2 log 20 20.1887 1.0974 比特/符号。
达到容量时，两个子信道的使用概率分别为：
(2分)
1 2C C
1
X Y
20.1887 1.0974 0.5327, 2 2C2 C X Y 20 1.0974 0.4673
3)
（4 分）
E 3 进行等能量分配，每个子信道分配到的能量为 E1 E2 E3 1 ，此时：
1 15 1 1 1 1 1 1 C log 1 log 1 log 1 log 2 4 1 2 2 2 4 2 =0.9534比特 /3个自由度=0.3178比特 /自由度 同样条件下，最佳能量分配得到的容量：
a , b 两个子信道分配到的能量大于 0，但是 c 子信道分配到的能量等于 0，依据注水原
理知道 2 B 4 ，所以 1 E 5 。
（4 分）
7
E 1 E 1 C log 1 1 log 1 2 2 1 2 2 B 1 1 log B log 2 2 2 1 log B log 2 2 3 [log( E 3) log 2]比特/3个自由度 2 1 1 [ log( E 3) log 2]比特/自由度 3 2
1 4
（4 分）
七、计算题（20 分）
由三个子信道 a , b, c 构成的并联高斯信道的各子信道的噪声方差分别为 1, 2, 4，总输入 能量的限制为 E ： 1） 当 E=8 时，求最佳能量分配和信道容量； （4 分+4 分）
2）如果最佳能量分配以后， a , b 两个子信道分配到的能量大于 0，但是 c 子信道分配到的能 ； 量等于 0，试确定 E 的范围以及信道容量（用 E 表示） （4 分+4 分）
pa1 0.5327/2=0.26635,
输入概率分布为： pa2 0.5327/2=0.26635,
pa3 pa4 0.4673
(4分)
2) CH2 的转移概率矩阵为：
c1 c2 b1 2 / 3 1 / 3 b2 1/ 3 2 / 3 7 / 12 5 / 12 b3
2
问题，并只能用是、否来回答。求此人平均至少需要问几个问题才能知道车主的尾号是多 少？（注：写出计算过程。 ） 解： 尾号分布概率 尾号 概率 p 0 1/10 1 1/10 2 1/10 3 1/10 4 1/20 5 1/10 6 1/8 7 1/10 8 1/8 9 1/10
对其进行二元 Huffman 编码，如下图所示：
级联信道的概率转移矩阵为二者的乘积，为：
c1 a1 7 / 12 a2 5 / 12 a3 7 / 12 a4 7 / 12
c2
5 / 12 7 / 12 5 / 12 5 / 12 (2分)
设达到容量时，输出概率分别为 q1 , q2 ，若输入概率全不为零，则有： 7 5 7 5 12 12 log C X Y (出现三次) log q1 12 q2 12 ， 5 7 5 log 12 7 log 12 C X Y 12 q1 12 q2 解得：
a1
3 4 1 4
b1
a2
1 4
3 4
b2
a3
1
b3
1
a4
CH1的容量可以利用和信道公式计算。
4
子信道1为二元对称信道，容量为 C1 1 H (1 / 4) 0.1887 比特/符号； (2分) 子信道2为离散无噪信道，容量为 C2 log 2 1 0 。 根据和信道容量的公式： (2分)
1） I ( x 1; y 0) log
1 p ( y x) log 4 0.737比特 5 p( y ) 12
（4 分）
2） G(y 0) 2; G ( y 1) 1 3） p E 1
（4 分） （3 分）
6
1 1 11 5 4 20
p ( y 0 | x 1) 4） pE