(10)--2013本科信息论试题参考答案V-1291357910

w0
=
w1
=
1 2
￬
3 4
五（15 分）设二元(5,2)线性分组码的生成矩阵为
G
=
�1 � �0
1 1
0 1
1 1
0� 1� �
（1） 求最小汉明距离。 （2） 求一致校验矩阵 H。
（3） 写出标准阵列译码表中与伴随式(111)对应的陪集。 （4） 若接收矢量 01101，试根据最小距离译码准则确定发送的信息序列。
2]
2 =1
bit
I ( X ;V ) = H (V ) H (V | X ) = 0.5 bit
由于 I ( X ;V ) = I (X ;Y ) ，说明在信息处理过程中并没有损失信息。
三 （ 10
分）设二元信源字母概率为
p(0)
=
1 4
，
p(1)
=
3 4
。若信源输出序列为
111110， 试 对 其 进
由 (y) 可得到 V 的分布律
V p
再由 p(y | x) 可知
V p(V|x=-1) p(V|x=1)
-1 1/4
-1 1/2 0
0 1/2
0 1/2 1/2
1 1/4
1 0 1/2
H (V )
=
1 2
log
2
1 4
2 log 4
= 1.5
bit
H (V
|
X
)
=
1 2
[
1 2
log 2
1 2
log
1 � �1/ 8 1/ 8 3 / 4� �
（1） 求信道容量 C 及其最佳分布。
（2） 求采用最佳译码准则下的译码规则，并计算平均错误概率。
（3） 设发送的消息只有两种 0000 和 1111，若接收的序列为 0E10，请根据最大似然
准则给出译码结果，并计算此时的错误概率。
解：（1）因为准对称信道，所以最佳分布为等概分布，即 Q(0)= Q(1) =1/2，此时
（5） 若通过转移概率为 p=1/4 的 BSC 传送，试求该码的不可检错误概率 pud。
第4页 共4页
解：（1）根据生成矩阵，可得许用码字为 00000，11010，01111，10101，从而可知 dmin = 3
（ 2） 根 据 生 成 矩 阵 和 一 致 校 验 矩 阵 关 系 ， 可 得
（2）二元码 { 01,100, 011, 00,111,1010,1011,1101} 是唯一可译码。
（3）给定系统带宽为 W，噪声双边功率谱密度为 N0/2，则传送 1 比特信息需要的最小功率为 0.693WN0 瓦特。 （4）若(n,k)线性分组码的最小汉明距离为 4，则该码一定不能纠正 2 个错误。 （5）如果信源编码速率 R<R(D)，则不能在保真度准则下再现信源消息。 答：
求品尝次数的均值；
（2） 假设每次不再品尝单独的一瓶，而是将数瓶酒混合起来品尝，直到找到坏酒为
止。请问采用什么方案品尝，才能使得平均品尝次数最小？答案唯一吗？如果唯一
请解释为什么，如果不唯一，请给出另一种方案。
解：
（1） 如果每次品尝一瓶，那么 5 瓶酒合理的品尝次序是 ①②③④④，即先尝概率大的，而
于 huffman 编码是最佳码，因此对上述概率分布进行 huffman 编码，即﹛00,10,11,010,011﹜.
首先将第一比特为 0 的酒混合起来品尝，分出好坏后再按照第二比特来混合，知道找到坏酒。
根据上述编码，首先品尝第二和第三瓶酒的混合，或者其他三瓶酒的混合，平均品尝次数为
n
=
1 3
￬
2
p( y
|
x
=
1)
=
1 4
3
y
1
0else
p( y
|
x
=
1)
=
1 4
1
y
3
0else
( y) = p(x = 1) p( y | x = 1) + p(x = 1) p( y | x = 1)
=
8114
3 1
y y
1 1
1 8
1
y
3
0else
H
C
(Y
)
=
1 8
1log 8
3
2
1 4
1 log 4 =2.5 bit
pud
=
p4 (1
p) 2 p3(1
p)2
=
21 1024
六（10 分）已知编号依次为 ①②③④⑤ 的 5 瓶酒中有一瓶变质了，并且这 5 瓶酒是坏酒的概率
依
次
为
1 3
,
1 4
,
1 6
,
1 6
,
1 12
。通
过
品尝
可
确定
哪
瓶酒
坏
了。
（1） 假设每次品尝一瓶，怎样安排品尝顺序，用尽可能少的品尝次数确定坏酒，并
（1） 错误，因为当 Z 与 X,Y 相互独立时， H ( XY ) = H ( XY Z ) 。
（2） 错误，因为该码不满足 craft 不等式。 （3） 错误，传送 1 比特信息需要的最小能量为 0.693N0。 （4） 错误，最小汉明距离为 4，有可能纠正部分 2 个错误的情况。 （5） 正确，这是 Shannon 第三编码定理逆定理。
1 4
￬
2
1 6
￬
2
1 6
￬3
1 12
￬3
=
27 12
=
2.25
由于 huffman 编码不是唯一的，所以还存在其它方案。
七（10 分）对于时间离散的可加高斯噪声信道，若限定输入平均功率上限为 S，噪声服
从高斯分布 N (0, 2 ) 。试求其信道容量及最佳分布。（请给出具体计算过程）
解：对可加噪声信道有
�1 1 1 0 0� H = � �0 1 0 1 0� �
� �1 1 0 0 1� �
（ 3 ） 与 伴 随 式 111 对 应 的 陪 集 首 为 01000 ， 因 此 对 应 的 陪 集 为
﹛01000,00111,10010,11101﹜
（4）若接收矢量为 01101，则由 s = rHT = 010 ，e=00010，c=01111 （5）若通过 p=1/4 的 BSC 传送，
2e(S
2)
Hc (Z )
=
1 2
log 2e2
从而可得
C
=
max
Q(x)
I
(
X
;Y
)
=
max[
Q(x)
H
c
(Y
)
Hc
(Z
)]
=
1 2
log(1
S 2
)
要使 Y 正态分布， X ~ N (0, S) 。
第5页 共4页
L
=
� � �log
1� p(S) � �=
5
C = 110001
H
(U
)
=
1 4
log
4
3 4
log
4 3
=
0.811
h
=
N L
log
D
=
97.32%
四 （15 分）设离散无记忆信道输入集合为 X={0 ，1}，输出集合为 {0,E,1}，信道转移概率矩阵
�0 E 1 � 为 0 � �3 / 4 1/ 8 1/ 8 � �，输入先验分布为 Q(0)= 1/4，Q(1) =3/4。
第3页 共4页
行算术编码，并计算编码效率。 解：p(S=111110) = p(0)p5(1) = (1/4) (3/4)5
P(S) = p(000000) + p(000001) + p(000010) + …+ p(111101) = 1- p(111111)- p(111110) = 1- p(11111) = 1-(3/4)5= 0.110000001
1
H C
(Y
|
X
)=
p(x
=
1)
1 3
p( y
|
x
=
1) log
p( y
|
x
=
1)dy
p(x = 1) 3 p( y | x = 1) log p( y | x = 1)dy 1
=
1 2
1 3
1 4
log
1 4
dy
1 2
3 1 log 1dy 1 4 4
=2 bit
I ( X ;Y ) = H C (Y ) - H C (Y | X ) =0.5 bit
在第四次
品尝的时候就可以判断最后两瓶的好坏了。我们将品尝次数看做码字的码长，所需的平均品尝
次数就是平均码长，则
n
=
1 3
￬1
1 4
￬2
ห้องสมุดไป่ตู้
1 6
￬3
1 6
￬
4
1 12
￬4
=
7 3
=
2.33
（ 2） 数 瓶 酒 混 合 起 来 一 起 品 尝 ， 使 得 平 均 品 尝 次 数 最 少 ， 类 似 于 最 小 平 均 码 长 的 问 题 。 由
1,1
二（15 分）令概率空间
X
=
1 2
,
1 2
，Y 是连续随机变量。已知条件概率密度函数为
p( y
|
x)
=
14
,2
y
x
2
，若对
Y 做硬判决V
=
￬1, ￬￬0,
0, 其他
￬￬1,
求 I(X;Y)，I(X;V)，并对结果进行解释。
解：由已知可得
y >1 1 y ￬1
y ￬ 1
第2页 共4页
第1页 共4页
西安电子科技大学
考试时间 120 分钟
试题
题号 一 二 三 四 五 六 七 总分
分数
1.考试形式：闭卷；2。考试日期：2013 年 7 月 12 日 3.本试卷共 7 大题，满分 100 分。
班级
学号
姓名
任课教师
一（25 分）请判断正误，并说明理由：
（1）令 X，Y，Z 是概率空间，则 H ( XY ) > H ( XY Z ) 一定成立。
I ( X ;Y ) = Hc (Y ) Hc (Z ) 又 E[ y2 ] = E[x z]2 = E[x2 ] E[z2 ] S 2 （X 与 Z 独立）
则要使 I(X;Y)最大，即要 Hc (Y ) 最大，从而 Y ~ N (0, S 2 ) ，此时有
Hc
(Y )
=
1 2
log