信息论与编码期末复习

2011级信息论期末复习
一、单项选择题
1. 十六进制脉冲所含信息量是四进制脉冲的( b )倍。

A 、1
B 、4
C 、3
D 、2 2. 设信道的输入X 的符号个数为n ，输出Y 的符号个数为m ，对于具有归并功能的无噪信道（即m <n ），下列结论错误的是（ d ）。

A 、(/)0H Y X =
B 、(/)0H X Y ≠
C 、信道容量m C 2log =
D 、信道容量n C 2log =
3. 条件熵和无条件熵的关系是： （ c ）
A ．H (Y /X )＜H (Y )
B ．H (Y /X )＞H (Y )
C ．H (Y /X )≤H (Y )
D ．H (Y /X )≥H (Y )
4. m 元长度为(1,2,,)i k i n = 的即时码存在充要条件是（ a ）。

A 、11≤∑=n i k i m
B 、11≤∑=n i m i k
C 、211≤∑=n i m
i k D 、211
≤∑=n
i k i m
5. 在信道编码中，关于最小码距d min 说法错误的是（ c ）。

A 、最小码距是衡量编码的检错、纠错能力的重要参数；
B 、最小码距是码组集中任意两个码字之间汉明距离的最小值；
C 、最小码距是码组集中任意两个码字之间失真函数的最小值；
D 、线性分组码的最小距离等于它的最小重量。

6. 一个（3，2）偶校验系统码的生成矩阵是（ b ）
A 、⎪⎪⎭⎫ ⎝⎛101011
B 、⎪⎪⎭⎫ ⎝⎛110101
C 、⎪⎪⎭⎫ ⎝⎛110011
D 、⎪⎪⎭
⎫
⎝⎛111010
二、填空题
1．设X 与Y 独立，则(/)H X Y = ()H X 。

2．设一个离散平稳无记忆信源为0
11
1()2
2X P X ⎛⎫⎛⎫
⎪
= ⎪ ⎪
⎪⎝⎭⎝⎭
，则它的二次扩展信源为 2200011011
1111()4444X P X ⎛⎫⎛⎫ ⎪= ⎪
⎪ ⎪⎝⎭⎝⎭。

3．离散无忆信源 1
28128()()()()a a a X P a P a P a P X ⎛⎫⎛⎫=
⎪ ⎪⎝⎭⎝⎭
， 其最大熵为 3 bit/符
号 。

4．对于均值受限的连续信源X ，当X 服从 指数 分布时具有最大熵。

5．设随机变量X 的概率分布为{p (a i )}，则输入为X 、输出为Y 的信道容量定义为
∆
=C ()
max (;)i P a I X Y 。

6在信道编码中，发送序列为c =(0110011000)、接收序列为r =(0110011001)，则差错图案e = e=（0000000001） 。

7．在纠错码中，设码组集的最小码距为d min ，则可以纠正任意小于等于t 个差错，其中t= (d min -1)/2 。

三、简答题
1. 通信编码主要有哪三类？简述每一类编码的目标及实现思想。

◆ 信源编码：以提高通信有效性为目的的编码。

通常通过压缩信源的冗余度来实
现。

采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。

即同样多的信息用较少的码率传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。

◆ 信道编码：是以提高信息传输的可靠性为目的的编码。

通常通过增加信源的冗
余度来实现。

采用的一般方法是增大码率/带宽。

与信源编码正好相反。

◆ 密码：是以提高通信系统的安全性为目的的编码。

通常通过加密和解密来实现。

从信息论的观点出发，“加密”可视为增熵的过程，“解密”可视为减熵的过程。

2. 信源熵和平均自信息量有何异同？简述公式)/()();(Y X H X H Y X I -=的物理意义。

信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。

信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。

信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。

在离散信源的情况下，信源熵的值是有限的。

而信息量只有当信源输出离散消息并被接收后，才有意义。

这就是给予接收者的信息度量。

这值本身可以是随机量，如前面所讲的自信息量。

也可以与接收者的情况有关，如后面要提到的意义信息量。

当信源输出连续消息时,信息量的值可以是无穷大。

)/()();(Y X H X H Y X I -=，平均互信息量是收到Y 前、后关于X 的不确定
度减少的量，即由Y 获得的关于X 的平均信息量。

该性质表明，一般来说，信道疑义度H(X/Y)总是大于0，所以互信息I(X;Y)总是小于信源的熵H(X)，只有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵。

3. 叙述率失真函数的定义及其物理意义。

由于互信息取决于信源分布和信道转移概率分布，当()i p x 一定时，互信息I 是关于(/)j i p y x 的下凸函数，存在极小值。

因而在允许信道P D 中，可以寻找一种信道ii p ，使给定的信源()i p x 经过此信道传输后，互信息I(X ；Y)达到最小。

该最小的互信息就称为信息率失真函数R(D)，即
)};({max )(}
/({Y X I D R D i j P x y P ∈=
R(D)的物理意义：
对于给定的信源，在满足保真度准则下，必须传送的最小信息量,它既反映了用户容忍程度,也反映了信息率允许压缩的最小值,R(D)越大,越难压缩,反之可压缩率就大.
四、计算题
1. 设二元对称信道的传递矩阵为516
6314
4⎡⎤
⎢⎥⎢
⎥⎢⎥⎣⎦
(1) 若()()(0)35,(1)25,(),,(;)P P H X H X H Y
X I X Y ==求和；
(提示：)
22()()log ()(0.6log 0.60.4log 0.4)0.971/i i i
H X p x p x bit symbol =-=-⨯+⨯=∑ (1分）
22()()log ()(0.6log 0.60.4log 0.4)0.971/i i i
H Y p y p y bit symbol =-=-⨯+⨯=∑
(/)()(/)log (/)
j i j i i
j
H Y X p x p y x p y x =-∑∑222255111133
(0.6log 0.6log 0.4log 0.4log )0.715/66664444
bit symbol
=-⨯+⨯+⨯+⨯=
(;)()(/)()(/)I X Y H X H X Y H Y H Y X =-=-
(/)()()(/)0.9710.7150.9710.715/H X Y H X H Y H Y X bit symbol =-+=+-= (;)()(/)0.9710.7150.256/I X Y H X H X Y bit symbol =-=-=
2、某二元信源 ， 其失真矩阵为 求该信源的D max 和D min 及R (D max )和R (D min )
min 1
()min (,)0n i i j j
i D p a d a b ===∑
()()()min 20log 21/R D R H X bit ====symbol ()3
max 0
max 11
min ()(,)min ,1220
i i j j
i D p x d x y R D =⎧⎫===
⎨⎬⎩⎭=∑
01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭0210D ⎡⎤
=⎢⎥⎣⎦。