信息论与编码

桂林工学院2009-2010学年第二学期

课程名称：《信息论与编码》

一、填空（每题2分，共20分）

1、信息是对事物状态（或它的存在方式）的不确定性的一种描述，其中自信息

I （x ）= ；事件发生前，它表示 ，事件发生后，它表示 。

2、 已知一个单符号离散无记忆信源，⎭

⎬⎫⎩⎨⎧=⎥⎦⎤⎢

⎣⎡4/14/12/1)(321x x x X P X ，则其四次扩展信源的序列熵的大小为＿＿＿＿＿＿。 3、 对于单符号离散无记忆信源X ，若输出符号取值于集合{}

876,5,4321,,,,,x x x x x x x x ,则其最大信源熵为＿＿＿＿＿＿，且达到此最大熵时各符号的概率分布为＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。

4、 信源编码的目的是为了提高通信系统的____________________，而信道编码的最终目的是为了＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。

5、 一离散信道的信道矩阵如下所示，则其信道容量为＿＿＿＿＿＿比特/信道符号。 ⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡=003.06.01.000000000005.03.02.0004.01.00000003.02.0P 6、 有一个信源，它产生0，1序列的信息，它在任意时间而且无论以前发生什么符号，均按P

（0）=0.3，P （1）=0.7的概率发出符号，则H （X 2）= ，X 2信源中可能有的符号 H （X 3/X 1X 2）= 。

7、 在对单符号离散信源进行费诺编码时，其中一个步骤是按编码进制数将概率分组，分组的原则是使每组概率之和＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。

8、设某二元码为C={11100，01001，10010，00111}若码字等概率分布，则此码的码率为 ，若采用最小距离译码准则，则接收序列10011，01100，应译成的码字分别为 、

9、 （7，4）汉明码的许用码组有＿＿个；若一码组为0100111，则其码重为＿＿＿。

10、某（7，4）循环码，生成多项式为g(x)=x 3+x+1（对应码字为0001011），则码字1010011______此循环码的码字， 码字1100100______此循环码的码字（本题填“是”或“不是”）。

二、选择,将正确答案代号填写在题后的括号内（20分）

1、设有离散无记忆信源,8/18/14/12

/13210)(4321⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡x x x x X P X 其发出的消息为3021300120021011030101002，则此消息中平均每个符号携带的信息量是 答:( )

（A ）2比特/符号 （B ）1.75比特/符号 （C ）1.98比特/符号 （D ）1.84比特/符号

2、若三个离散随机变量，有如下关系：X+Y=Z ，其中X 和Y 相互独立。则以下各组关系式中哪一组是正确的 答:( )

（A ） I(X;Z)=H(Z)-H(Y); I(X;YZ)=H(X);I(Y:Z/X)=H(Y);I(X;Y/Z)=H(X/Z);

（B ） I(X;Z)=H(Z)-H(Y); I(X;YZ)=H(Y);I(Y:Z/X)=H(Z);I(X;Y/Z)=H(X/Z);

（C ） I(X;Y)=0; I(X;YZ)=H(X);I(Y:Z/X)=H(X);I(X;Y/Z)=H(Z/X);

（D ） I(X;Y)=0; I(X;YZ)=H(X);I(Y:Z/X)=H(Y);I(X;Y/Z)=H(X/Z);

3、八进制脉冲所含信息量是二进制脉冲的几倍。 答:( )

（A ）2 （B ）3（C ）1/2（D ）1/3

4、发送端发送纠检错码，接收端根据纠检错码判断接收的消息是否有错，如果在纠错范围内，则自动纠错，否则反馈给发送端，发送端重新发送信息，这种纠错方式为何种纠错方式。

（A ）前向纠错 （B ）混合纠错 （C ）反馈重传纠错 （D ）自动纠错 答:( )

5、设加性高斯白噪声信道中，信道带宽为4KHZ ，又设{（信号功率+噪声功率）/噪声功率=16}则该信道的最大信息传输速率为多少？ 答:( )

(A)15Kbit/s （B ）16Kbit/s （C ）16.35Kbit/s （D ）18Kbit/s

6、设无记忆二进制信源⎭

⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛2.08.010)(X P X ，对此信源发出的二元序列进行游程编码，则0游程长度为3的概率为 答:( )

(A)0.128 (B)0.512 (C)0.64 (D)0.04

7、某单符号离散无记忆信源，信源符号数n=45，对其编四进制哈夫曼码，则首次缩减时选取的符号数r 等于 答:( )

(A) 1 (B) 2 (C) 3 (D) 4

8下面哪个性质不属于加权熵的性质。 答:( )

(A) 非负性 (B) 对称性 (C) 非容性 (D) 凸函数性

9、已知离散信源,4.02.03.01.0)(4321⎭

⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡x x x x X P X 某信道的信道矩阵为 2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.04

3

2

1

4321

x x x x y y y y

则“收到y 3的条件下推测输入x 1”的概率为( )

(A) 1/32 (B) 0.32 (C) 0.1 (D) 1/22

10、已知一个（6,3）线性分组码的生成矩阵⎪⎪⎪⎭

⎫ ⎝⎛110100011010101001G ＝，则在其伴随式－差错图案

表中，错误图案E ＝（000001）对应的伴随式为： 答:( )

（A ）010 （B ）001 （C ）011 （D ）110

三、判断题。以下陈述中，正确的在题号前打√，错误的打×。（10分）

（ ）1．若信源发送x i ，信宿接收到y j ，则互信息量表示从y j 中得到的关于x i 的信息量。 （ ）2. 离散信源熵表示信源输出后，每个离散消息所提供的平均信息量。

（ ）3.平均互信息量是从平均意义上度量每通过一个符号流经信道的平均信息量。所以平均互信

息量就等于所有符号的互信息量之和除以符号的总个数。

（ ）4具有一一对应关系的无噪信道，要达到其信道容量必须要求信源等概率分布。

（ ）5信道容量就是在固定信源的情况下求平均互信息的极大值；而信息率失真函数是在实验信

道中（满足保真度准则的信道）中寻找平均互信息量极小值的问题。

（ ）6．信源是否平稳，取决于信源所发符号序列的概率分布是否与时间的起点有关；而信源是

否有记忆，取决于信源输出的消息序列中前后符号之间有无相互依赖关系。

（ ）7．连续信源的绝对熵为无限大。

（ ）8．奇校验码能发现奇数个错，偶校验码能发现偶数个错。

（ ）9．香农编码时，应先确定每个信源符号的码长，再编

码字。

（ ）10．信源熵只与信源的总体结构有关，而不在乎个别消息的概率，甚至与消息的取值无关。 以下计算题，共50分

四、（10分）有一BSC 信道，已知其转移概率P(0/1)=0.05：

1、试写出该信道的信道矩阵并求其信道容量。

2、设该信道以750 二元符号/秒的速度传输输入符号。现有一消息序列共有5000个二元符号，并设P(0)=P(1)=0.5，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？

五、(10分) 在图片传输中，每帧约有2.5×106个像素，为了能很好地重现图像，每像素又取32

个不同的亮度电平，并设亮度电平是等概率出现。试计算每三分钟传送一帧图片所需信道的带宽（信噪功率比为30dB ）。

六、(8分) 求信道矩阵 ⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡=1/8 3/8 1/3 1/63/8 1/8 1/6 1/3P 对应的信道容量，并说明达到该信道容量的信源输入概率分布。