《信息论与编码A》练习题

《信息论与编码A 》习题

姓名： 学号： 成绩：

一．居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1米6以上的，而女孩中身高1米6以上的占总数一半。假如我们得知“身高1米6 以上的某女孩是大学生”的消息，问获得多少信息量？

二．设有一离散无记忆信源，其概率空间为 . 1/8 1/4 1/4

3/8 3 2 1 01121⎥⎦⎤

⎢⎣⎡=====⎥⎦⎤⎢

⎣⎡x x x x P X 如果该信源发出的消息符号序列为：

S=(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求： (1) 此消息的自信息量是多少？

(2) 在此消息中平均每个符号携带的信息量是多少？

三．试问四进制，八进制脉冲所含的最大信息量是二进制脉冲的多少倍？

四．两个实验X 和Y ，X ={x 1，x 2，x 3}，Y ={ y 1，y 2，y 3 }，联合概率p (x i y j )=p ij

如下：

.24/724/1024/14/124/1024/124/73332

31

2322

21131211⎥⎥⎥⎦⎤

⎢

⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡p p p p p p p p p

(1) 如果有人告诉你X 和Y 的试验结果，你得到的平均信息是多少？

(2) 如果有人告诉你Y 的试验结果，你得到的平均信息量是多少？

(3) 在已知Y 试验结果的情况下，告诉你X 的试验结果，你得到的平均信息量是多少？

五．有两个二元随机变量X 和Y ，它们的联合概率如下图所示，定义另一个随机变量Z=XY （一般乘积）。试计算：

(1) H(X)，H(Y)，H(Z), H(XZ)，H(YZ) 和H(XYZ) (2) H(Y/Z)，H(Z/Y)，H(X/YZ)，H(Y/XZ )和H(Z/XY).

(3) I(X;Y)，I(X;Z)，I(Y;Z)，I(X; Y/Z) ,I(Y;Z/X )和I( X;Z/Y).

六．一个信源发出二重符号序列消息(i , j ), 其中第一个符号i 可以是A ，B ，C 中的任何一个，第二个符号j 可以是D ，E ，F ，G 中的任一个。已知各个P (i )和P (j ,i )值列成如下表。求这个信源的熵H (I J )。

七．在一个二进制信道中，信源消息集X={0, 1}，且P(1)=P(0)，信宿的消息集Y={0，1}，信道传输概率p (1/0)=1/4, p (0/1)=1/8。求：

(1) 在接收端收到y=0后，所提供的关于传输消息x 平均条件互信息量I (X ; y =0).

(2) 该情况所能提供的平均互信息量I (X ; Y ).

(3) 求该信道的信道容量及其达到信道容量的输入概率分布。

八．设二进制对称信道的信源符号集为X ={0, 1}，信宿符号集为Y ={0, 1}，信道矩阵为

.43 4141 43]]/[[⎥⎥⎥⎥

⎦

⎤⎢⎢⎢⎢⎣⎡=X Y P

(1) 如p (0)=2/3, p (1)=1/3, 求H (X ), H (X , Y ), H (X /Y ), H (Y /X )和I (X ;Y )。

(2) 求该信道的信道容量及其达到信道容量的输入概率分布。

九．将某六进信源进行二进制编码如下表所示，求

(1) 这些码中那些是唯一可译码？

(2) 那些码是非延长码(即时码)？

(3) 所有唯一可译码的平均长和编码效率。

十．某信源有8个符号{u1, u2,…, u8}，概率分别为1/2, 1/4, 1/8, 1/16, 1/32, 1/64, 1/128, 1/128。编成这样的码：000, 001, 010, 011, 100, 101, 110, 111。求

(1) 信源的符号熵H(U)；

(2) 出现一个“1”或一个“0”的概率；

(3) 这种码的编码效率；

(4) 相应的仙农-范诺码；

(5) 该码的编码效率。

十一．设有离散无记忆信源P(X)={0.37，0.25，0.18，0.10，0.07，0.03}。

(1) 求该信源符号熵H(X);

(2) 用哈夫曼编码编成二元变长码，计算其编码效率。

十二．信源符号X有6种字母，概率为(0.32，0.22，0.18，0.16，0.08，0.04).

(1) 求符号熵H（X）。

(2) 用仙农-范诺编码编成二进变长码，计算其编码效率。

(3) 用哈夫曼编码编成二进变长码，计算其编码效率。

(4) 用哈夫码编码编成三进变长码，计算其编码效率。

十三．有一个由9个符号组成的信源，概率分别是1/4，1/4，1/8，1/8，1/16，1/16，1/16，1/32，1/32，用三进符号（a, b, c）编码。

(1) 编出仙农-范诺码和哈夫曼码,并求出编码效率.

(2) 若要求符号c后不能紧跟另一个c, 编出一种有效码, 其编码效率是多少?