信息论习题集

信息论习题集

第二章

2.1同时掷2颗骰子，事件A、B、C分别表示：(A)仅有一个骰子是3; ( B)至少有一个骰子是4;

(C)骰子上点数的总和为偶数。试计算A、B、C发生后所提供的信息量。

2.3 —信源有4种输出符号X，i =0，1，2, 3,且p(Xj=1/4。设信源向信宿发出X3，但由于传输中的干扰，接收者收到X3后，认为其可信度为0.9。于是信源再次向信宿发送该符号 (X3 )，信宿准确无误收到。问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？

2.5 一信源有6种输出状态，概率分别为

p(A) =0.5，p(B)=0.25，p(C)=0.125，p(D)= p(E)=0.05，p(F)=0.025

试计算H(X)。然后求消息ABABBA和FDDFDF的信息量(设信源先后发出的符号相互独立) ，并将之与长度为6的消息序列信息量的期望值相比较。

2.6中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。

设每个汉字用一个16 16的二元点阵显示，试计算显示方阵所能表示的最大信息量。显示方阵的利用率是

多少？

2.7已知信源发出6和a2两种消息，且p(aj = p(a2)=1/2。此消息在二进制对称信道上传输，信道

传输特性为p(bi |aj = p(b2 la?) =1 - ；，p(b | a?) = p(b21 aj =；。求互信息量I 佝4)和I 佝；b?)。

2.8已知二维随机变量XY的联合概率分布p(X i y j)为：p(0,0) = p(1,1)=1/8，

p(0,1) =p(1,0) -3/8，求H (X |Y)。

2.13有两个二元随机变量X和Y，它们的联合概率分布如表 2.5所列，同时定义另一随机变量Z二X|_Y (一般乘积)。试计算：

(1)熵H(X),H(Y),H(Z), H(XZ),H(YZ), H(XYZ)；

(2)条件熵H(X |Y),H(Y|X),H(X |Z),H(Z|X),H(Y|Z), H(Z|Y), H(X|YZ), H (Y | XZ)和H(Z | XY);

(3)互信息I (X;Y), I (X;Z), I (Y; Z), I(X;Y| Z),I(Y;Z| X)和I (X ;Z |Y)。

2.14假定X1r X^ —X3 T ■■ X n形成一个马尔可夫链，那么P(X i X^| x n)=

P(X I)P(X2 |xj||| p(X n |X n J，请简化I (X I；X^|X N)。

2.15给定X，Y的联合概率分布，如表2.10所示。

(1) H(X)，H(Y)；

(2) H(X|Y)，H(Y|X)；

(3) H(XY)；

(4) H(Y) -H(Y|X)；

(5) I(X;Y) o

2.23判断题

(1)H(X) 0 ;

(2)若X 与Y 独立，则H(X)二H (X |Y);

(3)I (X;Y) —l(X;Y|Z);

(4)如果H (X |YZ) =0,则要么H (X |Y) =0 ,要么H (X | Z) =0 ;

(5)I(X;YpHH(Y);

(6)H (X |X)=0 ;

(7)若X 与Y 独立，则H (Y| X) =H(X |Y);

(8) H (X |Y) -H (X |YZ) o

『22211 11】

2.24设随机变量X 的概率分布为

，—，，，，

。随机变量Y 是X 的函数，其分布为将

J0 10 10 10 10 10,10：

、， 、 「2 2

2 4〕 X 的4个最小的概率分布合并为一个：

，一,,

[10 10 10 10J

(1) 显然H(X)乞log 27，请解释原因； (2) 请解释为什么 H(X) . Iog 25 ？ (3) 计算 H(X)，H(Y)； (4) 计算H(X|Y)并解释其结果。

第三章

3.2有一无记忆信源的符号集为

(1) 求信源熵;

(2)求由m 个"0"和(100-m)个"1"构成的某一特定序列自信息量的表达式;

(3)计算由100个符号构成的符号序列的熵。

4

4 4

3.3有一离散无记忆信源，其输出为 X •〈0,1,2?，相应的概率为 p 。二一，5二一，P 2二一，设计两

4 4 2

个独立的试验去观察它，其结果分别为

Y )• b,1，丫2・b,1，已知条件概率如表 3.1所列。

表3.1

(1)

求)和，并判断哪一个实验好些；

(2) 求I (X;YY 2)，并计算做Y 和篦两实验比做¥或Y>中的一个实验可多得多少关于 X 的信息; (3) 求I(X ；Y IYJ 和i (x ；丫 |¥)，并解释它们的含义。

P(¥|X)

0 1

0 1 0 1

0 1 2 1/2

1/2

P(YJX )

0 1

0 1 0 1

1 0 2

1

「0,1，已知信源的概率空间为

(1)求信源符号熵；

(2)求平均每个消息符号所需要的二进制码元的个数或平均代码长度，进而用这一结果求码序列的二进制码元的熵；

(3)当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进码序列中出现"0"和"1"的

无条件概率p(0)和p(1)，以及相邻码元间的条件概率p(0|0)、p(1|0)、p(0|1)和P(1|1)。

3.6 —个马尔可夫过程的基本符号为0, 1, 2,这3个符号等概率出现，并且具有相同的转移概率。

(1)画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1和信源剩余度；

(2)画出二阶马尔可夫过程的状态图，并求稳定状态下的二阶马尔可夫信源熵H2和信源剩余度。

3.7 一阶马尔可夫信源的状态转移图如图 3.2,信源X的符号集为〈0,1,2?。

(1 )求平稳后的信源的概率分布；

(2) 求信源熵H ::;