答案~信息论与编码练习题

1有一个二元对称信道，其信道矩阵如下图所示。设该信道以 1500个二元符号/秒的速度

传输输入符号。现有一消息序列共有 14000个二元符号，并设在这消息中 P(0)=P(1)=1/2 。

问从信息传输的角度来考虑，

10秒钟能否将这消息序列无失真地传送完？

0.98

0.02

____________ •

1

0.98

解答：消息是一个二元序列 ，且为等 概率分布，

H(X)=1(bit/symbol)。则该消息序列含有的信息量=

下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为：

0 98 0 02

P

0.02 0.98

信道容量(最大信息传输率)为：

C=1-H(P)=1-H(0.98)

~ 0.8586bit/symbol

得最大信息传输速率为：

Rt

疋1500符号/秒

X 0.8586

比特/符号

〜1287.9比特/秒 沁1.288 X 103比特/秒

此信道10秒钟能无失真传输得最大信息量= 10X Rt 疋1.288 X 104比特

可见，此信道10秒能无失真传输得最大信息量小于这消息序列所含有的信息量，

故从

信息传输的角度来考虑，不可能在

10秒钟将这消息无失真的传送完。

2、若已知信道输入分布为等概率分

布，

且有如下两个信道， 其转移概率矩阵分别为:

1

2 1 2 0 0

1 2 1 2

0 0 0 0 0 0

0 1 2

1

2

0 0 1 2 1 2

0 0 0 0 P 1 2

1 2 P 2

1 2 1 2

1

0 0 0 0 0 0 0

1 2

0 0

1 2

0 0 0 0 0 0 1 2 1

2

试求这两个信道的信道容量，并问这两个信道是否有噪声？

解答：

(1) 由信道1的信道矩阵可知为对称信道 故 G log 2 4 H (舟 舟 0 0) 1bit / symbol H (X ) log 2 4 2bit / symbol C 1

有熵损失，有噪声。

(2) 为对称信道，输入为等概率分布时达到信道容量 C 2 log 2 8 H (2 f 0 0 0 0 0 0) 2bit / symbol

H (X ) C 2,无噪声

3、已知随即变量 X 和Y 的联合分布如下所示：

1

即P(0)=P(1)=1/2 ，故信源 的熵为

14000(bit/symbol)。

H( X H

Y H XY)H( X/Y H( Y/X )、I (X ; Y )

4、有一个可以旋转的圆盘，盘面上被均匀的分成

38份，用1,2,3 ,……,38数字标示,

其中有2份涂绿色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。 (1、若仅对颜色感兴趣，计算平均不确定度； (2、若对颜色和数字都感兴趣，计算平均不确定度； (3、如果颜色已知，计算条件熵。 解：(1) H(色)=

(2) P( 色数)=H(色数)= (3) H(

数/ 色)=H(色数)-H(色)=

5、在一个二进制信道中，信源消息集

X={0,1},且P(0)=P(1),信宿的消息集 丫={0,1},信

道传输概率 P (1/2 ) =1/4, P(0/1)=1/8 。求：

(1、在接收端收到y=0后，所提供的关于传输消息

X 的平均条件互信息量l(X ; y=0).

(2)该情况所能提供的平均互信息量

l(X;Y).

解：(1)

P(ij)= P(i/j)=

(2) 方法1:=

6某一无记忆信源的符号集为 {0,1}，已知p0=1/4, p 仁3/4

(1) 求符号的平均熵

(2、由100个符号构成的序列，求某一特定序列(例如有 m 个“0”和(100-m 、个“ 1 ”))

的自信息量的表达式。 (3、计算(2)中的序列的熵。 解：

(1) H(X)=

s 2m H - (100 - -Log ［扌

⑶ I •:.

：.1 ::.

■ ： ■ , 1 I ：1 ：| -I TI. -

7、 一阶马氏链信源有三个符号 {u1,u2,u3},转移概率为：

P(u1/u2)=1/2,

P(u2/u2)=1/2,

P(u3/u1)=0,

P(u1/u2)=1/3,

P(u2/u2)=0,

解:

(1)

⑵ ⑶ ⑷

H( X/Y ) = H (XY ) -- H (Y ) =1.811-1=0.811 H( Y/X ) = H (XY ) -- H (X ) =1.811-1=0.811

8、设有一信源，它在开始时以p(a)=0.6,p(b)=0.3,P(c)=0.1

的概率发出X1,如果X1为a

时则X2为a,b,c 的概率为1/3;如果X1为b 时则X2为a,b,c 的概率为1/3;如果X1为c 时 则X2为a,b 的概率为1/2，而为c 的概率是0;而且后面发出X 的概率只与X -1有关。又p(X i / X -i )=p(X2/ X1),i >3。试利用马儿可夫信源的图示法画出状态转移图，并求出状态转移矩 阵和信源熵比

P(j/i)=

解方程组 得到 W 仁，W2= , W3=

Lo/3 = 1.5&5

H(X2/b)= Logi?) = 1J 劭

/沪 Log© = 1

H®(X)=W 1H(X2/^+W 2HCX2/b)+W 3H(X3/c)= 瞋①十-Log(3)十-LoO = 1.439

S g

4

9某信源符号有8个符号{u1,…u8},概率分别是1/2 , 1/4 , 1/8. ,

1/16 ,

1/32,1/64,1/128,1/128

，编成这样的码: 000,001,010,011,100,101,110,111 。求

(1) 信源的符号熵H(U)

(2) 出现一个“ 1”或一个“ 0”的概率； (3) 这样码的编码效率； (4) 相应的香农码和费诺玛； (5) 该码的编码效率？

解：

(1)

H(U)=

1111 1 1 1 1

Log (2) Log(4) Log(8) Log(16) Log (32) Log(64)

Log (128)

Log(128)

2 4 8 16

32

64

128

128

(2)

每个信源使用3个二进制符号，出现0的次数为

P(j/i)=

1.984

P(u3/u2)=2/3,

P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0,

画出状态图并求出各符号稳定概率。 解：