信息论第2章作业

第2章作业

1． 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为

8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？

2． 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中

身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

信息量：

比特

3． 设离散无记忆信源123401233/81/41/41/8X a a a a P ====⎡⎤⎡⎤

=⎢⎥⎢⎥⎣⎦⎣⎦

，其发出的消息为（202120130213001203210110321010021032011223210），求

（1） 求每个符号的自信息量；

（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032

有一信源输出X∈{0,1,2}，其概率为p0=1/4，p1=1/4，p2=1/2。设计两个独立实验去观察它，其结果为Y1∈{0,1}和Y2∈{0,1}。已知条件概率为

P(Y1|X) 0 1 P(Y2|X) 0 1

0 1 0 0 1 0

1 0 1 1 1 0

2 1/2 1/2 2 0 1 求：

1)I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。

2)I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关

于X的信息。

3)I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。

);(21Y Y X I - I(X;Y 2)=1.5-1=0.5 bit/sym

故做Y 1和Y 2两个实验比做Y 1或Y 2中的一个实验各可多得1 bit/sym 和0.5 bit/sym 。 （3）);(21Y Y X I =)(2Y X H －)(21Y Y X H

=[][]);()()

;()(212Y Y X I X H Y X I X H ---

=);();(221Y X I Y Y X I -=0.5 bit/sym 同理，得出);(12Y Y X I =);();(121Y X I Y Y X I -=1 bit/sym

结果说明，在做完实验Y 1或Y 2的条件下再做第二个实验，并没有获得更多的信息，因为Y 1和Y 2相互独立，没有任何关联。

5． 为了传输一个由字母A 、B 、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序

列，以00代表A,01代表B,10代表C,11代表D 。每个二元码脉冲宽度为5ms 。 （1） 不同字母等概率出现时，计算传输的平均信息速率？

（2） 若每个字母出现的概率分别为p A =1/5，p B =1/4，p C =1/4，p D =3/10，试计算传输

的平均信息速率？

(1) 因为A,B,C,D 四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为=2bit/ms=200bit/s

(2) 信源熵为 H(X)=

传输的平均信息速率为

=0.198bit/ms=198bit/s

6． （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和

10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s ）。

（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。

解：（1）需要5×105个像素和10个不同亮度电平，则可能出现的不同画面为5

10510

⨯

每个画面等概率出现，P=1/5

10510⨯

每帧图像的熵 H(X)= Log(5

10510

⨯)=5×5

10﹒Log10=1.66×6

10比特

．若有二个串接的离散信道，它们的信道矩阵都是

0010001⎡⎤

⎢⎥

11．有一个一阶平稳马尔可夫链X1，X2,……X r……，各X r取值于集合A={a1,a2,a3}。已知起始概率p(X r)为p1=1/2，p2=p3=1/4，转移概率如下。

j

1 2 3

i

1 1/

2 1/4 1/4

2 2/

3 0 1/3

3 2/3 1/3 0

（1）求(X1,X2,X3)的联合熵和平均符号熵。

（2）求这个链的极限平均符号熵。

（3）求H0，H1，H2和它们所对应的冗余度。

21.0585

.1251

.11100=-=-

=∞H H R 115.0414.1251.11111=-=-

=∞H H R 0251

.1251

.11122=-=-

=∞H H R 11．设有一个马尔可夫信源，它的状态集为{s 1,s 2,s 3}，符号集为{a 1,a 2,a 3}，及在某状态下发

符号的概率为P(a k/ s i )(i,k=1,2,3),如图所示。

（1）求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。 （2）计算信源处在某一状态下输出符号的条件熵H (X /S =j )(j= s 1,s 2,s 3)。

（3）求出马尔可夫信源熵∞H 。

a 3

:1/2

a 2

:1/2

a 1

:1

a 3

:1/4

a 2

:1/4

a 1

:1/2

S 1

S 2

S 3