信息论中期习题测验及答案

1、 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m 以上，而女孩中身高1.6m 以上的占总数一半。假如我们得知“身高1.6m 以上的某女孩是大学生”的消息，问获得多少信息量？

解：设事件A 表示女大学生，B 表示身高1.6m 以上的女孩，则

p(A)=0.25,p(B)=0.5,p(B/A)=0.75, 所以375.05

.075.0*25.0)()/()()()()/(====B p A B p A p B p AB p B A p bit B A p B A I 42.1)/(log )/(=-=

2、 每帧电视图像可以认为由3*105个像素组成，所有像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率分布，问每帧含有多少信息量？

解：每帧图像/10*1.2128log )(610*35bit X H ==

3、 二重扩展信源的熵为H(X 2), 一阶马尔可夫信源的熵为H(X 2/X 1), 试比较两者的大小，并说明原因。

解：因为)/()()(1212

X X H X H X H +=，所以)/()(122X X H X H ≥。因为一阶马尔可夫信源符号间是相关的，具有记忆性。

4、 设有一信源，它产生0、1序列的消息。该信源在任意时间不论以前发生过什么消息符号，均按p(0)=0.4, p(1)=0.6的概率发出符号。

（1） 这个信源是否平稳？

（2） 计算H(X 2), H(X 3/X 1X 2), 以及)(lim X H N N ∞→。 （3） 计算H(X 4), 并写出X 4信源可能发出的所有符号。

解：（1）该信源是离散无记忆信源，对任意i 1,i 2,…,i N 和h>0,有

),...,,(),...,,(21212121N h i h i h i N i i i x X x X x X p x X x X x X p N N =======+++,所以该信源是平稳的。

（2）bit X H X H 94.1)(2)(2==

bit X H X X X H 97.0)()/(3213==

bit X H X H N N 97.0)()(lim ==∞→

（3）bit X H X H 884.3)(4)(4==

可能发出的符号：

0000,0001,0010,0011,0100,0101,0110,0111,1000,1001,1010,1011,1100,1101,1110, 1111.

5、 一阶马尔可夫信源的状态转移图如下图所示，信源符号集为{0，1，2}。求：

（1）稳态后信源的概率分布

（2）信源熵。

（3）当p=0或p=1时信源的熵，并说明理由。

解：（1）状态转移矩阵

⎪⎪⎪⎭

⎫ ⎝⎛='00'0'p p p p

p p P 由WP=W, 得1''012211100=+++=+=p p p p p p p p p p p p p ，整理后得3/1210===p p p

（2）)1log '1log '()1log '1log '(31*3)/()(p p p p p p p p S X H S p H i

S i i +=+==∑∞ （3）当0,0==∞H p , 当0,1==∞H p 。信源熵表示的是信源的平均不确定度。p=0或p=1表明由某一状态转换成另一状态的情况一定发生或一定不发生，是确定事件，因此平均不确定度为零，即熵为零。

6、设有一信源发出符号A 和B,它们是相互独立的，并已知p(A)=1/4, p(B)=3/4。

（1）计算信源熵。

（2）若用二进制代码组传输消息，1,0→→B A ，求p(0)和p(1)。

（3）该信源发出二重符号消息时，采用费诺编码，求其平均传输速率R 及两个码元的概率p(0)、p(1)。

（4）该信源发出三重符号消息时，采用霍夫曼编码，求其平均传输速率R 及两个码元的概率p(0)、p(1)。

解: (1)信源符号/811.0)43log 4341log 41()(log )()(bit x p x p X H i i

i =+-=-=∑ (2)4/3)()1(,4/1)()0(====B p p A p p

(3)对二重符号信源采用费诺编码，结果为 (码字不唯一)

BB: 0, BA: 10, AB: 110, AA:111

单个符号的平均码长为：

信源符号码元/844.0)3*16

13*1632*1631*169(21)(21=+++==∑i i i l p l 平均传输速率码元符号/961.0844

.0811.0)(bit l S H R === 码元0和1的概率为

(0)

152715(0)/55.56%,(1)1(0)44.44%161627

2l p p p l -=====-= (4)对三重符号信源采用霍夫曼编码，结果为 (码字不唯一)

BBB: 1, BBA:001, BAB: 010, BAA:00000, ABB: 011, ABA: 00001, AAB: 00010, AAA: 00011 单个符号的平均码长为：信源符号码元/8229.064

158*31)(31===∑i i i l p l 平均传输速率码元符号/986.08229

.0811.0)(bit l S H R === 码元0和1的概率为

(0)

7575158(0)47.47%,(1)1(0)52.53%64641583l p p p l -=====-=