信息论第二章习题

已知信源发出a1和 a2，，且p(a1)=p(a2)=1/2,在信道上传输时， 传输特性为p(b1/a1)=p(b2/a2)=1-ε, p(b1/a2)=p(b2/ a1)=ε,求互信 息量 I(a1；b1)和I (a1；b2)
解： p(a 1/b1) p(a 1/b1) I(a1;b1)=log =log
已知
所以
1 P x ( x) 10
1 H 0( X ) 10 log2 10dx 3.322bit 5
5
（3） 连续信源（1）和（2）绝对熵是不会变的， 这是由无穷大项所造成的，两者在逼近时 所取△x不一致，信源熵（2）比（1）大。 Hc（X）给出的熵有相对意义，而不是绝对 值。
无记忆信源的符号集为{0，1}，P0=1/4,p1=3/4,求符号的平均 熵，由100个符号构成序列，求自信息量的表达式。
解： 1 3 4 (1) H ( x) log 4 log 0.81 比特/符号
4
4来自百度文库
3
(2)
1 3 I log * 4 4
m
100 m
41 1.59m比特
（3） P（红）=P（白）=P（蓝）=P（黄）=1/4
所以 H（X）= 4 x （ 1 log 2 1）
4 4
= 2比特/球
一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)=1/4, p(2)=1/4, p(3)=1/8,求60个符号构成的消息 所含的信息量和平均信息量。
解： 平均信息量 H(X)=3/8log2(8/3)+2/4log24+1/8log28 =1.905比特/符号 信息量 H1(X)=60*1.905=114.3比特
题目
2-2 设在一只布袋中装有100只对人手感觉 全相同的木球，每只球上涂有一种颜色。 100只球的颜色有下列3中情况： （1）红色球和白色球各50置； （2）红色球99只，白色球1只； （3）红、黄、蓝、白色各25只。 求从布袋中随意去除一只球时，猜测其颜色所需要 的信息量。

分析
取出一个球，其颜色可能是红色、白色、 蓝色或黄色。都有可能，但各种颜色的不 确定度不同，即出现概率不同。 要求猜测其颜色信息所需要的信息量也就 是要求取出一个球所包含的平均信息量 （信源熵）。 根据H（X）的定义，就可求出。
I (a1,b2)=log2 2 ε
随机变量X表示信号x(t)的幅度，X在－3V和3V之间均匀分 布，求信源的熵。在－5V和5V之间，试解释计算结果。
解： （1）已知 所以
1 P x ( x) 6
1 H 0( X ) 6 log2 6dx log2 6 2.58bit 3
3
（ 2）
1 3 0
2/3 1/3
s1
由
2/3W1+W2=W1 1/3W1=W2 W1+W2=1
1
0
s2
得：
W2=1/4； W1=3/4；
H w1H ( x / s1) w2H ( x / s 2) 3 2 3 1 1 ( log log 3) log1 4 3 2 3 4 0.69比特 / 符号
（3） H（X1X2…X100）=H(X1)+H(X2)+…+H(X100)=100H(X) =100×0.81=81比特
已知一个马尔可夫信源，转移概率为p(s1/s1)=2/3, p(s2/s1)=1/3, p(s1/s2)=1, p(s2/s2)=0,试画出状态转移图并求信源熵
解：
2 P 3 1
p(a1)
1/2
P(b1)=P(b1,a1)+P(b1,a2)=P(b1/a1)P(a1)+ P(b1/a2)P(a2) =(1-ε)*(1/2)+1/2* ε=1/2 P(a1,b1)=1/2*(1-ε) P(a1/b1)= P(a1,b1)/P(b1)=1- ε
I(a1,b1)=log2[2*(1-ε)]
p(a1/b2) I (a1;b2)=log p(a1)
P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2)
=ε*1/2 + (1-ε)*(1/2) =1/2
P(a1,b2)= P(b2/a1)*P(a1)= 1/2* ε P(a1/b2)=P(a1,b2)/ P(b2)=ε
解答
根据定义 H（X）= -
p(x ) log p( x )
i i i
得：随意取出一球时，所需要的信息量为 （1） P（红）= P（白）=1/2
H（X）=
1 1 1 1 log 2 log 2 2 2 2 2
= 1比特/球
（2）P（白）= 1/100 P（红）= 99/100 所以 1 1 99 99 H（X）= 100 log 2 100 100 log 2 100 = 0.08比特/球