信息论习题分析

［例2.1.4条件爛］已知X, Ye{O,l},XY 构成的联合 概率为:p (00) =p(ll) =1/8, p (01) =p (10) =3/8,计算条 件爛 H (X/Y) o
解：根据条件爛公式：
m n
H (X /y )= -XE 〃(兀儿)bg 2 pg / yj
J=l i=l
心儿)
P(yj)
2
首先求p (儿) =
儿)，有
i=\
3 1
P (o )= p()i =o )=
= 00) + p(x 2y } =10) = - + - = c
o o
同理可求得 P (1) = p(y 2 =1) = - 2
从而有：
p(00) _ =00) _ 1/8 _ 1 _
P (0) P ()i 二 0) 1/2 4
3
M/s 吒,
H (x/Y)二-p(00)log2 p(0/0)- —p(0l)log2 p(0/I)- p(l 0)log2 pQ /0)
-p(l 1) log2卩(1/l) --lo^---log.- x2 = 0.406 I 8切4 8切4丿
p(0/0)二 p(x,二 0/开=0)=
(bit!symbol )
［例2. 1. 5］将已知信源忙v l = E ：」接到下图所示的
信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义
度H(X/Y)、噪声爛H(Y/X)和联合嫡H(XY)。

解：(1)由P(x i y j) = p(x i)p(y j /x, ),求出各联合概率:
p(Xj ) = p(Xj) p(y)/ £)二0.5 x 0.98 = 0.49
/?(%( y2) = p(x{)p(y2 / X]) = 0.5 x 0.02 = 0.01
p(x2 y ])二p(x2) p()\/X2)=0.5X 0.20 二0.10 p(x2y2) = p(x2 )p(y 2 /
x2) = 0.5 x 0.80 = 0.40
(2)由3) = 0(卩),得到Y集各消息概率：
(=1
2
〃()'])=£ P(I)= P(x\ y I)+ P(勺)?1)= °49 + 0.10 = 0.59 1=1
卩(为)二1-P()i)二1-0・59 二0.41
(3)由心/儿x竺2，得到X的各后验概率:
P(x i/y i) =
P(兀2 / 开)=1 - Pdi/y1) = 0.169
同样可推出P(N /y2) = 0.024, p(x2 /y2) = 0.976
(4)H(X)Sp(x l)log2p(x i) = -{0.5log20.5+ 0.5log20.5) = 1(比特/符号)
f=l
2
H(Y) = -X/X)\)log2P(>\) = -{0.59log? 0.59 +0.41 log2 0.41}
J=I
二0.98(比特/符号)
H(XY) = -工工p(“yj) log2 p(“儿)
/=! ./=!
=-{0.49 log 2 0.49 + 0.01 log 7 0.01 + 0.10 log. 0.10 + 0.40 log 2 0.40}
二1.43 (比特/符号)
(5)平均互信息
/(X;Y) = H(X) + H(Y) -H(XY) = 1 + 0.98 -1.43 = 0.55(t匕特/符号)
(6)疑义度
2 2
H(X /y) = 2^p(x i yJ)log2〃(“/儿)
Z=1 J=l
二-{0.49log2 0.831 + 0.01 log2 0.024 + 0.101og2 0.169 + 0.40log2 0.976} = 0.45(比特/符号)
(7)噪声爛
2 2
H (Y/X) = —££/心,儿)log2 P(儿/")
/=1 J=1
=-{0.49 log2 0.98 + 0.01 log 2 0.02 + 0.10 log 2 0.20 + 0.40 log 20.80} = 0.43(比特/符号)
［例2. 2. 1］有一离散平稳无记忆信源
3
工Pd)= i,求此信源的二次扩展
P(X)
信源的嫡。

先求出此离散平稳无记忆信源的二次扩展信源。

扩
展信源的每个元素是信源X的输出长度为2的消息序
列。

由于扩展信源是无记忆的，故 "(%)= 〃(")〃(化)
(‘1' ‘2 = 1,2,3；心 1,2, (9)
根据嫡的定义，二次扩展信源的嫡为
H(X N ) = 3(比特/符号)二 2H(X)
结论：计算扩展信源的爛时，不必构造新的信源, 可直接从原信源X 的爛导出。

即离散平稳无记忆信 源X 的N 次扩展信源的爛为离散信源X 的爛的N 倍。

［例2. 2. 2］设某二维离散信源X=X.X 2的原始信源X 的 4
11 ，X =X l X 2中刖后两个符号
9 36.
的条件概率为
信源模型为
X P(X )
原始信源的爛为：
H(X) = -工 /?(弋)log °#(弋)=1 ・542(b”/symbol)
/=1
由条件概率确定的条件嫡为：
3 3
H(X2/X l) = -)p(% /X. )log2 P(x /X.) = 0.870(加/symbol) ‘1=1 ^2=1
条件嫡比信源炳(无条件爛)减少了0. 672bit/symbol,
正是由于符号之间的依赖性所造成的。

信源X=X.X2平均每发一个消息所能提供的信息量，即联合燔
H(X、XJ = H(X J + H(X2 /X) = 2・4\2(bit/symbol)
则每一个信源符号所提供的平均信息量
H2(X) = -H(X) = -H(X［X2) = 1.206(bit/symbol)
2 2
小于信源X所提供的平均信息量H(X),这同样是由于
符号之间的统计相关性所引起的。

［例2. 2. 3］设信源符号xmexj，信源所处的状态
S e｛勺灼，唧起｝o各状态之间的转移情况由下图给出o
将图中信源在勺状态下发符号®的条件概率Pge)用矩阵表示为
乂1 乂2 乂3
1 - 41 - 21 -401-
2 1一41 一2
3 一401 一
4 1-2 0 0 11-4
由矩阵可明显看出，f pg/©) = 1,21,2,3,4,5。

另从图
&=1
中还可得
PJS［ =e2/ X,=不，S/T = d ) = 0
P(S, =ej X t = x19S_ =e{) = l
< P(S f =e2 / X/ = x2, S t_x =q) = l
P(S f =ej Xi = x2, S t_} = e,) = 0
J
所以信源满足式(4)
由图还可得状态的进一步转移概率
®勺J 4 丘5
丄丄o 丄0
2 4 4
0 丄丄0 0
2 2
3 1
0 - - 0 0
4 4
0 0 0 0 0
3 1
0 0 0 --
L 4 4」
该信源满足式(2)-(4),所以是马尔可夫信源，并且是时齐的马尔可夫信源。

［例2.2.4］某二元2阶马尔可夫信源，原始信源X的符号集为{%! =O,X2=1},其状态空间共有/i H, = 22 =4个不同的状态勺,勺,勺，勺，即E：{勺=00，d=01，s=10，s = ll},其状态转移概率图如下，
由上图可知，当信源处于状态00 =勺时,其后发生符号0 的概率是0.8,BPp(0l00) = p(x1k1) = 0.8,状态仍停留在勺，即火|1勺)二卩(占1勺)二0.8。

当信源仍处于状态勺,而发出的符号为1时，状态转移至01=勺，故一步转移概率p(l 100) = p(x21e() = p(e21ej = 0.2 o 当信源处于状态勺二01 时，其一步转移概率为P(0101) = pCVj k2) = p(e y \e1) = 0.5 , p(\ 101) = p(x2 \e2) = p(e4 \e2) = 0.5。

同理，当信源处于状态® "0时，
卩(0110) = pg 丨£ J = p(e{ \e3) = 0.5
p(l\ 10) = p(x2 le3) = p(e21e3) = 0.5
当信源处于状态勺二11
p(0111) = p(x t I e 4) = p(e 31 e 4) = 0.2 p(l 111) = p(x 21e 4) = p(e 4 k 4) = 0.8
这样，由二元信源X G {0,1)得到的状态空间匕,勺，6.匕} 和相应的一步转移概率构成的2阶马尔可夫信源模型
4
工 P (勺/®) = 1
j=l
4
由 P (J )=》P (5)P2j «) j = 123,4 Z=1
可求出稳定状态下的〃©),称为状态极限概率。

将一步转移概率代入上式得:
p(ej = 0.8p(e x ) + 0.5卩(勺) p{e 2 ) = 0.2 p(ej + 0.5 p(e 3) p(e 3) = 0.5p(e 2)-l-0.2p(e 4) p(e 4 ) = 0.5 p(e 2 ) + O.Sp(e 4)
解此方程组得
P （^1）= P （^4）= —
14 2
P@2）— P （e 3）—打
计算极限嫡
4
4
Hg = w 2+1
=-工工 p （ejp （ej /ejlog P （ej /勺）=0.8（bif /symbol ）
i=\ j=\
e
\ *2 e 3 e 4
p2j£)
i, j = 123,4
p(s)>o
需要注意的是No并非在任何情况下都存在。

首先应记住的是：我们讨论的是平稳信源。

其次，对n元m 阶马尔可夫信源来说，只有极限概率P（勺），丿二1，2,…川"都存在时，方能计算出H R。

从理论上可以证明，如果m阶马尔可夫信源稳定后具有各态历经性，则状态极限概率P（勺）可根据式（10）求出。

必须强调的是，m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系不同，对相应关系的数学描述不同，平均信息量的计算公式也不同。

m阶马尔可夫信源的记忆长度虽为有限值但符号之间的依赖关系延伸到无穷，通常用状态转移概率（条件概率）来描述这种依赖关系。

对理解为马尔可夫信源以转移概率发出每个信源符号，所以平均每发一个符号提供的信息量应是极限嫡比卄而对于长度为m的有记忆信息源X,发出的则是一组组符号序列, 每m个符号构成一个符号序列组，代表一个消息。

组与组之间是相互统计独立的，因此符号之间的相互依赖关系仅限于符号之间的m个符号，一般用这m个符号的联合概率来描述符号间的依赖关系。

对于这种有记忆信源，平均每发一个符号，（不是一个消息）提供的信息量，是m个符号的联合爛的m分之一，即平均符号嫡
m
[例2. 4. 1]设某单符号信源模型为
■
X J X] x2x4x5 x6x7 x8 p(x) _1o.4 0.18 0.10 0.10 0.07 0.06 0.05 0.04
计算得
H(X) = 2.55(比特/符号)
<T2[Z(X,)]= 1.323
若要求编码效率为90%,即
HE =0 90
H(X) + w
则£二0・28
设译码差错率为10“，由式(3)可得
L>1.6875xl07
由此可见，在差错率和效率的要求都不
苛刻的情况下，就必须有1600多万个信源 符号一起编码，技术实现非常困难。

种可能的取值编定长码，要无差错地译码, 每种取值需用3个比特，其编码效率 为了解决这一问题，就出现了不等长编码, 也称变长编码。

不等长编码允许把等长的消息变换成 不等长的码序列。

通常把经常出现的消息编 成短码，不常出现的消息编成长码。

这样可 使平均码长最短，从而提高通信效率，代价 是增加了编译码设备的复杂度。

例如在不等 长码字组成的序列中要正确识别每个长度 不同的码字的起点就比等长码复杂得多。

另 外，接收到一个不等长码序列后，有时不能 马上断定码字是否真正结束，因而不能立即 译出该码，要等到后面的符号收到后才能正 确译出。

这就是所谓的译码同步和译码延时 问题。

8
2.55 = 85%
［思考题］已知12个球中有一个球的重量与其它球不同，其它球均等重。

问用无舷码的天平至少须几次才能找出此球？
解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3, 12个球中的不等重球(可较轻，也可较重) 的不确定性为：-叱存* = log24 因为31og3>log24
A3次测量可以找出该球
具体称法略。

［例一］一副充分洗乱了的牌(含52张牌), 试问：
(1)任一特定排列所给出的信息量是多少？
(2)若从中抽取13张牌，所给出的点数都不相同能
得到多少信息量？
⑴任意排列共有Pii = 52!^,则任一排列
的自信息量为: -log = log 52!
(2)应将点数相同花色不同的牌看作一类， 则任意抽取的13张牌应在13类中分别进行。

其概率为： dsC ；4 •… d ［例三］求证： I(X;Y;Z)=H (XYZ) -H (X) -H (Y) -H (Z) +1 (X; Y) +I(Y;Z)+I(Z;X)
•・・ /(x ；y ；z )= z (x ；r )- /(x ；y i Z )
=H(X) — H(X I Y) - H(Y I Z) + H(Y\ XZ)
=H(X)~ H(X I Y) - H(Y I Z) + H(XYZ) - H(XZ)
信息量=Tog
［例二］己知随机变量X 和Y 的联合概率分 布满足：P (4) = ：, P(aJ = p(d J = ：, P @2)= p(b J =:
2 4
3 6 试求能使H(XY)取最大值的联合概率分布。

H(X Y) W 时取得 •••P(ab)=
H(X) + H(Y) P(a.b 2)二 P(a 2b I )= P(a,bJ = P(a»)= 等号在X 、Y 独立 1
12
1
24
P (a )b 3) P (a 2b 3) 丄 6 满足H(XY)取最大值
P(a 3b 2)= 1
24 P (a 3b 3)
1 11 24 1 24
=H(XYZ) - H(X I Y) - H(Y I Z) - H(Z IX)
而等式右边二H(XYZ) — H(X) — H(Y) — H(Z)
+ H(X)-H(X IY) + H(Y)-H(YIZ) + H(Z)-H(ZIX) = H(XYZ)-H(X
IY)-H(YIZ)-H(Z IX)
故左式=右式，原式成立
［例4］令X为掷钱币直至其正面第一次朝上所需的次数，求H(X)
P (X=n) = =(|)n
H(X) = -f|(|)n_1iog(|)n =工ng)"1 = 2 bit
［例5］—个无记忆信源有四种符号0, 1, 2,
3o 已知P(0) = l，p(l) = l，p(2) = l，p(3) = | o 试求由6000个符号构成的消息所含的信息量。

解：先计算一个符号所含的平均自信息量，即信源爛H
3
H=-^p(0iogP(0 =1.9056bit
i=O
无记忆信源由6000个符号构成的符号序列
消息H(X6000) = 6000 H(X) = 11434 bit
［例6］发出二重符号序列消息的信源嫡为H(Xh,而一阶马尔可夫信源的信源爛为H(X|X),试比较这两者
的大小，并说明原因。

解：根据公式H(xy)= H(x)+ H(Y|x),当Y和X 为同一集合时，有H(XX)二H(X?)二H(X) + H(X|X), 各种爛和条件爛均为非负值，当且仅当X中只含有一个确定性事件时才出现H (X) =0o 当X中含有二个或二个以上事件时，有H(X) >0,及H (^) >0, H (X/X) >0,因为H
(X) >0 所以H CO >H (X/X) 说明，在一般情况下，发二重符号序列的信源的信源爛H (^)大于一阶马尔可夫过程的信源炳H (X/X)
［例7］有一个马尔可夫信源，己知血個)二為
p(x2\x i)=j , P(和2)T，”(兀2卜2)=0,试画出该
信源的概率转移图，并求岀信源燔。

解：该信源的概率转移图为：
在计算信源燔之前，先用转移概率求稳定状
态下二个状态X1和X2的概率卩(“)和卩(勺) 立方程:P(兀1)=卩(兀］卜1)P(K) + P(K |X2)P(X2)
=!/?（%,）+/?（x2）
pg）="（对坷）P（K）+ P（兀2卜1）P
（E） = |p（x1） + 0/?（x2）
/?（^） + p（x2）=l
得P（X1）—I P（X2）= I
马尔可夫信源燔H =-!>a）l>gk）iogp（®k）I j 得H=0. 689bit/符号。