信息论习题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[例2.1.4 条件熵] 已知X ，Y }1,0{∈,XY 构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。
解： 根据条件熵公式：
∑∑==-=m
j n
i j i j i y x p y x p Y X H 112)/(log )()/(
)()
()/(j j i j i y p y x p y x p =
首先求∑==2
1
)()(i j i j y x p y p ，有
)
/(406
.0243log 8341log 8
1
)
1/1(log )11()
0/1(log )10()1/0(log )01()0/0(log )00()/(,
4
3
)1/0()0/1()
1/1(41
2/18/1)0()00()0()00()0/0()0/0(2
1
)1()1(8
1
83)10()00()0()0(22222211111212111symbol bit p p p p p p p p Y X H p p p y p y x p p p y x p p y p p c
y x p y x p y p p =⨯⎪⎭⎫ ⎝⎛--=-----==============
===+==+====从而有：
同理可求得[例2.1.5]将已知信源⎭
⎬⎫
⎩⎨⎧=⎥
⎦⎤⎢
⎣⎡5.05
.0)(21
x x X P X
接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 1
x 0.98 1
y
0.02
0.2
2x 0.8 2
y
解：（1）由),/()()(i j i j i x y p x p y x P =求出各联合概率： 49.098.05.0)/()()(11111=⨯==x y p x p y x p
01.002.05.0)/()()(12121=⨯==x y p x p y x p 10.020.05.0)/()()(21212=⨯==x y p x p y x p
40.080.05.0)/()()(22222=⨯==x y p x p y x p
（2）由,)()(1
∑==n
i j i j y x P y P 得到Y 集各消息概率：
=)(1y p 59.010.049.0)()()(12112
1
1=+=+=∑=y x p y x p y x P i i
41.059.01)(1)(12=-=-=y p y p
（3）由)
()()/(j j i j i
y p y x p y x
p =
，得到X 的各后验概率：
831.059
.049
.0)()()/(11111===
y p y x p y x p 169.0)/(1)/(1112=-=y x p y x p
同样可推出976.0)/(,024.0)/(2221==y x p y x p （4）)
/(1}5.0log 5.05.0log 5.0{)(log )()(222
12符号比特=+-=-=∑=i i i x p x p X H
}41.0log 41.059.0log 59.0{)(log )()(222
1
2+-=-=∑=i i i y p y p Y H
=0.98(比特/符号)
)(log )()(211j i n
i m
j j i y x p y x p XY H ∑∑==-=
}
40.0log 40.010.0log 10.001.0log 01.049.0log 49.0{2222+++-=
= 1.43（比特/符号）
（5）平均互信息
符号）
比特/(55.043.198.01)()()();(=-+=-+=XY H Y H X H Y X I
（6）疑义度
∑∑==-=2
12
12)/(log )(/i j j i j i y x p y x p Y X H ）（
}
976.0log 40.0169.0log 10.0024.0log 01.0831.0log 49.0{2222+++-=
符号）比特/(45.0=
（7）噪声熵
∑∑==-=2
12
12)
/(log )(/i j i j j i x y p y x p X Y H ）（
}
80.0log 40.020.0log 10.002.0log 01.098.0log 49.0{2222+++-=
符号）比特/(43.0=
[例2.2.1]有一离散平稳无记忆信源
∑==⎪
⎭
⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡3
1
3211)(41,41,21,,)(i i
x p x x x X P X ，求此信源的二次扩展
信源的熵。
先求出此离散平稳无记忆信源的二次扩展信源。扩展信源的每个元素是信源X 的输出长度为2的消息序列。由于扩展信源是无记忆的，故
)9,,2,1;3,2,1,()
()()(2121 ===i i i x p x p a p i i i
根据熵的定义，二次扩展信源的熵为