信息论基础-曹雪虹-第三章-课后习题及答案
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.1 设二元对称信道的传递矩阵为⎥
⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解： 1)
symbol
bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol
bit x y p x y p x p X Y H symbol
bit x p X H j
j i
j
i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()
/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167
.03
2
413143)/()()/()()()()(5833.031
413243)/()()/()()()()(/ 918.0 10
log )3
2
lg 324131lg 314131lg 314332lg 3243( )
/(log )/()()/(/ 811.0)41
log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=
+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑
2)
2221122
max (;)log log 2(lg lg )log 100.082 /3333
mi C I X Y m H bit symbol
==-=++⨯=其最佳输入分布为1
()2
i p x =
3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。接受端有3
种符号i y ，j ＝1，2，3，转移概率矩阵为1/21/201/21/41/4P ⎡⎤
=⎢
⎥
⎣⎦
。 （1） 计算接受端的平均不确定度；
（2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量。
解：1/21/201/21/41/4P ⎡⎤
=⎢⎥
⎣⎦
联合概率(,)i j p x y
（1）()log 2log log
24141H Y a a
=+++- 211161log 2log log
24141a a
a a -=++-+ 2
11111log 2log16log log 244141a a
a a -=+++-+ 23111log 2log log
24141a a
a a
-=++-+ 取2为底
22
23111()(log log )24141a a H Y bit a a
-=++-+ （2）11111111(|)log log log log log 2
222224444a
a a a a H Y X ---⎡⎤=-++
++⎢⎥⎣⎦ 3(1)
log 2log 22
a a -=-+
3log 22
a -=
取2为底
3(|)2
a
H Y X bit -=
[]2()()()111max (;)max ()(|)max log 2log log 2
4141i i i p x p x p x a
a a c I X Y H Y H Y X a a -⎛⎫∴==-=++ ⎪-+⎝⎭取e 为底2
111(ln 2ln ln )24141a a a a a a
-∂++-+∂
21121111ln 2ln ()24141411a a a a a a a -=+++---+-+ 221112ln 2ln 22(1)4141a a a a a a -=++--+- 111ln 2ln
241a
a
-=++ = 0
1114
a a -=+ 35a ∴=
9
251311131log 2log log 2541454c ∴=⨯++⨯- 312531log 2log log 10416204
=++
3153
log 2log log 2102410=
+- 15log 24
=
3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
解：
由题意可知该二元信道的转移概率矩阵为：
0.990.010.010.99P ⎡⎤
=⎢⎥
⎣⎦
为一个BSC 信道
所以由BSC 信道的信道容量计算公式得到：
2
1
1
log ()log 2log
0.92/1
1000920/sec
i i i
t C s H P p bit sign p C C C bit t
==-=-====∑
3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道
容量C 的大小。
解: 信道矩阵P=⎥⎥
⎥⎦
⎤⎢⎢⎢⎣⎡-e 1e 0e e 10001－,此信道为非奇异矩阵,又r=s,可利用方程组求解
3
1
(|)
j i j
j P b a =
3
1(|)log (|)j i j i j P b a P b a (i=1,2,3) 1
23
2
3
0(1
)
(1)log(1)
log (1
)
log
(1
)log(1
)
解得
1
2
3
(1
)log(1
)
log
X 0
Y 0
1 1 1
2
2
1－ 1－