信息论总复习
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一章作业题
1. 设二元对称信道的传递矩阵为
⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132
(1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1)
symbol
bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol
bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol
bit x y p x y p x p X Y H symbol
bit x p X H j
j i
j
i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()
/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167
.03
2
413143)/()()/()()()()(5833
.031
413243)/()()/()()()()(/ 918.0 10
log )3
2
lg 324131lg 314131lg 314332lg 3243( )
/(log )/()()/(/ 811.0)41
log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑
2)
2
1)(/ 082.010log )3
2
lg 3231lg 31(2log log );(max 222=
=⨯++=-==i mi x p symbol
bit H m Y X I C
2. 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。现已知2 K Ω阻值的电阻中80%是0.125W ，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？
解：
对本题建立数学模型如下：
)
;(求：2.0)/(,8.0)/(36.064.04/18/1)(瓦数 3.07.052)(阻值12112121Y X I x y p x y p y y Y P Y x x X P X ==⎭⎬⎫
⎩
⎨⎧===⎥⎦⎤⎢⎣⎡⎭⎬⎫⎩⎨⎧KΩ=KΩ==⎥⎦⎤⎢⎣⎡
以下是求解过程：
()()()symbol bit XY H Y H X H Y X I symbol
bit y x p y x p XY H symbol bit y p Y H symbol
bit x p X H y x p y p y x p y x p y x p y p y x p y p y x p y x p y x p y p x y p x p y x p x y p x p y x p i j j i j i j
j i i / 186.0638.1943.0881.0)()()();(/ 638.1 22.0log 22.008.0log 08.014.0log 14.056.0log 56.0 )
(log )()(/ 943.036.0log 36.064.0log 64.0)()(/ 881.03.0log 3.07.0log 7.0)()(22
.014.036.0)()()()()()(08
.056.064.0)()()()()()(14.02.07.0)/()()(56
.08.07.0)/()()(22222222212222221211112121111212111111=-+=-+==⨯+⨯+⨯+⨯-=-==⨯+⨯-=-==⨯+⨯-=-==-=-=∴+==-=-=∴+==⨯===⨯==∑∑∑∑
3. 试求以下各信道矩阵代表的信道的容量：
00101000(1)00010100P ⎡⎤⎢⎥⎢⎥ =⎢⎥⎢⎥⎣⎦ 100100010(2)010001001P ⎡⎤⎢⎥
⎢⎥⎢⎥
=⎢⎥⎢⎥⎢⎥⎢⎥
⎢⎥⎣⎦
11113636(3)11116363P ⎡⎤
⎢⎥ =⎢⎥⎢⎥⎢⎥⎣⎦ 111236111(4)623111362P ⎡⎤
⎢⎥⎢⎥⎢⎥ =⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
解：(1) 这个信道是无噪无损信道：
ymbol bit n C s / 24log log 22=== (2) 这个信道是无噪有损信道
ymbol bit m C s / 585.13log log 22=== (3) 这个信道是对称的离散信道
1111
log 4(,,,)0.0817(/)3636C H bit symbol =-=
(4) 这个信道是对称的离散信道 111log3(,,)0.126(/)236C H bit symbol =-= 4. 有一个二元对称信道，其信道矩阵为 ⎥⎦⎤⎢⎣⎡98.002.002.098.0 设该信源以1500二元符号/秒的速度传输输入符号。现有一消
息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？