信息论与编码课后答案
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =,
()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。
解:状态图如下
状态转移矩阵为:
1/21/2
01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭
设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3
由1231WP W W W W =⎧⎨++=⎩得1231132231231
112331223
231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩
计算可得1231025925625W W W ⎧=⎪⎪⎪
=⎨⎪
⎪=⎪⎩
由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =,(0|11)p =,(1|00)p =,
(1|11)p =,(0|01)p =,(0|10)p =,(1|01)p =,(1|10)p =。画出状态图,并计算各状态
的稳态概率。
解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==
(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
u 1
u 2
u 3
1/2
1/21/3
2/32/3
1/3
于是可以列出转移概率矩阵:0.80.20
0000.50.50.50.5000
00.20.8p ⎛⎫ ⎪
⎪= ⎪ ⎪
⎝⎭ 状态图为:
00
01
1011
0.8
0.2
0.5
0.50.50.5
0.2
0.8
设各状态00,01,10,11的稳态分布概率为W 1,W 2,W 3,W 4 有
41
1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131
132
24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175
14W W W W ⎧=⎪⎪
⎪=⎪⎨⎪=⎪⎪⎪=
⎩
设有一离散无记忆信源,其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫
=
⎪ ⎪⎝⎭⎝⎭
(1)求每个符号的自信息量
(2)信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210},求该序列的自信息量和平均每个符号携带的信息量 解:12
2118
()log log 1.415()3
I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===
因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有:123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为
87.81
1.9545
=bit/符号
有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜色。
(1)如果仅对颜色感兴趣,则计算平均不确定度
(2)如果仅对颜色和数字感兴趣,则计算平均不确定度 (3)如果颜色已知时,则计算条件熵
解:令X 表示指针指向某一数字,则X={1,2, (38)
Y 表示指针指向某一种颜色,则Y={l 绿色,红色,黑色} Y 是X 的函数,由题意可知()()i j i p x y p x = (1)3
1
12381838
()()log
log 2log 1.24()3823818
j j j H Y p y p y ==
=+⨯=∑bit/符号 (2)2(,)()log 38 5.25H X Y H X ===bit/符号
(3)(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 两个实验X 和Y ,X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为
1112
132122233132337/241/2401/241/41/2401/247/24r r r r r r r
r r ⎛⎫⎛⎫
⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭
(1) 如果有人告诉你X 和Y 的实验结果,你得到的平均信息量是多少?
(2) 如果有人告诉你Y 的实验结果,你得到的平均信息量是多少?
(3) 在已知Y 实验结果的情况下,告诉你X 的实验结果,你得到的平均信息量是多少? 解:联合概率(,)i j p x y 为
2
2221(,)(,)log (,)
72411
2log 4log 24log 4247244
i j i j ij
H X Y p x y p x y ==⨯
+⨯+∑ =符号
21
()3log 3 1.583
H Y =⨯=bit/符号
(|)(,)() 2.3 1.58
H X Y H X Y H Y =-=- =符号 Y y1 y2 y3 P
8/24
8/24
8/24
黑白传真机的消息元只有黑色和白色两种,即X={黑,白},一般气象图上,黑色的出现概率p(黑)=,白色出现的概率p(白)=。
(1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图 Y X y1
y 2 y 3 x 1 7/24 1/24 0 x 2 1/24 1/4 1/24 x 3 0
1/24
7/24
X x 1 x 2 x 3 P
8/24
8/24
8/24