信息论与编码课后答案

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =,

()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。

解:状态图如下

状态转移矩阵为:

1/21/2

01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭

设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3

由1231WP W W W W =⎧⎨++=⎩得1231132231231

112331223

231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩

计算可得1231025925625W W W ⎧=⎪⎪⎪

=⎨⎪

⎪=⎪⎩

由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =,(0|11)p =,(1|00)p =,

(1|11)p =,(0|01)p =,(0|10)p =,(1|01)p =,(1|10)p =。画出状态图,并计算各状态

的稳态概率。

解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==

(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

u 1

u 2

u 3

1/2

1/21/3

2/32/3

1/3

于是可以列出转移概率矩阵:0.80.20

0000.50.50.50.5000

00.20.8p ⎛⎫ ⎪

⎪= ⎪ ⎪

⎝⎭ 状态图为:

00

01

1011

0.8

0.2

0.5

0.50.50.5

0.2

0.8

设各状态00,01,10,11的稳态分布概率为W 1,W 2,W 3,W 4 有

41

1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131

132

24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175

14W W W W ⎧=⎪⎪

⎪=⎪⎨⎪=⎪⎪⎪=

设有一离散无记忆信源,其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫

=

⎪ ⎪⎝⎭⎝⎭

(1)求每个符号的自信息量

(2)信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210},求该序列的自信息量和平均每个符号携带的信息量 解:12

2118

()log log 1.415()3

I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===

因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有:123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为

87.81

1.9545

=bit/符号

有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜色。

(1)如果仅对颜色感兴趣,则计算平均不确定度

(2)如果仅对颜色和数字感兴趣,则计算平均不确定度 (3)如果颜色已知时,则计算条件熵

解:令X 表示指针指向某一数字,则X={1,2, (38)

Y 表示指针指向某一种颜色,则Y={l 绿色,红色,黑色} Y 是X 的函数,由题意可知()()i j i p x y p x = (1)3

1

12381838

()()log

log 2log 1.24()3823818

j j j H Y p y p y ==

=+⨯=∑bit/符号 (2)2(,)()log 38 5.25H X Y H X ===bit/符号

(3)(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 两个实验X 和Y ,X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为

1112

132122233132337/241/2401/241/41/2401/247/24r r r r r r r

r r ⎛⎫⎛⎫

⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭

(1) 如果有人告诉你X 和Y 的实验结果,你得到的平均信息量是多少?

(2) 如果有人告诉你Y 的实验结果,你得到的平均信息量是多少?

(3) 在已知Y 实验结果的情况下,告诉你X 的实验结果,你得到的平均信息量是多少? 解:联合概率(,)i j p x y 为

2

2221(,)(,)log (,)

72411

2log 4log 24log 4247244

i j i j ij

H X Y p x y p x y ==⨯

+⨯+∑ =符号

21

()3log 3 1.583

H Y =⨯=bit/符号

(|)(,)() 2.3 1.58

H X Y H X Y H Y =-=- =符号 Y y1 y2 y3 P

8/24

8/24

8/24

黑白传真机的消息元只有黑色和白色两种,即X={黑,白},一般气象图上,黑色的出现概率p(黑)=,白色出现的概率p(白)=。

(1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图 Y X y1

y 2 y 3 x 1 7/24 1/24 0 x 2 1/24 1/4 1/24 x 3 0

1/24

7/24

X x 1 x 2 x 3 P

8/24

8/24

8/24

相关文档
最新文档