信息论与编码课堂小测验2014(含答案)

《信息论与编码》课堂测验

Log 3 = 1.585

1. 掷两颗均匀的骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？

解：每颗骰子各有六面,每面分别有1、2、3、4、5、6个小圆点以示区分，又知两颗骰子是均匀的，所以每个骰子每面出现的概率均为1/6,

1） 因圆点之和为3的情况是（1,2）、（2,1）两种情况，设x

为圆点之和为3的情况，所以其出现的概率为：

1

()(1,2)(2,1)18

p x p p =+=

该消息自信息量()log ()log18 4.170I x p x bit =-==

2）因圆点之和为

7的情况是（1,6）、（6,1）、（2,5）、（5,2）、（3,4）、

（4,3）六种情况，设x 为圆点之和为7的情况，所以其出现的概率为：

1

()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6

p x p p p p p p =+++++=

该消息自信息量()log

()log 6 2.585I x p x bit =-==

2. 每帧电视图像可以认为是由3 105

个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概率出现，问每帧图像含有多少信息量？若有一个广播员，在16384个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解：

1) 因为每像素可取128个不同的亮度电平，并设亮度电平是等概率出现.设X 为像素这一信源，则其有128中等概率的不同亮度电平情况，所以像素的平均信息量为:

22()log log 1287 /H X n bit symbol ===

每帧电视图像由3 105

个像素组成，所有像素均是独立变化，所以每帧图像是单个像素的3 105

次扩展，每帧图像的平均信息量为:

56()()3107 2.110 /N H X NH X bit symbol ==⨯⨯=⨯

2) 16384个汉字等概率出现，每个汉字的平均信息量为：

22()log log 1638414 /H X n bit symbol ===

用1000个汉字描述该图像，包含的信息量有（因为相互独立，所以是1000次的扩展）：

()()10001414000 /N H X NH X bit symbol ==⨯=

3)若要完整描述该图像，需要的汉字数为：

6

() 2.110150000()14

N H X N H X ⨯===

3. 一阶马尔可夫信源消息集},,{321a a a X ∈，状态集},,{321S S S S ∈，且令

3

,2,1,==i a S i i ，条件转移概率为

[

]

⎥⎥

⎥⎦⎤

⎢⎢⎢⎣⎡=03121311214141)/(i j S a P ，

(1)画出该马氏链的状态转移图；(2)计算信源的极限熵。

解：(1)马尔科夫链的状态转移图如下：

（2）令11()w p s =、22()w p s =、33()w p s =根据状态转移图得

到以下联立方程：

⎪⎪⎩

⎪⎪⎨⎧=++=+=++=++1

321323112123312311411332

231141w w w w w w w w w w w w w w 求解后，得到 ⎪⎩⎪⎨⎧===3

.03.04.0321w w w

各状态条件熵为：

H(X|S 1) =H (1/4,1/4,1/2) =

1111(2log + log )4422

-⨯⨯⨯=1.5比特/符号 H(X|S 2)=H (1/3,1/3,1/3) =

11(3log )33-⨯⨯==1.585比特/符号 H(X|S 3)=H (2/3,1/3) =2211

(log + log )3333

-⨯⨯== 0.918比特/符号 所以该马尔科夫信源极限熵为：

()

3

|0.4 1.50.3 1.5850.30.918 1.3511

H w H X S i i

i ==⨯+⨯+⨯=∑∞=比特/符号

4. 设有一离散无记忆信源

(1) 求信源熵H (X )。

(2) 用哈夫曼编码方法编成二元变长编码。 (3) 计算出其编码效率。

解：(1)

(2)

33113333

()(log + log + log +log

884416163232331111+log +log +log ) 646432326464=2.26/H X bit symbol

=-⨯⨯⨯⨯⨯⨯⨯

3/16

3/32 3/64 3/64

(3)

编码效率

() 2.26

0.9712.328H x K

η=

==

另解： (1)

(2)

(3)

6

1

()31333112+ 2+ 2+3+4+5+5)8416326432642.328/i i

i K p x K ===⨯⨯⨯⨯⨯⨯⨯=∑码元符号

33113333

()(log + log + log +log

884416163232331111+log +log +log ) 646432326464=2.26/H X bit symbol

=-⨯⨯⨯⨯⨯⨯⨯