信息论与纠错编码题库

第三章 离散信源无失真编码

3.2

离散无记忆信源，熵为H[x]，对信源的L 长序列进行等长编码，码字是长为n 的D 进制符号串，问：

（1）满足什么条件，可实现无失真编码。 （2）L 增大，编码效率 也会增大吗？ 解：

（1）当log ()n D LH X ≥时，可实现无失真编码；

（2）等长编码时，从总的趋势来说，增加L 可提高编码效率，且当L →∞时，1η→。

但不一定L 的每次增加都一定会使编码效率提高。

3.3

变长编码定理指明，对信源进行变长编码，总可以找到一种惟一可译码，使码长n 满足

D X H log )(≤n <

D X H log )(+L 1,试问在n >D X H log )(+L

1

时，能否也找到惟一可译码？ 解：在n >

D X H log )(+L

1

时，不能找到惟一可译码。

证明：假设在n >

D X H log )(+L

1

时，能否也找到惟一可译码，则由变长编码定理当n 满足

D X H log )(≤n <

D X H log )(+L 1，总可以找到一种惟一可译码知：在n ≥D

X H log )

( ① 时，总可以找到一种惟一可译码。

由①式有：

L

n ≥L X H )

(logD ② 对于离散无记忆信源，有H(x)=

L X H )

( 代入式②得：n L ≥ D

x H log )( 即在

n

L

≥

D

x H log )

(时，总可以找到一种惟一可译码；

而由定理给定熵H （X ）及有D 个元素的码符号集，构成惟一可译码，其平均码长满足

D X H log )(≤n L <

D

X H log )

(+1 两者矛盾，故假设不存在。 所以，在n >

D X H log )(+L

1

时，不能找到惟一可译码。

3.7

对一信源提供6种不同的编码方案：码1~码6，如表3-10所示

表3-10 同一信源的6种不同编码 信源消息 消息概率 码1 码2 码3 码4 码5 码6 u1 1/4 0 001 1 1 00 000 u2 1/4 10 010 10 01 01 001 U3 1/8 00 011 100 001 100 011 u4 1/8 11 100 1000 0001 101 100 u5 1/8 01 101 10000 00001 110 101 u6 1/16 001 110 100000 000001 1110 1110 u7

1/16

111

111

1000000

0000001

1111

1111

（1） 这些码中哪些是惟一可译码？ （2） 这些码中哪些是即时码？

（3） 对所有唯一可译码求出其平均码长。 解：

码1： 其二次扩展码是奇异码，如u1u2和u5u1对应的码字均为010；

码2： 是惟一可译码，非奇异等长码是惟一可译码，且是即时码，平均码长为3； 码3： 是延长码，是惟一可译码，但不是即时码，平均码长为n =

∑=7

1i

i

i n p =3.06 码4： 是非延长码，故是惟一可译码，也是即时码；平均码长n =

∑=7

1

i

i

i n p =3.06 码5： 是数码，即非延长码，因此是即时码；平均码长n =

∑=7

1

i

i

i n p =2.625 码6：是非延长码，故是惟一可译码，也是即时码；平均码长n =

∑=7

1

i

i

i n p =3.125 综上所述，码2~6均为惟一可译码，码2、4、5、6是即时码。 3.10

信源符号集X={0,1,2}，一信源含8个消息，编码为即时码，若要求码长只取1,3,5中的一个，应用克拉夫特不等式，分析按上述要求能否构成唯一可译码。

解：

根据克拉夫特不等式唯一可译码充要条件为1≤∑-m

n D

码长取1，则

不等式左边=8*1/3>1 ，则唯一可译。 码长取3，则

不等式左边=8*(1/3)^3<1 , 则唯一可译。 码长为5，则

不等式左边=8*(1/3)^5<1 , 则唯一可译。

3.11

某个信源有N 个消息，等概率分布，对其进行最佳二进制编码，问当N=2

m

和N=

2

m

+1（m

为整数）时，每个码字的长度等于多少？平均码长等于多少？ 解：当N=2

m

，最佳二进制编码每个码字的长度均为m ；平均码长n =m 当N=

2

m

+1，令q(x1)≥q(x2) ≥q(x3) ≥…≥q(

x m

1

2

+),最佳二进制编码前面2

m

–1

个码字的长度为m ，后2个码字的长度为m+1；平均码长n =1

2

2

2+++⨯m

m

m m

3.15

离散无记忆信源⎥⎦⎤⎢

⎣⎡)(X q X

=⎢⎣⎡5.01x 3.02x ⎥⎦⎤

2.03x

（1） 求X 的最佳二元编码，平均码长及编码效率。 （2） 求X )

2(的最佳二元编码，平均码长及编码效率。 （3） 求

X

)

3(的最佳二元编码，平均码长及编码效率。

解：（1）编码结果如下图所示：

a1 0.5a2 0.3

a3 0.2

10

1

0.5

10

编码

01110

平均码长1n =1⨯0.5+2⨯（0.3+0.2）=1.5（码元/符号） 信源熵H （X ）=–

)(log )(3

1

x x m m

m q q ∑=