信息论课后习题

轾 犏 犏 犏 臌 P (Ss) = 轾 犏 犏 犏 犏 臌 s431
s2 1
4
对信源进行N次扩展，采用二元霍夫曼编码。
当N=1，2，¥ 时的平均码长和编码效率为
多少？
解：①将s1编程0，s2编程1，则L1=1（码元/符号）
所以，
2
å H (S ) = - P(si ) log P(si ) = 0.8113 bit / sign
解：（1）一阶平稳马尔可夫链 X1，X2 ，，Xr ， 序列X1X2X3的联合熵：
的起始
H (X1X2X3)
P(x1x2x3) log P(x1x2x3)
X1 X2 X3
已知起始概率分布和转移概率分布，得：
P(x1x2x3) P(x1)P(x2 | x1)P(x3 | x1x2) P(x1)P(x2 | x1)P(x3 | x2) x1 A, x2 A, x3 A
i1 j 1 k 1
所以：
333
H (X1X2X3)
P(aia jak ) log P(aia jak )
i1 j1 k 1
3.967 bit
平均符号熵：
H3
(
X
)

1 3
H
(
X1
X
2
X
3
)

1.322
bit/符号
2.14(续)
（2）因为这信源是一阶马尔可夫链，其状态极限概率分布 就是信源达到平稳后的符号概率分布。所以可以根据其转 移概率计算出平稳后的符号概率分布。

P(a1
)


1 2
P(a1 )

2 3
P(a2 )

2 3
P(a3 )

P(a2
)

1 4
P(a1 )

1 3
P(a3 )
P(a3 )

1 4
P(a1 )

1 3
P(a2 )
P(a1) P(a2 ) P(a3 ) 1
解得：
P(a1 )

4 7
,
P(a2
)

P(a3 )

3 14
2.14（续） 这个链的极限平均符号熵为：
（3）
H

lim
N
HN
(X)

lim
N
H
(
X
N
|
X N1gggX1)

H2
33

P(ai )P(aj | ai ) log P(a j | ai )
i1 j1
1.251 bit/符号
H0 log 3 1.585 bit/符号
|
S1 )

1 3
，P(S1
|
S2 )
1，P(S2
|
S2 )

0
试画出状态转移图，并求出信源熵。
解：根据转移概率，得状态转移图如下所示：
2/3
1/3
S1
S2
1
å 求解信源熵： p(S j ) = p(Si )p(S j | Si )
得：
p(S1) =
3 4
，p(S
2
)
=
1i 4
p(S1) + p(S2) = 1
算需要的心愿序列长度N为多少？
解：
H (S ) = H ( 3 , 1) = 0.8113 44
h = H (S ) H (S ) + e
? e 0.0338
2
å s 2(S ) = pi (log pi )2 - H (S )2 = 0.471
i=1
s 2(S ) N?
4.221? 107
e2d
4.6 设离散无记忆信源的概率空间为：
1 H ( p, p , p ) 1 H ( p , p, p) 1 H ( p , p , p)
3
22 3 2 2 3 22
p log p p log p p bit / 符号
2.16（续）
（3）信源近似为无记忆信源，符号的概率分布等于 平稳分布，则此信源：
得：
X 0, 1, 2
如图所示。
a1 1
（1）求状态极限概率并找出符号的极限概率。
1 a1 2
1
a2
14
a3 4
S3
S2 1 a3 2
1 a2 2
（2）计算信源处在 S j{ j 1, 2,3} ，状态下输出符号的
条件熵 H ( X | S j )
（3）求信源的极限熵 H
2.17（续） 解：（1）状态极限概率：

P(ai
)

1 /
3,
1/ 3,
1/ 3
3
H ( X ) P(ai ) log P(ai ) 1.585 bit/符号 i 1
由此计算结果可知：H ( X ) H
（4）求一阶马尔可夫信源 H 的最大值。因为
H （1 p）log(1 p) p log p p
当
p

2 时，
3
H 达到最大值等于log3 1.585
bit/符号
2.16（续）
对其求一阶导数，并令其值等于0，可以得到：
当 当
p2
p 3
时，H
0时，

达到最大值；等于
H p log p p log
log3 1.585
p 2


0
bit/符号
当 p 1 时，

1 2
Q ( S1
)

Q(S3
)
P(a2 )

1 4
Q ( S1
)

1 2
Q(S2
)
1
1
P(a3 ) 4 Q(S1 ) 2 Q(S2 )
解之得：
P(a1 )

3 7
P(a2
)

2 7
P(a3 )

2 7
（2）输出符号条件熵为：
H(X
|
S

s1 )

H

1, 2
1, 4
1 4

1
p/2 p/2
2
p
2.16（续）
解：（1）一阶马尔可夫信源的状态空间 E A {0,1, 2} 。由 状态转移图中分析可知，三个状态多是正规常返态。此状 态马尔可夫链是时齐的、状态有限的和是不可约闭集。所 以具有各态历经性，平稳后状态的极限分布存在。有：
Q(Ei ) P(ai ) i 1, 2,3 Ei E, ai A 而E A {0,1, 2}
i=1
H (S )
h=
= 0.8113
L1
4.6（续）
②N=2时，编码过程如下：
所以：
S2
概率
霍夫曼编码
s1s1
0.5625
0
s1s2
0.1875
11
s2s1
0.1875
100
s2s2
0.0625
101
L2 = 1? 0.5625 2? 0.1875 3? (0.1875 0.0625) = 1.6875 (码元/ 二符号)
H
p log
p
p log
p 2


1
bit/符号
2.17 设马尔可夫信源的状态集合 S {S1, S2 , S3} ，
符号集 X {a1, a2 , a3}
在某状态Si{i 1, 2, 3下} 发出符
号：ak (i 1, 2, 3)的概率为：
S
s 1
P(ak | Si )(i 1, 2,3; k 1, 2,3)
2.8 设随机变量X和Y的联合概率分布如右表所示。随机变量 Z = X ? Y 求：
（1）H(X)，H(Y)
Y b1=0 b2=0
（2）H(X|Y)，H(Y|X)，H(X|Z)
X
a1=0 1/3
1/3
a2=0
0
1/3
2.13 有一个马尔可夫信源，已知转移概率为：
P(S1
|
S1 )

2 3
，P(S2
（1）求信源平稳后的概率分布P(0), P(1), P(2). （2）求此信源的熵。
（3）近似认为此信源为无记忆时，符号的概率分布等于平稳 分布。求近似信源的上H(XH)并 与 进行比较。
（4）对一阶马尔可夫信源p取何值时H 取最大值，又当p=0 和p=1时结果如何？
p
0
p/2
p/2
p/2 p/2
p/2 p p/2
p p
/ 2

/ 2
p

Q(0)
Q(1)

Q(2)
计算得： 所以：
Q(0) Q(1) Q(2) 1
P(0) P(1) P(2) 1 3
（2）根据一阶马尔可夫信源的熵得：3
3
H H2 Q(Ei )P( X | Ei ) i 1
（3）若信道通频带减为0.5MHz时，要保持相
同的信道容量，信道上的信号与噪声的平均功 率比值应等于多大？
解：（1）由信道容量公式C = B log(1 + S，) 得：
N
C = 1 * log(1 + 10) = log11 (bit/ s)
（2）由信道容量公式得：
B=
C
log(1 + S )
N
所以： B = log11 (Hz) log 6
0.8113
即：
lim
N
hN
=
1
4.8 已知离散无记忆信源的概率空间为：
轾犏犏犏臌P (Ss) =
轾犏犏犏臌0s.125
s2 0.2
s3 0.2
s4 0.2
s5 0.15
用霍夫曼编码法编成二进制变长码，计算平均码长
和编码效率。
S
概率 霍夫曼编码
解：如右图的编码，得： s1
0.25
01
s2
0.2
10
H¥ = p(S1)p(S1 | S1) + p(S1)p(S 2 | S1) + p(S 2 )p(S1 | S 2) + p(S2)p(S2 | S2) = 0.6887 bit / sign
2.14 有一个一阶平稳马尔可夫 链，X1，X2 ，，Xr ，各 X r
取值于 A a1, a2, a3 。已
则： 所以：
L 2 = 0.84375 (码元/ 符号) 2
H (S )
h2
=
= 0.84375
0.962
4.6（续）
③当 N = ? 时，由香农第一定理可知，必然
存在唯一译码，使
lim
N
LN N
= Hr (S )
而霍夫曼编码为最佳码，即平均码长最短 的码，故
lim
N
LN N
=
Hr (S ) =
H (S ) =
L = 2.35
s3
0.2
11
s4
0.2
000
s5
0.15
001
4.8（续）
信源熵为：
5
å H (S ) = - P(si ) log P(si ) = 2.3037 bit / sign
i=1
编码效率为：
H (S )
h=
= 0.98
L
5.11 已知一个平均功率受限的连续编号，通过 带宽B=1MHz的高斯白噪声信道，问 （1）若信噪比为10，信道容量为多少？ （2）若信道容量不变，信噪比将为5，信道带 宽应为多少？
根据状态转移得状态一步转移矩阵：
p

P= p / 2

p
/
2
p/2 p p/2
p / 2

p / 2
p

2.16（续）
QQQ(((102)))

PT
Q(0)
Q(1)

Q(2)


p p p
/ /
2 2

Q(0) Q(1) Q(2) 1

2 7
H

1 2
,
1 4
,
1 4


2 7
H

0,
1 2
,
1 2


3 7
H
1, 0, 0
6 7
4.2 离散无记忆信源的概率空间为：
轾 犏 犏 犏 臌 P (Ss)
=
轾 犏 犏 犏 s31 犏 臌 4
s2 1
4
若对信源采取等长二元编码，要求编码效
率 h = 0.96 ，允许译码错误概率 d £ 10- 5 ，试计
3
H1 P(ai ) log P(ai ) 1.414 bit/符号 i 1
H2 1.251 bit/符号
2.14（续）
它们对应的剩余度（冗余度）分别为：
0
1
H0 H0
0
1
1
H1 H0
0.11
2
1
H2 H0
Biblioteka Baidu.21
2.16 一阶马尔可夫信源的状态分布如下图所示，信源X的符号 集{0，p1，12}，p 并定义：
3 2
H(X
|
S

s2 )

H

0,
1, 2
1 2
1
H ( X | S s3 ) H 1, 0, 0 0
2.17(续) （3）此马尔可夫信源的熵：
33
H H2
Q(si )P(ak | si ) log P(ak | si )
i1 k 1
3
Q(si )H (ak | si ) k 1
知起始概率 P(x) 为：
1
1
p1

P( X1

a1)

, 2
p2

p3

4
转移概率如右表所示：
j1
i
1 1/2 2 2/3 3 2/3
23
1/4 1/4 0 1/3 1/3 0
2.14（续）
（1）求X1X2X3的联合熵和平均符号熵； （2）求这个链的极限平均符号熵； （3）求H0,H1,H2和它们所对应的冗余度。
解之得：
Q(S1) Q(S3)
Q(S2
)

3 4
Q(S1)

1 2
Q(S2 )
Q(S3
)

1 4
Q(S1)

1 2
Q(S2
)
Q(S1) Q(S2 ) Q(S3) 1
Q(S1)

2 7
Q(S2
)

3 7
Q( S3 )

2 7
2.17（续）
符号极限概率为：
P(a1 )
2.14(续)
P(a1a1a1 )

P(a1)P(a1
|
a1)P(a1
|
a1)

1 8
1
P(a1a1a2 ) P(a1)P(a1 | a1)P(a2 | a1) 16
P(a1a1a3
)

P(a1)P(a1
|
a1)P(a3
|
a1)

1 16
gggg
其满足：
333
P(aia jak ) 1