信息论与编码-曹雪虹-课后习题参考答案

《信息论与编码》-曹雪虹-课后习题答案
第二章
错误!未定义书签。

2.1一个马尔可夫信源有3个符号{}1,23,u
u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出
各符号稳态概率。

W 2、W 3
1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==
于是可以列出转移概率矩阵：0.80.200000.50.50.50.5000
00.20.8p ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 状态图为：
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有
4
1
1
i
i
WP W
W
=
=
⎧
⎪
⎨
=
⎪
⎩
∑
得
131
132
243
244
1234
0.80.5
0.20.5
0.50.2
0.50.8
1
W W W
W W W
W W W
W W W
W W W W
+=
⎧
⎪+=
⎪⎪
+=
⎨
⎪+=
⎪
+++=
⎪⎩
计算得到
1
2
3
4
5
14
1
7
1
7
5
14
W
W
W
W
⎧
=
⎪
⎪
⎪=
⎪
⎨
⎪=
⎪
⎪
⎪=
⎩
2.31/6，
求：
(1)“3和5
(2)“两个1
(3)
1的自信息量。

11 12 13 14 15 16
21 22 23 24 25 26
31 32 33 34 35 36
41 42 43 44 45 46
51 52 53 54 55 56
61 62 63 64 65 66
共有21种组合：
其中11，22，33，44，55，66的概率是36
16161=⨯ 其他15个组合的概率是18
161612=⨯⨯ (4)
x p x p X H X P X i i i 1212181log 1812361log 36
12 )
(log )()(1211091936586173656915121418133612)( ⎝⎛⨯+⨯+⨯-=-=⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑2.575%是身高160厘米以上的占总数的厘米以上的某女孩是大学生”的
设随机变量X 代表女孩子学历
X x 1
（是大学生） x 2（不是大学生）
P(X) 0.25 0.75
设随机变量Y 代表女孩子身高
Y y1（身
高>160cm）
y2（身高
<160cm）
P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160厘米以上的
即：bit
x
y
p75
.0
)
/
(
1
1
=
求：身高160
即：
y
p
x
y
p
x
p
y
x
p
y
x
I
5.0
75
.0
25
.0
log
)
(
)
/
(
)
(
log
)
/
(
log
)
/
(
1
1
1
1
1
1
1
1
⨯
-
=
-
=
-
=
2.6掷两颗骰子，
1
()(1,2)(2,1)
18
p x p p
=+=
log()log18 4.170
p x bit
=-==
7的概率
log()log6 2.585
p x bit
=-==
34
123
1/41/8
x x
===⎫
⎪
⎭
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该序列的自信息量和平均每个符号携带的信息量
解：122118()log log 1.415()3
I x bit p x === 同理可以求得2
33()2,()2,()3I x bit I x bit I x bit === 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个
符号的信息量之和
就有：1234
14()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.81 1.9545
=bit/符号 2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}
八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}
二进制脉冲可以表示2个不同的消息，例如：{0,1}
假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量symbol bit n X H / 24log log )(1
=== 八进制脉冲的平均信息量symbol bit n X
H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍
和3倍。

2-9“－”用三个脉冲“●”用一个脉冲
(1)I(●)=
Log 4()2=I(－)＝Log 43⎛ ⎝⎫⎪⎭0.415= (2)H=14Log 4()34Log 43⎛ ⎝⎫⎪⎭+0.811= 2-10
(2)P(黑/黑)=P(白/黑)=
H(Y/黑)=
(3)P(黑/白)=P(白/白)=
H(Y/白)=
(4)P(黑)=P(白)= H(Y)=
2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，
圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵
解：令X 表示指针指向某一数字，则X={1,2,……….,38} Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色}
Y 是X 的函数，由题意可知()()i j i p x y p x = （1）3112381838()()log log 2log 1.24()3823818
j
j j H Y p y p y ===+⨯=∑bit/符号 （2）2(,)()log 38 5.25H X Y H X ===bit/符号
（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号
2.12两个实验X 和Y ，X={x 1x 2x 3},Y={y 1y 2y 3},l 联合概率(),i j ij
r x y r =为 （1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量
是多少？
（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多
少？
（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得
到的平均信息量是多少？
解：联合概率(,)
p x y为
i j
并定义另一随机变量Z=XY（一般乘积），试计算：
(1)H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；
(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y
/XZ)和H(Z/XY)；
(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)。

解：
(1)
Z=XY的概率分布如下：
(2)
(3)
2-14
(1)
P(ij)=P(i/j)=
(2)方法1:=
方法2:
2-15
P(j/i)=
2.16黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)
＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源
的香农线图
（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，
求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。

解：（1）221010()0.3log 0.7log 0.881337
H X =+=bit/符号 P(黑|白)=P(黑)
P(白|白)＝P(白)
P(黑|黑)＝P(黑)
P(白|黑)＝P(白)
（2）根据题意，间变化，P(
2.173 105个像素组成的，所有像素个不同的亮度电平，并设亮度在约试问广中至少需要多少汉字？
解：
1)
2)
3)
2.20给定语音信号样值X 的概率密度为1()2x p x e λλ-=,x -∞<<+∞,求H c (X)，并证明它小于同样方差的正态变量的连续熵。

解：
2.24连续随机变量X 和Y 的联合概率密度为：⎪⎩⎪⎨⎧≤+=其他01),(2222
r y x r y x p π，
求H(X),H(Y),H(XYZ)和I(X;Y)。

（提示：⎰-=2
0222log 2sin log π
π
xdx ）
解：
2.25某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，P(1)=3/4。

(1)求符号的平均熵；
(2)有100个符号构成的序列，求某一特定序列（例如有m 个“0”
和（100-m ）个“1”）的自信息量的表达式；
(3)计算(2)中序列的熵。

解：
(1)
(2)
(3)
2-26
P(i)=
P(ij)= H(IJ)=
2.29有一个一阶平稳马尔可夫链1,
2,
,,
r X
X X ,各X r 取值于集合
{}1,2,3A a a a =,已知起始概率
P(X r )为1
2
31/2,1/4p p
p ===，转移概率如下图
所示
=1.209bit/符号
X 2X 3的联合概率分布为
2 5/36 0 5/12 3
5/36 5/12
那么
=1.26bit/符号
123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号
所以平均符号熵3
1
2
3 3.969
(,,) 1.3233
H X X
X bit =
=／符号 （2）设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距
阵为1112442
10332103
3
P ⎛⎫ ⎪ ⎪
⎪= ⎪ ⎪ ⎪ ⎪⎝⎭
由1i WP W W =⎧⎪⎨=⎪⎩∑得到123132123122123311431W W W W W W W W W ⎧++=⎪⎪⎪+=⎨⎪++=⎪⎪⎩计算得到12347314314W W W ⎧=⎪⎪
⎪=⎨⎪
⎪=⎪⎩
又满足不可约性和非周期性
3
14111321
()(|)(,,)2(,,0) 1.2572441433
i i i H X W H X W H H bit ∞===
+⨯=∑/符号 (3)0
log3 1.58H
bit ==/符号1 1.5H bit =/符号2 1.5 1.209
1.3552
H bit +=
=/符号 2-30
(1)求平稳概率P(j/i)=
解方程组 得到
(2)
信源熵为: 2-31
P(j/i)=解方程组得到W1=,W2=,W3=
2.32一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号
集为（0，1，2）。

（1）求信源平稳后的概率分布P(0),P(1),P(2)
（2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。

求近似信源的熵H(X)并与H ∞
进行比较
解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -⎡⎤
⎢⎥=-⎢⎥
⎢⎥-⎣⎦
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
3
1
1i i WP W W ==⎧⎪⎨=⎪⎩∑得到1231
1232123(1)2
2
(1)221p p p W W W W p p W p W W W W W W ⎧
-++=⎪⎪
⎪+-+
=⎨⎪++=⎪⎪⎩
计算得到131313W W W ⎧=⎪⎪
⎪
=⎨⎪
⎪=⎪⎩
由齐次遍历可得
,()log 3 1.58/H X bit ==符号由最大熵定理可知()H X ∞存在极大值
或者也可以通过下面的方法得出存在极大值:
11
2(1)22(1)
p p p =-+
--又01p ≤≤所以
[]0,2(1)
p
p ∈+∞-当p=2/3时
12(1)
p
p =-
0<p<2/3时()log 02(1)
H X p
p p ∞
∂=->∂- 2/3<p<1时
()log 02(1)
H X p
p p ∞∂=-<∂- 所以当p=2/3时()H
X ∞
存在极大值,且max () 1.58/H X bit ∞=符号
所以,()()H
X H X ∞
≤
2-33 (1) 解方程组:
得p(0)=p(1)=p(2)=
(2) (3)
当p=0或p=1时信源熵为0
练习题：有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为
0121/4,1/4,1/2p p p ===，设计两个独立的实验去观察它，其结果分别为
{}{}120,1,0,1Y Y ∈∈，已知条件概率:
P(y 1|x) 0 1 0 1 2
1 0 1/2
1 1 1/2
(1) 求1
(;)I X Y 和2
(;)I X Y ，并判断
哪一
个实验好些
(2) 求1
2
(;)I X Y Y ，并计算做Y 1
和Y 2两个实验比做Y 1和Y 2中的一个实验可多得多少关于X 的信息
(3) 求1
2(;|)I X Y
Y 和21(;|)I X Y Y ，并解释它们的含义
解:(1)2log 2
24
-⨯符号
11
log1log11/42
bit --=符号>1(;)I X Y
121
2
12(|)(|)(|)p y y
x p y x p y x =
121212
111
(;)(,)(|)log4log1log1
444
I X Y Y H Y Y H Y Y X
∴=-=---
bit/符号
=1.5bit/符号
由此可见，做两个实验比单独做Y1可多得1bit
比单独做Y2多得0.5bit的关于X
（
表示在已做Y2X的信息量
Y2而多得到的关于X的信息量
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
3
2
3
1
3
1
3
2
H(X),H(X/Y),H(Y/X)和I(X;Y)；
(2)求该信道的信道容量及其达到信道容量时的输入概率分
布；
解：
1)
2)
222
1122
max(;)log log2(lg lg)log100.082 /
3333
mi
C I X Y m H bit symbol
==-=++⨯
=其最佳
输入分布为1()2
i
p x =
3-2某信源发送端有2个符号，i
x ，i ＝1，2；()i
p x a =，每秒发出一个符号。

接受端有3种符号i
y ，j ＝1，2，3，转移概率矩阵为
1/21/201/21/41/4P ⎡⎤
=⎢⎥
⎣⎦。

（1） 计算接受端的平均不确定度； （2） 计算由于噪声产生的不确定度(|)H Y X ；
为底
24141a a a
-+∂=0
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个
符号，求此信道的信道容量。

解：
由题意可知该二元信道的转移概率矩阵为：
0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦
为一个BSC 信道
所以由BSC 信道的信道容量计算公式得到：
3.4求图中信道的信道容量及其最佳的输入概率分布.并求当=0
和1/2时的信道容量C 的大小。

解:信道矩阵
P=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-e 1e 0
e e 10001
－又3
1
(|)j
i
j
j P b a =3
1
(j P 解得
1
所以
C=log
2
j
j
=log[20+2×2(1-)log(1-)+
log
]
=log[1+2)]=log[1+2(1
)
(1)]
()(|)i j i P a P b a (j=1,2,3)
112323()())
()(1)()
)()
()(1
)P b P a P a P a P a P a
所以P(a 1)=P(b 1)=(1
)
1
12(1
)
当=0时,此信道为一一对应信道,得 C=log3,1
2
3
1()()()3
P a P a P a
当=1/2时,得C=log2,1
1
()
2
P a ,231()()
4
P a P a 3.5求下列二个信道的信道容量，并加以比较
Y 0
1 2
（1）
⎪
⎪
⎭
⎫
⎝
⎛
-
-
-
-
ε
ε
ε
ε
ε
ε
2
2
p
p
p
p（2）
⎪
⎪
⎭
⎫
⎝
⎛
-
-
-
-
ε
ε
ε
ε
ε
ε
2
2
p
p
p
p
其中p+p=1
解：
（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相
交的子集由于集列所组成的矩阵
⎪
⎪
⎭
⎫
⎝
⎛
-
-
-
-
ε
ε
ε
ε
p
p
p
p,
⎪⎪
⎭
⎫
⎝
⎛
ε
ε
2
2而这两个
量公式进行计算。

Mk
其中r=2,
C1=log2-H(ε-p,p-ε,2ε)-2εlog4ε
εlog2ε-(1
)log(1-2ε)+(ε-p)log(ε-p)+(p
ε)
ε
-
p)log(ε-p)+(p-ε)log(p-ε
)
（2
信道矩阵中Y可划分成两个互不相交的子集，由子集列所
组成的矩阵为
⎪
⎪
⎭
⎫
⎝
⎛
-
-
-
-
ε
ε
ε
ε
p
p
p
p，
⎪⎪
⎭
⎫
⎝
⎛
ε
ε
2
2这两矩阵为对称矩阵其中
r=2,N1=M1=1-2εN2=M2=2ε，所以
C=logr-H(p-ε,p-ε,2ε,0)-∑
=
2
1
log
k
Mk
Nk
=log2+(p-ε)log(p-ε)+(p-ε)log(p-ε)+2εlog2ε-(1
-2ε)log(1-2ε)-2εlog2ε
=log2-(1-2ε)log(1-2ε)+(p-ε)log(p-ε)+(p-ε)log(
p-ε)
=(1-2ε)log2/(1-2ε)+2εlog2+(p-ε)log(p-ε)+(p-ε
)log(p-ε)
=C1+2εlog2
输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。

比较此两信道容量，可得C2=C1+2εlog2
3-6设有扰离散信道的传输情况分别如图3－17所示。

求出该信道
的信道容量。

解：
11
22
11
22
11
22 11 22
00 00 00
00
⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
对称信道
取2为底1
C=bit/符号
3-7
(1)
条件概率，联合概率，后验概率
p y0 ()
1
3
:=，p y1()12:=，p y2()16:=
（2）
H(Y/X)=
（3）
当接收为y2，发为x1时正确，如果发的是x1和x3为错误，
各自的概率为：
P(x1/y2)=1
5，P(x2/y2)=1
5
，P(x3/y2)=3
5
其中错误概率为：
Pe=P(x1/y2)+P(x3/y2)=1
5
3
5
+0.8
=
（4）平均错误概率为
（5）仍为0.733
（6）此信道不好
正确发送的概率x1-y1的概率0.5
x2-y2的概率
x3-y3
（
3.8{(信号功率+。

3.9 106个像素，为了能很好地重
30dB）。

3-101MHZ，信道上
存在白色高斯噪声。

（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的
信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？
解：（1）
2
log(1)
C W SNR
=+
（2）
222
log(15) 3.459
C W Mbps
=+=
（3）'
332
log(1) 3.459
C W SNR Mbps
=+=
欢迎下载！
第四章
4.2某二元信源⎭⎬
⎫
⎩
⎨
⎧
=
⎥
⎦
⎤
⎢
⎣
⎡
2/1
2/1
1
)
(X
P
X
其失真矩阵为⎥⎦
⎤
⎢
⎣
⎡
=
a
a
D
求这信源的D max
和D min和R(D)函数。

解：
其中n=2,
4.3一个四元对称信源⎢⎣
⎡
)
(X
P
X
Y⎦
⎢
⎡
1
1
1
，求D max和D min及信源的R(D)
4至5个点）。

信源熵为H x()Log4()
=2
=
Dmax=min{3
4
,3
4
,3
4
,3
4
}R(Dmax)=0
Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2
p y1
()p y2
()
,p y3
()
,p y4
()
,只要满足p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]
区间可以任意取值。

欢迎下载！
第五章
5-1将下表所列的某六进制信源进行二进制编码，试问：消息概率
u1 u2 u3 u4 u5 u6
1/2
1/4
1/16
1/16
1/16
1/16
000
001
010
011
100
101
01
011
0111
01111
011111
10
110
1110
11110
111110
10
1101
1100
1001
1111
1
000
001
010
110
110
01
001
100
101
110
111
(1)这些码中哪些是唯一可译码？
(2)哪些码是非延长码？
(3)对所有唯一可译码求出其平均码长和编译效率。

解：首先，根据克劳夫特不等式，找出非唯一可译码
5
C
∴不是唯一可译码，而4C：
又根据码树构造码字的方法
1
C，3C，6C的码字均处于终端节点
∴他们是即时码
5-2
(1)因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms,
所以每个字母用10ms
当信源等概率分布时,信源熵为H(X)=log(4)=2
平均信息传递速率为bit/ms=200bit/s
(2)信源熵为
H(X)=
=0.198bit/ms=198bit/s
5-5
(1)1
21
4
1
8
1
16
1
32
1
64
1
128
1
128
H(U)=
1 2Log2()
1
4
Log4()
+
1
8
Log8()
+
1
16
Log16
()
+
1
32
Log32
()
+
1
64
Log64
()
+
1
128
Log128
()
+
1
128
Log128
()
+ 1.984
=
(2)每个信源使用3个二进制符号,出现0的次数为
P(0)=
P(1)=
(3)
(4)相应的香农编码
信源
符号
xi
符号
概率
pi
累加
概率
Pi
-Logp(xi) 码长
Ki
码字
x1 1/2 0 1 1 0
x2 1/4 0.5 2 2 10
x3 1/8 0.75 3 3 110
x4 1/16 0.875 4 4 1110
x5 1/32 0.938 5 5 11110
x6 1/64 0.969 6 6 111110
x7 1/128 0.984 7 7 1111110
x8 1/128 0.992 7 7
相应的费诺码
信源符号xi 符号
概率
pi
第
一
次
分
组
第
二
次
分
组
第
三
次
分
组
第
四
次
分
组
第
五
次
分
组
第
六
次
分
组
第
七
次
分
组
二元码
x1 1/2 0 0
x2 1/4
1 0 10
x3 1/8
1 0 110
x4 1/16
1 0 1110
x5 1/32
1 0 11110
x6 1/64
1 0 111110
x7 1/128
1 0 1111110
x8 1/128 1
（5）香农码和费诺码相同平均码长为
编码效率为：
5-11
（1）信源熵
（2）香农编码：
信源符号xi 符号
概率
pi
累加
概率
Pi
-Logp(xi) 码长
Ki
码字
x1 0.32 0 1.644 2 00 x2 0.22 0.32 2.184 3 010 x3 0.18 0.54 2.474 3 100 x4 0.16 0.72 2.644 3 101 x5 0.08 0.88 3.644 4 1110 x6 0.04 0.96 4.644 5 11110
平均码长：
编码效率为
（3）
费诺编码为
信
源符号xi 符号
概率
pi
1 2 3 4 编码码长
x1 0.32
0 0 00 2
x2 0.22 1 01 2
x3 0.18
1 0 10 2
x4 0.16
1 0 110 3
x5 0.08
1 0 1110 4
x6 0.04 1 1111 4 平均码长为：
编码效率：
（4）哈夫曼编码
信源符号xi 符号
概率
pi
编码过程
编
码
码
长
x1 0.32 0.
32 0.
38
0.
40
0.
60
1 01 2
x2 0.22 0.
22 0.
32
0.
38
0.
40
10 2
x3 0.18 0.
18 0.
22
0.
32
11 2
x4 0.16 0.
16 0.
18
000 3
x5 0.08 0.
12 001
4
x6 0.04 001
1
4
平均码长为：
编码效率：
5.16
=P2(0)P6(1)=(3/4)6(1/4)2
根据（4.129）可得：
F(S)=P(0)+P(10)+P(110)+P(1110)+P(11110)+P(111110)
=1–∑
≥s
y
y
P)
(=1––––
=1–P(111111)=1–(3/4)6=0.82202= 又P(S)=A(S)=+P(S)=0.1101010
即得C=0.1101010得S的码字为1101010 平均码长L为0.875。

欢迎下载！。