《信息理论与编码》,答案,考试重点(1--3章)

《信息理论与编码》习题参考答案
1. 信息是什么信息与消息有什么区别和联系
答：信息是对事物存在和运动过程中的不确定性的描述。

信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么
答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。

语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。

语用信息是信息的最高层次。

它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

三者之间是内涵与外延的关系。

第2章
1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量
答：依据题意，这一随机事件的概率空间为
120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
其中：
1
x 表示摸出的球为红球事件，
2
x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是
()()11log log0.8
I x p x =-=-（比特）
b)如果摸出的是白球，则获得的信息量是
()()22log log0.2
I x p x =-=-（比特）
c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。

则如此摸取n 次，红球出现的次数为
()
1np x 次，白球出现的次数为
()
2np x 次。

随机摸取n 次后总共所获得信息量为
()()()()
1122np x I x np x I x +
d)则平均随机摸取一次所获得的信息量为
()()()()()()()()()112211221
log log 0.72 H X np x I x np x I x n
p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次
2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量
答：设事件A 为女孩是大学生；设事件B 为女孩身高1.6米以上。

根据题意，则知：
()0.25P A = ()0.50P B = ()0.75P B A =
而“身高1.6米以上的某女孩是大学生”这消息表明是在B 事件发生的条件下，A
事件发
生。

所以其概率为()
P A B
根据贝叶斯定律可得
()()()
()()()
0.250.75
0.3750.5
P A P B A P AB P A B P B P B ⨯=
=
=
=
则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量
()()log log0.375 1.415I A B P A B =-==-≈（比特）
3. 设一个系统传送10个数字：0,1,2,…,9。

奇数在以的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。

求收到一个数字后平均得到的信息量
答：发送集合{}0,1,,9,X =…接收集合{}0,1,,9,Y =… 其中
()()1
0,2,4,6,810
p y i i ==
=
因为
()()
()()
1,1,3,5,7,981
,1,3,5,7,9
2p y i x j i j i j p y i x j i j i j ===
=≠===
==
所以
()()(),1(),1,3,5,7,910
i j
p y i p x j p y i x j i j ======
=∑
最后得：
()()()9
log log10 3.232i H Y p y i p y i ==-====∑（比特/符号）
4. 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为013
144X P ⎡⎤⎡⎤⎢
⎥=⎢⎥⎢
⎥⎣⎦⎣⎦。

(1) 求信源熵。

(2) 求由m 个“0”和(100-m )个“l ”构成的某一特定序列的自信息量的表达式。

(3) 计算由100个符号构成的符号序列的熵。

答：
（1）信源熵为
()134
log 4log 0.8113 443
H X =+=比特/符号
（2）该特定序列用A 表示则
()()
10013log 4441.5 1.585 (bit)
m
m I m -⎛⎫⎛⎫=- ⎪ ⎪
⎝⎭⎝⎭
≈+A （3）因为信源是无记忆信源，所以
()()10010081.13 H X H X ==比特/符号序列
5. 有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为01/4p =，11/4p =，21/2p =，设计两个独立实验去观察它，其结果分别为{}10,1Y ∈，{}20,1Y ∈。

已知条件概率如表2-4所示。

表2-4 习题5表
(1) 求()1;I X Y 和()2;I X Y ，并判断作哪一个实验好些。

(2) 求()12;,I X Y Y ，并计算作Y 1和Y 2两个实验比作Y 1或Y 2中的一个实验各可多得多少关于X 的信息。

(3) 求()12;I X Y Y 和()21;I X Y Y ，并解释它们的含义。

答：
（1）()()()
111;=I X Y H Y H Y X -，要求()1H Y 和()
1H Y X 需要先求()1P Y ，
()1P XY ，()1P Y X 已知。

()()()222;=I X Y H Y H Y X -，要求()2H Y 和()2H Y X 需要先求()2P Y ，
()2P XY ，()2P Y X 已知。

由()()()
11P XY P X P Y X =及联合概率分布与边缘概率分布的关系可得
()1P XY 及()1P Y ，如表2-1所示：
所以
()111
log 2log 2 1 22
H Y =+=比特/符号
()111111
log1log1log 2log 2 44442
H Y X =+++=比特/符号
()()()11111
;1= 22
I X Y H Y H Y X =-=-比特/符号
同样可求出()2P XY 及()2P Y ，如表2-2所示： 所以
()211
log 2log 2 1 22H Y =+=比特/符号
()2111
log1log1log10 442
H Y X =++=比特/符号
()()()222; 1 I X Y H Y H Y X =-=比特/符号
因此第二个实验好些。

（2）()()()
122222;I X YY H Y Y H Y Y X =-，因此要求出()12P YY ，()
12P YY
X 和()12P XYY 。

由于1Y 、2Y 是相互独立的实验，所以()()()1212=P YY
X P Y X P Y X 。

()()()()()11212122P Y X P YY X P XYY P YY P Y X ⎫⎪
⇒⇒⇒⎬⎪⎭
（见表2-2和表2-3）
()1log 4log 4log 4log 4 2 4444H Y X =+++=比特/符号
()12
11111
log1log1log 2log 2 44442
H YY X =+++=比特/符号 ()()()121212
13
;2= 22
I X YY H YY H YY X =-=-比特/符号 可以看到：做1Y 和2Y 两个实验比做1Y 一个实验可多得到的信息为
()()12131
;;=1 22
I X YY I X Y -=
-比特/符号 可以看到：做1Y 和2Y 两个实验比做2Y 一个实验可多得到的信息为
()()12231
;;1= 22I X YY I X Y -=
-比特/符号 （3）()()()12122
31
;;;1= 22
I X Y Y I X YY I X Y =-=-比特/符号，它表示做完2Y 实验以后，从1Y 实验可得到关于X 的信息量。

()()()1212131
;;;=1 22
I X Y Y I X YY I X Y =-=
-比特/符号，它表示做1Y 完实验以后，从2Y 实验可得到关于X 的信息量。

6. 设信源()120.60.4X x x P X ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣
⎦⎣⎦通过一干扰信道，接收符号为[]12,Y y y =，信道传递概率如图2-7所示。

求：
(1) 信源X 中事件1x 和2x 分别携带的自信息量。

(2) 收到消息()1,2j y j =后，获得的关于()1,2i x i =的信息量。

(3) 信源X 和信源Y 的信息熵。

(4) 损失熵()H X Y 和噪声熵()H Y X 。

(5) 接收到消息Y 后获得的平均互信息。

图2-7 习题6图
答：（1）
因为
()()120.6
0.4P x P x ==
所以
()1log0.60.737I x =-≈(比特) ()2log0.4 1.322I x =-≈(比特)
（2）
收到消息i y 的概率为：
()()()()2
1121530.6*0.4*0.8
6410.2
i i i i y P y P x P x P y P y =⎛⎫
==+= ⎪⎝⎭=-=∑ 所以收到消息j y 后获得的关于i x 的信息量即()
,i j I x y 为：
()()
()1111156,log log 0.0590.8P y x I x y P y ==≈(比特/符号)
()()
()2112216,log log 0.2630.2P y x I x y P y ==≈-(比特/符号)
()()
1221134,log log 0.0930.8
P y x I x y P y ==≈-(比特/符号)
()()
()2222214,log log 0.3220.2
P y x I x y P y ==≈(比特/符号)
（3）
()()()()2
1log 0.6*log 0.60.4*log 0.40.971i i i H X P x P x ==-=-+≈∑(比特/符号)
()()()()2
1
log 0.8*log 0.80.2*log 0.20.722i i i H Y P y P y ==-=-+≈∑(比特/符号)
（4）
()()()
,1
,log
X Y
H Y X P X Y Y
P X =∑
其中
()()()()()()()()()()()()111111212121212222225
,0.6*0.5
61
,0.6*0.1
6
3
,0.4*0.3
41
,0.4*0.1
4
P x y P x P y x P x y P x P y x P x y P x P y x P x y P x P y x ============
所以噪声熵：
()11110.5*log
0.1*log 0.3*log 0.1*log ]5613414
H Y X =+++ 0.715≈(比特/符号)
损失熵：
()()()()0.9710.7150.722H X Y H X H Y X H Y =+-=+-
0.964=(比特/符号)
（5）接收到消息Y 后所获得的平均互信息量为：
()()(),0.9710.9640.007I X Y H X H X =-=-=(比特/符号)
7. 某信源的消息符号集的概率分布和二进制代码如题表2-5所示。

表2-5 习题7表
试求：
(1) 消息的符号熵。

(2) 平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的一个二进制码元的熵。

(3) 消息是由符号序列组成的，若各符号之间相互独立，假设其对应的二进码序列中出现“0”和“1”的无条件概率为()0p 和()1p ，求相邻码间的条件概率()01p 、()10p 、()11p 、()00p 。

答：
（1）信源熵为
()1117
log 2log 4log8 2444
H U =++=比特/符号
（2）设平均代码长度为L ，则
11117
1233 24884
L =⨯+⨯+⨯+⨯=二进制码元/符号
二进制码元的熵为
() 1 H U L
=比特/二进制码元
（3）由于符号间相互独立，因此
()111124802p L
++=
=，()()11102p p =-= 为求相邻码元间的条件概率，先求相邻码元间的联合概率：
()1111121
888481,14p L
⎛⎫
+⨯+⨯++ ⎪⎝⎭==
所以
()()()1,11
1112p p p ==
()()1011112
p p =-=
同理
()1111111
2242820,04p L
⨯+⨯+⨯
==
()()()0,01
0002
p p p =
= ()()1
101002
p p =-=
8. 二次扩展信源的熵为()2H X ，而一阶马尔可夫信源的熵为()21H X X ，试比较两者的大小，并说明原因。

答：
()()()()2212H X H X H X H X X =>>
二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信源的熵是一个条件熵，其值小于单符号信源熵。

马尔可夫信源符号间的依赖关系提供了额外的信息量，从而减小了信源的不确定性。

9. 设有一个马尔可夫信源，它的状态集为{}123,,s s s ,符号集为{}123,,a a a ，及在某状态下发出符号的概率为()(),1,2,3k i P a s i k =，如图2-8所示。

图2-8 习题9图
试求：
(1) 求出图2-8中马尔可夫信源的状态极限概率，并找出符号的极限概率。

(2) 计算信源处在某一状态下输出符号的条件熵()()123,,H X S j j s s s ==。

(3) 求出马尔可夫信源熵H ∞。

答：
（１）由状态图得：
()()()()()()()()()()()()113212
31
212312114211421
P S P S P S P S P S P S P S P S P S P S P S P S ⎧
=+⎪⎪
⎪=+⎪⎨
⎪=+⎪⎪
++=⎪⎩ 所以信源的状态极限概率为：
()()()123
12
14
P S P S P S ⎧
=⎪⎪⎨
⎪==
⎪⎩ 所以信源的符号极限概率为：
()()()()()()()()1131223311221
41
4
P a P S P S P S P a P S P a P S ⎧
=+==⎪⎪⎪==⎨
⎪
⎪==⎪⎩ （２）信源处在某一状态输出符号的条件熵为：
()11111
111113,,log log log 2442
244442H X S H ⎛⎫⎛⎫==-++= ⎪ ⎪⎝⎭⎝⎭(比特/符号)
()2110,,120H X S H ⎛⎫
== ⎪⎝⎭
(比特/符号)
()()31,0,00H X S H ==(比特/符号)
（３）马尔科夫信源熵为：
()()3
1
1311
**1*012244i i i H P S H X S ∞===++=∑(比特/符号)
10. 一个马尔可夫过程的基本符号为0，l ，2，这3个符号等概率出现，并且具有相同的转移概率。

(1) 画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H 1。

(2) 画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵H 2。

答：
（状态图略）
（1）一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为1/3，设状态的平稳分布为()123,,W W W W =，根据
11232123
3123
1231113331113331113331
W W W W W W W W W W W W W W W ⎧
=++⎪⎪
⎪=++⎪⎨⎪=++⎪⎪⎪++=⎩ 可得()13,13,1W =，3种状态等概率分布。

一阶马尔可夫信源熵为
111113,, 1.585 3333H H ⎛⎫
=⨯⨯= ⎪⎝⎭
比特/符号
信源剩余度为
110110log 3
H H
H γ=-
=-= （2）二阶马尔可夫信源有9种状态，同样列方程组求得状态的平稳分布为
111111111,,,,,,,,999999999W ⎛⎫
= ⎪⎝⎭
二阶马尔可夫信源熵为
21
9log3 1.585 9
H =⨯⨯=比特/符号
信源剩余度为
220110log 3
H H
H γ=-
=-= 由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。

11. 证明对于平稳信源有()()31221H X X X H X X ≤，并说明等号成立的条件。

答：
设离散平稳信源输出的随机符号序列为123,,X X X …。

又设
112233x X x X x X ∈∈∈，，，而且123x x x ，，都取自于同一符号集{}
12,q A a a a =，，…，
并满足有
()2
2
1
1x P x x =∑，()3
3
21x P x
x =∑，()3
3121x P x x x =∑
()()()1
2
3
1
2
3
1x x x P x P x P x ===∑∑∑
()()()1
2
2
3
1
3
12
23
13
1x x x x x x P x x P x x P x x ===∑∑∑∑∑∑
()1
2
3
123
1x x x P x x x =∑∑∑
在区域[0,1]内设()log f x x x =-，()f x 在内是上凸函数，所以满足詹森不等式
()11q
q i i i i i i P f x f Px ==⎛⎫
≤ ⎪⎝⎭
∑∑ 其中11q i i P
==∑ 现令()
321i x P x x x =，设其概率空间为()
12P x x ，并满足
()1
1
2
1x P x x =∑
所以根据詹森不等式得
()[]()()()()()
1111
12121212312312log log log i i i i x x x x P x x x x P x x x P x x x P x x P x x x P x x x ⎡⎤⎡⎤
-≤⎢⎥⎢⎥⎣⎦⎣⎦-∑∑∑∑ ()()()()1
1
1231212312log x x P x x P x x x P x x P x x x ≤-∑∑
所以
()()1
123
23
x P x x x P x x =∑
()()()()1
13
22322x P x x
x P x P x x P x =∑
上式对所有123,,x x x 的取值都成立，所以
()()1
13
232x P x x
x P x x =∑
即
()()()1
2
1
3
1232x P x x P x
x x P x x =∑
所以
()()()()1
1323123232log log x P x x x P x x x P x x P x x -≤-∑
因为()201P x ≤≤，22xx X ∈所以上式两边相乘，等号不变。

有
()()()()()()1
213231223232log log x P x P x x x P x x x P x P x x P x x -≤-∑
上式对所有23,x x 都成立，所以对所有23,x x 求和下式也成立
()()()()1
2
3
2
3
1233122332log log x x x x x P x x x P x x x P x x P x x -≤-∑∑∑∑∑
因为
()()31232H X X X H X X ≤
所以是平稳信源
()()3221H X X H X X ≤
得
()()31221H X X X H X X ≤
只有当()()
31232P x x x P x x =（对所有123,,x x x ）时等式成立。

证毕
12. 在一个3×3的国际象棋棋盘上，试求： (1) “王”随机行走的熵率。

(2) 相同情况下“车”、“象”和“后”对应的熵率(“象”分为两种)。

答：
（1）由于“王”不能停在当前格上，必须走一步，所以就9个状态的稳态分布
为
()i i i W p s E E ==
其中i E 是从第i 格出发能够到达的格子数，i i
E E =
∑。

通过简单的计算可得：
1379340W W W W ====
，2468540W W W W ====，5840
W = 再根据“随机行走”的意义可得
()log 3 1,3,7,9
log 5 2,4,6,8log8 5 i i H X s i i =⎧⎪
==⎨⎪=⎩
因此最终结果为
()358
4log34log5log8 2.2365 404040
H =⨯
⨯+⨯⨯+⨯=王比特/步 （2）“车”不管在哪个格子，它都有4个走向，例如它在1号格子，它可以去2、3、4、7号格子，因此状态的稳态分布为均匀分布：()1
1,,99
i i W p s i ===,L ，车随机行走的熵率为
()1194log 4 2 94H ⎛⎫
=⨯⨯⨯⨯= ⎪⎝⎭
车比特/步
同样可得
() 1 H =左象比特/步；() 1.3333 H =右象比特/步；() 2.6443 H =后比特/步
13. 求具有如下概率密度函数的随机变量的熵。

(1) 指数分布()1
e ,02
x f x x λλ-=≥
(2) ()1
e 2x
f x λλ-=
(3) 单边高斯密度(
)2
2
2,0x
f x x σ-=≥
答： （1）
()()()()0
e ln e d e ln d ln 1
x x x h X x
x x λλλλλλλλλλλ∞
--∞
-=-=--=-+⎰⎰
1ln λ=-（奈特/样值）
（2）
()0011e ln e d 2211 e ln ln d 221
ln ln 1
2x x x h X x x x λλλλλλλλλ∞
--∞-⎛⎫=- ⎪⎝⎭⎛
⎫=-+- ⎪⎝⎭=--+⎰
⎰
2e
ln λ
=（奈特/样值）
（3）设(
)2
2
2x
x σϕ-=
表示高斯密度函数，它的微分熵为
21
log 2πe 2
σ。

单边高斯分布(
)()2
2
22,0x
f x x x σϕ-=
=≥的微分熵为
()()()()()()()()0
log d 2log 2d 2log 2d 2log d h X f x f x x
x x x
x x x x x
ϕϕϕϕϕ∞
∞
∞∞
=-=-⎡⎤⎣⎦=--⎰⎰⎰⎰
()()log 2log d x x x ϕϕ∞
-∞
=--
⎰
（因为()()x x ϕϕ-=）
()21
log 2πe log 22
σ=-（比特/样值）
14. 连续随机变量X 和Y 的联合概率密度为
(
)221122N p xy x xy y N S ⎧⎫⎡⎤⎛⎫=
-
+-+⎨⎬ ⎪⎢⎥⎝⎭⎣⎦⎩⎭
试求()h X ，()h Y ，()h Y X 和();I X Y 。

答：
()(
)(
)22222
1d 12d 2d 222N p x p xy y x xy y y N S y x x x y S N S +∞
+∞
-∞-∞+∞
-∞
⎧⎫⎡⎤⎛⎫==-+-+⎨⎬ ⎪⎢⎥⎝⎭⎣⎦⎩
⎭⎡⎤-⎛⎫⎛⎫=--=-⎢⎥ ⎪ ⎪⎢⎥⎝⎭⎝⎭
⎣⎦
⎰⎰
⎰
()()(
)()22p xy y x p y x p x N ⎡⎤-==-⎢⎥⎢⎥⎣⎦
()()()(
)(
)(
)(
)222
ln d ln d 2 ln d ln exp d 2 d 21
2x h x p x p x x p x x S x p x x p x x S x p x x
S S S
+∞
+∞
-∞-∞+∞+∞-∞
-∞+∞-∞⎡⎤
⎛⎫=-=--⎥ ⎪⎝⎭⎦⎡⎤⎛⎫=---⎢⎥ ⎪⎝⎭⎣⎦==⋅=⎰⎰⎰⎰⎰ ()()()(
)(
)()(
)2222
ln d d 1 d d 21
d d 2221
2
h Y X p xy p y x x y
p xy y x x y
N y x x y x y x N S N +∞
+∞
-∞-∞
+∞+∞
-∞
-∞
+∞
+∞-∞
-∞
=-⎡⎤
=--⎢⎥⎣⎦
⎡⎤-⎛⎫=---⎢⎥ ⎪⎢⎥⎝⎭⎣⎦
==⎰⎰
⎰
⎰
⎰
⎰
()()(
)(
)(
)()22
22222ln d d ln d d 2222 ln 2d d 222 h XY p xy p xy x y
y x y x x x x y S N S N y x x x x y S S N +∞
+∞
-∞
-∞
+∞
+∞
-∞-∞+∞+∞-∞-∞=-⎡⎤⎡⎤
--⎛⎫=-----⎢⎥⎢⎥ ⎪⎢⎥⎢⎥⎝⎭⎣⎦⎣⎦
⎡⎤-⎛⎫=--⎢⎥ ⎪⎢⎥⎝⎭⎣⎦
⎰
⎰
⎰⎰⎰⎰
(
)(2
22 d d 2211
ln 2ln 2π22
y x y x x x y S N +∞+∞-∞-∞⎡⎤--⎛⎫+--⎢⎥ ⎪⎢⎥⎝⎭⎣⎦
=+=⎰⎰()
()()(ln 2πh Y h XY h X =-=
()()()1;ln 2S N
I X Y h Y h Y X N
+=-=
15. 一信源产生的时不变波形信号(即信号统计特性不随时间而变)的带宽为4kHz ，幅度分布为
()e ,0x p x x -=≥
试求该信源的信息输出速率。

答：
该信源的绝对熵
()()0
limln H X h X ∆→=-∆
由于本题中0.5∆=，并不趋于0，所以
()()()()2
ln ln d ln e d ln h
a
x
H X h X p x p x x x x -≈-∆≈--∆
≈-∆
⎰⎰
213e ln 2-=-+（奈特/样值）
按照奈奎斯特定理，对该波形信号的抽样率至少为3
2410/⨯⨯次秒。

信源的输出信息率为：
()()32241013e ln 2t H nH X -==⨯⨯⨯-+（奈特/秒）
第3章
1. 假设一个二元等概率离散无记忆信源[0,1]X =，通过一个二进制对称信道，ε表示符号传输差错，其失真函数(,)i j d x y 和信道转移概率(/)j i p y x 分别为
1
(,)0
i j i j d x y i j ≠⎧=⎨
=⎩，(/)1j i i j
p y x i j
ε
ε
≠⎧=⎨-=⎩ 试求失真矩阵(,)i j x y d 和平均失真度D 。

答：
由式（3-4）的失真矩阵可得
111221
2,2(,)(,)01(,)()10d x y d x y d x y d x y ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦d 由信道转移概率矩阵
1(/)1ε
εεε-⎡⎤=⎢⎥-⎣⎦
j i y x P 和式（3-7）
11
()(/)(,)===∑∑n m
i j i i j i j D p x p y x d x y 可以得到，平均失真度D 为
ε=D
2. 已知一个等概率无记忆信源[0,1,2,3]X =，其失真函数为
1
(,)0
i j i j
d x y i j
≠⎧=⎨
=⎩ 试求：(1)率失真函数()R D ；(2)当信源[0,1,]X =，1/2D =时的()R D 。

答：
（1）失真函数矩阵d 为
111213212223313233(,)(,)(,)011(,)(,)(,)101(,)(,)(,)110⎡⎤⎡⎤
⎢⎥⎢⎥==⎢⎥⎢⎥
⎢⎥⎢⎥⎣⎦⎣⎦
d x y d x y d x y d x y d x y d x y d x y d x y d x y d
由信道对称性可设信道转移概率矩阵为
112211(/)221122--⎡
⎤⎢⎥⎢⎥--⎢⎥=⎢⎥⎢⎥--⎢⎥⎢⎥⎣⎦
j i A A A A A y x A A A A P 由()1/3(1,2,3)==i p x i 得， 允许失真D 为
11
()(,)1==≥==-∑∑n m
i j i j i j D D p x y d x y A 1⇒=-A D
又因为()1/3(1,2,3)==j p y j ，由（3-13）可得率失真函数()R D 为
[]
(/)()min
(;)()(/)11log log (1)log(1)332
∈=
=-=++--j i D
p y x P R D I X Y H Y H Y X D
D D D
（2）当信源[0,1,]X =，1/2D =时，()1(,1)0=--=R D H D D 3. 设一个符号等概率输出的离散无记忆信源X 的失真函数矩阵为
112(,)211i j x y ⎡⎤=⎢⎥⎣⎦
d
试求：(1)率失真函数()R D ；(2)信道转移概率(/)X Y P 。

答：
由失真函数可知通过的信道为对称信道，故可设对称性可设信道的转移概率
1212-⎡⎤=⎢⎥-⎣⎦
ji A
A A A A A P
则由信源概率分布和信道转移概率分布可得到信宿接收信号的概率分布
()()=∑j i ji i
p y p x P ，得
111111()(12),,(12)22222211(1),,(1)22⎡⎤
=⨯+⨯-⨯+⨯⨯-+⨯⎢⎥
⎣⎦
⎡⎤=⨯-⨯-⎢⎥
⎣⎦
j y A A A A A A A A A P
则最大限定失真度D
[][][]111111211213113212212222223223
1
11(12)2(12)211211
2424442222(2)/2i ji ij i
j
D p P d p P d p P d p P d p P d p P d p P d A A A A A A A A A A A A A A A D ==+++++=
⨯+⨯+-⨯+-⨯+⨯+⨯=++-+-++=-=-⇒=-∑∑
因为信宿的信息熵为
222()[()](
,,)log log log 424442244
---===---j D D D D D D D D D H Y H p y H 22(/)()(
,,1)22
222log (1)log(1)22
(2)log(2)(1)log(1)
--==---=-⨯---=------ji D D
H Y X H P H D D D D D D D D D
可以求出信息率失真函数()R D
()(;)()(/)
22(1)log(1)log log 2422
==---=---
+R D I X Y H Y H Y X D D D D D D 信道转移概率矩阵为
2212222122--⎡⎤-⎢⎥
=⎢
⎥--⎢⎥-⎢⎥⎣⎦
ji D D
D D D D P 4. 设一等概率离散无记忆信源[0,1,2,3]X =，信宿接收符号[0,1,2,3]Y =，其失真函数矩阵为
1111
011(,)11011
110i j x y ⎡⎤⎢⎥⎢
⎥=⎢⎥⎢⎥⎣⎦
d 试求最大失真度max D 、最小失真度min D 和率失真函数()R D 。

答：
由已知对称信源和失真函数矩阵(,)i j x y d 可知，它的平均失真度
{}(,)=≠=∑i j E XY
D P x y i j P
再根据最大失真度的定义，有
max 13min ()(,)14
==-
=∑i i j Y
X
D p x d x y n 根据率失真函数定义可得
3()log 4log3()04
=--≤≤
R D D H D D 3()04
=≥
R D D 5. 设一个n 进制离散无记忆信源X 的失真函数为
(,)0
i j a
i j
d x y i j
≠⎧=⎨
=⎩ 试证明：/()log (1)log [1(/)]1(1/)D D a D R D n D a a n a
=+---。

证：
由失真函数(,)i j d x y 的对称性和信道转移概率矩阵ji P 的归一性可以求得
111111111111ji A A A n n A A A n n A A A A n n --⎡⎤⎢⎥--⎢⎥--⎢⎥⎢⎥=--⎢⎥⎢⎥⎢⎥
--⎢
⎥--⎣⎦
P ………………
可以求得
()(,)(1)i ji i j i
j
D p x d x y A a ==-∑∑P 1/⇒=-A D a 。

1
()()(1,2,,)j i ji i
p y p x j n n
==
=∑P … 进一步可求得率失真函数()R D
()[()][]
1
log log (1)log(1)(1)log (1)
1log (1)log
11//log (1)log [1(/)]1(1/)j ji R D H p y H n A A A A A n n A
A nA A n
D D a D n D a a n a
=-=++--+---=+--=+---P 证比。

6. 设一个等概率离散无记忆信源[1,0,1]X =-，信宿接收符号为11
[,]22Y =-，其失真函
数矩阵为
12(,)1121i j x y ⎡⎤
⎢⎥=⎢⎥⎢⎥⎣⎦
d 试求信源的最大失真度max D 和最小失真度min D ，并求选择何种信道可以满足最大失真度
max D
和最小失真度min D 的要求。

答：
由最大平均失真度的定义可知
max min ()(,)
1122114
min[(),()]3333333
==++++=∑i j Y
X
Y D P x d x y
最小失真度为
3
min 1
()min (,)
1
(111)13
===++=∑i i j j
i D P x d x y
如果信道要达到最大失真度max D ，信道的转移概率矩阵为
10(/)1010⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦j i y x P ，或01(/)0101⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦j i y x P ，或1(/)11εεεεεε-⎡⎤
⎢⎥=-⎢⎥
⎢⎥-⎣⎦
j i y x P （01ε≤≤）
如果信道要达到最大失真度min D ，信道的转移概率矩阵为
10(/)0101⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦j i y x P ，或10(/)1001⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦j i y x P ，或1011(/)2
20
1⎡⎤⎢⎥⎢
⎥=⎢⎥⎢⎥⎣⎦
j i y x P 7. 已知一个等概率离散无记忆信源[0,1]X =，信宿接收符号为[0,1,2]Y =，失真函数矩阵为
01(,)01i j x y ∞⎡⎤
=⎢⎥∞⎣⎦
d 试求信源的率失真函数()R D 。

答：
由失真函数(,)i i d x y 可以看出,信源输出消息符合为0,1,且等概率011
2
P P ==
，信宿接收到的消息符号有3个，分别为0，1，2，由失真函数(,)i i d x y 可知：(0,1)d =∞；
(0,0)0d =；(0,2)1d =；(1,2)1d =；(1,1)0d =；(1,0)d =∞。

由于失真度(,)i i d x y 为对称性，(/)j i p y x 亦为对称性，并由概率归一性，故可进一步假设转移概率矩阵：
112131122232(/)
(/)(/)10(/)(/)
(/)
(/)01j i p y x p y x p y x A A y x p y x p y x p y x A A -⎡⎤⎡⎤
==⎢
⎥⎢⎥-⎣⎦
⎣⎦p
其中，假设A 为信道的转移概率。

111111211213113212212222223223()(/)(,)
[()(/)(,)()(/)(,)()(/)(,)()(/)(,)()(/)(,)()(/)(,)]11110(1)10002222i j i i j i
j
D p x p y x d x y p x p y x d x y p x p y x d x y p x p y x d x y p x p y x d x y p x p y x d x y p x p y x d x y A A ==+++++⎡⎤=⨯⨯+⨯-⨯+⨯⨯+⨯⨯∞+⎢⎥⎣⎦∑∑11(1)102211
(1)(1)122
A A A A A ⎡⎤
⨯-⨯+⨯⨯⎢⎥
⎣⎦
=-+-=- 将1D A =-代入到转移概率矩阵(/)Y X P ，得到：
10(/)0
1D D
Y X D D -⎡⎤=⎢⎥-⎣⎦P 再由概率性质,()()(/)j i
j
i i j
p y p x p y
x =
∑，求得信宿端各符号的概率分布为
111121221212223131232111()()(/)()(/)022211
()()(/)()(/)(1)(1)22
111()()(/)()(/)0222
D
p y p x p y x p x p y x A p y p x p y x p x p y x A A D
D
p y p x p y x p x p y x A -=+=⨯+⨯=
=+=⨯-+⨯-=-=+=⨯+⨯=
进而可以得到信宿接收的各消息的概率分布
11(),,22j D
D p y D --⎡⎤=⎢⎥⎣⎦
由此可以得到：
[]
11()[()],,
22(/)[(/)]1,,0j j x D
D H Y H p y H D H Y X H p y x H D D --⎡⎤==⎢⎥⎣⎦==-
最后可求得：
[][]11()(;)()(/),,1,,02
21111log log log (1)log(1)log 2222
(1)log(1)(1)log 2(1)log(1)
D
D R D I X Y H Y H Y X H D H D D D D D D D D D D D D D D D D D --⎡⎤==-=--⎢⎥⎣⎦----=---+--+=---+-+--
1=-D （比特/信源符号）
8. 设一等概率离散无记忆信源123[,,]X x x x =，其失真函数为汉明失真函数， (1) 试求最小失真度min D 和min ()R D 。

(2) 试求最大失真度max D 和max ()R D 。

(3) 若最大允许失真度1/3D =，试问信源每一个符号的平均二进制码长是多少 答：
汉明失真函数和信道转移概率矩阵分别为
011(,)101110i j x y ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦d ，1/31/31/31/31/31/31/31/31/3⎡⎤
⎢⎥=⎢⎥
⎢⎥⎣⎦
P （1）最小失真度min D 和min ()R D 分别为
3
min 1
1
()min (,)(000)03i i j j i D P x d x y ===++=∑，min ()()(1/3)R D H X H ==。

（2）最大失真度max D 和max ()R D 分别为
3
max 1
min ()(,)2/3i j Y
i D P x d x y ===∑
max ()(2/3)R D R ==0
9. 设一离散无记忆信源1
21/43/4()X x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣
⎦⎣⎦，每秒发出个符号，通过一个二进制无噪信道传输，该信道每秒仅能传两个二进制符号，试问：
(1) 该信道能否实现对该信源符号的无失真传输。

(2) 如果不能，在失真度为汉明失真的条件下，该信道的最大允许失真为多少 答：
（1）由已知信源可以求得该信源的熵
131133
()(,)log log 0.811444444
==--≈H X H （比特/信源符号）
信源输出的信息率为 2.660.811 2.16=⨯=t R （比特/秒），而在二元无噪无损信道中传输时，由于该信道每秒仅能传两个二进制符号，即信道的最大信息传输率为
2=t C （比特/秒）
根据信道编码定理，无论采用何种信源编码都必然会失真。

（2）若该信道的失真度为汉明失真，所以信源的率失真函数为
()1()=-R D H D （比特/信源符号） () 2.66()=⨯t R D R D （比特/秒）
当()≥t t C R D ，此信源在此信道中传输时不会产生差错，总的信源失真就是允许失真，即
2 2.66[1()]=⨯-H D ⇒()0.257≈H D ⇒0.0513≈D
10. 已知连续信源X 的概率密度函数为22
21
()(1)
p x x =⨯π+，其失真函数为(,)i j d x y x y =-，试求信源的信息率失真函数()R D 。

答：
求解连续信源X 的信息率失真函数()R D 时，首先求解最大允许失真度D
()(/)(,)d d ()(/)(,)d d ()d (/)d D p x p y x d x y x y p x p x y d x y x y
p y y p x y x y x
∞
∞
∞
∞
-∞-∞-∞-∞
∞
∞-∞
-∞
===-⎰
⎰
⎰
⎰
⎰⎰
令()(/)d D y p x y x y x ∞
-∞
=-⎰，可以求得
()()d D p y D y y ∞
-∞
=⎰
由限功率的最大连续熵定理，在Y y =条件下的最大熵为
max 1
(/)(/)log (/)d log2πe ()2
c H X y p x y p x y x D y ∞-∞=-≤⎰
根据条件熵的定义可得
max (/)()(/)d ())log 2πe ()d c c H X Y p y H X y y p y D y y ∞∞
-∞
-∞
=≤⎰⎰
则平均互信息
(;)()(/)c c c I X Y H X H X Y =-
由于()R D 函数是试验信道满足保真度准则条件下的最小平均互信息，故将连续信源的概率密度函数代入即可求得率失真函数()R D ，即
1()1log()log
22π
D D
R D +=-+-
+。