信息论习题解答

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第二章信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此
每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(a p =
366=6
1 得到的信息量 =)
(1
log
a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(
b p =
36
1 得到的信息量=)
(1
log
b p =36log =5.17 bit
2.4 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p =
!
521 信息量=)
(1
log
a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选
种点数任意排列
13413!13
)(b p =13
52134!13A ⨯=1352
13
4C 信息量=13
13524log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z
表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、
)|(X Z H 。

奇数在传送过程中以0.5的概率错成另外
一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：
8
,6,4,2,0=i √
);(Y X I =)(Y H -)|(X Y H
因为输入等概，由信道条件可知，
⎪⎪⎩
⎪⎪⎨
⎧
=++++====101)8181818121(101)(10
1)(为偶数为奇数i i y p i i y p 即输出等概，则)(Y H =log 10
)|(X Y H =)|(log )(i j j
j
i
i
x y p y
x p ∑∑
-
=)|(log )(i j j
i
j i x y p y
x p ∑∑-偶
-)|(log )(i j j i j i x y p y x p ∑∑奇
=0-)|(log )(i j j i j
i
x y p y
x p ∑∑奇
= -)|(log )|()(9
7,5,3,1i i i i
i i
x y p x y p x p ∑=，-)|(log )|()(9
7531i j j i i i j
i
x y p x y
p x p ∑
∑≠，，，，＝
=
101⨯21log 2⨯5+101⨯21⨯41
log 8⨯4⨯5 =4
3
41+=1 bit
);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5=2.3219 bit
2.11 令{821,,u u u ，⋯}为一等概消息集，各消息相应被编成下述二元码字 1u =0000，2u =0011，3u =0101，4u =0110，
5u =1001，6u =1010，7u =1100，8u =1111
通过转移概率为p 的BSC 传送。

求：
(a)接收到的第一个数字0与1u 之间的互信息量。

(b)接收到的前二个数字00与1u 之间的互信息量。

(c)接收到的前三个数字000与1u 之间的互信息量。

(d)接收到的前四个数字0000与1u 之间的互信息量。

解：
即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I )0(p =4)1(8
1⨯-p +481⨯p =2
1
)0;(1u I =)
0()|0(log 1p u p =2
11log p
-=1+)1log(p - bit
)00(p =]2)1(4)1(2[8
122p p p p +-+-=41
)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2
p -=)]1log(1[2p -+ bit
)000(p =])1(3)1(3)1[(8
13223p p p p p p +-+-+-=81
)000;(1u I =3[1+)1log(p -] bit
)0000(p =])1(6)1[(8
1
4224p p p p +-+-
)0000;(1u I =4
2244
)1(6)1()1(8log p
p p p p +-+-- bit
2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。

已知条件概率密度为
⎪⎩⎪⎨⎧≤-<-=其他
,02
2,41)|(x y x y p ，求：
(a)Y 的概率密度)(y ω (b));(Y X I
(c) 若对Y 做如下硬判决
⎪⎩
⎪
⎨⎧-≤⋯⋯-≤<-⋯⋯>⋯⋯=1,111,01,1y y y V
求);(V X I ，并对结果进行解释。

解：(a) 由已知，可得
)1|(-=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯else y 01
34
1
)1|(=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯else
y 03
141
)(y ω=)1(-=x p )1|(-=x y p +)1(=x p )1|(=x y p
=⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧⋯⋯≤<⋯⋯≤<-⋯⋯-≤<-⋯⋯else
y y y 03181
1
1411381
(b) )(Y H C =⎰⎰---+⨯1
1
134log 4128log 81=2.5 bit
)|(X Y H C =⎰
--=-=-=-1
3
)1|(log )1|()1(dy x y p x y p x p
⎰
-===-3
1
)1|(log )1|()1(dy x y p x y p x p
=dy dy ⎰⎰----
31134
1
log 412141log 4121 =2 bit );(Y X I =)(Y H C -)|(X Y H C =0.5 bit (c) 由)(y ω可得到V 的分布律
再由
5.14log 241
2log 21)(=⨯+=
V H bit 2]2log 2
1
2log 21[21)|(⨯+=X V H =1 bit
);(V X I =)|()(X V H V H -= 0.5 bit
2.29 令)(1x Q 和)(2x Q 是同一事件集U 上的两个概率分布，相应的熵分别为1)(U H 和
2)(U H 。

(a)对于10≤≤λ，证明)(x Q =λ)(1x Q +)1(λ-)(2x Q 是概率分布
(b))(U H 是相应于分布)(x Q 的熵，试证明)(U H ≥λ1)(U H +)1(λ-2)(U H
证明：(a) 由于)(1x Q 和)(2x Q 是同一事件集U 上的两个概率分布，于是
)(1x q ≥0，)(2x q ≥0
dx x q x
⎰)(1=1，dx x q
x
⎰)(2
=1
又10≤≤λ，则
)(x q =λ)(1x q +)1(λ-)(2x q ≥0
dx x q x
⎰)(=dx x q x
⎰)(1
λ+dx x q
x
⎰-)()1(2
λ=1
因此，)(x Q 是概率分布。

(b) )(U H =dx x q x q x q x q x
⎰
-+-+-)]()1()(log[)]()1()([2121λλλλ
=dx x q x q x q x
⎰
-+-)]()1()(log[)(211λλλ
dx x q x q x q x
⎰-+--)]()1()(log[)()1(212λλλ
≥⎰-x
dx x q x q )(log )(11λ⎰
--x
dx x q x q )(log )()1(22λ （引理2）
=λ1)(U H +)1(λ-2)(U H
第三章信源编码——离散信源无失真编码
3.1 试证明长为N 的D 元等长码至多有
1
)1(--D D D N
个码字。

证：①在D 元码树上，第一点节点有D 个，第二级有错误!未找到引用源。

，每个节点
对应一个码字，若最长码有N ，则函数有∑=N
i i
D 1
=D D D N --1)1(=1)
1(--D D D N ，此
时，所有码字对应码树中的所有节点。

②码长为1的D 个；码长为2的2D 个，…，码长为N 的N D 个
∴总共∑=N
i i
D 1
=1)
1(--D D D N 个
3.2 设有一离散无记忆信源⎪⎭
⎪
⎬⎫⎪⎩⎪⎨⎧=996.0,004.0,21a a U 。

若对其输出的长为100的事件序列中含
有两个或者少于两个1a 的序列提供不同的码字。

(a) 在等长编码下，求二元码的最短码长。

(b) 求错误概率（误组率）。

解: (a)不含1a 的序列 1个
长为100的序列中含有1个1a 的序列错误!未找到引用源。

=100个
长为100的序列中含有2个1a 的序列 2
100C =4950个
∴所需提供码的总数M=1+100+4950=5051 于是采用二元等长编码D
M
N log log ≥
=12.3，故取N =13 (b)当长度为100的序列中含有两个或更多错误!未找到引用源。

的1a 时出现错误，因此错误概率为
e P =-11000100
)996.0(C -991100)996.0)(004.0(C 9822
100)996.0()004.0(C - =3
10775.7-⨯
3.3 设有一离散无记忆信源，U=⎪⎪⎪
⎭
⎫
⎝⎛43,41,21a a ，其熵为)(U H 。

考察其长为L 的输出序列，当
0L L ≥时满足下式
εδ≤⎥⎦
⎤⎢⎣⎡≥-)()(U H L u I P L r (a)在δ=0.05，ε=0.1下求0L
(b)在δ=3
10-，ε=8
10-下求0L (c)令T 是序列L u 的集合，其中
δ<-)()
(U H L
u I L 试求L=0L 时情况(a)(b)下，T 中元素个数的上下限。

解：)(U H =k
k p p log ∑-
=3
4log 434log 41+=0.81 bit
—
错误!未找到引用源。

)]([k a I E =)(U H
2I σ=})]()({[2U H a I E k -=])([2k a I E -)(2U H
=
∑-k
k k
U H p p
)()(log 22
=0.471
则根据契比雪夫大数定理
εσ
σσ=≤⎭⎬⎫⎩⎨⎧>-22
)()(L U H L u I P I L r (a) L =22εσσI =2
)05.0(1.0471
.0⨯=1884
(b) =L 22εσσI =2
38)
10(10471.0--⨯=4.7113
10⨯ (c) 由条件可知L u ρ
为典型序列，若设元素个数为T M ，则根据定理
))(())((22)1(εεσ'+'-≤≤'-U H L T U H L M
其中εσ='，σε='，可知
(i) 1.0=='εσ，05.0=='σε，1884=L 下边界：84..1431)
)((29.02)1(⨯='-'-εσU H L
上边界：))((2ε'
+U H L =24..16202
故24..162084
..143122
9.0≤≤⨯T M (ii) 610-=='εσ，310-=='σε，11
1071.4⨯=L
11
1081.3))((29999.02)1(⨯'
-⨯='-εσU H L
)
)((2
ε'+U H L =11
1082.32
⨯
故11
11
1082.31081.3229999.0⨯⨯≤≤⨯T M
3.4
(a) (b) 当收到1时得到多少关于字母a 1的信息？
(c) 当收到1时得到多少关于信源的平均信息？
解：①码A 是异头字码，而B 为逗点码，都是唯一可译码。

②码A 32.14
.01
log )()1|(log )1;(2112
1===a p a p a I bit
码B 01
4.04
.0log )1()()1,(log )1()()1()1|(log )1;(112112
1=⨯===p a p a p p a p p a p a I bit
③码A U=｛4321,,,a a a a ｝
∑==
4
1
)1;()1|()1;(k k k
a I a
p u I =0)1;()1|(11+a I a p =1.32 bit
—
⎪
⎪
⎭
⎪⎪⎬⎫
⎪⎪⎩
⎪⎪⎨⎧=05.006.007
.008
.090
.010
.012
.013
.014
.016.010*********
a a a a a a a a a a U 码B ∑==
4
1
)1;()1|()1;(k k k
a I a
p u I =0 bit
（收到1后，只知道它是码字开头，不能得到关于U 的信息。

）
3.5 令离散无记忆信源
(a) 求最佳二元码,计算平均码长和编码效率。

(b) 求最佳三元码,计算平均码长和编码效率。

解：(a)
01
01
01
01
01
01
0.05
0.060.070.080.090.100.12
0.130.140.110.230.15
0.160.19
0.270.31
0.580.421
0101
01
000010
0111001101110010001110101011
1a 2a 3a 4a 5a 6a 7a 8a 9a 10
a
∑-=k k p p U H log )(=3.234 bit
平均码长 ∑=k
k
k n
p n =3.26=D n R log =
效率 %2.99log )
()(===
D
n U H R U H η (b)
—
0.160.140.130.120.100.090.080.070.060.05
01
012
01
2
012
02
10.110.24
0.330.431
1a 2
a 3a 4
a 5a 6a 7a 8a 9a 10
a 0001021012202122110111
平均码长 ∑=
k
k
k n
p n =2.11
D n R log ==3.344 效率 %6.96)
(==R
U H η
3.6 令离散无记忆信源 ⎭
⎬⎫
⎩⎨⎧=2.0.....3.0...5.0.....3.........2.........1a a a U
(a) 求对U 的最佳二元码、平均码长和编码效率。

(b) 求对U 2
的最佳二元码、平均码长和编码效率。

解：(a)
0.50.3
0.2
1
0.5
01
01
1a 2a 3a 10001
n =0.5×1+0.3×2+2×0.2=1.5
∑=-=485.1log )(k k p p U H bit
%99)(==R
U H η
(b) ∵离散无记忆 ∴H(U 1U 2)=2H(U)=2.97 bit
p(a 1a 1)=0.25, p(a 1a
2
)=0.15, p(a 1a 3)=0.1, p(a
2
a 1)=0.15, p(a
2
a
2
)=0.09
p(a 2a 3)=0.06, p(a 3a 1)=0.1, p(a 3a 2)=0.06, p(a 3a 3)=0.04
0.25
0.150.150.10.10.090.060.060.04
1
1a a 2
1a a 1
2a a 31a a 13a a 2
2a a 32a a 23a a 3
3a a 10
0010101101110000000101100111
0.1
0.15
0.20.25
0.30.450.550101
1
0101
01
0101
1
32==∑k k n p n
5.12
2
==
n n D n U U H log )(221=η=397.2=0.99
(c) 有关3
U 最佳二元类似略
3.7 令离散无记忆信源
⎭
⎬⎫⎩⎨⎧=)()()(21..........2.........1i k a p a p a p a a a U
且0≤P(a 1)≤P(a 2)≤…. ≤P(a k )<1。

定义Q i =
∑-=1
1
)(i k k
a
p , i >1，而Q 1=0，今按下述方法
进行二元编码。

消息a k 的码字为实数Q k 的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度n k 是大于或等于I(a k )的最小整数。

(a) 对信源⎪⎭
⎪⎬⎫⎪⎩⎪⎨
⎧=161,161,161,161,81,81,41,41.....8......7.......6.......5......4......3.......2...1a a a a a a a a U 构造码。

(b) 证明上述编码法得到的码满足异字头条件，且平均码长n 满足
H(U)≤n ≤H(U)+1。

解：(a)
(b) 反证法证明异字头条件
令k <k ’，若k a 是k a '的字头，则k
n k k Q Q -'<-2
又由1)()(+≤≤k k k a I n a I 可知， 122+--≤≤k k
n k n p
从而得k n k k p Q Q k
≤<--'2
这与假设k a 是k a '的字头（即k k k p Q Q +='）相矛盾，故满足异字头条件。

由已知可得
11log 1log
+<≤k
k k p n p 对不等号两边取概率平均可得
∑∑∑+<≤k
k k k k k k
k k p p n p p p 11log 1log
即 1)()(+<≤U H n U H 3.8 扩展源DMC ，⎪⎪⎭
⎫
⎝⎛=4.0,6.02.....1a a U
(a)求对U 的最佳二元码、平均码长和编码效率。

(b)求对U 2
的最佳二元码、平均码长和编码效率。

(c)求对U 3
的最佳二元码、平均码长和编码效率。

(d)求对U 4的最佳二元码、平均码长和编码效率。

解：(a) 01=C ，2C =1，n =1
97.0)(=U H bit
%97)(==R
U H η
(b) DMC 信道
11a a 21a a 12a a 2
2a a 00011011
1
1
0.60.401
01
0.360.240.240.16
22=n ，1=n ，%97)
(==
n
U H η (c)
1
11a a a 211a a a 121a a a 112a a a 2
21a a a 212a a a 122a a a 2
22a a a 01
11100000110010111001101
0.216
0.1440.1440.1440.0960.0960.0960.064
0.16
0.1920.204
0.288
0.504
0.496
1
01
01
1
01
01
0101
3n =2.944 n =0.981
η=98.85%
(d) 略
3.9 设离散无记忆信源 ⎭
⎬⎫⎩⎨
⎧=1.0,..1.0,..15.0,..15.0,..2.0,..3.0,...,....,......,....,.....
654321a a a a a a U 试求其二元和三元
Huffman 编码。

解：
1011000010001101
1
a
2a 3a 4
a 5
a
6a 0.3
0.20.150.15
0.1
0.1
1
01
00.20.30.40.6
1
1
10001022021
1
a
2
a 3
a
4
a
5
a
6
a
0.30.20.150.150.10.1
1
012
00.22
10
1
3.11 设信源有K 个等概的字母,其中K=j
2⋅α,1≤α≤2。

今用Huffman 编码法进行二元编
码。

（a ）是否存在有长度不为j 或j+1的码字，为什么？（b ）利用α和j 表示长为j+1的码字数目。

（c ）码的平均长度是多少？
解：Huffman 思想：将概率小的用长码，大的用短码，保证n ↓，当等概时，趋于等长码。

a) 对1=α时，K=2j ，则用长度为j 码表示；当2=α时，用K=2j+1，用长度为j+1码表示。

平均码长最短，则当1≤α≤2时，则介于两者之间，即只存在j ，j+1长的码字。

b) 设长为j 的码字个数为N j ，长度为j+1的码字数目为N j+1，根据二元Huffman 编码
思想（必定占满整个码树），即
⎪⎩⎪⎨⎧=⨯+⨯⨯==++-++12
22)
1(11j j j j j
j j
N N K N N α 从而j j N 2)2(⨯-=α，1
12)1(++⨯-=j j N α
c ） )1(111+⋅+⋅=+j N K j N K L j j =α
22-+j
3.12 设二元信源的字母概率为4
1)0(=
p ，43
)1(=p 。

若信源输出序列为
1011 0111 1011 0111
(a) 对其进行算术编码并进行计算编码效率。

(b) 对其进行LZ 编码并计算编码效率。

解：
(a) 16124
12
434143)(=⎪⎭
⎫
⎝⎛⎪⎭⎫ ⎝⎛=s p
根据递推公式
1111()()()()
()()()
i i i i i i i F u F u p u F u p u p u p u ++++⎧=+⎪⎨=+⎪⎩r r r r r 可得如下表格
%85.9916
1334log
434log 41)(=+=
=R
U H η (b) 首先对信源序列进行分段：
1 0 11 01 111 011 0111
然后对其进行编码，编码字典如下所示
17
log 74416
R n D ==
=⨯ 8113.034
log 434log 41)(=+=U H bit
%36.46)(==R
U H η
3.13 设DMS 为U=⎪⎭⎪⎬
⎫
⎪⎩⎪
⎨⎧81..,81..,41..,
21.4......3........2..........1a a a a ，各a i 相应编成码字0、10、110和1110。

试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。

解：
设信源序列长为N ，则相应码字长为（条件是N 要足够长）
N N N N L 4
7382412=⨯+⨯+⨯=
相应码序列中0出现的次数
N N N N L 8
71814120=⨯+⨯+⨯=
∴ p (0)= L L 0=21 p (1)=1-p (0)=2
1
3.14 设有一DMS, U=⎥⎥⎥
⎦
⎤⎢⎢⎢⎣⎡1.09.010
采用如下表的串长编码法进行编码
(b)求对于每个中间数字相应的信源数字的平均长度1n 。

(c)求每个中间数字对应的平均长度2
n 。

(d)说明码的唯一可译性。

解：
(a) 469.01.0log 1.09.0log 9.0)(=--=U H bit
(b) 6953.54305.089.021.011=⨯⋯+⨯+⨯=n bit (c) 7085.2)4305.01(44305.012=-⨯+⨯=n bit (d) 异字码头
第四章信道及信道容量
4.1 计算由下述转移概率矩阵给定的DMC 的容量。

(a)
100101p
p p p p p ⎡⎤⎢⎥⎢⎥⎢-⎣⎦
--⎥
Q 它是一对称信道，达到C 需要输入等概，即p =3
1
∴C =log3()log ()p j k p j k +∣∣∑
=log3(1)log(1)log log3()p p p p H p +--+=- bit/符号
(b) 112222112222p p p p p p p p --⎡⎤⎢⎥⎢⎥
--⎢⎥⎢⎥⎣⎦ Q 它是一对称信道
∴11log 4log 2log 22222
p p p p
C --=+⨯+⨯
=12(1)log log 22
p p
p p -+-+=1()H p - bit/符号
（c ）1010001p
p p p -⎡⎤⎢⎥-⎢⎥
⎢⎥⎣⎦
它是分信道11p
p p p -⎡⎤⎢
⎥
-⎣⎦
和[]1的和信道 1log 2(1)log(1)1()C p p H p =+--=- 20C =
由12222c
c
c
=+，可知1()
log 12H p C -⎡⎤=+⎣⎦ bit/符号
4.3求图中DMC 的容量及最佳输入分布
1
2
1
2
3/4
3/4
1
2
1
2
3
1/3
1/3
（a ） (b)
解：（a ）由图知
3
1
0441113331304
4P ⎡⎤⎢⎥⎢⎥⎢
⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
Q 发送符号1时等概率收到0,1,2,
∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道
31031
44011144133330134404
4P ⎡⎤⎢⎥
⎡⎤⎢⎥⎢⎥⎢
⎥=→⎢⎥⎢⎥⎢
⎥⎢⎥⎢⎥⎣⎦
⎢⎥⎢⎥⎣
⎦
1
1
2
3/4
3/4
111/43/4C q =-=-= bit/符号
（b ）由图知
11103331110
3331110333P ⎡⎤⎢⎥
⎢⎥
⎢⎥
=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
Q 为准对称
∴当输入等概，即0121
3
Q Q Q ===时达到信道容量C 此时0121122339
ωωω===
⨯⨯= 31113333
ω=⨯⨯=
∴(0)
(0,)(0)log
j
j
p j C I x Y p j ω|===
|∑
=11111123
333log log log log 22133332993
++= bit/符号
4.5
N 个相同的BSC 级联如图。

各信道的转移概率矩阵11p p p
p -⎡⎤
⎢⎥-⎣⎦。

令{0},0,1,,t t Q p X t N ===⋯，且0Q 为已知。

(a) 求t Q 的表达式。

(b) 证明N →∞时有1/2N Q →，且与0Q 取值无关，从而证明N →∞时的级联信道
容量0(0)N C p →> 解：
N 个信道级联后BSC 可表示为
1
1
1
N -1p -
N
个级联可以看成N-1个级联后与第N 个级联
1
1
N -1p -0
1
∴111(1)(1)(12)N N N N p p p p p p p p ---=-⋅+⋅-=⋅-+ 同理可得
12(12)N N p p p p --=⋅-+ 23(12)N N p p p p --=⋅-+
M
21(12)p p p p =⋅-+
1p p =
从而
12223232101
0(12)[(12)](12)(12)(12)(12)(12)(12)(12)
(12)(12)1(12)1(12)N N N N N N N i i N i
i N p p p p
p p p p p
p p p p p
p p p p p p p p p p p p p p p p ------=-==⋅-+ =⋅-+⋅-+ =⋅-+⋅-+ =⋅-+⋅-+⋅-+ =⋅-+- =--- =⋅=--∑∑1(12)2
N
p -- (a)
000000(1)(1)(12)1(12)(12)2
N N N
N
N
Q Q p Q p Q Q p p Q Q =-+- =+--- =+- (b) 00001(12)lim lim (12)212122
N N N N p Q Q Q Q Q →∞→∞⎡⎤--=+-⎢⎥⎣⎦- =+= 因此与0Q 无关。

由于
00{0}
1{0}(1){1}2
N N N N Q p x p x p p x p == ==⋅-+=⋅≡ 与00{0}p x Q ==无关，因此12
N p =，C=0。

4.8 一PCM 语音通信系统，已知信号带宽W=4000 Hz ，采样频率为2W ，且采用8级幅度
量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/32，1/32，1/32。

试求所需的信息速率. 解：111119()log log 2log 4log8log164log3224816324k k k
H V p p =-=++++⨯=∑ bit ∴信息速率9()8000180004
s R f H V ==⨯= bit/s
4.9 在数字电视编码中，若每帧为500行，每行划分成600个像素，每个像素采用8电平量
化，且每秒传送30帧时，试求所需的信息速率。

解：每个像素信息量为log8I ==3 bit
每秒传输30帧，即6
30500600910⨯⨯=⨯个像素
∴679103 2.710R =⨯⨯=⨯ bit/s
4.10 带宽为3 kHZ ，信噪比为30 dB 的电话系统，若传送时间为3分钟，试估计可能传送话
音信息的数目。

解：()dB S N
=30dB=310=1000 则log(1)3000log(11000)S C W N
=+=+=R bit/s=29.9 Kb/s 又传送时间t=30分钟=180 s
∴信息量为29.9⨯180=5.382 Mbit
4.12 若要以R=510/bit s 的速率通过一个带宽为8 kHz 、信噪比为31的连续信道传送，可
否实现？
解：根据SHANNON 公式
log(1)8000log32S C W N
=+
==40 Kb/s 当连续信道为高斯信道时，C<R=510/bit s ，于是不可实现；然而信道为非高斯信道时，其信道容量小于C ，因此不能判定它与R 的大小关系，从而不能确定能否实现。

第五章离散信道编码定理
5.1 设有一DMC ，其转移概率矩阵为
1/21/31/61/61/21/31/31/61/2⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦
若1()Q x =1/2，23()()Q x Q x ==1/4，试求两种译码准则下的译码规则，并计算误码率。

解：
（1）最大后验概率译码准则
首先计算 ()()
()()p x p y x p x y p y ||=
11111113()2246438p y =⋅+⋅+⋅= 21()3p y = 37
()24
p y =
112
()3p x y |= 121()2p x y |= 132
()7p x y |=
211
()9p x y |= 223()8p x y |= 232
()7p x y |=
312()9p x y |= 321()8p x y |= 333
()7p x y |=
Q 113121()()()p x y p x y p x y |>|>|
122232()()()p x y p x y p x y |>|>|
331323()()()p x y p x y p x y |>|>|
∴译码规则为
11y x → 21y x → 33y x → ∴11
1
1
1
111
26443624e P ⎛⎫
=⋅++⋅+= ⎪⎝⎭
（2）最大似然准则译码
计算()p y x |
Q 111312()()()p y x p y x p y x |>|>|
222123()()()p y x p y x p y x |>|>|
333231()()()p y x p y x p y x |>|>|
∴译码规则
11y x → 22y x → 33y x → ∴1111111111
2364634362e P ⎛⎫⎛⎫⎛⎫=⋅++⋅++⋅+= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭
显然它不是最佳。

第六章线性分组码
6.1 设有4个消息1,2,3,a a a 和4a 被编成长为5的二元码00000，01101，10111，11010。

试给
出码的一致校验关系。

若通过转移概率为p<1/2的BSC 传送，试给出最佳译码表及相应的译码错误概率表示式。

解：
（1）00010210
1112000000010010110
101111011
11011010p p p C m G p p p ⎡⎤⎡⎤
⎢⎥⎢⎥
⎡⎤⎢⎥⎢⎥=⋅=⋅=⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦⎣⎦
从而构造出1001011010010110110100101G H ⎡⎤
⎡⎤⎢⎥
=→=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦
（2）根据最小距离译码准则，可得伴随式与错误图样的对应关系如下
001→00100 101→10100
010→01000 110→00010
011→00001 111→00110
100→10000 000→00000
（3）5432
1(1)5(1)2(1)e P p p p p p =------
6.4 设二元(6,3)码的生成矩阵为
100011010001001110G ⎡⎤
⎢⎥=⎢⎥
⎢⎥⎣⎦
试给出它的一致校验矩阵为。

解：
H ＝001100101010110001⎡⎤
⎢⎥⎢⎥
⎢⎥⎣⎦。