信息论与编码理论习题答案

第二章 信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit
因此，信息速率为 6⨯1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(a p =366=6
1
得到的信息量 =)
(1
log
a p =6log =2.585 bit (2) 可能的唯一，为 {6，6}
)(b p =361
得到的信息量=)
(1
log
b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p =!
521
信息量=)
(1
log
a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选
种点数任意排列
13413!13
)(b p =13
52134!13A ⨯=1352
13
4C 信息量=1313
52
4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，
Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、
)|(X Z H 。

解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，
21x x Y +=，321x x x Z ++=
)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H
=2⨯(
361log 36+362log 18+363log 12+364log 9+365log 536)+36
6
log 6
=3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]
而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit
或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H
而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit
),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit
)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit
2.10 设一个系统传送10个数字，0，1，…，9。

奇数在传送过程中以0.5的概率错成另外
一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：
);(Y X I =)(Y H -)|(X Y H
因为输入等概，由信道条件可知， 即输出等概，则)(Y H =log 10
)|(X Y H =)|(log )(i j j
j
i
i
x y p y
x p ∑∑
-
=)|(log )(i j j i j i x y p y x p ∑∑-偶
-)|(log )(i j j i j i x y p y x p ∑∑奇
=0-)|(log )(i j j i j i x y p y x p ∑∑奇
= -)|(log )|()(9
7,5,3,1i i i i
i i
x y p x y
p x p ∑=，-)|(log )|()(9
7531i j j i i i j
i
x y p x y
p x p ∑
∑≠，，，，＝
=
101⨯21log 2⨯5+101⨯21⨯41
log 8⨯4⨯5 =4
3
41+=1 bit
);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5=2.3219 bit
2.11 令{821,,u u u ，⋯}为一等概消息集，各消息相应被编成下述二元码字 1u =0000，2u =0011，3u =0101，4u =0110，
5u =1001，6u =1010，7u =1100，8u =1111
通过转移概率为p 的BSC 传送。

求：
(a)接收到的第一个数字0与1u 之间的互信息量。

(b)接收到的前二个数字00与1u 之间的互信息量。

(c)接收到的前三个数字000与1u 之间的互信息量。

(d)接收到的前四个数字0000与1u 之间的互信息量。

解：
即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I
)0(p =4)1(81⨯-p +481⨯p =21
)0;(1u I =)
0()|0(log
1p u p =2
11log p
-=1+)1log(p - bit
)00(p =]2)1(4)1(2[8122p p p p +-+-=4
1
)00;(1u I =)00()|00(log 1p u p =4
/1)1(log 2
p -=)]1log(1[2p -+ bit
)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81
)000;(1u I =3[1+)1log(p -] bit
)0000(p =])1(6)1[(8
1
4224p p p p +-+-
)0000;(1u I =4
2244
)1(6)1()1(8log p
p p p p +-+-- bit 2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。

解：根据题2.9分析
)(Z H =2(216log 2161+3216log 2163+6216log 2166+10216
log 21610+
15216log 21615+21216log 21621+25216log 21625+27
216log 21627) =3.5993 bit
);(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit
);,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit )|;(X Z Y I =)|(X Z H -)|(XY Z H =)(Y H -)(X H =0.6894 bit )|;(Y Z X I =)|(Y Z H -)|(XY Z H =)(X H -)(X H =0 bit 2.14 对于任意概率事件集X,Y,Z ，证明下述关系式成立 (a))|,(X Z Y H ≤)|(X Y H +)|(X Z H ，给出等号成立的条件 (b))|,(X Z Y H =)|(X Y H +),|(Y X Z H (c)),|(Y X Z H ≤)|(X Z H
证明：(b) )|,(X Z Y H =-∑∑∑x
y
z
x yz p xyz p )|(log )(
=-∑∑∑x
y
z
xy z p x y p xyz p )]|()|(log[)(
=-∑∑∑x
y
z
x y p xyz p )|(log )(-∑∑∑x
y
z
xy z p xyz p )|(log )(
=)|(X Y H +)|(XY Z H (c) ),|(Y X Z H =-∑∑∑x
y
z
xy z p xyz p )|(log )(
=∑∑x
y
xy p )([-∑z
xy z p xy z p )|(log )|(]
≤∑∑x
y
xy p )([-∑z
x z p x z p )|(log )|(]
=-∑∑∑x
y
z
x z p xyz p )|(log )(
=)|(X Z H
当)|(xy z p =)|(x z p ，即X 给定条件下，Y 与Z 相互独立时等号成立 (a) 上式(c)左右两边加上)|(X Y H ，可得
)|(X Y H +),|(Y X Z H ≤)|(X Y H +)|(X Z H
于是)|,(X Z Y H ≤)|(X Y H +)|(X Z H
2.28 令概率空间⎥⎥⎦
⎤
⎢⎢⎣⎡-=21,211,1X ，令Y 是连续随机变量。

已知条件概率密度为
⎪⎩⎪⎨⎧≤-<-=其他
,02
2,41)|(x y x y p ，求：
(a)Y 的概率密度)(y ω (b));(Y X I
(c) 若对Y 做如下硬判决
求);(V X I ，并对结果进行解释。

解：(a) 由已知，可得
)1|(-=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯else
y 01
34
1
)1|(=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯else
y 03
141
)(y ω=)1(-=x p )1|(-=x y p +)1(=x p )1|(=x y p
=⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧⋯⋯≤<⋯⋯≤<-⋯⋯-≤<-⋯⋯else y y y 03181
1
1411381
(b) )(Y H C =
⎰⎰---+⨯1
1134log 4
128log 81=2.5 bit )|(X Y H C =⎰--=-=-=-13
)1|(log )1|()1(dy x y p x y p x p
=dy dy ⎰⎰----311341
log 412141log 4121 =2 bit
);(Y X I =)(Y H C -)|(X Y H C =0.5 bit (c) 由)(y ω可得到V 的分布律
再由)|(x y p 可知
5.14log 24
2log 21)(=⨯+=V H bit
2]2log 21
2log 21[21)|(⨯+=X V H =1 bit
);(V X I =)|()(X V H V H -= 0.5 bit
2.29 令)(1x Q 和)(2x Q 是同一事件集U 上的两个概率分布，相应的熵分别为1)(U H 和
2)(U H 。

(a)对于10≤≤λ，证明)(x Q =λ)(1x Q +)1(λ-)(2x Q 是概率分布
(b))(U H 是相应于分布)(x Q 的熵，试证明)(U H ≥λ1)(U H +)1(λ-2)(U H 证明：(a) 由于)(1x Q 和)(2x Q 是同一事件集U 上的两个概率分布，于是
)(1x q ≥0，)(2x q ≥0
dx x q x
⎰)(1=1，dx x q x
⎰)(2=1
又10≤≤λ，则
)(x q =λ)(1x q +)1(λ-)(2x q ≥0
dx x q x
⎰)(=dx x q x
⎰)(1λ+dx x q x
⎰-)()1(2λ=1
因此，)(x Q 是概率分布。

(b) )(U H =dx x q x q x q x q x
⎰-+-+-)]()1()(log[)]()1()([2121λλλλ
=dx x q x q x q x
⎰-+-)]()1()(log[)(211λλλ
≥⎰-x
dx x q x q )(log )(11λ⎰--x
dx x q x q )(log )()1(22λ （引理2）
=λ1)(U H +)1(λ-2)(U H
第三章 信源编码——离散信源无失真编码
3.1 试证明长为N 的D 元等长码至多有
1
)1(--D D D N
个码字。

证：①在D 元码树上，第一点节点有D 个，第二级有2D ，每个节点对应一个码字，若
最长码有N ，则函数有∑=N
i i
D 1
=D D D N --1)1(=1)
1(--D D D N ，此时，所有码字对应码树
中的所有节点。

②码长为1的D 个；码长为2的2D 个，…，码长为N 的N D 个
∴总共∑=N
i i
D 1
=1)
1(--D D D N 个
3.2 设有一离散无记忆信源⎪⎭
⎪
⎬⎫⎪⎩⎪⎨⎧=996.0,004.0,21a a U 。

若对其输出的长为100的事件序列中含有
两个或者少于两个1a 的序列提供不同的码字。

(a) 在等长编码下，求二元码的最短码长。

(b) 求错误概率（误组率）。

解: (a)不含1a 的序列 1个
长为100的序列中含有1个1a 的序列 1
100C =100个 长为100的序列中含有2个1a 的序列 2100C =4950个
∴所需提供码的总数M=1+100+4950=5051 于是采用二元等长编码D
M
N log log ≥
=12.3，故取N =13 (b)当长度为100的序列中含有两个或更多的1a 时出现错误， 因此错误概率为
e P =-11000100
)996.0(C -991100)996.0)(004.0(C 9822
100)996.0()004.0(C - =310775.7-⨯
3.3 设有一离散无记忆信源，U=⎪⎪⎪
⎭
⎫ ⎝⎛43,41,21a a ，其熵为)(U H 。

考察其长为L 的输出序列，当
0L L ≥时满足下式
(a)在δ=0.05，ε=0.1下求0L (b)在δ=310-，ε=810-下求0L (c)令T 是序列L u 的集合，其中
试求L=0L 时情况(a)(b)下，T 中元素个数的上下限。

解：)(U H =k k p p log ∑-=3
4
log 434log 41+=0.81 bit
)]([k a I E =)(U H
2I σ=})]()({[2U H a I E k -=])([2k a I E -)(2U H =∑-k
k k U H p p )()(log 22
=0.471
则根据契比雪夫大数定理
(a) L =22εσσI =2
)05.0(1.0471
.0⨯=1884 (b) =L 22εσσI =2
38)
10(10471
.0--⨯=4.711310⨯ (c) 由条件可知L u
为典型序列，若设元素个数为T M ，则根据定理
其中εσ='，σε='，可知
(i) 1.0=='εσ，05.0=='σε，1884=L 下边界：84..1431))((29.02)1(⨯='-'-εσU H L 上边界：))((2ε'+U H L =24..16202 故24..162084..1431229.0≤≤⨯T M
(ii) 610-=='εσ，310-=='σε，111071.4⨯=L ))((2ε'+U H L =11
1082.32⨯
故11
11
1082.31081.3229999.0⨯⨯≤≤⨯T M
⎪
⎪
⎭
⎪⎪⎬⎫
⎪⎪⎩
⎪⎪⎨⎧
=05.006.007
.008
.090
.010
.012
.013
.014
.016.010*********
a a a a a a a a a a U 3.4 对于有4
(a) 各码是否满足异字头条件？是否为唯一可译码？ (b) 当收到1时得到多少关于字母a 1的信息？ (c) 当收到1时得到多少关于信源的平均信息？
解：①码A 是异头字码，而B 为逗点码，都是唯一可译码。

②码A 32.14
.01
log )()1|(log )1;(2112
1===a p a p a I bit 码B 01
4.04
.0log )1()()1,(log )1()()1()1|(log )1;(112112
1=⨯===p a p a p p a p p a p a I bit
③码A U=｛4321,,,a a a a ｝
∑==4
1)1;()1|()1;(k k k a I a p u I =0)1;()1|(11+a I a p =1.32 bit
码B ∑==41
)1;()1|()1;(k k k a I a p u I =0 bit
（收到1后，只知道它是码字开头，不能得到关于U 的信息。

）
3.5 令离散无记忆信源
(a) 求最佳二元码,计算平均码长和编码效率。

(b) 求最佳三元码,计算平均码长和编码效率。

解：(a)
∑-=k k p p U H log )(=3.234 bit
平均码长 ∑=k
k k n p n =3.26=D n R log =
效率 %2.99log )
()(===
D
n U H R U H η (b)
平均码长 ∑=k
k k n p n =2.11
D n R log ==3.344
效率 %6.96)
(==
R
U H η 3.6 令离散无记忆信源 ⎭
⎬⎫⎩⎨⎧=2.0.....3.0...5.0.....3.........2.........1a a a
U
(a) 求对U 的最佳二元码、平均码长和编码效率。

(b) 求对U 2
的最佳二元码、平均码长和编码效率。

(c) 求对U 3
的最佳二元码、平均码长和编码效率。

解：(a)
n =0.5×
1+0.3×2+2×0.2=1.5 ∑=-=485.1log )(k k p p U H bit
(b) ∵离散无记忆 ∴H(U 1U 2)=2H(U)=2.97 bit
p(a 1a 1)=0.25, p(a 1a
2
)=0.15, p(a 1a 3)=0.1, p(a
2
a 1)=0.15, p(a
2
a
2
)=0.09
p(a 2a 3)=0.06, p(a 3a 1)=0.1, p(a 3a 2)=0.06, p(a 3a 3)=0.04
D n U U H log )(221=
η=3
97
.2=0.99
(c) 有关3U 最佳二元类似 略 3.7 令离散无记忆信源
且0≤P(a 1)≤P(a 2)≤…. ≤P(a k )<1。

定义Q i =∑-=1
1)(i k k a p , i >1，而Q 1=0，今按下述方法进
行二元编码。

消息a k 的码字为实数Q k 的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度n k 是大于或等于I(a k )的最小整数。

(a) 对信源⎪⎭
⎪⎬
⎫⎪⎩⎪⎨⎧=161,161,161,161
,81,81,41,41.....8......7.......6.......5......4......3.......2...1a a a a a a a a U 构造码。

(b) 证明上述编码法得到的码满足异字头条件，且平均码长n 满足
H(U)≤n ≤H(U)+1。

解：(a)
(b) 令k <k ’，若k a 是k a '的字头，则k n k k Q Q -'<-2 又由1)()(+≤≤k k k a I n a I 可知， 122+--≤≤k k n k n p 从而得k n k k p Q Q k ≤<--'2
这与假设k a 是k a '的字头（即k k k p Q Q +='）相矛盾，故满足异字头条件。

由已知可得
对不等号两边取概率平均可得 即 1)()(+<≤U H n U H
3.8 扩展源DMC ，⎪⎪⎭
⎫
⎝⎛=4.0,6.02.....1a a U
(a)求对U 的最佳二元码、平均码长和编码效率。

(b)求对U 2
的最佳二元码、平均码长和编码效率。

(c)求对U 3
的最佳二元码、平均码长和编码效率。

(d)求对U 4的最佳二元码、平均码长和编码效率。

解：(a) 01=C ，2C =1，n =1
97.0)(=U H bit
(b) DMC 信道
22=n ，1=n ，%97)
(==
n
U H η (c)
3n =2.944 n =0.981
η=98.85%
(d) 略
3.9 设离散无记忆信源 ⎭
⎬⎫⎩⎨⎧=1.0,..1.0,..15.0,..15.0,..2.0,..3.0,...,....,......,....,.....
654321a a a a a a U 试求其二元和三元Huffman 编
码。

解：
3.11 设信源有K 个等概的字母,其中K=j 2⋅α,1≤α≤2。

今用Huffman 编码法进行二元编码。

（a ）是否存在有长度不为j 或j+1的码字，为什么？ （b ）利用α和j 表示长为j+1的码字数目。

（c ）码的平均长度是多少？
解：Huffman 思想：将概率小的用长码，大的用短码，保证n ↓，当等概时，趋于等长码。

a) 对1=α时，K=2j ，则用长度为j 码表示；当2=α时，用K=2j+1，用长度为j+1码表示。

平均码长最短，则当1≤α≤2时，则介于两者之间，即只存在j ，j+1长的码字。

b) 设长为j 的码字个数为N j ，长度为j+1的码字数目为N j+1，根据二元Huffman 编码
思想（必定占满整个码树），即
从而j j N 2)2(⨯-=α，112)1(++⨯-=j j N α
c ） )1(111+⋅+⋅=
+j N K j N K L j j =α
2
2-+j 3.12 设二元信源的字母概率为41)0(=p ，4
3
)1(=p 。

若信源输出序列为
1011 0111 1011 0111
(a) 对其进行算术编码并进行计算编码效率。

(b) 对其进行LZ 编码并计算编码效率。

解：
(a) 16124
12
434143)(=⎪⎭
⎫ ⎝⎛⎪⎭⎫ ⎝⎛=s p
根据递推公式 1111()()()()
()()()
i i i i i i i F u F u p u F u p u p u p u ++++⎧=+⎪⎨=+⎪⎩可得如下表格
其中，F(1)=0， F(1)= 34， p(0)=14， p(1)=34
(b) 首先对信源序列进行分段：
1 0 11 01 111 011 0111
8113.03
log 44log 4)(=+=
U H bit
3.13 设DMS 为U=⎪⎭
⎪⎬⎫
⎪⎩⎪
⎨
⎧81..,81..,41..,21.4......3........2..........1a a a a ，各
a i 相应编成码字0、10、110和1110。

试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。

解：
设信源序列长为N 相应码序列中0出现的次数 ∴ p (0)=
L L 0=21 p (1)=1-p (0)=2
1 3.14 设有一DMS, U=⎥⎥⎥
⎦
⎤
⎢⎢⎢⎣⎡1.09.010
(a)求H(U)。

(b)求对于每个中间数字相应的信源数字的平均长度1n 。

(c)求每个中间数字对应的平均长度2n 。

(d)说明码的唯一可译性。

解：
(a) 469.01.0log 1.09.0log 9.0)(=--=U H bit
(b) 6953.54305.089.021.011=⨯⋯+⨯+⨯=n bit (c) 7085.2)4305.01(44305.012=-⨯+⨯=n bit (d) 异字码头
第四章 信道及信道容量
4.1 计算由下述转移概率矩阵给定的DMC 的容量。

(a)100101p
p p p p p ⎡⎤⎢⎥⎢⎥
⎢-⎣⎦
--⎥ 它是一对称信道，达到C 需要输入等概，即p =31
∴C =log3()log ()p j k p j k +∣∣∑
=log3(1)log(1)log log3()p p p p H p +--+=- bit/符号
(b) 112222112
2
2
2p p
p p p p p p --⎡⎤⎢⎥⎢
⎥--⎢⎥⎢⎥⎣⎦
它是一对称信道
∴11log 4log 2log 22222
p p p p
C --=+⨯+⨯
=12(1)log log 22
p p
p p -+-+=1()H p - bit/符号
（c ）1010001p
p p p -⎡⎤⎢⎥-⎢⎥
⎢⎥⎣⎦
它是分信道11p p p p -⎡⎤⎢⎥
-⎣⎦
和[]1的和信道 由12222c c c =+，可知1()
log 12H p C -⎡⎤=+⎣⎦ bit/符号
4.3求图中DMC 的容量及最佳输入分布
（a ） (b)
解：（a ）由图知
发送符号1时等概率收到0,1,2,
∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道 111/43/4C q =-=-= bit/符号 （b ）由图知 为准对称
∴当输入等概，即0121
3
Q Q Q ===
时达到信道容量C 此时012112
2339ωωω===⨯⨯=
∴(0)
(0,)(0)log
j
j
p j C I x Y p j ω|===|∑
=111
11123
333log log log log 22133332993
++= bit/符号
4.5 N 个相同的BSC 级联如图。

各信道的转移概率矩阵11p p p p -⎡⎤
⎢⎥-⎣⎦。

令{0},0,1,,t t Q p X t N ===⋯，且0Q 为已知。

(a) 求t Q 的表达式。

(b) 证明N →∞时有1/2N Q →，且与0Q 取值无关，从而证明N →∞时的级联信道容
量0(0)N C p →>
解：N 个信道级联后BSC 可表示为
N 个级联可以看成N-1个级联后与第N 个级联
∴111(1)(1)(12)N N N N p p p p p p p p ---=-⋅+⋅-=⋅-+ 同理可得 从而 (a) (b)
因此与0Q 无关。

由于
与00{0}p x Q ==无关，因此1
2
N p =
，C=0。

4.8 一PCM 语音通信系统，已知信号带宽W=4000 Hz ，采样频率为2W ，且采用8级幅度
量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/32，1/32，1/32。

试求所需的信息速率.
解：111119
()log log 2log 4log8log164log3224816324k k k
H V p p =-=++++⨯=∑ bit
∴信息速率9
()8000180004
s R f H V ==⨯= bit/s 4.9 在数字电视编码中，若每帧为500行，每行划分成600个像素，每个像素采用8电平量化，且每秒传送30帧时，试求所需的信息速率。

解：每个像素信息量为log8I ==3 bit
每秒传输30帧，即630500600910⨯⨯=⨯个像素 ∴679103 2.710R =⨯⨯=⨯ bit/s
4.10 带宽为3 kHZ ，信噪比为30 dB 的电话系统，若传送时间为3分钟，试估计可能传送
话音信息的数目。

解：()dB S
N
=30dB=310=1000
则log(1)3000log(11000)S
C W N
=+=+=R bit/s=29.9 Kb/s
又传送时间t=30分钟=180 s
∴信息量为29.9⨯180=5.382 Mbit 4.12 若要以R=510/bit s 的速率通过一个带宽为8 kHz 、信噪比为31的连续信道传送，可
否实现？
解：根据SHANNON 公式
log(1)8000log32S
C W N
=+
==40 Kb/s 当连续信道为高斯信道时，C<R=510/bit s ，于是不可实现；然而信道为非高斯信道时，其信道容量小于C ，因此不能判定它与R 的大小关系，从而不能确定能否实现。

第五章 离散信道编码定理
5.1 设有一DMC ，其转移概率矩阵为
若1()Q x =1/2，23()()Q x Q x ==1/4，试求两种译码准则下的译码规则，并计算误码率。

解：
（1）最大后验概率译码准则
首先计算 ()()
()()
p x p y x p x y p y ||=
∴译码规则为
∴
11111111
26443624 e
P
⎛⎫
=⋅++⋅+=
⎪
⎝⎭
（2）最大似然准则译码计算()
p y x|
∴译码规则
∴
1111111111
2364634362 e
P
⎛⎫⎛⎫⎛⎫
=⋅++⋅++⋅+= ⎪ ⎪ ⎪
⎝⎭⎝⎭⎝⎭
显然它不是最佳。

第六章 线性分组码
6.1 设有4个消息1,2,3,a a a 和4a 被编成长为5的二元码00000，01101，10111，11010。

试给出码的一致校验关系。

若通过转移概率为p<1/2的BSC 传送，试给出最佳译码表及相应的译码错误概率表示式。

解：
（1）00
01021011
12
000
0000100
10
11010111101111
01
1010p p p C m G p p p ⎡⎤
⎡⎤⎢⎥⎢⎥⎡⎤⎢
⎥⎢⎥=⋅=⋅=⎢⎥⎢⎥⎢⎥
⎣⎦⎢⎥⎢⎥
⎣⎦
⎣⎦
从而构造出1001011010010110110100101G H ⎡⎤
⎡⎤⎢⎥=→=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦
（2） 根据最小距离译码准则，可得伴随式与错误图样的对应关系如下
001→00100 101→10100 010→01000 110→00010 011→00001 111→00110 100→10000 000→00000 （3）54321(1)5(1)2(1)e P p p p p p =------ 6.4 设二元(6,3)码的生成矩阵为
试给出它的一致校验矩阵为。

解：
H ＝001100101010110001⎡⎤
⎢⎥⎢⎥⎢⎥⎣⎦。