第五章 信道编码 习题解答
第五章 信源编码-习题答案
00000000 8 0 5.6 有二元平稳马氏链，已知 p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵。用三个符号合成一个来编写二进 制哈夫曼码，求新符号的平均码字长度和编码效率。 5.7 对题 5.6 的信源进行游程编码。若“0”游程长度的截至值为 16， “1”游程长度的截至值为 8，求编码 效率。 5.8 选择帧长 N = 64 (1) 对 0010000000000000000000000000000001000000000000000000000000000000 遍 L-D 码； (2) 对 1000010000101100000000010010000101001000000001110000010000000010 遍 L-D 码再译码； (3) 对 0000000000000000000000000000000000000000000000000000000000000000 遍 L-D 码； (4) 对 10100011010111000110001110100110000111101100101000110101011010010 遍 L-D 码； (5) 对上述结果进行讨论。
x3 x4 x5 x 6 x 7 X x1 x2 5.1 设信源 P ( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01
(1) 求信源熵 H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。
解： (1)
H ( X ) p ( xi ) log 2 p( xi )
K ki p( xi ) 3 0.2 3 0.19 3 0.18 3 0.17 3 0.15 4 0.1 7 0.01
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
《信道编码》作业及答案
《信道编码》作业及答案
1、【单选题】移动通信系统采用信道编码技术是为降低（）。
A、网络编码差错
B、语音编码差错
C、信道突发和随机差错
参考答案：C
2、【判断题】通信是指消息由一地向另一地进行有效传输，为了提高数字通信抗干扰能力的编码统称为信源编码。
A、正确
B、错误
参考答案：错误
3、【判断题】数字通信系统的发送端一般包括信源编码、信道编码、调制几个功能模块。
A、正确
B、错误
参考答案：正确
4、【判断题】TD-SCDMA信道编码的方式包括卷积编码和Turbo编码，码率有1/2和1/3。
A、正确
B、错误
参考答案：正确
5、【判断题】所谓信道编码，是在信息码元中插入一些冗余码元，从而使整体码元具有一定规律，当出现错误传输时，可以通过规律对错误码元进行检测乃至纠正。
A、正确
B、错误
参考答案：正确
6、【多选题】5G信道编码技术主要采用哪些？
A、Turbo
B、卷积码
C、Polar
D、LDPC
参考答案：C、D。
信息理论与编码课后答案第5章
第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。
掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。
信道译码模型如图5.1所示。
5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。
译码函数又称译码规则。
5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
信息论与编码 第五章曹雪虹习题答案
(2) 哪些码是非延长码？(3) 对所有唯一可译码求出其平均码长和编译效率。
解：首先，根据克劳夫特不等式，找出非唯一可译码31123456231244135236:62163:22222216463:164:22421:2521:2521C C C C C C --------------⨯<+++++=<<++⨯=+⨯>+⨯<5C ∴不是唯一可译码，而4C ：又根据码树构造码字的方法1C ，3C ，6C 的码字均处于终端节点∴他们是即时码5-2(1) 因为A,B,C,D 四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2平均信息传递速率为bit/ms=200bit/s(2) 信源熵为H(X)==0.198bit/ms=198bit/s5-5(1) 12141811613216411281128H(U)=1 2Log2()14Log4()+18Log8()+116Log16()+132Log32()+164Log64()+1128Log128()+1128Log128()+ 1.984= (2) 每个信源使用3个二进制符号,出现0的次数为出现1的次数为P(0)=P(1)=(3)相应的费诺码（5）香农码和费诺码相同平均码长为编码效率为：5-11（1）信源熵（2）香农编码：平均码长：编码效率为（3）平均码长为：编码效率：（4）哈夫曼编码平均码长为：编码效率：5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用式（4.129）对序列11111100编算术码，并计算此序列的平均码长。
解：根据算术编码的编码规则，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)27)(1log =⎥⎥⎤⎢⎢⎡=S P l根据（4.129）可得：F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–∑≥sy y P )(= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111又P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S 的码字为1101010 平均码长L 为 0.875。
第五章 信道编码 习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
信道编码习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
信息论与编码技术第五章课后习题答案
码，并求出其编码效率。
解：
信源符号 概率 编码
码字 码长
X1
3/8 0
0
1
X2
1/6 1
0
10 2
X3
1/8
1
11 2
X4
1/8 2
0
20 2
X5
1/8
1
21 2
X6
1/12
2
22 2
H(X)=-((3/8)*log(3/8)+(1/6)*log(1/6)+(1/8)*log(1/8)+(1/8)*log(1/8)+(1/8)*log(1/8)+(1/12)*log(1/12))
=2.3852 （三进制单位/信源符号）
H3(X)= H(X)/ 1.5850=2.3852/1.5850= 1.5049（三进制单位/信源符号）
L ＝(3/8)*1+ (1/6)*2+ (1/8)*2+ (1/8)*2+ (1/8)*2+ (1/12)*2＝1.625（码符号/信源符号）
η= H3(X)/ L =1.5049/1.625= 92.61 ％
5.8 已知符号集合 {x1, x2 , x3,"} 为无限离散消息集合，它们出现的概率分别为 p(x1) = 1/ 2 ， p(x2 ) = 1/ 4 ， p(x3 ) = 1/ 8 ， p(xi ) = 1/ 2i ，……。
(1) 用香农编码方法写出各个符号消息的码字。 (2) 计算码字的平均信息传输速率。
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
信息论与编码第五章课后习题答案汇编
【5.5】若有一信源
S P(s)
=
s1 0.8
s2 0.2
每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某一个二元信道中进行
传输（假设信道是无噪无损的），而信道每秒钟只传递两个二元符号。试问信源
不通过编码能否直接与信道连接？若通过适当编码能否中在信道中进行无失真
传输？若能连接，试说明如何编码并说明原因。
（1）该码是非延长码，因此肯定是惟一可译码；
（2）由于信源本身是无记忆的，因此各信源符号的概率如下表所示。
信源符号序列
概率
中间码
1
0.1
s0
01 0.09
s1
001 0.081
s2
0001 0.0729
s3
00001 0.06561
s4
000001 0.059049
s5
0000001 0.0531441
00001 s4
000001 s5
0000001 s6
00000001 s7
00000000 s8
1000 1001 1010 1011 1100 1101 1110 1111
0
（1） 试问最后的二元变长码是否是否是惟一可译码；
（2） 试求中间码对应的信源序列的平均长度 L1 ； （3） 试求中间码对应的二元变长码码字的平均长度 L2 ； （4） 计算比值 L2 / L1 ，解释它的意义，并计算这种游程编码的编码效率； 解：
【5.6】设某无记忆二元信源，概率 p1 = P(1) = 0.1 ， p0 = P(0) = 0.9 ，采用下述游 程编码方案：第一步，根据 0 的游程长度编成 8 个码字，第二步，将 8 个码字变
换成二元变长码，如下表所示。
信息论及编码理论习题答案
2 2
p(
y
|
x)
1 4
,2
y
x
2
，求：
0, 其他
(a)Y 的概率密度( y)
(b) I (X ;Y )
(c)若对 Y 做如下硬判决
1, y 1 V 0, 1 y 1
1, y 1
求 I (X ;V ) ，并对结果进行解释。
.
.
解：(a) 由已知，可得
p(
y
|
x
1)
=
1 4
3
y
1
0else
(a) 上式(c)左右两边加上 H (Y | X ) ，可得
H (Y | X ) + H (Z | X ,Y ) H (Y | X ) + H (Z | X )
于是 H (Y, Z | X ) H (Y | X ) + H (Z | X )
1,1
2.28
令概率空间
X
1
,
1
，令
Y
是连续随机变量。已知条件概率密度为
8
4
I (u1;00) = log
p(00 | u1 ) = log (1 p)2
p(00)
1/ 4
= 2[1 log(1 p)]
bit
p(000) = 1 [(1 p)3 3(1 p)2 p 3(1 p) p2 p3 ] = 1
第五章信道编码定理一
0→0000， 1→1111。
5/3/2024
14
§5.1 离散信道编码问题
译码规则如下： 当(Y1Y2Y3Y4)中1的个数为3或4时，(Y1Y2Y3Y4)→(1111)→1； 当(Y1Y2Y3Y4)中1的个数为0或1时，(Y1Y2Y3Y4)→(0000)→0； 当(Y1Y2Y3Y4)中1的个数为2时， (0011)、(1100)、(1001)→(0000)→ 0， (0101)、(1010)、(0110)→(1111)→ 1。 译码规则显然是最小距离准则。
后验概率的计算：记 q(u)=P((U1U2…UN)=u)，称q(u)为先验概率； pN(y|u)=P( (Y1Y2…YN)=y|(U1U2…UN)=u)，我们知道p(y|u)是信
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
5/3/2024
15
§5.1 离散信道编码问题
何时检测到信道传输错误？当(Y1Y2Y3Y4)不是一个码字时，检 测到信道传输错误。
换句话说，(Y1Y2Y3Y4)与原发码字(U1U2U3U4) 的Hamming距离 ≥1且≤3时，检测到信道传输错误。
因此，信道传输有错误但能检测出错误的概率为
信息论与纠错编码课后作业答案5
第5章作业参考答案5.1 解：如果信道是无噪无损信道，则有k =s ，此时信道容量为max ()max (;)()log p x C I X Y H X k === 如果信道是无噪确定信道，则有k s >，此时信道容量为{}()()()max (;)max ()()max{()}log p x p x q y C I X Y H Y H Y X H Y s ==-== 5.2解：（1）为行对称信道，不是准对称信道；（2）行集合和列集合均不同，不是准对称信道；（3）是行对称信道，也是准对称信道；（4）是准对称信道。
5.4 答： 由信息传输率的定义式()(;)()()log ()p x y R I X Y p x p y x p x ==∑可知，信息传输率是信道输入分布的函数；而信道容量C 是在某个特定输入分布下R 所取得的极大值，因此与输入分布无关，而只反映信道的特性。
5.6 解：（1）100101p p P p p p p -⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦由信道矩阵可知，该信道为对称信道。
由信道容量定理，对于对称信道，当信源等概率分布时达到信道容量，且此时输出也等概率分布。
因此有{}[]()()max (;)max ()()log3(1)log(1)log p x p x C I X Y H Y H Y X p p p p ==-=+--+（4）11P ααδδ-⎡⎤=⎢⎥-⎣⎦ 此信道只有两个输入符号，分别设为0x 和1x ，并假设两个符号出现的概率分别为p 和（1-p ）。
假设接收符号的概率分别为0q 和1q ，则有[][][]0111(1)(1)(1)1q q p p p p αααδδδαδδδ-⎡⎤=-=--+----⎢⎥-⎣⎦{}0011(;)()()log log (1,)(1)(1,)R I X Y H Y H Y X q q q q pH p H ααδδ==-=-+----- 01(;){(1)log (1)(1)log (1)}()()I X Y q q pH H αδαδαδαδαδ∂=---+--------∂-+ 01{(1)l o g }()()q H H q αδαδ=----+ 令(;)0I X Y p∂=∂可得01()()log 1q H H q δααδ-=-- 从而()()011H H q e q δααδ---=，令()()1H H e K δααδ---= 则有01K q K =+，111q K =+，(1)(1)(1)K K p K δαδ-+=---， 因此，在(1)(1)(1)K K p K δαδ-+=---时信道取得信道容量，将p ，q 0，q 1的值代入R 的表达式即可求出信道容量。
第五章 信道编码 习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：12345600000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
(完整版)信息论第五章答案
5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LK X H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制费诺码：香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
信息论与编码第五章答案学习资料
信息论与编码第五章答案5.1 设信源1234567()0.20.190.180.170.150.10.01Xa a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭ (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率. 解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑(2)(3)71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑5.2 对习题5.1的信源编二进制费诺码，计算编码效率.解：a i p(a i)编码码字k ia10.20002 a20.19100103 a30.1810113 a40.1710102 a50.15101103 a60.11011104 a70.011111145.3 对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：二进制哈夫曼码：x i p(x i)编码码字k i s61s50.610s40.391s30.350s20.261x10.20102 x20.191112 x30.1800003 x40.1710013 x50.1500103 s10.111x60.1001104 x70.01101114三进制哈夫曼码：x i p(x i)编码码字k i s31s20.540s10.261x10.2221 x20.190002 x30.181012 x40.172022 x50.150102 x60.11112 x70.0121225.4 设信源(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率；(4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解：(1)(2)二进制香农码：x i p(x i)p a(x i)k i码字x10.5010x20.250.5210x30.1250.753110x40.06250.87541110x50.031250.9375511110x60.0156250.968756111110x70.00781250.98437571111110x80.00781250.992187571111111二进制费诺码：xi p(x i)编码码字k i x10.5001 x20.2510102 x30.125101103 x40.06251011104x50.0312510111105 x60.015625101111106 x70.00781251011111107 x80.0078125111111117 (3)香农编码效率：费诺编码效率：(4)x i p(x i)编码码字k i x10.5001 x20.25111 x30.12520202 x40.06251212 x50.03125202203 x60.01562512213 x70.00781252022204 x80.0078125122214 (5)5.5 设无记忆二进制信源先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度；(3) 求对应于一个码字的信源序列的平均长度；(4) 计算，并计算编码效率；(5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长，并计算编码效率.序列数字二元码字101000011100100131010000131011000014110000000151101000000161110000000017111100000000805.6 有二元平稳马氏链，已知p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵.用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率.5.7 对题5.6的信源进行游程编码.若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率. 5.8 选择帧长N= 64(1) 对001000000000000000000000000000000100000000000000 0000000000000000遍L-D码；(2) 对100001000010110000000001001000010100100000000111 0000010000000010遍L-D码再译码；(3) 对000000000000000000000000000000000000000000000000 0000000000000000遍L-D码；(4) 对101000110101110001100011101001100001111011001010 00110101011010010遍L-D码；(5) 对上述结果进行讨论.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误可以发现几个错误请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
解：汉明码的信息码元为六个，即：6k =。
监督码元数r 应符合下式：217rk r r ≥++=+取满足上式的最小r ：4r =，即为(10，6)汉明码。
其码字由10个码元构成：12345678910x x x x x x x x x x 。
先设计校验表(不是唯一的)：根据校验表写出校验子方程：****11237****21458****32469****435610s x x x x s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎪⎨=⊕⊕⊕⎪⎪=⊕⊕⊕⎩ 写出监督方程，即监督码元与信息码元之间的关系：71238145924610356x x x x x x x x x x x x x x x x =⊕⊕⎧⎪=⊕⊕⎪⎨=⊕⊕⎪⎪=⊕⊕⎩根据监督方程编码，写出（10，6）汉明码码字(大部分略，同学们可自行完成)：7. 已知纠正一位错的（7，4）汉明码的生成矩阵为：10001100100101[]00100110001111G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1）请写出其监督矩阵； 2）请写出其校验表；3）对信源序列1110，1010，0110，...进行编码；4）对接收端接收到的码字序列0011101，1100100，1011001，…进行译码。
解：1）监督矩阵：右边3×3是单位阵，左边3×4子阵是生成矩阵右边4×3子阵的转置：1101100[]10110100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2）校验表：每个校验子列向量对应为监督矩阵的列向量，增加一个无差错列向量000。
3）根据[][][]C X G =⋅编码：1234567123410001100100101[][]00100110001111x x x x x x x x x x x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦或者用由监督矩阵得到的监督方程编码：12345671101100[]10110100111001x x x x x x x H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦512461347234x x x x x x x x x x x x =⊕⊕⎧⎪⇒=⊕⊕⎨⎪=⊕⊕⎩编码得：1110000，1010101，0110110，…4）根据校验子方程（校验子方程是监督方程左右两边异或）：****11245****21346****32347s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎨⎪=⊕⊕⊕⎩0011101 [S]=[001]Tx 7*错 0011100 0011 1100100 [S]=[111]Tx 4*错 1101100 1101 1011001 [S]=[011]Tx 3*错 10010011001译码得：0011，1101，1001，…8. （7，4）循环码的生成多项式为：32()1g x x x =++ 1）写出其监督矩阵和生成矩阵；2）对信息码元0110，1001进行编码，分别写出它们的系统码和非系统码； 3）对接收端接收到的系统码字0101111，0011100进行译码。
解：1）生成矩阵：生成多项式系数降幂排列：1101，补零成n 位的行向量：1101000，循环移位成k 行的矩阵： 4711010000110100[]00110100001101G ⨯⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦监督矩阵：校验多项式系数升幂排列：10111，补零成n 位的行向量：1011100，循环移位成r 行的矩阵：371011100[]01011100010111H ⨯⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2）根据[][][]C X G =⋅编码：111010000110100[C ][0110]00110100001101⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦得非系统码字：0101110，1100101根据多项式除法（长除法见第9题解答）编码得系统码字：0110100，1001011，具体方法如下： 0110 m (x ) = x 2+x x r m (x ) = x 5+x454223232()()11r x m x x x x x g x x x x x +==+++++ 542()()()r C x x m x r x x x x =+=++ 01101001001 m (x ) = x 3+1 x r m (x ) = x 6+x363323232()11()11r x m x x x x x x x g x x x x x ++==++++++++63()()()1r C x x m x r x x x x =+=+++ 10010113）生成多项式为g (x ) = x 3+x 2+1的（7,4）循环码校验表（获取方法见第9题解答）0101111写成多项式，除以生成多项式得余式1， [S]=[001]T，查表知C 0*错，即01011110101110，去尾部3位监督码元，得信息码元0101 。
53223232+11+11x x x x x x x x x x +++=+++++0011100写成多项式，除以生成多项式得余式x 2+x ， [S]=[110]T，查表知C 6*错，即00111001011100，去尾部3位监督码元，得信息码元1011。
9. 已知（7，4）循环码的生成多项式为：32()1g x x x =++当收到一循环码字为0010011时，根据校验子判断有无错误哪一位错了 解：32()1g x x x =++对信息码元0001用多项式除法编码得循环码字：0001101。
将0001101错成0001100，除以生成多项式得余式1，s 2s 1s 0=001表示C 0*错。
将0001101错成0001111，除以生成多项式得余式x ，s 2s 1s 0=010表示C 1*错。
将0001101错成0001001，除以生成多项式得余式x 2，s 2s 1s 0=100表示C 2*错。
……将0001101错成1001101，除以生成多项式得余式x 2+x ，s 2s 1s 0=110表示C 6*错。
写出校验表：当收到一循环码字0010011时其对应的多项式为: 41x x ++。
校验子无错 C 0*C 1*C 2*C 3*C 4*C 5*C 6*s 2 0 0 0 1 1 1 0 1 s 1 0 0 1 0 0 1 1 1 s 01111校验子无错 C 0*C 1*C 2*C 3*C 4*C 5*C 6*s 2 0 0 0 1 1 1 0 1 s 1 0 0 1 0 0 1 1 1 s 01111列竖式做多项式除法（以下左式）：32433322111x x x x x xx x x x ++++++++32433232111x x x x x xx x x x +++++++++得余式为2x ，s 2s 1s 0=100，表示C 2*错，即右起第三位错，正确的码字应为0010111，其对应的多项式为：421x x x +++。
将此多项式进行验证（上式右式），余式为0，可见正确。
10. 已知（3，1，3）卷积码的监督方程为：,-1,-2a i i i b ii i p m m p m m =+⎧⎨=+⎩或者：已知（3，1，3）卷积码的基本监督矩阵：0[]H ⎡⎤=⎢⎥⎣⎦0 0 1 0 0 1 1 01 0 0 0 0 0 1 0 1 对信源序列010110…进行编码。
解：对于（3，1，3）卷积码，若输入信息码元： m i -2 , m i -1, m i , …，则编码后码字：m i -2, p a,i -2, p b,i -2, m i -1, p a,i -1, p b,i -1, m i , p a,i , p b,i , …根据监督方程编码得：000，111，010，110，101，011， （默认初始化状态为0）11. 已知（4，3，3）卷积码的基本监督矩阵：[][]110010101111H =，对输入信息码元:…进行编码。
解：根据k = 3分组，计算1位监督码元置于后，得卷积码字：1010，1001，1100，1111，… （提示：编码后的码字形式为：***012034516782a a a p a a a p a a a p 根据监督矩阵知其计算方法，前三个码字计算为：*0012p a a a =⊕⊕*102345 p a a a a a =⊕⊕⊕⊕*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕第四个码字起，移动对应位置使p 2*为当前要求的监督码元，计算为：*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕）作业：1、3、4、7、8、10、11。