信息论第五章答案解析
《信息论》第五章
=1 3
7
结论:错误概率不仅与信道的统计特性有关,而且与译 结论:错误概率不仅与信道的统计特性有关, 码规则有关. 码规则有关. 我们来定义译码规则 设信道的输入符号集为X =1, 设信道的输入符号集为X={ ai},i =1,2,…,r ; 输出符号集为Y =1, 输出符号集为Y= {bj},j =1,2,…,s. 制定译码规则就是设计一个单值函数F ),它对于 制定译码规则就是设计一个单值函数F(bj),它对于 每一个输出符号b 确定一个唯一的输入符号a 每一个输出符号bj确定一个唯一的输入符号ai与其对应 . F(bj)= ai 即 i =1,2,…,r =1, j =1,2,…,s =1, 种译码规则可供选择. 注:对于同一有噪信道共有 r s 种译码规则可供选择.
15
编码1 编码1:将每个码元重复三次 纠正任一位上的错误 设码字记为 (c8c7c6c5c4c3c2c1c0 ) 由编码方法知
c8 = c7 = c6 c5 = c4 = c3 c2 = c1 = c0
纠错: c c 位出错. 纠错:如果 8 = c6 ≠ c7,则 7位出错.在同一组中以 相同二 — ( ). 元数多的为正确 — — —大数判决法 择多译码"规则 "择多译码"
3×10-4 2×10-2 2.23×10-2 7.8×10-4 3×10-2 × × × × ×
14
错误概率与编码方法
重复发送——大数判决规则 重复发送——大数判决规则 信息数据 000 001 010 011 100 101 110 111 编码1 编码1 000000000 000000111 000111000 000111111 111000000 111000111 111111000 111111111 编码2 编码2 000000000 001001001 010010010 011011011 100100100 101101101 110110110 111111111
信息论基础与应用-李梅-第五章 无失真信源编码解析
二次扩展码码字 w j ( j 1, 2,...,16)
w1 w1w1 00 w 2 w1w2 001 w3 w1w3 0001 w16 w4 w4 111111
第五章：无失真信源编码
一、信源编码的相关概念
4. 关于编码的一些术语
编码器输出的码符号序列 wi称为码字；长度 li 称为码 字长度，简称码长；全体码字的集合C称为码。 若码符号集合为X={0,1}，则所得的码字都是二元序 列，称为二元码。
将信源符号集中的每个信源符号
si 固定的映射成某
一个码字 wi ，这样的码称为分组码。
码字与信源符号一一对应
2) 不同的信源符号序列对应不同的码字序列
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续2）
例1：
1) 奇异码
s1 s2 s3 s4
0 11 00 Байду номын сангаас1
译码 11
s2 s4
奇异码一定不是唯一可译码
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续3）
译码 0 0 0 1 1 0 1 1
s1s2 s3 s4
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续5）
4)
唯一可译码 1 1 0 1 0 0 1 0 0 0 0
s1 s2
1 10
1 0
1
s2 / s3 ?
s3 100 s4 1000
为非即时码
第五章：无失真信源编码
一、信源编码的相关概念
信息论与编码第五章答案
信息论与编码第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21 year.March设信源「x ]=严①①①勺% 5 “(X)」[0.2 0.19 0.18 0.17 0.15 0.1 0.01(1) 求信源爛H(X)；(2) 编二进制香农码；(3) 计算平均码长和编码效率.解：(1)H(X)= -另/Xt/Jlogn p(di)i・l=-0.2 x log 三02 - 0」9 x log 0」9-0.18xlog20.18-0.17xlog20.17-0.15xlog20.15-0.1xlog20.1-0.01xlog2 0.01=2.609”〃 / symbol斤=》&°a)= 0・2x3 + 0」9x3 + 0」8x3 + 0」7x3 + 0」5x3 +0.1x4 + 0.01x7= 3.141Z7 = ^y M2 = H(X)/^ = 2.609^3.141 =83.1%对习题的信源编二进制费诺码，计算编码效率. 解：=M_2% r = 2fc /X^) = 2xO_2+3xO_19+3xO_18+2xO_17+3xO_15+ 4x01+4x001 = 274H(X) _ _ 2-609 R ~ X ~ 2-74对信源l/cxj I 0-2 o w 01g 017 015 01编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：二进制哈夫曼码:r = 2fc /X^) = 2xO_2 + 2xO_19+3xO_18+3xOJ7+3xO_15+ 4x01+4x001 =2_72R K 2_72三进制哈夫曼码:=914%= 1x0-2 +2x(019+ 0.18+0J7 +0.15+OJ+O-Ol)=L8H(X) HQXi 2.609 4=豪= =l_8xlDg 23 V，D82O T设信源⑴求信源H(X)；⑵编二进制香农码和二进制费诺码；⑶计•算二进制香农码和二进制费诺码的平均码长和编码效率； ⑷编三进制费诺码；⑸计算三进制费诺码的平均码长和编码效率； 解： ⑴更3)=-送>(对如B 2 Pg)i-1=—xk>g 2 2+—5clog 2 4+—xlog 28+—xlog 316 +—xk>g 332+—xlog 264 + ^—xlog 3128 + ^—： 224 X 2 16 32 64 128 128 = 1_984 Iriifsymbol⑵二进制香农码:XiP (Xi)P<M ki码字X11 0 X22 10 X33 110 X44 1110 X55 11110 X66 111110 X77 1111110 X871111111二进制费诺码:xiP (Xi)编码码字k Xi1 X2102211103屯耳七总 X, £ [1111118 16 32 64 128 128香农编码效率：r = yfcX^) = -xl + lx2+lx3+Ax4+Ax5 +—X6+—X7 + —X7T £2 4 8 16 32 64 128 128=1.9&4R K 1_984费诺编码效率：r = yfcX^) = -^l + ix2+ix3+Ax4+Ax5 +—x6+—x7 + —x7 T 2 4 8 16 3264128 128=1_984R K 1_984⑷⑸^=Sfc;X^) = -xl+-xU-x2+ —x2+—X3+A X3+X X4+X X4V 2 4 & 16 3264 128 12S=1328R X 1328x1^,3~ X]J Q r设无记忆二进制信源|_切」I0-9 01先把信源序列编成数字0, 1, 2 ............... .. 8,再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度热;(3) 求对应于一个码字的信源序列的平均长度不;⑷计算耳，并讣算编码效率；⑸若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长疋, 并计算编码效率.p(0/0) = , p(l/l)=,码，求新符号的平均码字长度和编码效率.对题的信源进行游程编码•若“0”游程长度的截至值为16, “1”游程长度的截至值为&求编码效率.选择帧长A/ = 64(1) 对00000000000000000000000000000000000000 遍L・D 码；(2) 对000000000010 遍L-D 码再译码;⑶对0000000000000000000000000000000000000000000000000000000000000000遍L-D码；⑷对0遍L-D码；(5)对上述结果进行讨论.。
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
信息论与编码技术第五章课后习题答案
5.4 已知信源的各个消息分别为字母 A，B，C，D，现用二进制码元对消息字母作信源编码，A：
(2) 考虑没有给予编码的信源序列出现的概率，该定长码引起的错误概率 P 是多少?
解：（1）信源序列中含有 3 个或小于 3 个“0”的各信源序列个数有：
M
=
C0 100
+
C1 100
+
C2 100
+
C3 100
=1+100+4950+161700=166750
对 M 个信源序列进行无失真的二元等长编码，必须： 2l ≥ M = 166750 = 217.35
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
5.5 若消息符号、对应概率分布和二进制编码如下：
消 息 符 a0
a1
a2
a3
号
pi
1/2 1/4 1/8 1/8
编码
0
10
110 111
试求：
(1) 消息符号熵; (2) 各个消息符号所需的平均二进制码个数;
5.6 某信源有 8 个符号{a1, a2 , a3,", a8} ，概率分别为 l/2，l/4，1/8，1/16，1/32，1/64，1/128，1/128，
试编成这样的码：000，001，010，011，100，101，110，111 的码。求：(1) 信源的符号熵 H(X)； (2) 出现一个“1”或一个“0”的概率；(3) 这种码的编码效率；(4) 相应的香农码和费诺码；(5) 该码的 编码效率。
信息论与编码第五章习题参考答案
5.1某离散无记忆信源的概率空间为采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特 7)()(77=-=a lbp a I 比特根据香农码编码方法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程5.2某离散无记忆信源的概率空间为使用费罗码对该信源的扩展信源进行二进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1）平均码长11=L 比特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=⨯+⨯+⨯⨯+⨯⨯+⨯⨯+⨯+⨯⨯+⨯=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
《信息论与编码》第五章作业
5.1 设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭(1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit sign==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑(3)71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑5.2 对习题5.1的信源编二进制费诺码，计算编码效率。
解：71()0.220.1930.1830.1720.1530.140.0142.74i i i K k p x ===⨯+⨯+⨯+⨯+⨯+⨯+⨯=∑()()/ 2.609 2.7495.2%H X H X K Rη===÷= 5.3 对习题5.1的信源编二进制赫夫曼码，计算各自的平均码长和编码效率。
解：二进制赫夫曼码：()()()0.20.1920.180.170.1530.10.0142.72K =+⨯+++⨯++⨯=()()()22222222log 0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1og 0.10.01og 0.010.46440.45520.44530.43460.41050.33220.06642.61i i H X p a p a bitsign=-=-------=++++++=∑()() 2.6195.96%2.72H X H X R Kη==== 5.4 设信源()1234567811111111248163264128128a a a a a a a a X P X ⎧⎫⎛⎫⎪⎪=⎨⎬ ⎪⎝⎭⎪⎪⎩⎭(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码； 解：(1)解：（1）()()()log 11111111log log log log224488161611111111log log log log 323264641281281281281.984375i i H X P a P a bitsign=-=--------=∑(2)二进制香农码：二进制费诺码：(3)香农编码效率：()()211111111123456772481632641281281.984375log 1.984375100%1.984375K KR mLH X H X R Kη=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯======费诺编码效率：()()211111111123456772481632641281281.984log 1.984100%1.984K KR m LH X H X R K η=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯======5.15、将正弦信号()()0.25sin 400x t t π=输入采样频率为4kHz 采样保持器后通过增量编制器，该调制器的初始量化00q d =，量化增量0.125= 。
信息论-第五章
将输出值 y译为码字 u(0)。
2024/10/2
14
§5.1 离散信道编码问题
命题 最大似然概率准则等价于最小距离准则。 证明
pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d，
记w(y)=P((Y1Y2…YN)=y)。我们知道
w( y) q(u) pN ( y | u)； u跑遍所有的码字 （全概率公式）
b(u | y) q(u) pN ( y | u) w( y)
q(u) pN ( y | u) ；
q(c) pN ( y | c)
c跑遍所有的码字
（贝叶斯公式）
一些。发送哪个码字的条件下，最可能收到y，就认为发送 的是哪个码字。 最大似然概率准则（最小距离准则）的实现比最大后验概率 准则的实现更简单：前者只需要看哪个码字与y的Hamming 距离最小；后者需要知道各码字的概率分布，然后用贝叶 斯公式计算并比较后验概率。 两种准则都可以用在没有编码（直接发送）情况下的纠错译 码。
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
（以后将称d为Hamming距离）
2024/10/2
11
§5.1 离散信道编码问题
C40
p0 (1
p)4
C41
p1 (1
p)3
1 2
C42
p2 (1
(信息论)第5章无失真信源编码
定长编码定理
定长信源编码定理讨论了编码的有关参数对译 码差错的限制关系
sq p s q
定理 5.3.1 设离散无记忆信源
S s1 P p s 1 p s 2 s2
的熵为H S ，其 N 次扩展信源为
S N 1 p 1 P
2 q p 2 p q
N N
现在用码符号集 X x1 , x2 ,, xr 对N次扩展信源 S N 进行长度为 l 的定长编码，对于 0, 0 ，只要满足
l H S N log r
则当 N 足够大时，译码错误概率为任意小，几乎可以实 现无失真编码。 反之，若满足
l H S 2 N log r
则不可能实现无失真编码。而当N足够大时，译码错误概 14 率近似等于1。
以上的定理5.3.1 和定理5.3.2实际上说明的是一个 问题，虽然该定理是在平稳无记忆离散信源的条件下 证明的，但它也同样适合于平稳有记忆信源，只要要 2 求有记忆信源的极限熵 H S 和极限方差 存在 即可。对于平稳有记忆信源，式(5.6)和式(5.7 ) 中 H S 应该为极限熵 H S 。
变长码(可变长度码)
2
奇异码：若码中所有码字都不相同，则称此码为非
奇异码。反之，称为奇异码。
同价码：每个码符号所占的传输时间都相同的码。定
长码中每个码字的传输时间相同。而变长码中的每个码 字的传输时间不一定相等。
表 5.1
信源符号si
信源符号出现概率 si p
信息论与编码第五章课后习题答案
第五章课后习题【5.1】某信源按43)0(=P ，41)1(=P 的概率产生统计独立的二元序列。
（1）试求0N ，使当0N N >时有01.005.0)()(≤≥−S H N I P i α 式中，)(S H 是信源的熵。
（2）试求当0N N =时典型序列集N G ε中含有的信源序列个数。
解：（1）该信源的信源熵为811.0)(log )()(=−=∑i i s p s p S H 比特/符号自信息的方差为4715.0811.04log 4134log 43)()]([)]([22222=−+=−=S H s I E s I D i i 根据等长码编码定理，我们知道δεα−≤≥−1)()(S H N I P i 根据给定条件可知，05.0=ε，99.0=δ。
而[]2)(εδN s I D i =因此[]5.19099.0*05.04715.0)(220==≥δεi s I D N 取1910=N 。
（2）ε典型序列中信源序列个数取值范围为：])([])([22)1(εεεδ+−<<−S H N N S H N G代入上述数值得451.164351.1452201.0<<×N G ε【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 和F 。
表5.2消息 )(i a P A B C D E F 1a 1/2 000 0 0 0 0 0 2a 1/4 001 01 10 10 10 100 3a 1/16 010 011 110 110 1100 101 4a 1/16 011 0111 1110 1110 1101 110 5a 1/16 100 01111 11110 1011 1110 111 6a1/1610101111111111011011111011（1） 求这些码中哪些是惟一可译码； （2） 求哪些码是非延长码（即时码）； （3） 求对所有惟一可译码求出其平均码长L 。
信息论答案(傅祖芸)
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 H ( X ) = − ∑ P( x) log P( x) = 1.91 比特/符号
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内， 且它们的坐标分别为（XA,YA）和（XB,YB） ，但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。 （3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解： （1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一 格的概率空间为： a X 1 P = 1 48 平均自信息量为 H ( A) = log 48 = 5.58 比特/符号 （2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A) 。 A 已落入，B 落入的格可能有 47 个，条件概率 P(b j | ai ) 均为
即函数 f ( x ) 为减函数，因此有 f (0) ≥ f (ε ) ，即 ( p1 − ε ) log( p1 − ε ) + ( p 2 + ε ) log( p 2 + ε ) ≤ p1 log p1 + p 2 log p 2 因此 H ( X ) ≤ H ( X ′) 成立。 【解释】 当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。 【2.11】试证明：若 ∑ pi = 1 ， ∑ q j = p L ，则
男同志红绿色盲的概率空间为： a2 X a1 P = 0.07 0.93 问男同志回答“是”所获昨的信息量为： I = log 1 ≈ 3.836 比特/符号 0.07
信息论与编码第5章习题解答
= λ ( 0) ⋅ p * (1) ⋅ e 2s + 0.5 ⋅ λ (1) ⋅ p * (0) ⋅ e s Rs = s ⋅ Ds + 0.5 ⋅ [log λ ( 0) + log λ (1)]
其中参数 s < 0 。
5.7
x2 X x1 1 设信源 = ( p < ) ，其失真度为 Hamming 失真度，试问当允许 2 p (x ) p 1 − p 1 平均失真度 D = p 时，每个信源符号平均最少需要几个二进制符号表示？ 2
所以转移概率矩阵具有与失真矩阵相同的置换对称。
α a1 a 2 a 3 β b1 γ a α a a β b γ 3 2 1 P= 1 a a α a b β γ 2 3 1 1 a a a α b β γ 3 2 1 1 ˆ ˆ 由于对于使失真 d ( xi , x j ) = ∞ 的 ( xi , xi ) ，相应的转移概率必须为零，即
所以
R( D ) =
β =D − 3 γ ≥0 α =1− D +2γ ≥0 γ ≥0
β = D − 3γ ≥ 0 α = 1 − β − γ = 1 − D + 2γ ≥ 0 γ ≥0 min {2 − D + γ }
= ( 2 − D ) bit
当1 ≤ D ≤ 3 ，
所以
D α + β + γ = 1 β = D − 3γ ≥ 0 γ ≤ 3 β + 3γ = 0 ⇒ α = 2γ − D + 1 ≥ 0 ⇒ D −1 γ ≥0 γ ≥ α , β , γ ∈ [ 0,1] 2 R( D ) = min {2 − D + γ }
信息理论与编码课后答案第5章
第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。
掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。
信道译码模型如图5.1所示。
5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。
译码函数又称译码规则。
5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。
信息论基础与编码(第五章)
信息论基础与编码(第五章)5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。
（1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）； （3） 对所有唯一可译码求出其平均码长。
001111解：（1）1,2,3,6是唯一可译码； (2)1,3,6是即时码。
5-2证明若存在一个码长为12,,,ql l l ⋅⋅⋅的唯一可译码，则一定存在具有相同码长的即时码。
证明：由定理可知若存在一个码长为的唯一可译码，则必定满足kraft 不等式1。
由定理4可知若码长满足kraft 不等式，则一定存在这样码长的即时码。
所以若存在码长的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。
5-3设信源126126()s s s S p p p P s ⋅⋅⋅⎡⎤⎡⎤=⎢⎥⎢⎥⋅⋅⋅⎣⎦⎣⎦，611i i p ==∑。
将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =⋅⋅⋅），其对应的码长为（126,,,l l l ⋅⋅⋅）=（1，1，2，3，2，3），求r 值的最小下限。
解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长（l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即LqL L ,,2,1 ∑=-qi l ir1≤4⋅LqL L ,,2,1132321161≤+++++=------=-∑r r r r r r ri li所以要满足 122232≤++rr r ，其中 r 是大于或等于1的正整数。
可见，当r=1时，不能满足Kraft 不等式。
当r=2, 1824222>++，不能满足Kraft 。
当r=3, 127262729232<=++，满足Kraft 。
所以，求得r 的最大值下限值等于3。
(完整版)信息论第五章答案
5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率。
解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑=%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LK X H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制费诺码：香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
信息论与编码第五章答案学习资料
信息论与编码第五章答案5.1 设信源1234567()0.20.190.180.170.150.10.01Xa a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭ (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率. 解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑(2)(3)71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑5.2 对习题5.1的信源编二进制费诺码，计算编码效率.解：a i p(a i)编码码字k ia10.20002 a20.19100103 a30.1810113 a40.1710102 a50.15101103 a60.11011104 a70.011111145.3 对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：二进制哈夫曼码：x i p(x i)编码码字k i s61s50.610s40.391s30.350s20.261x10.20102 x20.191112 x30.1800003 x40.1710013 x50.1500103 s10.111x60.1001104 x70.01101114三进制哈夫曼码：x i p(x i)编码码字k i s31s20.540s10.261x10.2221 x20.190002 x30.181012 x40.172022 x50.150102 x60.11112 x70.0121225.4 设信源(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率；(4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解：(1)(2)二进制香农码：x i p(x i)p a(x i)k i码字x10.5010x20.250.5210x30.1250.753110x40.06250.87541110x50.031250.9375511110x60.0156250.968756111110x70.00781250.98437571111110x80.00781250.992187571111111二进制费诺码：xi p(x i)编码码字k i x10.5001 x20.2510102 x30.125101103 x40.06251011104x50.0312510111105 x60.015625101111106 x70.00781251011111107 x80.0078125111111117 (3)香农编码效率：费诺编码效率：(4)x i p(x i)编码码字k i x10.5001 x20.25111 x30.12520202 x40.06251212 x50.03125202203 x60.01562512213 x70.00781252022204 x80.0078125122214 (5)5.5 设无记忆二进制信源先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度；(3) 求对应于一个码字的信源序列的平均长度；(4) 计算，并计算编码效率；(5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长，并计算编码效率.序列数字二元码字101000011100100131010000131011000014110000000151101000000161110000000017111100000000805.6 有二元平稳马氏链，已知p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵.用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率.5.7 对题5.6的信源进行游程编码.若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率. 5.8 选择帧长N= 64(1) 对001000000000000000000000000000000100000000000000 0000000000000000遍L-D码；(2) 对100001000010110000000001001000010100100000000111 0000010000000010遍L-D码再译码；(3) 对000000000000000000000000000000000000000000000000 0000000000000000遍L-D码；(4) 对101000110101110001100011101001100001111011001010 00110101011010010遍L-D码；(5) 对上述结果进行讨论.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。
解： (1)symbolbit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(2222222712=⨯+⨯+⨯+⨯+⨯+⨯+⨯-=-=∑= (2)(3)%1.8314.3609.2)()(14.301.071.0415.0317.0318.0319.032.03)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.2 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制费诺码，计算编码效率。
解：%2.9574.2609.2)()(74.201.041.0415.0317.0218.0319.032.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η5.3 对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。
解：二进制哈夫曼码：%9.9572.2609.2)()(72.201.041.0415.0317.0318.0319.022.02)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η三进制哈夫曼码：%4.913log 8.1609.2log )()(8.1)01.01.015.017.018.019.0(22.01)(22=⨯====+++++⨯+⨯==∑m LKX H R X H x p k K ii i η5.4 设信源⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡12811281641321161814121)(87654321x x x x x x x x X P X (1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； (4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解： (1)symbolbit x p x p X H i i i /984.1128log 1281128log 128164log 64132log 32116log 1618log 814log 412log 21)(log )()(22222222812=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=-=∑==127/64 bit/symbol (2)二进制香农码：二进制费诺码：(3)香农编码效率：%100984.1984.1)()(64/127984.17128171281664153214161381241121)(======⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η费诺编码效率：%100984.1984.1)()(984.17128171281664153214161381241121)(=====⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑KX H R X H x p k K ii i η (4)(5)%3.943log 328.1984.1log )()(328.14128141281364133212161281141121)(22=⨯=⋅===⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯==∑m K X H R X H x p k K ii i η5.5 设无记忆二进制信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡1.09.010)(X P X先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示。
(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度1K ； (3) 求对应于一个码字的信源序列的平均长度2K ； (4) 计算12K K ，并计算编码效率； (5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长K ，并计算编码效率。
解：（1）满足Kcraft 不等式：122821491=+⨯=--=-∑i K i；由码树图可见，没有一个码字是其它码字的前缀，码字均在树的终结点。
所以码字可分离。
8123456711111111000000（2）序列长度、序列概率及二元码长如下表所示：数字符号信源符号/.6935911==∑=i i i L p K（3） 数字符号/.bit L p K i ii70862912='=∑=（4）信源符号/.bit K K 4756012=, 此值表示无记忆二元信源采用游程长度编码后每个二元信源需要的平均码长。
信源符号/.)(log )()(bit x p x p X H i i 469021i 2==∑=，%./)(69812==K K X H η（5）4位信源符号的联合概率、Huffman 编码及码长如下表：（码字可以不同，但码长一样）%.)(/./,/.)(29549260449702141614======∑=KX H Symbit K K Sym bit L s p K i i i η5.6 有二元平稳马氏链，已知p (0/0) = 0.8，p (1/1) = 0.7，求它的符号熵。
用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率。
解：平稳时马尔科夫状态的概率：⎩⎨⎧=+-+=17018010100)()()().()(.)(S P S P S P S P S p 解得：⎩⎨⎧==525310/)(/)(S P S p 一阶马氏信源的熵：sym bit S S P S Sp S p H j i j i jii /.log log log )|(log )|()(7860725732535251422212111=--+-=-=∑∑==+701130102001800052153023121321.)|(,.)|(,.)|(,.)|(,/)(,/)()|()|()()(=================S S p S S p S S p S S p S p S p S S p S S p S p S S S p%.//.)()()()(14903361621253271253250952502125021125124250491251231254811191====+⨯+++⨯++⨯+⨯==+=∑K Hsym bit L s p K i i i η11010101100111000011110006/2509/25021/25021/25024/25024/25049/25096/25015/25036/25045/25060/25094/250154/2500000001111115.7 对题5.6的信源进行游程编码。
若“0”游程长度的截止值为16，“1”游程长度的截止值为8，求编码效率。
解：一阶马氏信源的熵同上题，sym bit H /.786011=+二元平稳一阶记忆序列“0”游程的长度概率：∑∞=-=>=⎪⎩⎪⎨⎧=10001500110000011515321i i l ii i l i lp l l p p p l p )(,...,,)(///二元平稳一阶记忆序列“1”游程的长度概率：∑∞=-=>=⎪⎩⎪⎨⎧=111171110111111177321i i l ii i l i l p l l p p p l p )(,...,,)(///“1”游程长度的熵：信源符号/.2),()(log )(log )(log log )(log log )(log )(log log )(log log )(log log )(log log ][log ][][log ][][/////////////////////////////////////////////bit p p H p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p pl p p pp p p pp pp p l p l p l p l p l H i i i i i i i i i i i l l l l l il l l l l i i il ii696111111171111110117111121171111102711711271111211711111127111027117112711711111111210111027117171127111127110111110210111717112711101112101117171127111211121111111111111=--=-----=----+--=-∂∂⋅⋅---=----=--=--=-=∑∑∑∑∑∑=-==--=--=∞=同理，“0”游程长度的熵：信源符号/.),()(][////bit p p H p p l H i 48331101000015000=--= 分别对“0”和“1”游程序列进行Huffman 编码，并分别计算出它们的编码效率。
“0”游程序列的长度、对应得概率、Huffman编码的二元码长及码字数字符号信源符号/.)())(()())(()()()()()(5113517654312517654312171651514132150013019060302000111500130110017014010120010130120010011502007012004012000111612=+++++++++=+++++++++=+++++++++++++++==∑=p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p L p L i i i %.././][199951134833200===L l H i η“1”游程序列的长度、对应得概率、Huffman 编码的二元码长及码字：数字符号二元码字/.)())((////////'73241432171121111411102111110812=++++++==∑=p p p p p p p p K p K i i i%.../][75987326962211===K l H i η %....][][/][/][][][111019973251136962483322000=++=++=++=∴K L l H l H l H l H l H l H i i i i i i ηηη 可见满足10ηηη>>，这里的“0”游程编码效率高，因为游程长度长，而“1”游程编码效率受游程的长度限制显得比“0”游程编码效率略低一些，因此整体的编码效率介于两者之间。