信息论与编码理论-彭代渊-第5章有失真信源编码_习题答案-20071225
《信息论与编码》课件第5章 信源编码技术
❖ 例5.2对例5.1的信源进行费诺编码,具体编码过程如下
消息符 号
概率
a1
0.20
a2
0.19
a3
0.18
a4
0.17
编码效率为
H (X ) 2.61 0.953
L 2.74
➢ 显然，费诺码要比上述香农码的平均码长小，编码效率高。
➢ 从上面的例子可以看出，p(a4)<p(a2)，而码长L4<L2，从 统计角度来看，平均码长一定不是最短的;
➢ 如果将两个符号对应的码字互换，这样编码得到的平均码长
肯定小于原来的平均码长。尽管如此，费诺码的平均码长仍
10 2
11 2 010 3
011 3
方法1 方法2
❖ 根据两种方法的编码结果，计算两种哈夫曼码的平 均码长，结果是两种编码方法的平均码长相等，即
7
L p(ai )li =2.2 码元/符号 i 1
编码效率也相等，都为 H (X ) =0.965
，L
但是两种码的质量不完全相同，编码质量可以用码方差衡量，即
a5
0.15
a6
0.10
a7
0.01
第一次 分组
0
1
第二次 分组
0 1 0
1
第三次 分组
0 1 0
1
第四次 分组
0 1
二元码字
00 010 011 10 110
1110
1111
码长
2 3 3 2 3
4
信息论与编码第5章限失真信源编码
第一节 失真测度
• 以上所举的三个例子说明了具体失真度的定义. 一般情况下根据实际信源的失真, 可以定义不同 的失真和误差的度量.
• 另外还可按照其他标准, 如引起的损失、风险、 主观感受上的差别大小等来定义失真度d(ui,vj).
• 从实用意义上说, 研究符号实际信源主观要求的、 合理的失真函数是很重要的.
第一节 失真测度
设信源变量为U={u1,…,ur}, 接收端变量为 V={v1,…,vs}, 对于每一对(u,v), 指定一个非负 函数
d(ui,vj)≥0 称为单个符号的失真度(或称失真函数). 失真函数用来表征信源发出符号ui, 而接收端再现 成符号vj所引起的误差或失真. d越小表示失真越小, 等于0表示没有失真.
➢ 应该指出, 研究R(D)时, 条件概率p(v|u)并没有 实际信道的含义. 只是为了求互信息的最小值而引 用的、假想的可变试验信道. ➢ 实际上这些信道反映的仅是不同的有失真信源编 码或信源压缩. 所以改变试验信道求平均互信息最 小值, 实质上是选择编码方式使信息传输率为最小.
率失真理论与信息传输理论的对偶关系
– 接收端获得的平均信息量可用平均互信息量I(U;V)表示;
– 这就变成了在满足保真度准则的条件下 D D 找平均互信息量I(U;V)的最小值.
,寻
– 因为BD是所有满足保真度准则的试验信道集合, 即可以 在D失真许可的试验信道集合BD中寻找某一个信道 p(vj|ui), 使I(U;V)取最小值.
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.
《信息论与编码》部分课后习题参考答案
若知道是星期几，则从别人的答案中获得的信息量为 0。 2.3 每帧电视图像可以认为是 3*10^5 个像素构成，所有像素均独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像喊多少信息量？如果一个广 播员在约 10000 个汉字的字汇中选取 1000 个字来口述此电视图像，试问广播员描述此图像 所广播的信息量是多少（假设汉字字汇是等概率分布，并且彼此独立）？若要恰当地描述此 图像，广播员在口述中至少需用多少汉字？ 答：由于每一象素取 128 个不同的亮度电平，各个亮度电平等概率出现。因此每个亮度电平 包含的信息量为 I(X) = – lb(1/128)=lb128=7 bit/像素 每帧图像中像素均是独立变化的， 因此每帧图像信源就是离散亮度电平信源的无记忆 N 次扩展。由此，每帧图像包含的信息量为 I(XN) = NI(X)= 3×105×7 =2.1×106 bit/帧 广播员在约 10000 个汉字中选取字汇来口述此电视图像， 各个汉字等概分布， 因此每个 汉字包含的信息量为 I(Y) = – lb(1/10000)=lb1000=13.29 bit/ 字 广播员述电视图像是从这个汉字字汇信源中独立地选取 1000 个字进行描述，因此广播 员描述此图像所广播的信息量是 I(YN) = NI(Y)= 1000×13.29 =1.329 ×104 bit/字 由于口述一个汉字所包含的信息量为 I(Y)，而一帧电视图像包含的信息量是 I(XN)，因此 广播员要恰当地描述此图像，需要的汉字数量为：
《信息论与编码》
部分课后习题参考答案
1.1 怎样理解消息、信号和信息三者之间的区别与联系。 答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是 信号。 消息是信息的载体， 信息是指消息中包含的有意义的内容， 是消息中的未知成分。 1.2 信息论的研究范畴可以分成哪几种，它们之间是如何区分的？ 答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。 1.3 有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背 诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。 ” ，随着年龄的增长， 离家求学、远赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这 些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。 答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识 水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广 义信息论的范畴。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3616236log 36215)(=⨯⨯+⨯⨯=∴ (4)信源空间：bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
[工学]信息论与编码_第5章有失真信源编码
![[工学]信息论与编码_第5章有失真信源编码](https://img.taocdn.com/s3/m/47bf031b2f60ddccdb38a022.png)
13
5.1 信息率失真函数
有失真信源编码器模型
X
信源编码器
Y
xi{a1,,an}
yj{b1,,bm}
假想信道
信源编码器 有干扰的假想信道 信息传输率R I(X;Y)
14
5.1 信息率失真函数
nm
D
p(ai ) p(bj | ai )d (ai , bj )
例5.1.1. 设信源符号X{0,1}, 编码器输出符号Y{0,1,2}, 规定失真函数为
d(0,0 )= d(1,1)=0 d(0,1 )= d(1,0)=1 d(0,2 )= d(1,2)=0.5 则失真矩阵为
d
0 1
1 0
0.5
0.5
.
6
a1
b1
a2
b2
an
bn
1
0 i j
8
5.1 信息率失真函数
均方失真： d（xi , yj ) (xi yj )2 绝对失真： d（xi , y j ) | xi y j |
相对失真： d（xi , y j ) | xi y j | | xi | 误码失真（适用于离散信源）：
适用于连续信源
0,
i1 j1
若p(ai)和d(ai,bj)已定，则平均失真由信道转移概率{p(bj|ai)} 完全确定，所有满足平均失真小于等于门限D的信道集合
PD p(bj | ai ) : D D,1 i n,1 j m
15
5.1 信息率失真函数
信息率失真函数
R(D) min I (X ,Y ) PD
允许压缩信源输出的信息率。
研究内容：信息率
信息论 基础理论与应用第三版(傅祖芸) 第5章 讲义
则不可能实现无失真编码，当N趋向于无穷大时，译码错误 率接近于1。
•分析：定理中的条件式可写成
l log r NH (S )
左边: 长为 l 的码符号（码字）所能载荷的最大信息量； 右边: 长为N的信源符号序列平均携带的信息量。 因此，定理说明了：只要码字传输的最大信息量大于信源序 列携带的信息量，则可以实现无失真编码 。
第5章 无失真信源编码定理
5.1 编码器 5.2 等长码 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
信息论第五章 信源编码习题答案
1111110
7
x8
0.0078125
1
1111111
7
(3)
香农编码效率：
费诺编码效率：
(4)
xi
p(xi)
编码
码字
ki
x1
0.5
0
0
1
x2
0.25
1
1
1
x3
0.125
2
0
20
2
x4
0.0625
1
21
2
x5
0.03125
2
0
220
3
x6
0.015625
1
221
3
x7
0.0078125
2
0
2220
100
x5
0.15
0.74
3
101
x6
0.1
0.89
4
1110
x7
0.01
0.99
7
1111110
1)
0.0 --- 0.000000
2)
0.2*2 = 0.4 0
0.4*2 = 0.8 0
0.8*2 = 1.6 1
3)
0.39 * 2 = 0.78 0
0.78 * 2 = 1.56 1
0.56 * 2 = 1.12 ki
x1
0.2
0
0
00
2
x2
0.19
1
0
010
3
x3
0.18
1
011
3
x4
0.17
1
0
10
2
x5
0.15
1
信息论与编码技术第五章课后习题答案
5.4 已知信源的各个消息分别为字母 A，B，C，D，现用二进制码元对消息字母作信源编码，A：
(2) 考虑没有给予编码的信源序列出现的概率，该定长码引起的错误概率 P 是多少?
解：（1）信源序列中含有 3 个或小于 3 个“0”的各信源序列个数有：
M
=
C0 100
+
C1 100
+
C2 100
+
C3 100
=1+100+4950+161700=166750
对 M 个信源序列进行无失真的二元等长编码，必须： 2l ≥ M = 166750 = 217.35
L =4*（1/4）*1=1（码符号/信源符号）
Rt= H(X)/(t* L )=1/(1*10*10-2)=10(比特/秒)
5.5 若消息符号、对应概率分布和二进制编码如下：
消 息 符 a0
a1
a2
a3
号
pi
1/2 1/4 1/8 1/8
编码
0
10
110 111
试求：
(1) 消息符号熵; (2) 各个消息符号所需的平均二进制码个数;
5.6 某信源有 8 个符号{a1, a2 , a3,", a8} ，概率分别为 l/2，l/4，1/8，1/16，1/32，1/64，1/128，1/128，
试编成这样的码：000，001，010，011，100，101，110，111 的码。求：(1) 信源的符号熵 H(X)； (2) 出现一个“1”或一个“0”的概率；(3) 这种码的编码效率；(4) 相应的香农码和费诺码；(5) 该码的 编码效率。
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论课后习题答案高等教育出版社信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:1544.0312.032=+?秒每个符号的熵为9183.03log 3123log 32=?+?比特/符号所以信息速率为444.34159183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =? 所以得到的信息量为 21.134log 1313522=C 比特.解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,2 1log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有37种排法，Y 表示梧桐树可以栽种的位置，它有58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特比特6017.02log 21412log 2141910log 1094310log 10143)11(log )11()1()10(log )10()1()01(log )01()0()00(log )00()0()( 8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222222222=?+?+?+?======+=====+=====+=======+==+======+== ======??+========+=========??+========+=== ======+======+=================?=========-===?+====+======-===?+?====+=========x y p x y p x p x y p x y p x p x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-?+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P &解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 比特所以H(Z/Y)= H(X 3)= 比特H(Z/X) = H(X 2+X 3)= 比特H(X/Y)=H(X)-H(Y)+H(Y/X) = =比特H(Z/XY)=H(Z/Y)= 比特H(XZ/Y)=H(X/Y)+H(Z/XY) =+ =比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 比特 I(X;Z)=H(Z)-H(Z/X)= =比特I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =比特I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X 2+X 3)-H(X 3) = =比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =0解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=+???=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-== （b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-==（c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(42268180p p p p u p u q w i i i +-+-==∑= bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--== 解:见解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式）或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-?≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
信息论：第5章 无失真信源编码定理
(4)非奇异码 若一组码中所有码字都不相同(即所有信源符 号映射到不同的码符号序列)，则称为非奇异码。
si s j Wi W j
则称码C为非奇异码。
si , s j S Wi ,W j C
20
（5）奇异码
若一组码中有相同的码字，则为奇异码。
si s j Wi W j
30
即时码（异前缀码）一定是唯一可译码。因为，如果没 有一个码字是其他码字的前缀，则在译码过程中，当收到一 个完整码字的码符号序列时，无需考虑下一个符号，就能直 接把它译成对应的码字或信源符号。
31
32
33
5.2
等长码
一般说来，若要实现无失真的编码，这不但要求 信源符号与码字是一一对应的，而且要求码符号序 列的反变换也是唯一的。也就是说，所编的码必须 是唯一可译码。否则，所编的码不具有唯一可译码 性，就会引起译码带来的错误与失真。
11
超过信宿的灵敏度和分辨力所传送的信息是毫无 意义的，也是完全没有必要的。 比如话声信源，界别过多的划分，人耳就很难分 辨。图像信源亦是如此，人们看电影，当图片超过每 秒25张以上时，人眼就能将离散的照片在人脑内反映 成连续画面。
此时，就应该引入限定失真条件下的信源编码问题 。
12
5.1
编码器
32272781179同样可以求得信源序列长度增加到3和4时进行变长编码所得的编码效率和信息传输率分别为如果对这一信源采用等长二元码编码要求编码效率达到96允许译码错误概率105则可以算出自信息方差为98580需要的信源序列长度为可以看出使用等长编码时为了使编码效率较高96需要对非常长的信源序列进行编码且总存在译码差错
此式表明，只有当 l长的 S s1 , , sq ，有 q 个符号，那么它的N次扩展信 码符号序列数大于或等于N次 源 S N 1 , , N 共有 q N 个符号。 q 扩展信源的符号数时，才可
信息论与编码A有失真信源编码
26
5.2 信息率失真函数的性质
D
R(D) min{I (X ,Y ), D D}
单调性
D1 D2 R(D1) R(D2 )
16
5.2 信息率失真函数的性质
R(D)的定义域: [Dmin, Dmax] 0 Dmin；R(Dmin)=H(X).
nm
Dmin
min p(bj |ai ) i1
p(ai ) p(bj | ai )d (ai , bj )
p(a1)= p(a2)=…= p(an-1)=1/2n, p(an)=(1+n)/2n I(X; Y)=H(Y) = log(2n) [(1+n)/2n]log(1+n).
13
5.1 信息率失真函数
例. 信源传输的信息率由log(2n)压缩到 H(Y)=log(2n) [(1+n)/2n]log(1+n).
dL (x,
y)
1 L
L l 1
d (xl ,
yl ).
序列编码的平均失真：
DL =
1 L
L l 1
E[d (xl ,
yl
)].
8
5.1 信息率失真函数
有失真信源编码器模型 信源编码目的 寻找一种编码方案，使编码后所需的信息传输率R尽量小。 问题 R越小，引起的平均失真就越大。 解决方法 给出一个失真限制值D,在满足平均失真小于D的条件下，寻 找一种编码案使得信息率R最小.
信息理论与编码第5章
2.唯一可译性 定义2 若一个分组码的任意一串有限长码序列，只能唯一
地分割一个个的码字，则称为唯一可译码。 唯一可译码又称为单义码。 例 分组码为: s1→1 s2→10 s3→11 s1s1 →11 ，s3→11， s1s1 与 s3 不是一一对应的。
s2 s3 s1… 10 111 …. s2 s1 s1 s1 … s2 s1 s3 …
5.1 信源编码器
信源
编码器
信道
码表
1. 信源的符号集和符号序列
1°信源符号集
信源发出的符号消息的集合，记为S；设 S 有q个符号：
S 2°信源符号序列:Βιβλιοθήκη ={s1,
s2
,
…
,
sq
}
由信源符号集合 S 中符号的N 次扩展组成长度为N 的
符号序列，符号序列的集合记为 S N ；
N — 信源符号序列长；
非唯一可译码对有限长码流，不能唯一地分割一个个 的码字。唯一可译码在传输过程中不需要同步码。
非奇异定长码是唯一可译码
3.即时性 定义 在分组码形成码序列中，一个完整的码字接收到后，
无需等到接收下一个码字，就能立即译码，称为即 时码。
即时码又称为非延长码、异前缀码或逗点码。
异前缀码(即时码)指的是码集任何一个码不能是其他 码的前缀。
信息论与编码
Information Theory & Coding 第5章 无失真信源编码
信源编码一直是信息论研究的一个重要方向。信源编 码是通过压缩编码来去掉信号源中的冗余成分，提高信息 传输的有效性。
本章的重点
1.信源编码的概念； 2.变长码的分类与主要编码方法； 3.惟一可译码的判别准则； 4. Huffman编码
信息论与编码第五章答案
信息论与编码第五章答案本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March设信源1234567()0.20.190.180.170.150.10.01X a a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭(1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率. 解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑对习题的信源编二进制费诺码，计算编码效率.对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：x i p(x i)编码码字k i s61s50s41s30s21x10102 x21112 x300003 x410013 x500103 s11x6001104 x7101114x i p(x i)编码码字k i s31s20s11x1221 x20002 x31012 x42022 x50102 x61112x72122设信源(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率；(4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解：(1)(2)x i p(x i)p a(x i)k i码字x1010x2210x33110x441110x5511110x66111110x771111110x871111111xi p(x i)编码码字k i x1001 x210102 x3101103x41011104 x510111105x6101111106x71011111107x8111111117 (3)香农编码效率：费诺编码效率：(4)x i p(x i)编码码字k i x1001 x2111x320202x41212x5202203x612213x72022204x8122214设无记忆二进制信源先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度；(3) 求对应于一个码字的信源序列的平均长度；(4) 计算，并计算编码效率；(5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长，序列数字二元码字10100001110010013101000013101100001411000000015110100000016111000000001711110000000080一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率.对题的信源进行游程编码.若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率.选择帧长N = 64(1) 对00000000000000000000000000000000000000遍L-D码；(2) 对000000000010遍L-D码再译码；(3) 对000000000000000000000000000000000000000000000000000000000000000 0遍L-D码；(4) 对0遍L-D码；(5) 对上述结果进行讨论.。
《信息论、编码与密码学》课后习题问题详解
《信息论、编码与密码学》课后习题答案第1章 信源编码1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS 。
求信源熵H （X ）。
解： 信源熵 ∑=-=512)(log )(k k k p p X HH(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)故得其信源熵H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。
解： 若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得211101log ==-=-p ppp p可知当概率P=Q=1/2时，有信源熵)(1)(max bit X H =对于三元离散信源，当概率3/1321===P P P 时，信源熵)(585.1)(max bit X H =， 此结论可以推广到N 元的离散信源。
1.3 证明不等式ln 1x x ≤-。
画出曲线1ln y x =和21y x =-的平面图以表明上述不等式的正确性。
证明：max ()ln 1(0)1()()01001()0()0ln 11ln 1ln 1f x x x x f x xf x x x x f x f x f x x x x x x x =-+>'=''==>∴<≤>≤=≤-≥≤-≤-令，又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4 证明(;)0I X Y ≥。
在什么条件下等号成立？1111(,)(,)(,)(,)log()()n mi j i j i j n mi j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑（X ；Y ）=当和相互独立时等号成立。
第五章 无失真信源编码定理
第三节 等长信源编码定理
•定理5.3的条件式可写为：
长为l 的码符号所能 载荷的最大信息量 长为N的序列平均携带的信息量
l log r > NH ( S )
只要码字传输的信息量大于信源序列携带的 信息量，总可以实现无失真编码。 l •定理5.3的条件式也可写成： log r H ( S ) e N
i
N
1
2
N
是一一对应的：
i Bi (Wi1 ,Wi2 , ,WiN ), i S ,Wil C
N
4）惟一可译码 若任意一串有限长的码符号序列只能被惟 一地译成所对应的信源符号序列，则此码称 为惟一可译码（或称单义可译码）；否则就 称为非惟一可译码或非单义可译码。
例：对于二元码 C1 {1, 01, 00} ，当任意给定一串 码字序列，例如“10001101”，只可唯一地划 分为1,00,01,1,01，因此是惟一可译码；而对 另一个二元码 C 2 {0,10, 01} ，当码字序列为 “01001”时，可划分为0,10,01或01,0,01，所 以是非惟一可译的。
P(G eN )
-
(2) 若 i (si1, s i2 ,...,s iN ) GeN，则 2 - N [ H ( s )e ] < P( i ) < 2 - N [ H ( s ) -e ] (3) || GeN || 表示e典型序列集中 e典型序列的个数，则 (1 - )2 N [ H ( s )-e ] <|| GeN ||< 2 N [ H ( s ) e ]
1 N - log P ( si ) 以概率收敛于均值 H ( s ) 熵定义 N i 1 1 N 1 即 - log P ( s i ) - log[ P ( s i ) P ( s 2 ) L P ( s N )] N次扩展信源 N i 1 N 1 - log P ( si s 2 L s N ) H ( S ) 以概率收敛 N 因为 i1 ( si1 si 2 L s i N ) S1 S 2 L S N , (i 1, 2 , L , q N i1 , i2 , L , i N 1, 2 , L , q )
信息论与纠错编码编码习题答案
第1章 信息论基础1.7 ⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡36136236336436536636536436336236112111098765432)(X q X 1.8 p (s 0 ) = 0.8p (s 0 ) + 0.5p (s 2 )p (s 1 ) = 0.2p (s 0 ) + 0.5p (s 2 ) p (s 2 ) = 0.5p (s 1 ) + 0.3p (s 3 ) p (s 3 ) = 0.5p (s 1 ) + 0.7p (s 3 ) p (s 0 ) + p (s 1 ) + p (s 2 ) + p (s 3 ) = 1 p (s 0 ) =3715， p (s 1 ) = p (s 2 ) = 376，p (s 3 ) = 37101.9 P e = q (0)p + q (1)p = 0.06(1-0.06)﹡1000﹡10 = 9400 < 9500 不能1.10 ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡------------=22222222)1(0)1()1(00)1(0)1()1(000000)1()1(0)1(00000)1()1(0)1(p p p pp p p p p p p p p p p p p p p p p p p p P 第2章 信息的度量2.4 logk2.5 I (X ; Y Z )= I (X ; Y )+ I (X ; Z ∣Y ) 2.7 010434()()()111111p s p s p s === H = 0.25(Bit/符号)2.8 H = 0.82(Bit/符号) 2.10 （1）1()log225.6()52!i I x Bit =-= （2）1352!()log ()log 413!39!i i I x q x =-=（3）)/(4.713log 234log 52log 521log )(符号－Bit U H ==⨯===（4）)/(7.313log 131log )(符号Bit X H ==- 2.11（1）H (X ) = log6 = 2.58 (Bit/符号) （2）H (X ) =2.36 (Bit/符号)（3）I (A+B=7) = - log1/6 = log6 = 2.585 (Bit) 2.12 （1）I (x i ) = -log1/100 = log100（2）H(X)=log100.2.13 039.0log )(-=Y X I2.14 R t =1000/4 (码字/秒) × H (U ) =250×9＝2250（Bit/秒） 2.15 ―log p = log 55/44。
信息论与编码理论-彭代渊-第5章有失真信源编码_习题答案-20071225
4.1 设有一个二元等概率信源 X={0,1}，通过一个二进制对称信道（BSC ）。
其失真函数与信道转移概率分别定义为，试求失真矩阵d 和平均失真。
失真矩阵为,由题的转移概率矩阵：11p εεεε-⎡⎤=⎢⎥-⎣⎦平均失真：11(,)(,)0(1)10(1)12n m i j i ji j D p a b d a b εεεεε====⨯-+⨯+⨯-+⨯=∑∑4.2设输入符号表示为X={0，1}，输出符号表示为Y={0，1}。
输入符号的概率分布为P=（1/2，1/2），失真函数为d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=2。
试求以及相应的编码器转移概率矩阵。
失真矩阵：0120d ⎡⎤=⎢⎥⎣⎦， min min 2max 1112211122221,21,211,21,2max 0,()()(1/2,1/2)log 21/10:01min min{,)111111min{02,10}min{1,}22222201,:,()001()i ij j j i j j D R D H X H bit P D p d p d p d p d p d P R D R D ==========⎡⎤=⎢⎥⎣⎦==++=⨯+⨯⨯+⨯==⎡⎤==⎢⎥⎣⎦∑符号转移矩阵此时转移矩阵定12义域:[0,]4.4设输入信号的概率分布为P=（1/2，1/2），失真矩阵为10141104d ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦。
试求以及相应的编码器转移概率矩阵。
失真矩阵：10141104d ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ min min 2max 1112211122221132231,2,31,2,311,2,31,2,30,()()(1/2,1/2)log 21/100:010min min{,,)11111111111min{01,10,}min{,,}22222424224i ij j j i j j D R D H X H bit P D p d p d p d p d p d p d p d ==========⎡⎤=⎢⎥⎣⎦==+++=⨯+⨯⨯+⨯⨯+⨯=∑符号转移矩阵max 14001,:,()00011()4P R D R D =⎡⎤==⎢⎥⎣⎦此时转移矩阵定义域:[0,]。
信息论与编码第五章习题参考答案
信息论与编码第五章习题参考答案5.1某离散⽆记忆信源的概率空间为采⽤⾹农码和费诺码对该信源进⾏⼆进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的⾃信息量1)()(11=-=a lbp a I ⽐特 2)()(22=-=a lbp a I ⽐特 3)()(313=-=a lbp a I ⽐特 4)()(44=-=a lbp a I ⽐特 5)()(55=-=a lbp a I ⽐特 6)() (66=-=a lbp a I ⽐特 7)()(77=-=a lbp a I ⽐特 7)()(77=-=a lbp a I ⽐特根据⾹农码编码⽅法确定码长1)()(+<≤i i i a I l a I平均码长984375.164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=?+?+?+?+?+?+?+?=由于每个符号的码长等于⾃信息量，所以编码效率为1。
费罗马编码过程5.2某离散⽆记忆信源的概率空间为使⽤费罗码对该信源的扩展信源进⾏⼆进制变长编码，(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进⾏⽐较。
解：信息熵811.025.025.075.075.0)(=--=lb lb X H ⽐特/符号（1）平均码长11=L ⽐特/符号编码效率为%1.81X)（H 11==L η（2）平均码长为84375.0）3161316321631169（212=?+?+?+?=L ⽐特/符号编码效率%9684375.0811.0X)（H 22===L η（3）当N=4时，序列码长309.3725617256362563352569442569242562732562732256814=?+?+??+??+??+?+??+?=L平均码长827.04309.34==L %1.98827.0811.0X)（H 43===L η可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提⾼。
信息论与编码第五章答案学习资料
信息论与编码第五章答案5.1 设信源1234567()0.20.190.180.170.150.10.01Xa a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭ (1) 求信源熵H(X)； (2) 编二进制香农码；(3) 计算平均码长和编码效率. 解： (1)721222222()()log ()0.2log 0.20.19log 0.190.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑(2)(3)71()0.230.1930.1830.1730.1530.140.0173.141()()/ 2.609 3.14183.1%i i i K k p x H X H X K Rη===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑5.2 对习题5.1的信源编二进制费诺码，计算编码效率.解：a i p(a i)编码码字k ia10.20002 a20.19100103 a30.1810113 a40.1710102 a50.15101103 a60.11011104 a70.011111145.3 对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率.解：二进制哈夫曼码：x i p(x i)编码码字k i s61s50.610s40.391s30.350s20.261x10.20102 x20.191112 x30.1800003 x40.1710013 x50.1500103 s10.111x60.1001104 x70.01101114三进制哈夫曼码：x i p(x i)编码码字k i s31s20.540s10.261x10.2221 x20.190002 x30.181012 x40.172022 x50.150102 x60.11112 x70.0121225.4 设信源(1) 求信源熵H(X)；(2) 编二进制香农码和二进制费诺码；(3) 计算二进制香农码和二进制费诺码的平均码长和编码效率；(4) 编三进制费诺码；(5) 计算三进制费诺码的平均码长和编码效率；解：(1)(2)二进制香农码：x i p(x i)p a(x i)k i码字x10.5010x20.250.5210x30.1250.753110x40.06250.87541110x50.031250.9375511110x60.0156250.968756111110x70.00781250.98437571111110x80.00781250.992187571111111二进制费诺码：xi p(x i)编码码字k i x10.5001 x20.2510102 x30.125101103 x40.06251011104x50.0312510111105 x60.015625101111106 x70.00781251011111107 x80.0078125111111117 (3)香农编码效率：费诺编码效率：(4)x i p(x i)编码码字k i x10.5001 x20.25111 x30.12520202 x40.06251212 x50.03125202203 x60.01562512213 x70.00781252022204 x80.0078125122214 (5)5.5 设无记忆二进制信源先把信源序列编成数字0，1，2，……，8，再替换成二进制变长码字，如下表所示.(1) 验证码字的可分离性；(2) 求对应于一个数字的信源序列的平均长度；(3) 求对应于一个码字的信源序列的平均长度；(4) 计算，并计算编码效率；(5) 若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长，并计算编码效率.序列数字二元码字101000011100100131010000131011000014110000000151101000000161110000000017111100000000805.6 有二元平稳马氏链，已知p(0/0) = 0.8，p(1/1) = 0.7，求它的符号熵.用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率.5.7 对题5.6的信源进行游程编码.若“0”游程长度的截至值为16，“1”游程长度的截至值为8，求编码效率. 5.8 选择帧长N= 64(1) 对001000000000000000000000000000000100000000000000 0000000000000000遍L-D码；(2) 对100001000010110000000001001000010100100000000111 0000010000000010遍L-D码再译码；(3) 对000000000000000000000000000000000000000000000000 0000000000000000遍L-D码；(4) 对101000110101110001100011101001100001111011001010 00110101011010010遍L-D码；(5) 对上述结果进行讨论.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4.1 设有一个二元等概率信源 X={0,1}，通过一个二进制对称信道（BSC ）。
其失真函数与信道转移概率分别定义为
，
试求失真矩阵d 和平均失真。
失真矩阵为
,由题的转移概率矩阵：11p εεεε-⎡⎤=⎢⎥-⎣⎦
平均失真：11
(,)(,)0(1)10(1)12n m i j i j
i j D p a b d a b εεεεε====⨯-+⨯+⨯-+⨯=∑∑
4.2设输入符号表示为X={0，1}，输出符号表示为Y={0，1}。
输入符号的概率分布为P=（1/2，1/2），失真函数为d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=2。
试求
以及相应的编码器转移概率矩阵。
失真矩阵：0120d ⎡⎤=⎢⎥⎣⎦
， min min 2
max 1112211122221,21,211,21,2max 0,()()(1/2,1/2)log 21/10:01min min{,)111111min{02,10}min{1,}222222
01,:,()001()i ij j j i j j D R D H X H bit P D p d p d p d p d p d P R D R D ==========⎡⎤=⎢⎥⎣⎦
==++=⨯+⨯⨯+⨯==⎡⎤==⎢⎥⎣⎦
∑符号
转移矩阵此时转移矩阵定12
义域:[0,]
4.4设输入信号的概率分布为P=（1/2，1/2），失真矩阵为101
41104d ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣
⎦。
试
求以及相应的编码器转移概率矩阵。
失真矩阵：101
41104d ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ min min 2
max 1112211122221132231,2,31,2,311,2,31,2,30,()()(1/2,1/2)log 21/100:010min min{,,)11111111111min{01,10,}min{,,}22222424224i ij j j i j j D R D H X H bit P D p d p d p d p d p d p d p d ==========⎡⎤=⎢⎥⎣⎦
==+++=⨯+⨯⨯+⨯⨯+⨯=∑符号转移矩阵max 14
001,:,()00011()4P R D R D =⎡⎤==⎢⎥⎣⎦
此时转移矩阵定义域:[0,]。