无失真信源编码题与答案
信息论与编码试题集与答案
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
四、计算题1.已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y解: (0)2/3p x == (1)1/3p x == (0)1/3p y == (1)2/3p y == ()()(1/3,2/3)H X H Y H ===0.918 bit/symbol(),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol2.某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ 01X Y011/31/301/3（1）求对应的生成矩阵和校验矩阵； （2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。
第三章-无失真信源编码（2）
序列 x1x1 x1x2 x2x1 x2x2
序列概率 9/16 3/16 3/16 1/16
即时码 0 10 110 111
这个码的码字平均长度
lN
9 1
3 2
3 3
1 3 27
码元/ 信源序列
16 16 16 16 16
单个符号的平均码长
l
l
N
lN
27
码元 / 符号
N 2 32
编码效率
c
H(X)
例1：设有一简单DMS信源：
U
p
u1 1 2
u2 1 22
u3 1 23
u4 u5 u6 u7
111
1
24 25 26 26
用码元表X＝{0,1}对U的单个符号进行编码(N=1)，即对U
的单个符号进行2进制编码。
解：用X的两个码元对U的7个符号进行编码，单 个对应的定长码长：
l lN log q log 7 2.8 码元 / 符号 N log r log 2
j 1
log r
1 qN
r l j
ln 2
P(a j ) ln
j 1
P(aj )
1 qN
r l j
ln 2 j1 P(a j )( P(a j ) 1)
(ln z z 1)
qN
qN
rlj P(a j )
j 1
j 1
ln 2
11 0 (Kraft不等式和概率完备性质) ln 2
（2）根据信源的自信息量来选取与之对应的码长：
【说明】
霍夫曼编码是真正意义上的最佳编码，对给定的信源，平 均码长达到最小，编码效率最高，费诺编码次之，香农编码 效率最低。
信息论与编码习题答案-曹雪虹
3-14
信源 符号 xi x1 x2 x3 x4 x5 x6 x7
符号概 率 pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27 1/3 1/3 1/9 1/9 2/27 1/27 1/3 1/3 1/9 1/9 1/9
编码过程
编码 1/3 1/3 1/3 2/3 1/3 00 01 100 101 111 1100 1101
得p0p1p223当p0或p1时信源熵为0第三章无失真信源编码31321因为abcd四个字母每个字母用两个码每个码为05ms所以每个字母用10ms当信源等概率分布时信源熵为hxlog42平均信息传递速率为2信源熵为hx0198bitms198bitsbitms200bits33与上题相同351hu12log2?14log4?18log8?116log16?132log32?164log64?1128log128?1128log128?1984111111112481632641281282每个信源使用3个二进制符号出现0的次数为出现1的次数为p0p134相应的香农编码信源符号xix1x2x3x4x5x6x7x8符号概率pi12141811613216411281128累加概率pi00507508750938096909840992logpxi12345677码长ki12345677码字010110111011110111110111111011111110相应的费诺码信源符号概符号xi率pix1x2x3x4x5x6x7x812141811613216411281128111第一次分组0第二次分组0第三次分组0第四次分组0第五次分组011第六次分组01第七次分组01二元码0101101110111101111101111110111111105香农码和费诺码相同平均码长为编码效率为
第五章无失真信源编码分析
s jN
C N {w 1 , w 2 , , w q N }
w j w j1 w j2 w jN
s j s j1 s j2
j 1, 2 , , q N
j1 , j 2 , , j N 1, 2 , , q
第五章：无失真信源编码
一、信源编码的相关概念
3. N次扩展码（续1）
2 2.5 3 3
s1= s1 s1 s2= s1 s2 s3= s1 s3 s4= s1 s4 s5= s2 s1 s6= s2 s2 s7= s2 s3 s8= s2 s4
1/4 1/8 1/16 1/16
1/8
1/16 1/32
1.5
2 2.5
1/32
2.5
s9 = s3 s 1 s10= s3 s2 s11= s3 s3 s12= s3 s4 s13= s4 s1 s14= s4 s2 s15= s4 s3 s16= s4 s4
2) 非奇异码
s1 0 s2 10 s3 s4 00 01
译码 0 10 00 01 0 译码
s1 s 2 s 3 s 4 s1
01 00
00 10
s 4 s3 s3 s 2
第五章：无失真信源编码
一、信源编码的相关概念
6. 唯一可译性（续4）
3)
等长码
非奇异码
唯一可译码
s1 s2
00 01
s3 10 s4 11
第五章：无失真信源编码
一、信源编码的相关概念
8. 即时码的构造方法（续4）
非分组码 奇异码 非唯一可译码 码 分组码 非奇异码 即时码 唯一可译码 非即时码
信息论与编码试卷及答案
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9?）判断题（1）信息就是一种消息。
（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（?）（3）概率大的事件自信息量大。
（?）（4）互信息量可正、可负亦可为零。
（?）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（?）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（?）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（?）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )三、（5?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息论与编码试题集与答案(新)
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
信息论与编码理论-第4章无失真信源编码-习题解答-20071202信息论与编码理论第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长。
?X??s14-2 设信源????p(s)P(X)???1s6?p(s2)?p(s6)???s2?p(s)?1。
对此次能源进行m元唯一ii?16可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）?s?X??14-3设信源为??1??p(X)???2?（1）信源的符号熵；（2）这种码的编码效率；s214s3s411816s5132s6s7s8?，编成这样的码：（000，001，111???64128128?010，011，100，101，110，111）。
求（3）相应的仙农码和费诺码。
4-4求概率分布为(,11122信)源的二元霍夫曼编码。
讨论此码对于概率分布为355151511111(,,,,)的信源也是最佳二元码。
555554-5有两个信源X和Y如下：1信息论与编码理论s2s3s4s5s6s7??X??s1??p(X)??0.200.190.180.170.150.100.01?????s2s3s4s5s6s7s8s9??Y??s1??p(Y)??0.490.140.140.070.070.040.020.02 0.01?????（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行编码，并计算其平均码长和编码效率；（2）从X，Y两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样霍夫曼码的信源的所有概率分布。
4-7设信源为?码。
第二章 无失真信源编码3Huffman编码
U
P
u1 0.5
u2 0.25
u3 0.125
u4 0.125
码长
1 2 3 3
消息 符号 码字 符号 概率
ui P(ui)
0
u1 0.5
10 u2 0.25
110 u3 0.125
111 u4 0.125
信息熵：
H(U) p(ui )lbp(ui ) 1. 75bit i
0
平均码长：
2.3 霍夫曼码及其他编码方法
一、霍夫曼码 二、费诺编码 三、香农-费诺-埃利斯码
一、Huffman编码
1．二元Huffman编码
步骤：
① 递减排序；S=[s1，s2，…，sq] ② 合并概率最小的两个符号; ③ 重复①②，直至缩减信源中只有两个符号为止； ④ 分配码元。
例1:
已知离散无记忆信源如下所示，对应的霍夫曼编码为：
消息 概率
第一次 分组
第二次 分组
第三次 分组
第四次 分组
码字
码长
si
P(si)
s1
0.20
0
00 2
s2
0L.19
0P(si
)li
1
2.740code
/
sig
010
3
s3
0.18
1
011 3
s4
0.17
0
10 2
H (S )
s5 R0.15 L1 0.953 b0it / code 110
3
55
LL PP((ssii))llii 00..4421 0.2 2 0.2 23 0.1 43 0.1 43 2.2 code / sig
ii11
樊昌信《通信原理》(第7版)章节题库(信源编码)【圣才出品】
第10章信源编码一、填空题1．若信号m（t）的频带范围为0～108kHz，则无失真恢复信号的最小抽样频率为______。
【答案】f s＝2f H＝216kHz【解析】由奈奎斯特抽样定理可知无失真恢复原信号的条件是f s≥2f H，即抽样频率f s 应不小于f H的2倍，故此时的最小抽样频率应为f s＝2f H＝216kHz。
2．改善弱信号的信号量噪比，通常可采用______技术。
【答案】压扩【解析】压扩技术在“发端”实行压缩，即对小信号值进行放大，对大信号进行压缩，以满足量化信噪比要求；在“收端’’实行扩张，压与扩相互补偿以保证放大系数为1，即信号不失真，从而改善弱信号的信号量噪比。
3．已知采用13折线A律编码的PCM码组为11101100，最小量化间隔为1个量化单位，则该码组相对应的译码电平为______量化单位。
【答案】912【解析】PCM码组为1234567811101100c c c c c c c c=。
由11c=知，信号样值为正值；由段落码234110c c c=，即信号样值位于第7段，起始电平为512，量化间隔为512/16＝32单位；由段内码56781100c c c c =，即信号样值的段内序号为12； 故译码器输出为512＋32×12＋32/2＝912单位。
4．已知输入抽样脉冲值为－753个量化单位，采用13折线A 律PCM 编码，则此时编码器的输出码组为______，量化误差为______。
【答案】01100111；17个量化单位 【解析】设编码输出为12345678c c c c c c c c 7530s I =-<，故极性码为10c =；512＜||s I ＜1024，故段落序号为7，段落码为234110c c c =；第7段中总电平单位数为512，则量化间隔512/16＝32，因753＝512＋32×7＋17，故段内码56780111c c c c =；综上，－753单位的抽样脉冲值对应的13折线A 律编码为01100111。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
无失真信源编码题与
有一信源，它有 6 个可能的输出，其概率散布如题表所示，表中给出了对应的码A,B,C, D ,E和 F 。
题表信息p(a i )A B C D E Fa11/200000000a1/4001011010101002a1/1601001111011011001013a1/1601101111110111011011104a1/161000111111110101111001115a61/1610101111111111011011111011(1)求这些码中哪些是独一可译码；(2)求哪些是非延伸码（即时码）；(3)对全部独一可译码求出其均匀码长 L 。
解：(1)独一可译码： A， B， CA 是等长码，码长3，每个码字各不同样，所以是独一可译码。
B是非即时码，前缀码，是独一可译码。
C是即时码，是独一可译码。
D 是变长码，码长{1,2,3,4,4,4} ，不是独一可译码，由于不知足Kraft 不等式。
1234r l i111112222iE 是变长码，码长{1, 2, 4, 4,4,4} ，知足Kraft不等式，可是有同样的码字， W3 W51100 ，不是独一可译码。
124r l i111411222iF 是变长码，码长{1,3,3,3,3,3} ，不知足Kraft不等式，不是独一可译码。
13r l i115122i(2)非延伸码： A， C(3)L A3L B L C p i l i111213141512416161616i设失散信源的概率空间为S s1s2s3s4s5s6P对其采纳香农编码，并求出均匀码长和编码效率。
解：x i p(x i)a i)k i 码字p (xx103000x23001x33011x43100x53101x641110x771111110L p i l i 3 0.15 30.1 40.05 5iH (S)p i log p i bitiH (S)89.7%L设无记忆二元信源，其概率p10.005, p20.995 。
信息论与编码第4章无失真信源编码
4.1
无失真信源编码的概念
唯一可译码: 任意有限长的码元序列,只能被唯一地分割成一个一个的 码字,则称为唯一可译码,或单义可译码. 否则，就称为非 唯一可译码, 或非单义可译码. 例：码4是唯一可译码: 1000100 1000, 100 码3是非唯一可译码: 100010010, 00, 10, 0 或10, 0, 01, 00
信源符号
s1 s2 s3
概率分布
0.5 0.25 0.125
码1:C1
00 01 10
码2:C2
0 11 00
码3:C3
0 10 00
码4:C4
1 10 100
码5:C5
1 01 001
s4
备注
0.125
11
2
11
非唯一可译
01
非唯一可译
1000
唯一可译
0001
及时码
平均码长
2
1.5
1.875
L log m H ( X ) N
编码效率:
N H(X ) H(X ) . L log m H ( X )
19
4.2 等长编码
等长信源编码定理 设信源自信息方差为D(X)=D[I(pi)]，编码效率为 , 当允许译码错误概率Pe < 时，有
D( X ) 2 N 2 2 . 2 H ( X ) (1 ) D( X )
满足克劳夫特不等式 m 1是异前置码的
ki i 1 n
充要条件。
7
4.1
无失真信源编码的概念
例4-1 几个二元码
信源符号 概率分布 码1:C1 00 01 10 11 码2:C2 0 11 00 11 码3:C3 0 10 00 01 码4:C4 1 10 100 1000 码5:C5 1 01 001 0001
第6章 无失真信源编码
通常情况下可以用码树来表示码字的构成：
•
如果码字序列符号为r进制的，可以用r个符号的码树 来构造码字； 每个码树有一个树根A；
•
•
• • •
树根有r个树枝；
树枝的尽头称为节点； 每个节点生出是树枝的数量等于码符号的数量r； 从而形成r进制的码树。
0 0 0 1 0 1 1 0 0 1 0 A 1 1 1 0 0 0 1 2 A 1 0 2 1 2 0 1 2
•
而3次扩展符号共有43=64个 如：
3次 扩展符号 AAA AAB AAC … 3次 扩展码字 000 0001 00001 … 3次 扩展符号 … DDB DDC DDD 3次 扩展码字 … 11111101 111111001 111111111
6.2 “无失真”的本质
• •
无失真信源编码：编码时没有信息丢失，译码器可以精确 恢复编码之前的消息。 无失真信源编码又叫“无损压缩”
6.1.3 N次（阶）扩展码
将N次扩展信源的概念加以延伸，可以得到N次扩展码 N • 集合 U (u1 , u2 ,, un ) 的N次扩展 U (ui1 , ui2 ,, uiN )
• •
相应码字集合的N次扩展 其中 ui j 和wi j
W N (wi1 , wi2 ,, wiN )
001
0001
100
1000
4、按译码时是否会产生歧义分
非唯一可译码：译码时会产生歧义 （码2） （码3、奇异码） 唯一可译码：译码时不会产生歧义 （码1、码4、码5）
符号 码1 码2 码3 码4 码5
u1
u2
00
01
0
10
0
11
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长l。
4-2 设信源61261126()1()()()()iis s sXp sp s p s p sP X=⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦∑。
对此次能源进行m元唯一可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）4-3设信源为1234567811111111()248163264128128s s s s s s s sXp X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦，编成这样的码：（000，001，010，011，100，101，110，111）。
求（1）信源的符号熵；（2）这种码的编码效率；（3）相应的仙农码和费诺码。
4-4求概率分布为11122(,,,,)3551515信源的二元霍夫曼编码。
讨论此码对于概率分布为11111(,,,,)55555的信源也是最佳二元码。
4-5有两个信源X和Y如下：121234567()0.200.190.180.170.150.100.01X s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率；（2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。
4-7设信源为12345678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，求其三元霍夫曼编码。
第4章习题解答
4。
1 某集源按P （0)=3/4，P(1）=1/4的概率产生统计独立的二元序列.(1) 试求N 0，使当N>N 0时有： P ｛｜I(a i )/N －H(S ）｜ ≥0.05}≤0.01其中H （S)是信源的熵。
(2)试求当N= N 0时典型序列集G εN 中含有的信源序列个数.解：(1) H(S)= —∑Pi ㏒Pi= -3/4㏒(3/4)—1/4㏒(1/4） =0.811 比特/符号根据契比雪夫不等式，对于任意ε＞0，当N ＞N0时，P ｛∣I(αi)/N – H(S ）∣≥ε｝≤D[I(Si ）］/N ε2现有ε=0.05,欲证原式，只要 D ［I(Si ）]/N ε2≤0。
01根据信源，D ［I （Si)]=∑P （Si ）［㏒P(Si)］2– H 2（S)=3/4（㏒3/4)2+1/4（㏒1/4)2—(0。
811)2=0。
471∴N0= D[I(Si)]/0。
01ε2=0.471/0。
01×（0.05)2=18840(2) 序列G εN 是所有N 长的ε典型序列集合，（1-δ）2N ［H （S ）—ε]≤‖G εN ‖≤2N[H （S ）-ε]0.99×214342。
5≤‖G εN ‖≤216226。
54。
2 设无记忆二元信源，其概率为P1=0.005, P0=0。
995.信源输出N ＝100的二元序列.在长为N ＝100的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。
（1）求码字所需的最小长度。
（2）计算式（4.27a ）中的ε。
(3）考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率PE 是多少？若从契比雪夫不等式（4。
22）考虑，PE 应是多少？试加以比较。
解：（1）无记忆二元信源()⎢⎣⎡⎥⎦⎤=⎢⎣⎡⎥⎦⎤005.0995.01,0i s P S N=100的扩展信源()()()()()⎢⎢⎢⎣⎡⎥⎥⎦⎤⨯⨯=====⎢⎢⎣⎡⎥⎦⎤--N N N N NN N N i N N N P S 005.0,005.0995.0005.0995.0,995.0111,1011010001121221，，，，，－ ααααα 现只对含有3个或小于3个“1”的各信源序列构成一一对应的一组二元等长码。
信源编码(数据压缩)课程课后题与答案(第二章)
信源编码Assignment of CH21、（a）画出一般通信系统结构的组成框图，并详细说明各部分的作用或功能；信源信源编码信道编码调制噪声信道传输信宿信源解码信道解码解调图1、一般数字通信系统框图各部分功能：$1、信源和信宿：信源的作用是把消息转换成原始的电信号；信宿的作用是把复原的电信号转换成相应的消息。
2、信源编码和信源解码：一是进行模/数转换，二是进行数据压缩，即设法降低信号的数码率；信源解码是信源编码的逆过程。
3、信道编码和信道解码：用于提高信道可靠性、减小噪声对信号传输的影响；信道解码是信道编码的反变换。
4、调制和解调：将信息调制为携带信息、适应在信道中传输的信号。
数字解调是数字调制的逆变换。
￥5、信道：通信的通道，是信号传输的媒介。
（b）画出一般接收机和发射机的组成框图，并分别说明信源编解码器和信道编解码器的作用；高频振荡器高频放大调制高频功放天线( 信号音频功放图2、一般发射机框图（无线广播调幅发射机为例）天线信号放大器混频器解调器音频放大器信号本地振荡器图3、一般接收机框图（无线广播调幅发射机为例）信源编解码器作用：它通过对信源的压缩、扰乱、加密等一系列处理，力求用最少的数码最安全地传输最大的信息量。
信源编解码主要解决传输的有效性问题。
信道编解码器作用：使数字信息在传输过程中不出错或少出错，而且做到自动检错和尽量纠错。
信道编解码主要解决传输的可靠性问题。
（c）信源编码器和解码器一般由几部分组成，画出其组成图并给以解释。
信源编码器时频分析量化熵编码信道传输时频分析反量化熵解码信源解码器图 4、信源编解码器框图时频分析部分：信源编码器对信源传送来的信号进行一定方法的时域频域分析，建立一个能够表达信号规律性的数学模型，从而得知信号中的相关性和多余度，分析出信号数据中可以剔除或减少的部分（比如人感知不到的高频率音频信号或者看不见的色彩信号等等），以决定对后续数据的比特分配、编码速率等处理问题。
信息论与编码习题与答案第四章
4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。
其失真函数ij d 与信道转移概率ij p 分别定义为j i j i d ij =≠⎩⎨⎧=,0,1 ，j i j i p ij =≠⎩⎨⎧-=,1,εε 试求失真矩阵d 和平均失真D 。
解：由题意得，失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110d ，信道转移概率矩阵为P ⎥⎦⎤⎢⎣⎡--=εεεε11)(i j 平均失真为εεεεε=⨯-+⨯+⨯+⨯-==∑0)1(211211210)1(21),()()(,j i d i j p i p D ji 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。
解：由题意，得 0min =D.则symbol bit X H R D R /24log )()0()(2min ====这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000010*********)j (i P ∑===303,2,1,0max ),()(min i j j i d i p D，，141141041141141141141041min{⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯=}041141141141141041141141⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯， 43}43,43,43,43min{== 则0)(max =D R此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0001000100010001)(i j P]4-5 具有符号集{}10,u u U =的二元信源，信源发生概率为：2/10,1)(,)(10≤<-==p p u p p u p 。
无失真信源编码题与答案
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。
(1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。
解：(1) 唯一可译码：A ，B ，CA 是等长码，码长3，每个码字各不相同，因此是唯一可译码。
B 是非即时码，前缀码，是唯一可译码。
C 是即时码，是唯一可译码。
D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。
10625.132********321≥=⨯⎪⎭⎫⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-il irE 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。
114212121421≤=⨯⎪⎭⎫⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-il irF 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。
1125.15212131≥=⨯⎪⎭⎫⎝⎛+⎪⎭⎫ ⎝⎛=∑-il ir(2) 非延长码：A ，C (3)3125.161615161416131612411213=⨯+⨯+⨯+⨯+⨯+⨯=⋅===∑ii i C B A l p L L L设离散信源的概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡05.010.015.020.025.025.0654321s s s s s s P S对其采用香农编码，并求出平均码长和编码效率。
解：()%7.897.2423.2)( 423.205.0log 05.0...25.0log 25.0log )(7.2505.041.0315.032.0225.0225.0====⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit p p S H l p L ii i ii i η设无记忆二元信源，其概率995.0 ,005.021==p p 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。
(1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。
解：
(1) 唯一可译码：A ，B ，C
A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。
B 是非即时码，前缀码，是唯一可译码。
C 是即时码，是唯一可译码。
D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。
10625.132********
321≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。
1142121214
21≤=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。
1125.1521213
1≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
(2) 非延长码：A ，C (3)
3125.1616
1
5161416131612411213
=⨯+⨯+⨯+⨯+⨯+⨯=
⋅===∑i
i i C B A l p L L L
设离散信源的概率空间为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡05.010.015.020.025.025.0654321
s s s s s s P S
对其采用香农编码，并求出平均码长和编码效率。
解：
()%7.897
.2423
.2)( 423.205.0log 05.0...25.0log 25.0log )(7
.2505.041.0315.032.0225.0225.0===
=⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit p p S H l p L i
i i i
i i η
设无记忆二元信源，其概率995.0 ,005.021==p p 。
信源输出100=N 的二元序列。
在长为
100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。
(1) 求码字所需要的长度；
(2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？
解： (1)
码字中有0个“1”，码字的个数：10
100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003100=C
1835.17166751log log 166751
161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q
r C C C C q i
(2)
码字中有0个“1”，错误概率：()100
995.01=a p
码字中有1个“1”，错误概率：()005.0995.099
2⨯=a p
码字中有2个“1”，错误概率：()()2
98
500.0995.03⨯=a p
码字中有3个“1”，错误概率：()()3
97
500.0995.04⨯=a p
()()0017
.09983.0119983
.0 161700005.0995.04950005.0 995.0100005.0995.01995.0 397298991003100
2100110001004321=-=-==⨯⨯+⨯⨯+⨯⨯+⨯=+++=N E a a a a N G p p C p C p C p C p G p εε
设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡02.005.008.010.015.018.020.022.087654321
s s s s s s s s P S 码符号集}2 ,1 ,0{=X ，现对该信源S 进行三元哈夫曼编码，试求信源熵)(S H ，码平均长度L 和编码效率η。
解：
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，8=q ，不能构成满树。
i i i l w s
1s 1 1 2s 22 2 3s 21 2
4s 20 2 5s 02 2 6s 01 2 7s 000 3 8s 001 3
85.1302.0305.0208.021.0215.0218.022.0122.0=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑i
i i l p L
()%
9.933log 85.175.2log )( 75.202.0log 02.0...22.0log 22.0log )(=⨯===⨯++⨯-=-=∑r L S H bit
p p S H i
i i η
设有离散无记忆信源，其概率空间为
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.0654321
s s s s s s P S 进行费诺编码，并求其信源熵)(S H ，码平均长度L 和编码效率η。
解：
()%984
.2352
.2)( 352.204.0log 04.0...32.0log 32.0log )(4
.2404.0408.0316.0218.0222.0232.0===
=⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit
p p S H l p L i
i i i
i i η
设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡01.010.015.017.018.019.020.07654321
s s s s s s s P S (1) 求该信源符号熵)(S H ；
(2) 用霍夫曼编码编成二元变长码，计算其编码效率；
(3) 用霍夫曼编码编成三元变长码，计算其编码效率；
(3) 当译码错误小于310-的定长二元码要达到(2)中霍夫曼码的效率时，估计要多少个信源符号一起编才能办到。
解： (1)
()bit p p S H i
i i 609.201.0log 01.0...2.0log 2.0log )(=⨯++⨯-=-=∑
(2)
s7
s6
s7
s6
s5s2s3s4
i i i l w s
1s 10 2 2s 11 2 3s 010 3
4s 011 3 5s 001 3 6s 0000 4 7s 0001 4
%
9.9572.2609.2)(72
.2401.041.0315.0317.0318.0219.022.0====⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑L S H l p L i
i i η
(3)
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，7=q ，能构成满树。
i i i l w s
1s 1 1 2s 20 2 3s 21 2
4s 22 2 5s 00 2 6s 01 2 7s 02 2
%
4.913
log 8.1609.2log )(8
.1201.021.0215.0217.0218.0219.012.0=⨯===⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑r L S H l p L i
i i η
若某一信源有N 个符号，并且每个符号均已等概率出现，对此信源用最佳霍夫曼二元编码，问当i N 2=和12+=i N （i 为正整数）时，每个码字的长度等于多少？平均码长是多少？
解：
()1
22
11
21log 1log log 21211211
2 )2(21log 1log log 21212 )1(1
1
+++=
=+=⎪
⎭
⎫ ⎝⎛=+-≤≤-<<+=+====⎪⎭⎫ ⎝⎛=+-≤≤-⎪
⎭
⎫ ⎝⎛===∑∑++i i
i
i i i i i i i i i i i
i i i
i i i
i i i i i
i i i
i i l p L i l p l p p p N when i
l p L i
l p l p p N when。