编码理论复习题
信息论与编码理论习题答案
信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章 信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6= bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6= bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H = bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H = bit),|(Y X Z H =)|(Y Z H =)(X H = bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =+= bit设一个系统传送10个数字，0，1，…，9。
信息论与编码理论1(A卷答案)
2012-2013 (2) 信息论与编码理论1 A 卷答案一、 单项选择题（每题3分，总计15分） 1．当底为e 时，平均互信息的单位为（ C ）。
A 奈特B 哈特C 奈特/符号D 哈特/符号 2．下列量当Y X ,交换位置时（ C ）没有对称性。
A );(Y X IB ),(Y X HC )|(Y X HD )|,(Z Y X I3．下列（ A ）陈述是错误的。
A 算术编码不需要知道信源的分布B LZ 编码不需要知道信源的分布C 游程编码不需要知道信源的分布D KY 编码不需要知道信源的分布 4．下列数组中（ A ）不满足两个字母上的Kraft 不等式。
A (1，2，1)B (2,2)C (1,2,3)D （3，3，3） 5．下列译码法则中（ A ）一定是错误概率最小的。
A 最大后验概率译码准则B 最大似然译码准则C 最小距离译码准则D 最大先验概率译码准则 二、填空题（每空2分，总计12分）1．若某离散信道转移概率矩阵为⎥⎦⎤⎢⎣⎡125.0125.05.025.0125.0125.025.05.0，则其信道容量为43log 352-比特/符号。
2．若一个信道的输入熵为8.1)(=X H 比特/符号，输出熵为2.2)(=Y H 比特/符号，6.0);(=Y X I 比特/符号，则=),(Y X H __3.4比特/符号__，疑义度为1.2比特/符号_。
3．平均互信息对信源概率分布是上凸函数，对信道的状态转移概率分布是下凸函数。
4．对信源U 任一个D 元唯一可译码的平均码长必大于等于DU H log )(。
三、计算题（73分）1）（15分）设随机变量Y X ,的联合概率分布如下：Y X Z ⊕=，⊕为模2加。
分别求);(),|(),(),(Z X I Y X H Y H X H 。
解: X 的分布率为则1)(=X H 比特/符号..3分Y 的分布率为则3log 432)(2-=Y H =0.811比特/符号. …………………………………………………..……..6分)0()0,0()0|0(======Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =31)0()0,1()0|1(======Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 32)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --=32log 210log 031log 411log 412222----=213log 432-=0.688比特/符号. ……………..10分)0()0,0()0|0(======Z P Z X p Z X p =31,)1()1,0()1|0(======Z P Z X p Z X p =1 )0()0,1()0|1(======Z P Z X p Z X p =32,)1()1,1()1|1(======Z P Z X p Z X p =0则)1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2222=+=+=+==X p p p X p p p X p p p X p p p Z X I =210log 02132log 41211log 412131log 412222+++=9log 4112-=0.2075比特/符号. …………………..15分2）（22分）若离散无记忆信源的概率分布为⎪⎪⎭⎫ ⎝⎛=3.01.04.005.005.01.0654321a a a a a a U① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon 编码，Fano编码，Shannon-Fano-Elias 编码。
信息论与编码理论-第7章线性分组码-习题解答-20071206
第7章 线性分组码习 题1. 已知一个(5, 3)线性码C 的生成矩阵为：11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）列出C 的信息位与系统码字的映射关系；（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；（5）列出译码表，求收到r =11101时的译码步骤与译码结果。
2．设（7, 3）线性码的生成矩阵如下010101000101111001101G ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）求校验矩阵； （3）求最小汉明距离； （4）列出伴随式表。
3．已知一个(6, 3)线性码C 的生成矩阵为：.0 1 1 1 0 01 1 0 0 1 01 0 10 0 1G ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=（1） 写出它所对应的监督矩阵H ；（2） 求消息M =(101)的码字；（3） 若收到码字为101010，计算伴随式，并求最有可能的发送码字。
4．设(6, 3)线性码的信息元序列为x 1x 2x 3，它满足如下监督方程组⎪⎩⎪⎨⎧=++=++=++000631532421x x x x x x x x x （1）求校验矩阵，并校验10110是否为一个码字；（2）求生成矩阵，并由信息码元序列101生成一个码字。
习题答案1. 已知一个(5, 3)线性码C 的生成矩阵为：11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）列出C 的信息位与系统码字的映射关系；（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；（5）列出译码表，求收到r =11101时的译码步骤与译码结果。
解：（1）线性码C 的生成矩阵经如下行变换：23132110011001101101011010011100111100111001101101010100011100111⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦将第、加到第行将第加到第行得到线性码C 的系统生成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=111000*********S G （2）码字),,,(110-=n c c c c 的编码函数为[][][]111000*********)(210m m m m f c ++==生成了的8个码字如下(3) 最小汉明距离d =2，所以可检1个错，但不能纠错。
疾病编码员考试题库
疾病编码员考试题库一、选择题1. ICD-10-CA的全名是什么？a. International Classification of Diseases, Tenth Revision, Clinical Modificationb. International Classification of Diseases, Tenth Revision, Canadian Versionc. International Classification of Diseases, Tenth Revision, Clinical Assessmentd. International Classification of Diseases, Tenth Revision, Coding Assistance2. ICD编码系统的目的是什么？a. 对疾病进行分类和编码b. 提供医疗诊断指南c. 统计疾病发病率和死亡率d. 为医疗保险支付提供准确信息3. ICD编码系统主要用于什么目的？a. 临床决策支持b. 疾病统计和流行病学研究c. 医疗费用报销d. 医学教育和研究4. ICD编码系统的分类标准是什么？a. 疾病名称b. 疾病编码c. 疾病病因d. 疾病病理特征5. ICD编码系统最新的版本是什么？a. ICD-9b. ICD-10c. ICD-11d. ICD-12二、填空题1. ICD编码系统是由世界卫生组织（WHO）开发的，用于________________。
2. ICD-10-CA是ICD-10的一个版本，适用于________________。
3. ICD编码系统不仅可以对疾病进行编码，还可以对________________进行编码。
4. ICD-10-CA的编码规则包括疾病编码和________________编码。
5. ICD编码系统的目的之一是为了________________提供准确的疾病信息。
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+- )0000;(1u I =42244)1(6)1()1(8logp p p p p +-+-- bit2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
信息论与编码(网信10)复习
I(X;Y)，其中I(X;Y)表示输入和输出之间的互信息量。
约束条件
03
离散信道容量的计算需要考虑输入概率分布的约束条
件。
连续信道容量
定义
连续信道容量是指连续信道在给定输入概率 密度函数和功率限制条件下，能够传输的最 大信息量。
计算方法
使用香农公式计算连续信道容量，公式为C = max∫ 熵(y|x)dF(x)，其中熵(y|x)表示条件熵，F(x)表示输入 概率密度函数。
04
纠错编码
奇偶校验码
定义
奇偶校验码是一种简单的错误检测码，通过在数据位之外添加校验位，使得整个 码字中1的个数为奇数（奇校验）或偶数（偶校验）。
原理
奇偶校验码通过在数据位之外添加一个校验位，使得整个码字中1的个数满足特 定的规则（奇数或偶数）。在接收端，对接收到的码字进行同样的计算，并与发 送端的规则进行比较，如果规则不满足，则认为发生了错误。
数字通信系统广泛应用于电话通信、移动通信、卫星通信等领域，为人们提供了快速、可靠、安全的通 信服务。
网络安全
网络安全是信息论与编码的一个重要应用方向，通过信息编码和加密技术保护网络 通信中的数据安全。
常见的网络安全技术包括对称加密、非对称加密、哈希函数等，它们能够提供数据 加密、身份认证和完整性保护等功能。
循环码
优点
纠错能力强，且具有高效的编码和解 码算法。
缺点
实现较为复杂，且对硬件要求较高。
05
信息论与编码的应用
数据压缩
01
数据压缩是信息论与编码的重要应用之一，通过去除数据中的冗余和 无用的信息，将数据压缩成更小的体积，以便于存储和传输。
02
常见的数据压缩算法包括哈夫曼编码、算术编码、LZ77和LZ78等， 这些算法利用数据的统计特性来达到压缩效果。
信息论和编码理论第二章习题集答案解析(王育民)
部分答案，仅供参考。
2.1信息速率是指平均每秒传输的信息量点和划出现的信息量分别为3log ,23log ，一秒钟点和划出现的次数平均为415314.0322.01=⨯+⨯一秒钟点和划分别出现的次数平均为45.410那么根据两者出现的次数，可以计算一秒钟其信息量平均为253log 4153log 4523log 410-=+2.3 解：(a)骰子A 和B ，掷出7点有以下6种可能：A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3≈2.58 bit(b) 骰子A 和B ，掷出12点只有1种可能： A=6,B=6概率为1/36，所以信息量-log(1/36)=2+log9≈5.17 bit 2.5解：出现各点数的概率和信息量：1点：1/21，log21≈4.39 bit ； 2点：2/21，log21-1≈3.39 bit ； 3点：1/7，log7≈2.81bit ； 4点：4/21，log21-2≈2.39bit ； 5点：5/21，log （21/5）≈2.07bit ； 6点：2/7，log(7/2)≈1.81bit平均信息量：(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit 2.7解：X=1:考生被录取； X=0:考生未被录取； Y=1:考生来自本市；Y=0:考生来自外地； Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10； P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4 (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=0.125P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625I (X ;Y=1)=∑∑=====xx)P()1Y /(P log)1Y /(P )1Y (I )1Y /(P x x x x;x=1)P(X )1Y /1X (P log)1Y /1X (P 0)P(X )1Y /0X (P log)1Y /0X (P =====+===== =0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit (b) 由于P(Z=1/ Y=1)=1, 所以 P （Y=1，Z=1/X=1）= P （Y=1/X=1）=0.5 P （Y=1，Z=1/X=0）= P （Y=1/X=0）=0.1那么P （Z=1/X=1）= P （Z=1,Y=1/X=1）+ P （Z=1,Y=0/X=1）=0.5+ P （Z=1/Y=0，X=1）P （Y=0/X=1）=0.5+0.5*0.4=0.7P(Z=1/X=0)= P （Z=1,Y=1/X=0）+ P （Z=1,Y=0/X=0）=0.1+P(Z=1/Y=0，X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46P （Z=1,X=1）= P （Z=1/X=1）*P(X=1)=0.7*0.25=0.175P （Z=1,X=0）= P （Z=1/X=0）*P(X=0)= 0.46*0.75=0.345 P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104I (X ;Z=1)=∑∑=====x x )P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x=1)P(X )1Z /1X (P log )1Z /1X (P 0)P(X )1Z /0X (P log )1Z /0X (P =====+======(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit(c)H （X ）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bit H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bitH(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bitP(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27 P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05 P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075 P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.07 5*log0.075=(113/100)+(31/20)log10-(129/50)log3=0.528+0.51+0.216+0.28+0.375+0.28=2.189 bitH(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit2.9 解：A，B，C分别表示三个筛子掷的点数。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
信息论与编码理论习题答案
足下式
（a）在=0、０５,=0、1 下求 (b）在＝，＝下求 （c)令就是序列得集合，其中
试求Ｌ=时情况（a)(b）下,T 中元素个数得上下限. 解：＝==０、８１ bit
= ＝=—
= =0、471 则根据契比雪夫大数定理
0、2
00１
10０
a４
0、１
０00１
10００
(a) 各码就是否满足异字头条件？就是否为唯一可译码？
(b) 当收到 1 时得到多少关于字母 a 得信息？
(c) 当收到 1 时得到多少关于信源得平均信息?
２、14 对于任意概率事件集 X，Y,Z，证明下述关系式成立 (ａ）＋,给出等号成立得条件 (ｂ）=+ （c）
证明：(b) =-
=＝—-
=+ (c) ＝-
=［—］ [-］
＝—
= 当=，即Ｘ给定条件下，Y 与 Z 相互独立时等号成立 (ａ） 上式(ｃ)左右两边加上，可得 ＋＋ 于就是+ ２、2８ 令概率空间，令 Y 就是连续随机变量。已知条件概率密度为 ，求： (a)Y 得概率密度 (ｂ) （ｃ) 若对 Y 做如下硬判决
求，并对结果进行解释. 解：（a) 由已知,可得
= ＝
＝＋
= （ｂ) ==2、５ bｉt
=
= =2 bｉt =-＝0、5 ｂit （c) 由可得到Ｖ得分布律
Ｖ
—１
p
1/4
再由可知
V
－1
p(V|x=－１）
１/2
p(V｜x=1）
0
bｉt
=1 bit ＝= 0、5 bit
０ 1/2
0 1/2 1/2
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
编码理论考试试题
编码理论考试试题编码理论考试试题在计算机科学领域中，编码理论是一个重要的研究领域，它涉及到信息的传输、存储和处理等方面。
编码理论的基本目标是设计出一种有效的编码方案，使得在数据传输过程中能够减少错误的发生，并且提高传输效率。
下面是一些关于编码理论的考试试题，希望能够帮助读者更好地理解和掌握这个领域的知识。
1. 请简要解释什么是编码理论？编码理论是研究如何将信息转化为特定形式的代码，以便在传输或存储过程中减少错误的发生，并提高传输效率的学科。
它涉及到编码、解码、纠错等多个方面的内容。
2. 什么是纠错码？请简要介绍纠错码的原理和应用。
纠错码是一种能够在数据传输过程中检测和纠正错误的编码方案。
它通过在发送数据时添加冗余信息，使得接收方能够检测出错误的位置，并进行纠正。
纠错码的原理是利用冗余信息与原始数据进行比对，通过计算差异来确定错误的位置，并进行相应的修正。
纠错码广泛应用于数据传输、存储和通信等领域，能够有效提高数据传输的可靠性。
3. 请简要介绍海明码的原理和应用。
海明码是一种常见的纠错码，它通过在数据中添加冗余位来实现错误检测和纠正。
海明码的原理是将数据按照一定规则进行编码，添加冗余位，使得接收方能够根据冗余位的比对来检测和纠正错误。
海明码广泛应用于存储介质、通信系统等领域，能够有效提高数据传输的可靠性。
4. 请简要介绍信息论的基本概念和原理。
信息论是研究信息传输、编码和存储等问题的学科。
它的基本概念包括信息熵、信道容量和编码定理等。
信息熵是衡量信息的不确定性的度量，信道容量是衡量信道传输能力的度量，编码定理是指在给定信道容量的情况下，存在一种编码方案可以使得信息传输的错误率趋近于零。
信息论的原理和方法被广泛应用于数据压缩、信号处理和通信系统等领域。
5. 请简要介绍压缩编码的原理和方法。
压缩编码是一种将原始数据转化为更紧凑表示的编码方法。
它的原理是利用数据中的统计特性来减少冗余信息，从而达到压缩数据的目的。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
信息论与编码理论-第4章无失真信源编码-习题解答-20071202
信息论与编码理论-第4章无失真信源编码-习题解答-20071202信息论与编码理论第4章无失真信源编码习题及其参考答案4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F（1）求这些码中哪些是唯一可译码；（2）求哪些码是及时码；（3）对所有唯一可译码求出其平均码长。
?X??s14-2 设信源????p(s)P(X)???1s6?p(s2)?p(s6)???s2?p(s)?1。
对此次能源进行m元唯一ii?16可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。
（提示：用kraft不等式）?s?X??14-3设信源为??1??p(X)???2?（1）信源的符号熵；（2）这种码的编码效率；s214s3s411816s5132s6s7s8?，编成这样的码：（000，001，111???64128128?010，011，100，101，110，111）。
求（3）相应的仙农码和费诺码。
4-4求概率分布为(,11122信)源的二元霍夫曼编码。
讨论此码对于概率分布为355151511111(,,,,)的信源也是最佳二元码。
555554-5有两个信源X和Y如下：1信息论与编码理论s2s3s4s5s6s7??X??s1??p(X)??0.200.190.180.170.150.100.01?????s2s3s4s5s6s7s8s9??Y??s1??p(Y)??0.490.140.140.070.070.040.020.02 0.01?????（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行编码，并计算其平均码长和编码效率；（2）从X，Y两种不同信源来比较三种编码方法的优缺点。
4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样霍夫曼码的信源的所有概率分布。
4-7设信源为?码。
信息理论与编码基础复习题
信息理论与编码基础复习题1.从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。
2.当一个信源中所有的符号消息为等概时，该信源的熵最大。
3.即时码一定是单义可译码。
4.不使用间隔即可区分码字，就必然要求码字具有惟一性。
5.噪声熵为0的信道称为确定信道。
#000000#99CC00#999933#9933336.从通信的实质意义来讲，人们对消息中所包含的未知成分更感兴趣，用概率论的术语来说，就是具有不确定性的成分。
7.当两个集合相互独立时，它们的共熵最大。
8.等长码都是即时码。
9.无记忆离散信源发出的各个消息符号是相互独立的，即信源发出的符号序列中的各个符号之间没有关联性，各个符号的出现概率统计独立。
10.定长非奇异码肯定是惟一可译码。
11.消息中未知的或不确定的成分，通常被称为消息中所包含的信息，而消息的传递需要由信号来载荷。
12.代码组集合中的所有代码组都包含相同个数的码元的编码称为等长码。
13.信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。
14.译码时不需要考察后续码元，称之为即时码。
15.在即时码中，任何一个码字都不是其他码字的延长。
16.通信系统的任务是将信源的消息有效可靠地传送到信宿。
17.在通信系统中，人们习惯于将通信分为数字通信和模拟通信，其实质亦是根据信源消息是数字还是模拟来划分的。
18.信源能够用随机过程来建模，从描述信源消息的随机过程的平稳性角度，信源可以分为平稳信源和非平稳信源，也可以按随机过程的类别将其分为高斯信源和马尔可夫信源等。
19.文本信源和语音信源都是针对人类语言、文字、声乐等感知的，又通称为自然语信源。
20.若信源发出的消息是由K个离散符号构成的符号序列，且各个消息相互统计独立，则称这种信源为发出符号序列消息离散无记忆信源。
21.若单符号离散无记忆信源的信源空间为[X∙P]，对其进行K重扩展得到符号序列X=X1X2… X k，则称扩展后的信源为离散无记忆信源[X∙P]的K重扩展信源，记为X K。
信息论与编码理论-第7章线性分组码-习题解答-20071206
第7章 线性分组码习 题1. 已知一个(5, 3)线性码C 的生成矩阵为：11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）列出C 的信息位与系统码字的映射关系；（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；（5）列出译码表，求收到r =11101时的译码步骤与译码结果。
2．设（7, 3）线性码的生成矩阵如下010101000101111001101G ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）求校验矩阵； （3）求最小汉明距离； （4）列出伴随式表。
3．已知一个(6, 3)线性码C 的生成矩阵为：.0 1 1 1 0 01 1 0 0 1 01 0 10 0 1G ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=（1） 写出它所对应的监督矩阵H ；（2） 求消息M =(101)的码字；（3） 若收到码字为101010，计算伴随式，并求最有可能的发送码字。
4．设(6, 3)线性码的信息元序列为x 1x 2x 3，它满足如下监督方程组⎪⎩⎪⎨⎧=++=++=++000631532421x x x x x x x x x （1）求校验矩阵，并校验10110是否为一个码字；（2）求生成矩阵，并由信息码元序列101生成一个码字。
习题答案1. 已知一个(5, 3)线性码C 的生成矩阵为：11001G 011010111⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）求系统生成矩阵；（2）列出C 的信息位与系统码字的映射关系；（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；（5）列出译码表，求收到r =11101时的译码步骤与译码结果。
解：（1）线性码C 的生成矩阵经如下行变换：23132110011001101101011010011100111100111001101101010100011100111⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥−−−−−−→⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦将第、加到第行将第加到第行得到线性码C 的系统生成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=111000*********S G （2）码字),,,(110-=n c c c c 的编码函数为[][][]111000*********)(210m m m m f c ++==生成了的8个码字如下(3) 最小汉明距离d =2，所以可检1个错，但不能纠错。
彭代渊王玲-信息论与编码理论-第二章习题解答精选全文
1第2章 信息的度量2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？解：某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。
设两骰子面朝上点数之和为事件a ，有：⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit) ⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？解：设“明天是星期几”为事件a ：⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit) ⑵ 知道今天是星期几：I(a)=-log1=0 (bit)2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。
假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？解：设“居住某地区的女孩是大学生”为事件a ，“身高1米6以上的女孩”为事件b ，则有： p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，则“身高1米6以上的某女孩是大学生”的概率为：32.05.08.02.0)()|()()|(=⨯==b p a b p a p b a p信息量为：I=-logp(a|b)=-log0.32≈1.64(bit)2.4 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：⑴ 男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit) 男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit) 平均信息量为：H 1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号) ⑵ 问女同志的平均自信息量：H 2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)2.5 如有7行9列的棋型方格，若有两个质点A 和B ，分别以等概率落入任一方格内，2且它们的坐标分别为（X A ，Y A ）、（X B ，Y B ），但A 、B 不能落入同一方格内。
关于数字编码的题
关于数字编码的题数字编码在许多领域都有广泛的应用，如身份证号码、邮政编码、网络IP地址等。
它们是用来标识或唯一标识某个对象的一种方式。
数字编码通常包含数字、字母或其他符号，通过对这些信息的编码和解码，我们可以获取一些有用的信息。
那么，什么是数字编码？它们是如何工作的？本文将探讨数字编码的基本概念、分类、应用以及相关问题。
一、数字编码的基本概念数字编码是一种将信息转化为数字、字母或其他符号的方法。
通过这种编码方法，我们可以将信息隐藏起来，或者在传输过程中防止被窃取。
数字编码通常由一系列特定的符号组成，这些符号按照一定的规则排列，形成一种独特的代码。
二、数字编码的分类数字编码可以根据不同的标准进行分类，如编码方式、应用领域、保密级别等。
常见的数字编码分类包括：1. 邮政编码：邮政编码是用于标识信件或包裹的投递地址的一种数字编码系统。
它们通常由几个数字或字母组成，用于区分不同的投递区域。
2. 身份证号码：身份证号码是每个人独有的标识，用于身份识别和验证。
它由公安机关赋予，包含出生日期、性别、住址等信息。
3. 网络IP地址：网络IP地址是计算机在网络中唯一的标识符。
它由四段数字组成，每一段之间用点分隔。
4. 加密编码：加密编码是一种高级别的数字编码方式，用于保护信息在传输过程中的安全。
它通过加密算法将信息转化为难以理解的代码。
三、数字编码的应用数字编码在我们的生活中应用广泛，如邮政快递、身份证、网络通信等。
通过数字编码，我们可以快速准确地传递和识别信息，大大提高了工作效率。
同时，数字编码也是安全防护的关键手段，如加密编码在保护数据安全方面发挥了重要作用。
四、数字编码相关问题在使用数字编码时，我们需要注意一些问题，如：1. 正确解读数字编码：解码数字编码需要具备一定的知识和技能，确保正确解读信息。
2. 防止伪造：有些不法分子可能会通过复制数字编码来伪造真实的信息，因此需要加强防伪措施。
3. 网络安全：在处理加密编码时，需要确保安全环境，防止信息在传输过程中被窃取。
信息理论与编码习题
解：
(1) /符号
/符号
(2)
=
= /符号
= /符号
= /符号
= /符号
(3) /符号
/符号
(4)、(5)
/符号
/符号
/符号
/符号
又根据
= /符号
3.3设有一批电阻，按阻值分：70%是2 ，30%是5 ；按功率分：64%是1/8 ，其余是1/4 。现已知2 阻值的电阻中80%是1/8 。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？
答案：王虹
解：设电视图像每个像素取128个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为
得每个像素亮度含有的信息量为：
一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 次扩展信源。得每帧图像含有的信息量为
广播口述时，广播员是从10 000个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是
由 得
由对称性可得
（2）
H p ㏒ p =-
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
H =H -H
(3)
2.5 联合熵和条件熵
2.10任意三个离散随机变量 、 和 ，求证：
(1)
证明：
（1）方法一：利用定义证明。
左边=
=
右边=
=
在输入等概率分布下，计算得
，满足
然后计算
=
=
=
又 =
=
=
可见 ，当 时。
所以，根据信道容量解的充要性（参考书[1]定理3.3）得
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 和F
（1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码；
（3）对所有唯一可译码求出其平均码长l 。
2、有两个信源X 和Y 如下：
1234567()0.20
0.190.180.170.150.100.01X s s s s s s s p X
⎡⎤⎡⎤
=⎢
⎥⎢
⎥⎣⎦⎣⎦ 123456789()0.49
0.14
0.14
0.07
0.07
0.04
0.02
0.02
0.01Y s s s s s s s s s p Y ⎡⎤⎡⎤
=⎢⎥⎢
⎥⎣⎦⎣⎦
（1）用二元霍夫曼编码、香农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率；
（2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。
3、设信源为12345678()0.4
0.2
0.1
0.1
0.05
0.05
0.05
0.05X
s s s s s s s s p X
⎡⎤⎡⎤
=⎢
⎥⎢⎥⎣⎦⎣⎦
，求其三元霍夫曼编码。
4、简述游程编码的思想和方法。
5、已知一个(5, 3)线性码C 的生成矩阵为：
11001G 0
11010
1
1
1⎡⎤
⎢⎥=⎢⎥⎢⎥⎣⎦
（1）求系统生成矩阵；
（2）列出C 的信息位与系统码字的映射关系；
（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；
（5）列出译码表，求收到r =11101时的译码步骤与译码结果。
6、设（7, 3）线性码的生成矩阵如下
01010100
0101111
1
1
1G ⎡⎤
⎢⎥=⎢⎥⎢⎥⎣⎦
（1）求系统生成矩阵； （2）求校验矩阵；
（3）求最小汉明距离； （4）列出伴随式表。
7、已知(8, 5)线性分组码的生成矩阵为 ⎥⎥⎥⎥⎥⎥⎦
⎤
⎢⎢⎢⎢⎢
⎢⎣⎡=10
1
1
1
0100010000100010
0001000100001111G （1）证明该码是循环码； （2）求该码的生成多项式)(x g 。
8、已知(7, 4)循环码的生成多项式为1)(3++=x x x g ，信息多项式为1)(3+=x x m ，分别由编码电路和代数计算求其相应的码多项式C (x )。
9、码长为n =15的本原BCH 码，求不同纠错能力下的BCH 码各自的生成多项式)(x g 。
10、构造一个能纠正t =3个错误符号，码长为15，m =4的RS 码，并求其生成矩阵。
11、某卷积编码器码的结构如下，输出时21,c c 交替输出。
n
b 2,n
c 1,n
c
1．画出该卷积码的状态图。
2．输入为01100000…和输入为11100000…所对应的两个输出路径的汉明距是多少? 12、DPCM 的概念是什么？。