信息论与编码纠错第3章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信源 各消息 码1 码2 码3 消息 概率 u1 u2 u3 u4 p(u1) p(u2) p(u3) p(u4) 00 11 10 11 00 01 10 11 0 1 00 11 码4 1 10 100 1000
5．非奇异码
从信源消息到码字的映射是一一对 应的，每一个不同的信源消息都用不同 的码字对其编码，例中的码2、码3和码 4都是非奇异码。
6．原码C的N次扩展码
原码C的N次扩展码中的每个元素是N次扩展信源中的序列所对应的N 个码字组成的序列。
No Image
原码的N次扩展码是将信源作N次扩展得到的新信源符号序列u（N） =u1 …uN = (u11 u12 … u1L) … (uN1 uN2 … uNL)，对应码符号序列c（N） =c1 …cN = (c11 c12 … c1n) … (cN1 cN2 … cNn) ，记集合C (N) = {c1(N), c2(N), …}，C (N) 即原码C的N次扩展码。
11 1000
3．变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不都相同，称 码C为变长码，例中列出的码3、码4 就是变长码。
4．奇异码
对奇异码来说，从信源消息到码字的映射不是一一对应的。例中的码 1，信源消息u2和u4都用码字11对其编码，因此这种码就是奇异码，奇异码 不具备惟一可译性。
7．唯一可译码
定义：如果码的任意N次扩展码都是非奇异码，则称该码为惟一可译码。
信源消息 u1 各消息概率 p(u1) 码1 00 码2 00 码3 0 码4 1
u2
u3 u4
p(u2)
p(u3) p(u4)
11
10 11
01
10 11
1
00 11
10
100 1000
例中的码1不是唯一可译码。
对于定长码，若原码是惟一可译码，则它的N次扩展码也是惟一可译 的，而对于变长码则不尽然。
（2）增强通信的可靠性： 综上所述，提高抗干扰能力往往是以降低信息传输效率为代价
信源编码的概念：对信源的原始符号按一定的数学规则进行变换的一种
代码。
信源编码包括两个功能：
（1）将信源符号变换成适合信道传输的符号； {b1, b2,…, bD}是适合 编码输出码字cm = cm1 cm2 … {a1, a2, …, （ ak} 为信 2 ）压缩信源冗余度，提高传输效率。 信道传输的D个符号， cmn， c mk∈{b1, b2,…, bD}， 源符号集，序列中 用作信源编码器的 k = 1, 2 , …, n ，n表示码字 每一个符号 uml都取 信源编码模型： 编码符号。 长度，简称码长。 自信源符号集。
第三章
离散信源无失真编码
内容提要
用尽可能少的符号来传输信源消息，目的是提高传
输效率，这是信源编码应考虑的问题，这章讨论在不允
许失真情况下的信源编码。等长编码定理给出了等长编 码条件下，其码长的下限值，变长编码定理（香农第一 定理）给出了信源无失真变长编码时其码长的上、下限 值。本章还介绍了三种通用信源编码方法：香农编码法、
费诺编码法和霍夫曼编码法。
§3.1 概 述
一．信源编码的模型
为了实现高质量、高效率的通信，引入了信源编码和信道编码。信源 编码和信道编码主要需要解决以下两个问题。
（1）提高传输效率：
用尽可能少的信道传输符号来传递信源消息，目的是提高传输效率， 这是信源编码主要应考虑的问题。这里又分两种情况讨论，即允许接收信 号有一定的失真或不允许失真。
信源消息 u1 u2 u3 u4
信源消息 u1 u2 u3 u4 各消息概率 p(u1) p(u2) p(u3) p(u4) 码1 00 11 10 11 码2 00 01 10 11 码3 0 1 00 11 码4 1 10 100 1000
一般，可以将码简单的分成如下几类:
1．二元码
若码符号集为{0，1}，则码字就是二元序列，称为二元码，二元码通 过二进制信道传输，这是数字通信和计算机通信中最常见的一种码，例子 列出的4种码都是二元码。
No Image
【例】中文电报编码：
No Image
信源编码器I ：1－10000个汉字分别对应0000－9999
信源编码器II：每位数字对应五位二进制等重码。对应关系如下： （1→01011，2→11001，...，9→10011，0→01101） 如：
No Image
二．码的分类
信源编码可看成是从信源符号集到码符号集的一种映射，即将信源符 号集中的每个元素（可以是单符号，也可以是符号序列）映射成一个长度 为n的码字。对于同一个信源，编码方法是多种的。 【例】 用{u1 ，u2 ，u3，u4}表示信源的四个消息，码符号集为{0,1}，下表 列出了该信源的几种不同编码。
2．等长码
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码长都相同，则称这组码 C为等长码，例中的码1、码2 就码长n = 2 等长码。
信源 各消息 码1 码2 码3 码4 消息 概率 u1 u2 u3 u4 p(u1) p(u2) p(u3) p(u4) 00 11 10 11 00 01 10 11 0 1 00 1 10 100
如何增加信号的抗干扰能力，提高传输的可靠性，这是信道编码主要 的，而为了提高传输效率又往往削弱了其抗干扰能力。这样， 考虑的问题。解决这一问题，一般是采用冗余编码法，赋予信码自身一定 设计者在取舍之间就要作均衡考虑。 的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传 输的差错概率降到允许的范围之内。
信源消息 u1 u2 u3 u4
各消息概率 p(u1) p(u2) p(u3) p(u4)
码1 0 1 00 11
码2 1 10 100 1000
码3 1 01 001 0001
码1不是唯一可译码，码2、码3是唯一可译码。
8．即时码
对于变长码，有两个定义：
百度文库
码3是无前缀码；其他
都不是无前缀码。
（1）前缀：对于码字C= c1 c2 … cn，称c’ = c1 c2 … ci (i< n)为码字c的 字头（前缀）。 （2）异字头码：若码中任一码字都不是另一码字的字头，称该码为异 字头码（无前缀码）。
5．非奇异码
从信源消息到码字的映射是一一对 应的，每一个不同的信源消息都用不同 的码字对其编码，例中的码2、码3和码 4都是非奇异码。
6．原码C的N次扩展码
原码C的N次扩展码中的每个元素是N次扩展信源中的序列所对应的N 个码字组成的序列。
No Image
原码的N次扩展码是将信源作N次扩展得到的新信源符号序列u（N） =u1 …uN = (u11 u12 … u1L) … (uN1 uN2 … uNL)，对应码符号序列c（N） =c1 …cN = (c11 c12 … c1n) … (cN1 cN2 … cNn) ，记集合C (N) = {c1(N), c2(N), …}，C (N) 即原码C的N次扩展码。
11 1000
3．变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不都相同，称 码C为变长码，例中列出的码3、码4 就是变长码。
4．奇异码
对奇异码来说，从信源消息到码字的映射不是一一对应的。例中的码 1，信源消息u2和u4都用码字11对其编码，因此这种码就是奇异码，奇异码 不具备惟一可译性。
7．唯一可译码
定义：如果码的任意N次扩展码都是非奇异码，则称该码为惟一可译码。
信源消息 u1 各消息概率 p(u1) 码1 00 码2 00 码3 0 码4 1
u2
u3 u4
p(u2)
p(u3) p(u4)
11
10 11
01
10 11
1
00 11
10
100 1000
例中的码1不是唯一可译码。
对于定长码，若原码是惟一可译码，则它的N次扩展码也是惟一可译 的，而对于变长码则不尽然。
（2）增强通信的可靠性： 综上所述，提高抗干扰能力往往是以降低信息传输效率为代价
信源编码的概念：对信源的原始符号按一定的数学规则进行变换的一种
代码。
信源编码包括两个功能：
（1）将信源符号变换成适合信道传输的符号； {b1, b2,…, bD}是适合 编码输出码字cm = cm1 cm2 … {a1, a2, …, （ ak} 为信 2 ）压缩信源冗余度，提高传输效率。 信道传输的D个符号， cmn， c mk∈{b1, b2,…, bD}， 源符号集，序列中 用作信源编码器的 k = 1, 2 , …, n ，n表示码字 每一个符号 uml都取 信源编码模型： 编码符号。 长度，简称码长。 自信源符号集。
第三章
离散信源无失真编码
内容提要
用尽可能少的符号来传输信源消息，目的是提高传
输效率，这是信源编码应考虑的问题，这章讨论在不允
许失真情况下的信源编码。等长编码定理给出了等长编 码条件下，其码长的下限值，变长编码定理（香农第一 定理）给出了信源无失真变长编码时其码长的上、下限 值。本章还介绍了三种通用信源编码方法：香农编码法、
费诺编码法和霍夫曼编码法。
§3.1 概 述
一．信源编码的模型
为了实现高质量、高效率的通信，引入了信源编码和信道编码。信源 编码和信道编码主要需要解决以下两个问题。
（1）提高传输效率：
用尽可能少的信道传输符号来传递信源消息，目的是提高传输效率， 这是信源编码主要应考虑的问题。这里又分两种情况讨论，即允许接收信 号有一定的失真或不允许失真。
信源消息 u1 u2 u3 u4
信源消息 u1 u2 u3 u4 各消息概率 p(u1) p(u2) p(u3) p(u4) 码1 00 11 10 11 码2 00 01 10 11 码3 0 1 00 11 码4 1 10 100 1000
一般，可以将码简单的分成如下几类:
1．二元码
若码符号集为{0，1}，则码字就是二元序列，称为二元码，二元码通 过二进制信道传输，这是数字通信和计算机通信中最常见的一种码，例子 列出的4种码都是二元码。
No Image
【例】中文电报编码：
No Image
信源编码器I ：1－10000个汉字分别对应0000－9999
信源编码器II：每位数字对应五位二进制等重码。对应关系如下： （1→01011，2→11001，...，9→10011，0→01101） 如：
No Image
二．码的分类
信源编码可看成是从信源符号集到码符号集的一种映射，即将信源符 号集中的每个元素（可以是单符号，也可以是符号序列）映射成一个长度 为n的码字。对于同一个信源，编码方法是多种的。 【例】 用{u1 ，u2 ，u3，u4}表示信源的四个消息，码符号集为{0,1}，下表 列出了该信源的几种不同编码。
2．等长码
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码长都相同，则称这组码 C为等长码，例中的码1、码2 就码长n = 2 等长码。
信源 各消息 码1 码2 码3 码4 消息 概率 u1 u2 u3 u4 p(u1) p(u2) p(u3) p(u4) 00 11 10 11 00 01 10 11 0 1 00 1 10 100
如何增加信号的抗干扰能力，提高传输的可靠性，这是信道编码主要 的，而为了提高传输效率又往往削弱了其抗干扰能力。这样， 考虑的问题。解决这一问题，一般是采用冗余编码法，赋予信码自身一定 设计者在取舍之间就要作均衡考虑。 的纠错和检错能力，只要采取适当的信道编码和译码措施，就可使信道传 输的差错概率降到允许的范围之内。
信源消息 u1 u2 u3 u4
各消息概率 p(u1) p(u2) p(u3) p(u4)
码1 0 1 00 11
码2 1 10 100 1000
码3 1 01 001 0001
码1不是唯一可译码，码2、码3是唯一可译码。
8．即时码
对于变长码，有两个定义：
百度文库
码3是无前缀码；其他
都不是无前缀码。
（1）前缀：对于码字C= c1 c2 … cn，称c’ = c1 c2 … ci (i< n)为码字c的 字头（前缀）。 （2）异字头码：若码中任一码字都不是另一码字的字头，称该码为异 字头码（无前缀码）。