信息论与编码课件(第四章)

电气信息工程学院
引言
• 信源编码的分类：离散信源编码、连续信 源编码和相关信源编码三类。 离散信源编码：独立信源编码，可做到无 失真编码； 连续信源编码：独立信源编码，只能做到 限失真信源编码； 相关信源编码：非独立信源编码。
电气信息工程学院
4.1 编码器及码的分类
• 编码：信息的组织方式 • 编码的实质：对信源的原始符号按一定的
• 密码：是以提高通信系统的安全性为目的 的编码。通常通过加密和解密来实现。从 信息论的观点出发，“加密”可视为增熵 的过程，“解密”可视为减熵的过程。
电气信息工程学院
引言
• 信源编码理论是信息论的一个重要分支， 其理论基础是信源编码的两个定理。 无失真信源编码定理：是离散信源/数字信 号编码的基础； 限失真信源编码定理：是连续信源/模拟信 号编码的基础。
• 编码的意义： • 通信的基本问题：如何高速、高质地传送信息。 • 高速和高质＝鱼和熊掌。 • 编码讨论的问题： • （1）质量一定，如何提高信息传输速度（提高
编码效率或压缩比）---- 信源编码（本章讨论 问题） • （2）信道传输速度一定，如何提高信息传输质 量（抗干扰能力）----信道编码（下一章讨论）
• 等长非奇异码一定是惟一可译码。
信源符号
码1
非奇异码
s1
00
唯一可译
s2
01
码
s3
10
奇异码
码2
非惟一可 译码
00
11
10
s4
11
11
Βιβλιοθήκη Baidu
电气信息工程学院
4.2 等长码
• 等长编码惟一可译的必要条件：qN rl
• 其中： q为信源符号数,r为符号集中的码元数,l
为码长。 • 例如：
• 若信源符号数 q＝4，进行二元等长编码，则码 符号个数为 r ＝2。信源S存在惟一可译等长码 的条件是码长 l≥2。
• 信源编码：把信源符号si映射为码字Wi的过程。 • 无失真编码：映射是一一对应、可逆的。
• 信源编码基本思想：尽可能缩短出现概率大的信 源符号的码字
电气信息工程学院
4.1 编码器及码的分类
• 码的分类 • 二元码：若码符号集X＝{0，1}，所得码字为一
些二元序列，则称二元码。[在二元信道中传输]
10
001
s4
P(s4)
11
111
信源 a1 a2 a3 a4
码字
00＝W1W1=B1 001＝W1W2=B2 0001＝W1W3=B3 0111＝W1W4=B4
信源
a5 . . .
码字
010＝W2W1=B1 . . .
信源
. . . . a16
码字
. . . . 111111=W4W4=B16
电气信息工程学院
数学规则进行变换。 • 编码的目的： • 信源编码：提高信息传输的有效性 • 信道编码：提高信息传输的可靠性 • 本章不考虑干扰问题
电气信息工程学院
4.1 编码器及码的分类
• 无失真编码器结构框图
信源
S{S1,S2,...,Sq}
编码器
码字
C:{W1,W2,...,Wq}
符号集 X{x1,x2,...,xr}
• 问题：怎样才能做到无失真编码即惟一可译码？
电气信息工程学院
4.2 等长码
• 若要实现无失真编码，不但要求信源符号si与码 字Wi是一一对应的，而且要求码符号序列的反变 换也是惟一的。即所编的码必须是惟一可译码。
• 对于等长码来说，若等长码是非奇异码，则它的 任意有限长N次扩展码一定也是非奇异码。
• 几个术语： • 信源符号：S{S1,S2,...,Sq} • 信源输入码符号 (码元)：X{x1,x2,...,xr}
电气信息工程学院
4.1 编码器及码的分类
• 码字Wi： 由xj (j=1,2,…,r)组成的长度为 li 的
序列，Wi与si一一对应。
• 码字长度 (码长)： Wi的长度li
• 编码器：将信源符号si变换成Wi的设备 信源编码
• 奇异码：反之，若码组中含有相同的码字则为奇 异码。
• 同价码：若码符号集X：{x1,x2,…,xr}中每个码 符号所占的传输时间都相同，则所得的码为同价 码。
电气信息工程学院
4.1 编码器及码的分类
• 码的N次扩展码：
信源符号
出现概率
码1
码2
s1
P(s1)
00
0
s2
P(s2)
01
01
s3
P(s3)
• 等长码（固定长度码）：若一组码中所有码字的
长度都相同(即li=l,i=1,…,q)，则称为等长码。
• 变长码：不满足等长码条件的码组称为变长码。
电气信息工程学院
4.1 编码器及码的分类
• 非奇异码：若一组码中所有码字都不相同(即所 有信源符号映射到不同的码符号序列，不同信源 符号可分辨)，则称为非奇异码。
引言
电气信息工程学院
• 信源编码：以提高通信有效性为目的的编 码。通常通过压缩信源的冗余度来实现。 采用的一般方法是压缩每个信源符号的平 均比特数或信源的码率。即同样多的信息 用较少的码率传送，使单位时间内传送的 平均信息量增加，从而提高通信的有效性 。
电气信息工程学院
引言
• 信道编码：是以提高信息传输的可靠性为 目的的编码。通常通过增加信源的冗余度 来实现。采用的一般方法是增大码率/带宽 。与信源编码正好相反。
• 若q＝8，r ＝2，l≥3。
电气信息工程学院
4.2 等长码
• 对 qN rl 两边取对数得 Nloqgllorg
• 平均每个信源符号所需的码符号个数 l log q
N log r
• 上式表明：对于等长惟一可译码而言，平均每个
信源符号至少需要用 logq／logr个码符号来表 示。即：每个信源符号所需最短码长为 logq／ logr个。
4.1 编码器及码的分类
• 惟一可译码：若码的任意一串有限长的码符号序 列只能被惟一地译成所对应的信源符号序列，则 此码称为惟一可译码（单义可译码）。否则就称 为非惟一可译码或非单义可译码。
• 表1中码1是惟一可译码，而码2是非惟一可译码 。因为对于码2，其有限长的码符号序列能译成 不同的信源符号序列。如码符号序列0010，可译 成s1s2s1或s3s1，就不惟一了。
电气信息工程学院
第四章 无失真信源编码
• 本章的重、难点内容 • 1、理解等长码和等长信源编码定理 • 2、理解和掌握变长码及变长码编码定理 • 3、理解Huffman编码、费诺码、香农码 • 4、了解几种实用的无失真信源编码方法，包括
（MH编码、算术编码、LZ码）
电气信息工程学院
第四章 无失真信源编码