第三章-无失真信源编码解析

如果每次只传送一个符号，即序列长度L＝1
ui=ui1∈(a1,a2,…,an)
要将这样 的符号进行传输，常采用二元信道，码符号集X为 {0,1}。若将信源在该信道上传输，需把信源符号变换成0，1 符号组成的码字序列。
例： 信源符号
信源符号出 现概率
码表
码1
码2
a1
p(a1)
00
0
a2
p(a2)
01
做即时码（非延长码）。
则是某一码组的前面向后面看：比如u1=0，被采用后，则从0 以后的任何延长出去组合，比如00、01、001等均不能再用。
即时码一定是唯一的，唯一可译码却不一定是即时码。 例如：W：{0，01}是唯一的，但不是即时码。
即时码及其树图构造法 －－码树
码树：用码树表示码字的组成 码树构造要点：
信源编码的基本途径 是什么?
信源编码的基本途径有两个，一是使序列中的各个符 号尽可能地互相独立，即解除相关性；二是使编码中 各个符号出现的概率尽可能地相等，即概率均匀化。
信源编码的机理：AEP
是什么导致我们研究渐进等同分割性质？
回想：最大离散熵原理 定理：等概分布时，离散熵最大化 但是：信源输出的一般不是等概分布的 问题：如何将非等概输出的信源变成等概？渐进等同分割性质 信源输出序列
1/8
0
0
1
1
11
10
10
01
00
00
100
001
11
01
1000
0001
码1是奇异码，码2，码3和码4是非奇异码， 码4为即时码（非延长码）
唯一可译码
非奇异码中，任意有限长的码元序列，只能被唯一的译成所对
应的信源符号序列，称为唯一可译码。
例如：U: {u1,u2,u3}; X:{0,1}; W: {w1=0, w2=10, w3=11}, 为唯一可译码。 当接收码字序列为：10011001111 时，可以唯一地译为： w2,w1,w3,w1,w1,w3,w3; 如果码字集合为：W:{w1=0,w2=1,w3=01} 则为非唯一可译码。 当接收码字序列为：00111101 时，可以译为：w1,w1(w3)……
1）最上端为树根，从树根向下延伸出树枝，树枝总数等于 r，树枝的尽头为节点。
2）从每个节点再伸出r个树枝，当某节点被安排为码字 后，就不再伸枝。
（2）实际信源的符号分布概率不是均匀的，这使得实际的 信源熵总是小于最大熵 H0 ( X ) Hmax( X )。
也就是说，实际发送的消息总是包含有无用的信息。信源 包含有冗余。
信源编码的主要任务就是减少冗余，提高编码效率。 具体说，就是针对信源输出符号序列的统计特性， 寻找一定的方法把信源输出符号序列变换为最短的码字序列。
p(a1)
a2ห้องสมุดไป่ตู้
p(a2)
a3
p(a3)
a4
p(a4)
码表
码1
码2
00
0
01
01
10
001
11
111
码1是等长码，码2是变长码
奇异码和非奇异码 若信源符号和码字是一一对应的，即所有码字都不相同， 则该码为非奇异码；反之为奇异码。
信源符号 符号出现概率 码1
码2
码3
码4
a1
1/2
a2
1/4
a3
1/8
a4
编码定理证明：
（1）必存在一种编码方法，使代码的平均长度可任意 接近但不能低于极限熵
（2）达到这目标的途径，就是使概率与码长匹配。
3.1信源编码概述 3.2消息的冗余度 3.3定长编码定理和定长编码方法 3.4 变长编码定理 3.5 变长编码方法 3.6游程编码
3.1 信源编码概述
编码器可以看作这样一个系统，它的输入端为原始信源U，其符号集 为U:{u1,u2,…,uq}；而信道所能传输的码符号集为X:{x1,x2,…,xr}；编 码器的功能是用符号集X中的元素，将原始信源的符号ui变换为相应 的码字符号Wi，(i=1,2,…,q)，所以编码器输出端的符号集为 W:{W1,W2,…,Wq}。
将序列进行分割
信源编码的基础是什么?
信源编码的基础是：两个编码定理，即无失真编码定理和限失真 编码定理。
说明：
1）无失真编码是可逆编码，即信源符号转换成代码后，可从代码 无失真的恢复原信源符号。只适用于离散信源。
2）对于连续信源，编成代码后就无法无失真地恢复原来的连续值， 因为后者的取值可有无限多个。此时只能根据率失真编码定理在 失真受限制的情况下进行限失真编码
3.1.1 信源编码： 信源消息U=(u1,u2,…, uq) 码符号集X=(x1,x2,…, xr) 将 ui Wi ＝（ w1,w2,…wLi ） wi∈{x1,x2,…xr} 这种一一对应变换称为信源编码。
Li为码字Wi的码元个数，称为码字Wi的长度，简称码长。
分组码定义：
将信源消息分成若干组，即符号序列ui， ui=(ui1,ui2,…,uil,…,uiL) 序列中的每个符号取自于同一个符号集A， uil∈(a1,a2,…,an)。 而每个符号序列ui依照固定的码表映射成一个码字Wi，这 样的码称为分组码。只有分组码有对应的码表。
01
a3
p(a3)
10
001
a4
p(a4)
11
111
3.1.2 码的类型
{码
非分组码 奇异码
分组码
非唯一可译码
{ 非奇异码
非即时码
{ { 唯一可译码
即时码（非延长码）
码符号集中符号数r＝2称为二元码，r＝3称为三元码
若分组码中的码长都相同则称为等长码，否则称为变长码
信源符号
信源符号出 现概率
a1
第三章 无失真信源编码
信源编码的分类?
无失真信源编码， — 文字、文件信适源用；于离散信源或数字信号 分类
限失真信源编码， — 语音、图像信适源用；于连续信源或模拟信号
为什么要对信源进行编码? 由于信源符号之间存在分布不均匀和相关性，使得信源存
在冗余度。
（1）信源输出符号间的依赖关系使得信源熵减小，这就 是信源的相关性。相关程度越大，信源的实际熵越小，越趋 近于极限熵 H (X )；反之，相关程度减小，信源实际熵增大。
00111101 w1,w1,w2,w2,w2,w2,w3 00111101 w1,w3,w2,w2,w2,w3
非即时码和即时码
唯一可译码中，如果接收端收到一个完整的码字后，不能立
即译码，还需等下一个码字开始接收后才能判断是否可以译
码，这样的码叫做非即时码。 例如：W：{1，10，100，111} 不是即时码， 1是 10的前缀， 10 为100的前缀。 没有任何完整的码字是其他码字的前缀，可立即译码的叫