第三章-无失真信源编码(1)

i 1 i 1

平均码长是衡量码的性能的重要参数，小说明平均一个码元 所携带的信息量大，信息的冗余度就小。
例题：
U u1 设DMS的概率空间 P 1 / 2 定义编码f1为：
4
u4 ， 1/ 4 1/ 8 1/ 8 对其单个符号进行二进制编码，即码元集为X ={0，1}。 u2 u3 f1 (u1 ) w1 00, l1 2 f1 (u3 ) w3 10, l3 2 l P (ui )li
3.1 编码定义 3.2 定长编码定理
3.3 变长编码定理
3.4 最佳编码 3.5 游程编码
3.1 编码定义
编码器可看作这样一个系统：
输入端：原始信源U，其符号集为U:{u1,u2,…,uq}； 信道：所能传输的码符号集（码元集）为X:{x1,x2,…,xr}；
编码器的功能：用符号集X中的元素，将原始信源的符号ui变

r进制码树：有r个分支 一级节点：经过一个分支到达的节点，有r个 N阶节点：rn个 码字：从树根到节点的分枝标号序列
码树图
4 唯一可译码存在的充要条件：
对含有N个信源符号的信源用含有r个码元的码符号集进行 编码，各码字的长为l1，l2…..，其唯一可译码存在的充要条 件是，满足克劳夫特（Kraft）不等式
0 11 00 11
0 10 00 01
1 10 100 1000
1 01 001 0001
码1是奇异码，码2，码3和码4是非奇异码
3.4 唯一可译码 非奇异码中，任意有限长的码元序列，只能被唯一的译成所对 应的信源符号序列，称为唯一可译码。
例如：U: {u1,u2,u3}; X:{0,1}; W: {w1=0, w2=10, w3=11},
(bit / 码元)
l
l
编码后的信息率： 平均一个码元携带的信息量，记为R（就是X的熵）：
R H (X ) H (U )

(bit / 码元)
可见：平均码长越小，每个码元携带的信息量就越
l
多；传输一个码元就传输了较多的信息。
编码效率：
编码后的实际信息率与编码后的最大信息率之比：

c
R H (X ) H (U ) / l H (U ) Rmax H max ( X ) log r l log r
i 1
f1 (u2 ) w2 01, l2 2 f1 (u4 ) w4 11, l4 2
定义编码f 2为：
4
1 1 1 1 2 2 2 2 2 (码元 / 符号) 2 4 8 8 f 2 (u1 ) w1 0, l1 1 f 2 (u2 ) w2 10, l2 2 f 2 (u4 ) w4 111, l4 3
r－li 1
i＝1
N
其中N表示信源符号数，r表示进制数，li表示各码字长度。
例：设二进制码树中U∈{u1,u2,u3,u4},l1=1,l2=2,l3=2,l4=3, 请判断这是否存在唯一可译码？
2
i＝1
4
－li
9 = 2 +2 +2 +2 = >1 8
-1 -2 -2 -3
不存在这种唯一可译码。
i
其中li为码字长度或者码长。
【注】信源编码就是从信源符号到输出码字符
号的一种映射。若要实现无失真编码，则这种
映射必须是一一对应的、可逆的。
1. 平均码长
码字的码长：码字wi所含码元的个数，记为li（码元/符号， r进制单位/符号）。 定长编码（变长编码）：
所有码字均有相同的码长l，即l1=l2=…=lq=l
第三章 无失真信源编码
通信系统模型
包括：信源、编码器、信道、译码器、信宿五部分
信 源 编 码 保 密 编 码 信 道 编 码 信 道 译 码 保 密 译 码 信 源 译 码
信源
信道
噪声
信宿
编码器、译码器是人为设计的，很大程度上
决定了通信性能的好坏。
信源编码的分类?
无失真信源编码－冗余度压缩编码
编码效率是新信源X的熵的相对率，冗余度为：
rc 1 c
3. 码的类型
奇异码 非奇异码
码
{
{
非唯一可译码 非即时码 唯一可译码 即时码（非延长码）
{
3.1 码元集中符号数r＝2称为二元码，r＝3称为三元码 3.2 若分组码中的码长都相同则称为等长码，否则称为变长码
信源符号 信源符号出 现概率 a1 p(a1) 码表
如果改成l1=1,l2=2,l3=3,l4=3,请判断这是否存在唯一可译码？
2－li =2-1 +2-2 +2-3 +2-3 =1
i＝1
4
存在这种唯一可译码。
注意：克劳夫特（Kraft）不等式只是用来说明唯一可译码是否 存在，并不能作为判断哪些码是唯一可译码的依据。 如码字（0，10，010，111）满足克劳夫特不等式，但它不是 唯一可译码
信源编码的主要任务就是减少冗余，提高编码效率。
具体说，就是针对信源输出符号序列的统计特性，
寻找一定的方法把信源输出符号序列变换为最短的码字序列。
信源编码的基本途径 是什么? 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除
相关性；
解除相关性后，再使编码中各个符号出现的概率
尽可能地相等，即概率均匀化，就能进一步改造有
冗余信源的输出，去掉冗余度，增大传输效率。
信源编码的基础是什么?
信源编码的基础： 无失真编码定理 限失真编码定理 说明： 1）无失真编码是可逆编码，即信源符号转换成代码后，可
从代码无失真的恢复原信源符号。只适用于离散信源。
2）对于连续信源，编成代码后就无法无失真地恢复原来的连 续值，因为后者的取值可有无限多个。此时只能根据限失真 编码定理在失真受限制的情况下进行限失真编码。
4. 即时码及其树图构造法 －－码树
码树：用码树表示码字的组成，由树根、树枝、节点组成。 码树构造要点： 1）最上（下）端为树根，从树根向下（上）延伸出树枝， 树枝总数等于r，树枝的尽头为节点。 2）从每个节点再伸出r个树枝，当某节点被安排为码字
后，就不再伸枝，此节点称为终端节点（用粗黑点表
示），其它节点称为中间节点（用空心圈表示）。 3）每个节点伸出的树枝标上码符号，从根出发到终端节 点所走路径对应的码符号序列则为终端节点的码字。
码1
00
码2 0
a2
a3 a4
p(a2)
p(a3) p(a4)
01
10 11
01
001 111
码1是等长码，码2是变长码
3.3 奇异码和非奇异码
若信源符号和码字是一一对应的，即所有码字都不相同，
则该码为非奇异码；反之为奇异码。
信源符号 符号出现概率 码1 码2 码3 码4
a1 a2 a3 a4
1/2 1/4 1/8 1/8
2.信源编码前后的熵 将信源编码器输出可视为一个新信源： 信源W：以码字集为符号集；
无失真编码一一对应映射，故
P(wi)=P(ui) (i=1,2,…q)，
编码前后熵保持不变：
H(W)=H(U) (bit/码字或bit/符号)
信源X：以码元集为符号集；
H(X ) H (W )


H (U )

称f为定长编码，对应的码W叫做定长码。 否则，称f为变长编码，对应的码W叫做变长码。
平均码长：对码W中所有码字的码长求统计平均
l P( wi )li P(ui )li 码元/符号
i 1 q i 1 q q q
l P( wi )l P(ui )l l 码元/符号 ——定长码
换为相应的码字符号wi(i=1,2,…,q)，即相当于 一个一一对应的变化或映射f (f: ui wi)
编码器输出端：符号集（码字集）为W:{w1,w2,…,wq}。
wi ( xi1 xi2 ...xil ) (i 1, 2,..., q), xik X (k 1, 2,..., li )
f1 (u3 ) w3 110, l3 3
1 1 1 1 l P (ui )li 1 2 3 3 1.75 (码元 / 符号) 2 4 8 8 i 1
【说明】
f1是定长编码；
f2是变长编码，根据信源符号的概率不同，采用不
同码长的码字，经常出现（概率大）的符号采用较 短的码字，不经常出现（概率小）的符号采用较长 的码字，因此平均码长就会缩短，是一种较好的编 码策略。
为唯一可译码。
当接收码字序列为：10011001111 时，可以唯一地译为： w2,w1,w3,w1,w1,w3,w3;
如果码字集合为：W:{w1=0,w2=01,w3=11}
则为非唯一可译码。 当接收码字序列为：0011111101 时，可以译为：w1,w1(w2)……
3.5 非即时码和即时码 唯一可译码中，如果接收端收到一个完整的码字后，不能立
只对信源的冗余度进行压缩，而不改变信源的熵。
保证码元序列经译码后能无失真地恢复成信源符号序列。 适用于离散信源或数字信号（文字、文件信源）。
限失真信源编码－熵压缩编码
改变信源的熵。 只能保证码元序列经译码后能按一定的失真容许度恢复
信源符号序列。
适用于连续信源或模拟信号（语音、图像信源）。
为什么要对信源进行编码?
由于信源符号之间存在分布不均匀和相关性，使得信源存 在冗余度。
（1）符号变化
符号集中的符号不同，如英语信源的符号是英文字母或单词，汉语信 源的符号是汉字或汉语词组等等。为了便于信道传送，必须将信源符号 序列变换成信道能够传送的符号序列。