第5章 信源编码技术(1)

}0.4 0
0.2 1
}0.6 0
0.4 1
码字 码长
Wi
li
1.0 1 1
01 2
000 3 0010 4 0011 4
信源符号 概率
ai
p(ai )
a1
0.4
a2
0.2
a3
0.2
a4 a5
} 0.1 0
0.1 1
0.4 0.2
}0.2 0
0.2 1
编码过程
0.4
}0.4 0
0.2 1
}0.6 0
➢增加序列的长度，最佳码的平均码长能够逼近信源熵。 ➢香农的信源编码理论只是指出了平均码长的界，即阐 述了存在性问题，没有给出具体的最佳编码方案。
➢ 只讨论存在性问题是不够的，信源编码的编码效果 毕竟取决于具体的编码方案，为了提高信源编码效 率，科学家们进行了大量的卓有成效的研究工作， 取得了许多研究成果，并且形成了专门学科。
比如 1b0.17 l4 1b0.17 1
2.56 l4 3.56
考虑到码长的整数要求，所以取 l4 3
其累计概率 P4 0.57 二进制表示为 0.1001... 编码码字为100 累计概率算法： Pi 0.b1b2 L blibli1 L
X
2li Pi
b12li 1 b2 2li 2
} a6 0.10 0
a7 0.01 1
0.2 0
0.19 0.18
0.17
}0.15 0
0.11 1
编码过程
0.26 0.20
0.19
}0.18 0
0.17 1
0.35 0.39 0.26 0.35 0
} } 0.20 0 0.26 1
0.19 1
}0.61 0
0.39 1
码字 码长
Wi li
1.0 10 2 11 2
❖ (5)从最后一级开始，反向搜索参与编码的符号，得 到各个 信源符号所对应的码元序列，即相应的码 字。
例5.3 对例5.1中的信源进行哈夫曼编码，编码过程、产生每 个信源符号码字和码长如下表
信源符号 概率
ai p(ai )
a1 0.20 a2 0.19 a3 0.18 a4 0.17
a5 0.15
平均码长满足香农第一定理
H(X ) L 1 H(X )
log d
log d
问 题
1.a7对应的码字过长，实际上取为1111即可，所 以按信息量分配码长存在问题；
2.信源只有7个消息符号，即使采用等长编码，平
均码长为3小于本例中的3.14
由于每个信源符号码长是根据信源符号的信息量选 择，从局部来看每个码长的取值都是最佳的，所以香 农码是最佳码。
❖ 例5.4 设有离散无记忆信源的概率空间为

X p


a1 0.4
信源符号 概率
ai
p(ai )
a1
0.4
a2
0.2
a3
0.2
a4 a5
} 0.1 0
0.1 1
0.4 0.2
}0.2 0
0.2 1
a2 a3 a4 a5 0.2 0.2 0.1 0.1
编码过程
0.4
❖ (3)为了编成唯一可译码，计算第i个消息的累加概率
i 1
Pi p(ak ) k 1
❖ (4)将累加概率Pi表示为二进制形式； ❖ (5)取二进制数的小数点后Li位作为该消息符号的二
进制码字。
例5.1 设信源共有7个符号消息，按照概率大小排列后的概 率分布和累加概率如表5.1所示。根据自信息量定义计算每 个信源符号的信息量，然后根据信息量确定码长
L

bli
20

bli
21
1
L
对X取整，整数部分的li位二进制表示就是编码码字
表5.1 香农码编码过程
消息符号 符号概率 累加概率 I(ai) 码长
码字
a1
0.20
0 2.34 3 000
a2
0.19
0.2 2.41 3 001
a3பைடு நூலகம்
0.18
0.39 2.48 3 011
a4
0.17
0.57 2.56 3 100
❖ 例5.2对例5.1的信源进行费诺编码,具体编码过程如下
消息符 号
概率
a1
0.20
a2
0.19
a3
0.18
a4
0.17
a5
0.15
a6
0.10
a7
0.01
第一次 分组
0
1
第二次 分组
0 1 0
1
第三次 分组
0 1 0
1
第四次 分组
0 1
二元码字
00 010 011 10 110
1110
1111
码长
➢ 但是信源是复杂的，许多信源不是离散无记忆信源， 甚至不是平稳的，而且在许多情况下，信源输出的 符号是有限的；
➢ 所假设的信源编码模型与实际并不相符，等等这些 因素都给信源编码造成了困难。
➢ 至今信源编码技术仍然是研究的重要课题之一，本 章主要介绍信源编码技术已经取得的一些研究成果。
5.1 最佳变长编码
，L
但是两种码的质量不完全相同，编码质量可以用码方差衡量，即
r
l2 E (li L)2 p(ai )(li L)2 i 1
2 l1
1.36

l
2 2

0.16
由于方法2的码方差比方法1的码方差小许多，
所以方法2编码质量好。
❖ 码方差小的编码方法要比码方差大的方法好，这种 结论可以这样说明。由于上述的三种编码方法实际 上都是产生码表的过程。而在实际应用中，码表的 建立是依据大量的统计结果产生的。对于一次具体 的信源编码，实际信源的数据统计规律与建立码表 使用的统计规律不一定完全一致。
每次对信源缩减时，赋予信源最后两个概率最小的 符号，分配码元0和1是可以任意的，即大概率符号 或者合并后的符号集合可以分配码元0也可以是1， 这种选择任意性可以得到不同的哈夫曼码，但不会 影响码字的长度。
对信源进行缩减时，如果两个概率最小的符号合并 后的概率与其它信源符号的概率相同，这两者在缩 减信源中进行概率排序，其位置放置次序是可以任 意的，故会得到不同的哈夫曼码。考虑到合并后概 率是多个符号概率累加，应当放在上面，以便减少 更多符号分配更长码的可能，这样不仅可以减小平 均码长，而且可以减小码的任意性。此外，即使平 均码长相等，还存在码字质量的好坏问题。
（2）将依次排列的信源符号分为两大组，使两个组 的概率之和尽可能近似相等，并将各组分别赋予一 个二进制码元“0”和“1”。
（3）将每一大组的信源符号再分成两组，使划分后 的两个组的概率之和尽可能近似相等，并将各组分 别赋予一个二进制码元“0”和“1”。 （4）如此重复，直至每个组只剩下一个信源符号为 止。
a5
0.15
0.74 2.74 3 101
a6
0.10
0.89 3.34 4 1110
a7
0.01
0.99 6.66 7 1111110
7
L p(ai )li 3.14 比特/符号 H(X ) 2.61 比特/符号
i 1
编码效率为


H (X ) 2.61 0.831 L 3.14
2 3 3 2 3
4
4
❖ 根据每个信源符号的码长，得到每个符号的平均码长为
7
L p(ai )li 2.74 码元/符号 i 1
编码效率为
H (X ) 2.61 0.953
L 2.74
➢ 显然，费诺码要比上述香农码的平均码长小，编码效率高。
➢ 从上面的例子可以看出，p(a4)<p(a2)，而码长L4<L2，从 统计角度来看，平均码长一定不是最短的;
❖ 这样就可以保证对于每个信源符号而言，码字长度是最佳 的。
❖ 具体编码方法如下 ： ❖ (1)将信源消息符号按其出现的概率大小依次排列为
p1 p2 L pn
❖ (2)确定每个信源符号的码长，同时保证码长为满足 下列不等式的整数
lbp(ai ) li lbp(ai ) 1
比如：在文本压缩,图像压缩，视频压缩等数据压缩中， 最后的熵编码经常采用哈夫曼码
照相机、网络上 广泛使用的后缀 为.jpg图像文件， 其图像压缩熵编 码器就是哈夫曼 码。
视频压缩如 mpeg2， h.263,h.264都使 用哈夫曼编码
5.1.1 香农码
❖ 香农根据离散无记忆信源的自信息量构造了一种码，称为香 农码 ；
第5章 信源编码技术
主讲教师：邓家先
无失真 编码
等长编码 变长编码
信息率受到熵的限制，平均码长 不小于熵
香农第1定理
限失真 编码
平均码长受到信息 率失真函数限制
香农第3定理
在平均失真一定条 件下，编码输出码 率不小于平均失真 所对应信息率
➢通过信源扩展，并对扩展信源序列进行编码，可以 有效提高信源编码效率；
❖ 设离散无记忆信源所对应的概率空间为

X p( x)


a1 p(a1 )
a2 L p(a2 ) L
ar p(ar )
❖ 按照每个符号提供的信息量大小分配码字长度 ；
❖ 对应码字的长度Li之间满足下列关系
I (xi ) li I (xi ) 1 i
自信息量 上取整
❖ 比如采用表5.4和5.5产生的码表进行编码，实际信
000 3
001 3
010 3 0110 4 0111 4