信息论基础——信源编码

若对上述信源采用等长编码，要做到无失真译码，每个符号至少要用3 个比特表示。相比较，香农编码对信源进行了压缩。 由离散无记忆信源熵定义，可计算出：
H ( X ) p( xi ) log 2 p( xi ) 2.42(比特 / 符号)
i 1 6

对上述信源采用香农编码的信息率为 L 2.7 R log 2 m log 2 2 2.7 L 1 可以看出，编码效率并不是很高。
34
数据压缩和信源编码
3.1 等长码 3.2 变长编码 3.3 哈夫曼码 香农-费诺码;香农-费诺-埃里斯码 3.4 算术码 3.5 通用信源编码 习题三
35
编码理论（实例）
以数字电视这一热门话题为例.
36
编码理论（实例）
数字电视的主要核心技术包括信源编码、 信道编码和显示技术，它们分别解决数 字电视节目在初始制作、中间传播和终 端呈现三个主要环节上的问题。通俗地 说就是满足了我们拍片子、播节目、看 电视的需要。
数据压缩和信源编码
3.1 等长码 3.2 变长编码 3.3 哈夫曼码 3.4 算术码 3.5 通用信源编码 习题三
香农-费诺码 LZW算法
1
算术码—Shannon-Fano-Elias码
0.概述
是第一个能够找到的好的变长码.
原则：按照符号出现的概率从大到小排序，然后将 其分成两个出现概率相同或几乎相同的子集—一个 子集的编码均以0打头，另一个子集的编码均以1打 头；然后把每个子集再分成两个更小的子集，同样 确定所有码字的第二位，依次循环.
思考（二）： 信源X的二元霍夫曼编码： 7 其平均码长 LX p( xi )li 2.72
i 1
H(X ) 95.9% 编码效率 X LX
20
算术码—Shannon-Fano-Elias码
思考（二）： 信源Y的二元霍夫曼编码：
21
算术码—Shannon-Fano-Elias码
24
算术码—Shannon-Fano-Elias码
25
算术码—Shannon-Fano-Elias码
思考（二）： 信源X的Shannon-Fano编码： 7 其平均码长 LX p( xi )li 2.74
i 1
Hr ( X ) 95.2% 编码效率 X LX
26
算术码—Shannon-Fano-Elias码
高清晰度数字电视简称高清电视（HDTV）简单的说，是指 图像水平清晰度大于720线、采用的是16:9显示方式的数字电 视系统。从世界范围来看，目前高清电视主要包括1080i和 720p这两种格式，两者图像的长宽比都是16：9，因此这符合 人眼视觉的“黄金分割法则”。作为隔行扫描的1080i的分辨 率则是1920×1080；720p是逐行扫描，分辨率为1280×720。
2
算术码—Shannon-Fano-Elias码
例 1
3
算术码—Shannon-Fano-Elias码
0.概述
平均码长：0.25×2+0.20×2+0.15×3+0.15×3+0.10×3+ 0.10×4+0.05×4=2.7 bits/symbol. 熵：-（0.25log0.25+0.20log0.20+0.15log0.15+0.15log 0.15+0.10log0.10+0.10log0.10+0.05log0.05≈2.67. 这是一个较好的结果！
2)分别用Shannon-Fano-Elias编码法编成二元 变长惟一可泽码．并计算编码效率. 3)从X，Y两种不同信源来比较这三种编码方 法的优缺点
17
算术码—Shannon-Fano-Elias码
思考（二）： 信源X的二元霍夫曼编码：
18
算术码—Shannon-Fano-Elias码
19
算术码—Shannon-Fano-Elias码
4
算术码—Shannon-Fano-Elias码
例 2
5
算术码—Shannon-Fano-Elias码
例 3
x1 , x2 1 3 , 4 4
6
算术码—Shannon-Fano-Elias码 1.基本思路
用二进制小数表示信源的概率分布，如果 概率分布取值大，则它的二进制位数就低； 另外，为了使算术码具有前缀性（无尾随后 缀），对概率分布采用累计求和计算.
思考（二）： 信源Y的Shannon-Fano码：
27
算术码—Shannon-Fano-Elias码
28
算术码—Shannon-Fano-Elias码
思考（二）： 信源Y的Shannon-Fano码： 9 其平均码长 LY p( xi )li 2.33
i 1
H (Y ) 99.3% 编码效率 Y LY
37
编码理论（实例）
信源编码技术解决的重点问题是数字音视频 海量数据的编码压缩问题。
众所周知，数字化视频的原始数据量是十分 庞大的，例如，标准清晰度的数字视频每秒的 数据量超过200M bit，高清晰度数字电视每秒 的数据量超过1G bit。

38
编码理论（实例）
信源编码技术解决的重点问题是数字音视频 海量数据的编码压缩问题。
编成二元变长唯一可译码，并计算其码率.
15
算术码—Shannon-Fano-Elias码
思考（二）： 有两个信源X和Y如下：
1)分别用霍夫曼码编成二元变长惟一可译码， 并计算其编码效率。 *)用Shannon-Fano码编成二元变长惟一可译码
16
算术码—Shannon-Fano-Elias码
思考（二）： 有两个信源X和Y如下：
9
算术码—Shannon-Fano-Elias码
x1 , x2 例1：若信源的概率分布为 ，取信 1,3 4 4 号字母表为 U 0,1，求信源的算术码.
F ( x1 ) 1 1 p( x1 ) 0.125 (0.001)2 2 8
1 5 p( x2 ) 0.625 (0.10)2 2 8

39
编码理论（实例）
数字音视频要在消费电子产品中得到应 用，必须采用先进的压缩编码算法进行 大幅度压缩。而反映压缩效率的压缩比 也就成为数字电视乃至数字音视频产业 的“基本指数”。
40
编码理论（实例）
打个形象的比方，信源编码就好像制作压缩 饼干的技术，如何将普通面粉制作成压缩饼 干就是“编码”过程——挤掉冗余成分，只 保留有效成分且体积（或所占用资源）尽可 能小；而“译码”就是一个还原过程，将压 缩饼干恢复到常态供给食用，并保证营养 （或信息）损失尽可能少。
这里L 1, m 2
H ( X ) 2.42 89.63% R 2.7
14

编码效率为信源熵和信息率之比。则
算术码—Shannon-Fano-Elias码
思考（一）： 用Shannon-Fano-Elias码方法将信源
a2 a3 a4 a5 a6 a7 X a1 p( x) 0.20 0.19 0.18 0.17 0.15 0.10 0.01
29
算术码—Shannon-Fano-Elias码
思考（二）： 信源X的Shannon-Fano-Elias编码： 7 其平均码长 LX p( xi )li 3.14
i 1
H(X ) 83.1% 编码效率 X LX
wk.baidu.com30
算术码—Shannon-Fano-Elias码
思考（二）： 信源Y的Shannon-Fano-Elias码： 9 其平均码长 LY p( xi )li 2.89
22
算术码—Shannon-Fano-Elias码
思考（二）： 信源Y的二元霍夫曼编码： 9 其平均码长 LY p( xi )li 2.33
i 1
H (Y ) 99.3% 编码效率 Y LY
23
算术码—Shannon-Fano-Elias码
思考（二）： 信源X的Shannon-Fano编码：
41
编码理论（实例）
MP3（MPEG Audio Layer）是一种以高保真 为前提下实现的高效压缩技术。它采用了特 殊的数据压缩算法对原先的音频信号进行处 理，使数码音频文件的大小仅为原来的十几 分之一，而音乐的质量却没有什么变化，几 乎接近于CD唱盘的质量。一分钟的WAVE格 式的文件有十几兆，而一分钟MP3格式的音 频文件仅有一兆左右。
33
算术码—Shannon-Fano-Elias码
Shannon-Fano码也是一种较好的编码方 法．如信源Y的Shannon-Fano码与Huffman 码的编码效率一样好。而信源X的ShannonFano码的编码效率比其Huffman码的编码效 率降低极少。这是因为信源Y在ShannonFano码编程过程中分两大组时“概率和” 相差不多(为0.49与0.51)：而信源X在编码过 程中每次分两组时，其“概率和”相差较 远(第一次为0.57和0.43；第二次上面分组为 0 . 2 和 0.37，下面分组为0.17和0.26)。
i 1
H (Y ) 80.1% 编码效率 Y LY
31
算术码—Shannon-Fano-Elias码
思考（二）： 从信源X和Y的三种不同编码方法可以看出： Huffman编码所得平均码长最短，编码效率 最高；Shannon-Fano-Elias编码所得平均码 长最长，其编码效率最差；而Shannon-Fano 码居中。
10
F ( x2 ) p( x1 )
算术码—Shannon-Fano-Elias码
x1 , x2 例1：若信源的概率分布为 ，取信 1,3 4 4 号字母表为 U 0,1，求信源的算术码.
10
11
算术码—Shannon-Fano-Elias码
例2 有一单符号离散无记忆信源
111001 (0.1110011)2 111110 (0.1111100)2
13
算术码—Shannon-Fano-Elias码

计算出给定信源香农码的平均码长
L 0.25 2 2 (0.2 0.15) 3 0.10 4 0.05 5 2.7(比特 / 符号)
4）将F(ak)表示为二进制小数，并用小数点后的l(ak) 位作 为ak的码字. <若后面有尾数，要进位> 若二进制小数后面有尾数，则截断
8
1 l (ak ) log 1 p (ak )
算术码—Shannon-Fano-Elias码
x1 , x2 例1：若信源的概率分布为 ，取信 1,3 4 4 号字母表为 U 0,1，求信源的算术码.
7
算术码—Shannon-Fano-Elias码
2.编码方法
1）将信源符号X={a1,a2,……,aq}依次排列（不要求以概率 大小排序）； 2）计算各符号的修正累积分函数值
F ( x ak ) p(ai )
i 1 k 1
1 p(ak ) 2
[x]代表不小 于x的整数
3）确定各信源符号所对应码字的码长
32
算术码—Shannon-Fano-Elias码
Huffman码其编码时短码得到充分利用，而 且一定是概率大的信源符号对应于短码， 概率小的信源符号对应于长码：所以，其 平均码长最短。 Shannon-Fano-Elias编码方法虽然概率大的 符号其码长短，概率小的符号其码长长， 但它短码没有被充分利用。所以，其平均 码长增大。
x2 , x3 , x4 , x5 , x6 X x1 , P ( X ) 0.25 0.25 0.20 0.15 0.10 0.05
对该信源编二进制香农-费诺码.
其编码过程如下表所示：
12
算术码—Shannon-Fano-Elias码
二进制香农编码 xi x1 x2 x3 x4 x5 x6 p(xi) 0.25 0.25 0.20 0.15 0.10 0.05 pa(xj) 0.125 0.375 0.60 0.775 0.90 0.975 li 3 3 4 4 5 6 码字 001 011 1001 1100 (0.001)2 (0.011)2 (0.10011)2 (0.110001)2