第5章 信源编码2

其中， K L 是无记忆 L 次扩展信源 XL 中每个信源符号
i 所对应的平均码长
9
HUST --- Basis for Information Theory
变长无失真信源编码定理－理解
KL L
表示离散无记忆信源
X
中每个信源符号
xi
所
对应的平均码长。显然，当 L 时，有
lim K L L L
信源熵 H(X)是确定的，因此我们提高信息传输率的
方法是使平均码长 K 最短。
7
HUST --- Basis for Information Theory
变长无失真信源编码定理
即香农第一定理 定理 设离散无记忆信源为
X x1 x2 ... xn
P
p ( x1)
p(x2)
...
p
(
-log p(xi)
2.34 2.41 2.48 2.56 2.74 3.34 6.66
代码组长度 ki 3 3 3 3 3 4 7
二进制代码 组
000 001 011 100 101 1110 1111110
1、克拉夫特不等式
信源符号数、码符号数和码字长度之间应满 足什么条件，才能构成即时码？
定 理 设 信 源 符 号 集 X (x1, x2, xn ) ， 码 符 号 集 为 Y ( y1, y2, ym ) ， 对 信 源 进 行 编 码 ， 相 应 的 码 字 为 W (W1,W2, Wn ) ，其分别对应的码长为 k1, k2, kn ，则即时 码存在的充要条件是
若 该 信 源 的 信 息 率 失 真 函 数 为 R ( D )， 并 选 定 有 限 的 失 真 函 数 。
对于任意允许平均失真度D ０和任意 0，则当编码信息率
R， R(D) 只要信源序列长度L足够长，则一定存在一种编码方式C，使
译码后的平均失真度 D(C ) D
反之，若 R ， R(D)，则无论用什么编码方式，必有 D(C ) D 即译码平均失真大于允许失真。（证明：略） 该定理可推广到连续平无记忆信源的情况。
L
保真度准则下的信源编码定理（香农第三定理）
RR(D)
从编码信息率的角度，当 R H ( X ) 或 R R ( D )
时，则信源编码无失真或失真可控。 22
HUST --- Basis for Information Theory
信源编码（主要内容）
信源编码定理
❖ 信源编码概念 ❖ 香农第一定理 ❖ 香农第三定理
变长编码
特点：
在符号序列长度L不很大时，能达到较高的编码 效率。
完全无失真
要求：
变长码要满足唯一可译码条件，则它必须是非 奇异码，而且任意有限长L次扩展码也应该是非 奇异码。
为了能够即时译码，变长码还必须是即时码。
2
HUST --- Basis for Information Theory
因 为 KKLH(X), L logm
所 以 Rlogm
当 K达 到 极 限 值H(X)时 ， 编 码 后 的 信 息 传 输 率 logm
Rlogm， 可 见 R等 于 无 噪 无 损 信 道 的 信 道 容 量 C， 信 息 传 输 率 最 高 。
13
HUST --- Basis for Information Theory
HUST --- Basis for Information Theory
信源编码（主要内容）
信源编码定理
❖ 信源编码概念 ❖ 香农第一定理（变长编码） ❖ 香农第三定理
信源编码方法
离散信源编码 连续信源编码* 相关信源编码* 变换编码*
1
HUST --- Basis for Information Theory
18
HUST --- Basis for Information Theory
小结
介绍了变长码基本特征和平均码长的概念； 通过克拉夫特不等式和麦克米伦不等式，给
出了构成即时码和唯一可译码时，信源符号 数和码字长度之间应满足的条件； 讨论了香农第一定理：变长编码定理；
19
HUST --- Basis for Information Theory
编 码 的 效 率 为 H ( X ) 0.811
K 得 信 道 的 信 息 传 输 率 为 R 0.811比 特 / 二 元 码 符 号 15
HUST --- Basis for Information Theory
变长编码举例—续
进一步，我们对信源 X 的二次扩展信源 X2 进行编码。 其二次扩展信源 X2 和即时码如下表所列
HUST --- Basis for Information Theory
3、平均码长
定义 设信源
P X px1 x1
x2
px2
xn
pxn
编码后的码字分别为W1 ，W2，…，Wn，相应 的码长分别为k1，k2，…，kn。因为是唯一可
译码，信源符号xi和码字Wi一一对应，则平均 码长为
编码效率和剩余度
编码效率定义为
H(X ) Hm(X )
R'
K
编码效率 一定是小于或等于 1 的数，
平均码长越短，越接近它的极限值 Hm ( X ) ， 那么编码效率就越高。
定义码的剩余度为
11Hm(X)
K
14
HUST --- Basis for Information Theory
变长编码举例
若H(X)≤R’<H(X)+ε，就存在唯一可译的变长 编码。
若R’<H(X)，则不存在唯一可译的变长编码。 不能实现无失真的信源编码。
12
HUST --- Basis for Information Theory
信息传输率R
从信道角度看，信道的信息传输率
RHK (X)码 比 符 特 号 /信 /信 源 源 符 符 号 号HK (X)比 特/码 符 号
设
有
一
离
散
无
记
忆
信
源
：
X P
p1
x1 3
/
4
x2
p2
1/
4
其 熵 为 H ( X ) 3 log 4 1 log 4 0.811比 特 / 信 源 符 号 4 34
现 用 二 元 符 号 (0,1)来 构 造 一 个 即 时 码
x1 0, x2 1 平均码长K 1 二元码符号 /信源符号
21
HUST --- Basis for Information Theory
对信源编码定理的统一理解
定长信源无失真编码定理
K H (X ) R K lo g m H (X )
L lo g m
L
变长信源无失真编码定理（香农第一定理）
K LH (X) RK LlogmH (X)
L logm
Hm(X )
变长无失真信源编码说明，只要平均码长
KL L
不小于信源的熵 Hm(X ) ，即编码信息率不小于信源本身的 信息量，就可以实现唯一可译码。
10
HUST --- Basis for Information Theory
推广到普通信源
变长无失真信源编码定理可以推广到平稳遍
历的有记忆信源，一般离散信源或马尔可夫
η1=0.811比特/二元码符号 η2=0.961比特/二元码符号 η3=0.985比特/二元码符号 η4=0.991比特/二元码符号
对于同一信源，要求编码效率都达到96％，比较
变长码只需对二次扩展信源（L = 2）进行编码； 而等长码则要求L大于4.13X107 .
变长码编码效率更高，L不需很大就可以达到比较 高的编码效率，而且可实现无失真编码。
25
HUST --- Basis for Information Theory
香农编码－举例
消息序号
xi x1 x2 x3 x4 x5 x6 x7
消息概率 p(xi) 0.20 0.19 0.18 0.17 0.15 0.10 0.01
累加概率 Pi 0 0.2 0.39 0.57 0.74 0.89 0.99
信源，有
lim K L H L L log m
其中，H∞为有记忆信源的极限熵
定长编码作为变长编码的特例，可统一到香
农第一定理之中。
11
HUST --- Basis for Information Theory
变长编码的编码信息率R’
定义变长编码的编码信息率为 R'= KL log m L
它表示编码后平均每个信源符号能载荷的最 大信息量。 香农第一定理可表述为：
1、香农编码
1、将信源发出的 n 个消息符号按其概率的递减次序依次排列
p1 p2 pn
2、按下式计算第 i 个消息的二进制代码组的码长并取整
log p(xi ) ki log p(xi ) 1
3、为了编成唯一可译码，首先计算第 i 个消息的累加概率
i 1
Pi p(xk ) k 1
4、将累加概率 Pi（为小数）变成二进制数 5、去除小数点，并根据码长 ki，取小数点后 ki 位数作为第 i 个消息的代码组。
xn)
其信源熵为H ( X )；它的L次扩展信源为
X
P
L
1 p (1 )
2 p(2 )
... ...
nL p(
n
L
)
其熵为H ( X L )；码符号集Y ( y1, y2 ,..., ym )
8
HUST --- Basis for Information Theory
变长无失真信源编码定理（续）
n
mki 1
i 1
3
HUST --- Basis for Information Theory
2、麦克米伦不等式
将克拉夫特不等式推广到唯一可译码的情况 定理 在前一定理所给定的条件下，唯一可
译码存在的充要条件是
n
mki 1
i1
其中，m为码符号个数，k为码字长度， i n为信源符号数． 4
HUST --- Basis for Information Theory
对信源 XL 进行编码，总可以找到一种编码方法， 构成唯一可译码，使信源 X 中的每个信源符号所需 的码字平均长度满足
H(X) 1 KL H(X) log m L L log m
或
Hm(X )
1 L
KN L
Hm(X )
当 L 时，则
lim
L
KL L
Hm(X )
或
lim K L log m H ( X ) L L
n
K = p(xi )ki
i 1
6
HUST --- Basis for Information Theory
4、信息传输率与信息传输速率
信息传输率：平均每个码元载荷的信息量
R H(X) K
比特/码符号
信息传输速率：单位时间传输的信息量，设传输一个码 符号平均需要 t 秒时间
H(X)
Rt K t 比特/秒
K K 2 27 2 32
二元码符号/信源符号
编码效率：2
H(X K
)
32 0.811 27
0.961
信道信息传输率：R2=0.961 比特/二元码符号 编码虽然复杂了，但信息传输效率有了较大提高。
17
HUST --- Basis for Information Theory
变长编码举例—续
用同样方法可进一步对信源X的三次和四次扩展信 源进行编码，并求出其编码效率为：
说明
如果码字长度和码符号数满足克拉夫特（或 麦克米伦）不等式，则一定可以构造出即时 码（或唯一可译码），否则不能构造出即时 码（或唯一可译码）。
但是该定理并不能作为判断一种码是否为即 时码（或唯一可译码）的依据。
例如：码中，有两个码字长度相同，则这两个码 字无论是否相同，都可能使不等式成立。但是， 两个码字相同时显然不可能是唯一可译码。 5
信源编码方法
离散信源编码 连续信源编码 相关信源编码 变换编码
23
变长码的编码方法
常见的方法： 香农编码 费诺编码 霍夫曼编码 游程编码 冗余位编码
HUST --- Basis for Information Theory
24
HUST --- Basis for Information Theory
i
p( i )
即时码
x1 x1
9/16
0
x1 x2
3/16
10
x2 x1
3/16
110
x2 x2
1/16
111
16
HUST --- Basis for Information Theory
变长编码举例—续
平均码长
K2
9 16
1
3 16
2
3 16
3
1 16
3
27 16
二元码符号/二个信源符号
信源 X 中每一单个符号的平均码长为：
信源编码（主要内容）
信源编码定理
❖ 信源编码概念 ❖ 香农第一定理 ❖ 香农第三定理
信源编码方法
离散信源编码 连续信源编码* 相关信源编码* 变换编码*
20
HUST --- Basis for Information Theory
限失真信源编码定理
设一离散平稳无记忆信源的输出为X X 1 X 2...X L