编码理论第三章

编码理论——无失真信源编码
18
例5-7 设单符号离散无记忆信源如下,要求对信源编二进制 哈夫曼码。编码过程如下表
X x1 x2 x3 x4 x5 x6 x7 0.20 0.19 0.18 0.17 0.15 0.10 0.01 p( x)
信源符号xi 符号概率p(xi)
11
3.3
费诺编码
费诺编码属于概率匹配编码 。
编码步骤如下：
将概率按从大到小的顺序排列,令
p(x1)≥ p(x2)≥…≥ p(xn)
按编码进制数将概率分组,使每组概率尽可能接近或相等。如编二进 制码就分成两组,编m进制码就分成m组。 给每一组分配一位码元。 将每一分组再按同样原则划分,重复步骤2和3,直至概率不再可分为止。
编码效率
H ( X ) 1.95 78% 2.5 K
为提高编码效率,首先应达到满树;如把x4x5 换成前面的节点,可减小平均码长。不应先规 定码长,而是由码树来规定码字,可得更好的 结果。
编码理论——无失真信源编码
x1 x2 x 4 x3 x5
9
香农码编码示例：
M文件：
clc;clear; a=[0.25,0.25,0.20,0.15,0.10,0.05]; k=length(a);y=0; s=zeros (k,1);b=zeros(k,1);p=zeros(8,1); for m=1:k 子函数文件： function y=b2d10 (x) ii=1;y=zeros(10,1); while ii<10 x=x*2; if x>=1 ;b=1;x=x-1; else b=0; end
编法二的平均码长为
编码理论——无失真信源编码
12
例设有一单符号离散信源
平均码长： K= 2.1 编码效率: η=93%
X x1 x2 x3 x4 x5 p( x) 0.4 0.3 0.2 0.05 0.05
对该信源编二进制费诺码。
码 字 00 0 1 0 1 1 1 010 011 10 11 码 长 2 3 3 2 2
K 2 1 0.6 2 0.25 3 0.1 4 0.05 1.6
C2 的效率比 C1高
C2的区分 ：0 表示码字的结束
011100110100…
ADACBA…
4
编码理论——无失真信源编码
信息率与编码效率
信息率 编码效率 最佳码：
KL R log m L
H (X ) R
码长 2 2 3 3 4 4 4 4
15
信源熵为 H(X)=2.75(比特/符号)
平均码长为
编码效率为 η =1 之所以如此,因为每次所 分两组的概率恰好相等。
编码理论——无失真信源编码
16
3.4
哈夫曼编码
哈夫曼编码也是用码树来分配各符号的码字。 费诺码是从树根开始,把各节点分给某子集,若子集已是单点集, 它就是一片树叶而作为码字。 哈夫曼编码是先给每一符号一片树叶,逐步合并成节点直 到树根。 哈夫曼(Huffman)编码是一种效率比较高的变长无失真信 源编码方法。
s(m)=y;
y=y+a(m); b(m)=ceil(-log2(a(m))); z=zeros(b(m),1); x=s(m); end
y(ii)=b;
ii=ii+1;
p=b2d10 (x);
for r=1:b(m) z(r)=p(r); end 编码理论——无失真信源编码
10
编码理论——无失真信源编码
平均码长为
K p( xi ) K i
i 1
7
0.2 2 0.19 2 0.18 3 0.17 3 0.15 3 0.10 4 0.01 4 2.72
编码效率
H ( X ) H ( X ) 2.61 96% R 2.72 K
信源符号 x1 x2 x3 x4 x5 x6 x7 x8 概率 0.25 0.25 0.125 0.125 0.0625 0.0625 0.0625 0.0625 二进制费诺编码 编码 0 0 1 0 0 1 1 1 1
编码理论——无失真信源编码
0
0 1 0 1
码字 00 01 100 101 1100 1101 1110 1111
2.32
4.3 4.3
3
5 5
101
11100 11101
这些码字没有占满所有树叶,所以是非最佳码
编码理论——无失真信源编码
8
香农码的平均码长
K p( xi ) K i 0.4 2 0.3 2 0.2 3 0.05 5 2 2.5
5
熵
i 1
H ( X ) 0.4 log 0.4 0.3 log 0.3 0.2 log 0.2 2 0.05 log 0.05 1.95
0.6 0.4
0 1
010
011
编码理论——无失真信源编码
22
0 0 0 1 0 x1 1 x2 0
x3 0 x4
0 1 0 x1 x4
0
1 x5
1
0 0 x2
1 x5
1 x3
图5.4.4 例5.4.2的二进制哈夫曼码树(编法一)
图5.4.6 例5.4.2的二进制哈夫曼码树(编法二)
编码理论——无失真信源编码
1 K i log p( xi )
取整
或:
－log2 p(xi)≤ Ki <1－log2 p(xi)
就可以得到这种码。
这种编码方法称为香农编码
编码理论——无失真信源编码
6
二进制香农码的编码步骤如下：
⑴将信源符号按概率从大到小的顺序排列,
p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki <1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率，
C2
1 0 1 1 0
D
0.05
1 1
1 1 1 0
信源
{A, B, C, D}
信源 编码器
信道
Error: 10-4
解码
信宿
编码理论——无失真信源编码
3
码字平均长度
码字平均长度
K p (ai ) K i
i 1
n
C1 和C2平均长度
K1 2 0.6 2 0.25 2 0.1 2 0.05 2
5
K2
编码效率
p( x )K 0.4 1 0.3 2 0.2 3 2 (0.05 4) 2.0
i i i 1
H ( X ) 1.95 2 97.5% K2 2.0
费诺码比较适合于每次分组概率都很接近的信源 特别是对每次分组概率都相等的信源进行编码时,可达到理想的编 码效率。
以i = 3为例: 码字长度： K4 = [－log0.2] = 3 累加概率 Pi=0.70 → 0.10110… 00
xi x1 x2
p(xi)
0.4 0.3
Pi
0 0.4 0.7 0.9 0.95 1.32 1.73 2 2
01 101 11100 11101
x3
x4 x5
0.2
0.05 0.05
编码理论——无失真信源编码
14
例有一单符号离散无记忆信源
x6 x7 x8 X x1 , x2 , x3 , x4 , x5 , P( X ) 1 / 4 1 / 4 1 / 8 1 / 8 1 / 16 1 / 16 1 / 16 1 / 16
对该信源编二进制费诺码,编码过程如表:
–对于某一信源和某一码符号集来说,若有一唯一可译码,其 平均码长小于所有其他唯一可译码的平均长度。
紧致码
–香农（Shannon）
–费诺（Fano） –哈夫曼（Huffma ）
编码理论——无失真信源编码
5
3.2
香农编码
香农第一定理指出了平均码长与信源之间的关系,同时也指出了 可 以通过编码使平均码长达到极限值,这是一个很重要的极限定理。 香农第一定理指出,选择每个码字的长度Ki满足下式：
0
x1 x2
0.4 0.3
0 0
0
10
x3
x4 x5
0.2
0.05 0.05 1 1
0
1 0 1
110
1110 1111
3
4 4
编码理论——无失真信源编码
13
平均码长
K1
p(x )K 0.4 2 0.3 2 0.2 2 2 (0.05 3) 2.1
i i i 1 5
⑷将Pi用二进制表示,并取小数点后Ki位作为符号ai的编码。
编码理论——无失真信源编码
7
例有一单符号离散无记忆信源
X x1 x2 x3 x4 x5 p( x) 0.4 0.3 0.2 0.05 0.05
对该信源编二进制香农码。其编码过程如表所示
信源 符号 符号 概率 累加 概率 -log p(xi) 码长 码字 00 01
编码理论——无失真信源编码
21
例5-8 单符号离散无记忆信源
信源符 符号概 号xi 率p(xi)
编码过程
码字 1 01 000 0010 0011
码字 00 10 11
x1 x2 x3 x4 x5
0.4 0.2 0.2 0.1 0.1 0 1
0.4 0.2 0.2 0.2 0 1
0.4 0.4 0.2 0 1
0.15 0 0.17