《信息论》(电子科大)第3章_离散信源无失真编码

电子科技大学
对于m阶马尔科夫信源(m<L) ，当L 对于m阶马尔科夫信源(m<L) ，当L足够 大时，由于其平均符号熵H 大时，由于其平均符号熵HL(X1X2…XL) =Hm+1，故对信源符号进行m元不等长组 ，故对信源符号进行m 编码，一定存在一种无失真编码方法， 使得每个信源符号所对应码字的平均比 特数 K Hm+1 ≤ lbm < Hm+1 + ε L 式中，ε 式中，ε为任意给定的小正数。 此时香农界为H 此时香农界为Hm+1。
电子科技大学
∑m
i =1
n
N−ki
≤m
N
从而 m ∑
i =1
n
−ki
≤1
电子科技大学
2、无失真编码定理 如果L 如果L维离散平稳信源的平均符号熵为 HL(X1X2…XL)，对信源符号进行m元不 ，对信源符号进行m 等长组编码，一定存在一种无失真编码 方法，当L 方法，当L足够大时，使得每个信源符号 所对应码字的平均比特数 K HL (X1X2 LXL ) ≤ lbm < HL (X1X2 LXL ) + ε L 式中，ε 式中，ε为任意给定的小正数。
电子科技大学
x4x1 →11101, x4x2 →111101, x4x3 →11111110, x4x4 →11111111
其平均码长
K = ∑P(ai )ki = 0.25× 2 + 0.15×3 +L
i =1 16
+ 0.0075×8 + 0.0025×8 ≈ 3.328
编码效率 2 H(X ) 2H(X) 3.296 η= = = ≈ 99.0% K K 3.328
例1，对单符号离散信源
x4 X x1 x2 x3 P(X) = 0.5 0.3 0.15 0.05
电子科技大学
编二进制香农码，并计算其编码效率。 编二进制香农码，并计算其编码效率。 解：①将xi按概率进行降序排列
x1 x2
码A 码B 码C 0.5 0 0 0 0.3 1 01 10
电子科技大学
x3 0.15 00 011 110 x4 0.05 01 0111 111 表中，码A 表中，码A不是单义可译码，它有二义性， 码B和码C才是单义可译码；码B是延时 和码C才是单义可译码；码B 码，它需等到对应与下一个符号元的码 字开头0 字开头0才能确定本码字的结束，存在译 码延时，只有码C 码延时，只有码C才是即时码。
三、香农编码
电子科技大学
香农编码是一种采用异前置码的m 香农编码是一种采用异前置码的m进制 编码方法。 编码方法。 设离散信源
x2 L xn X x1 P(X) = p(x ) p(x ) L p(x ) 1 2 n
不失一般性， 不失一般性，设p(x1)>p(x2)>…>p(xn)， n 且 ∑p(xi ) = 1
其离散熵
H(X) = −∑P(xi )lbP(xi )
i =1 4
= −0.5lb0.5 − 0.3lb0.3 − 0.15lb0.15 − 0.05lb0.05
≈ 1.648(bit / sym ) bol 要做到无失真编码，就要保证符号元与 码字一一对应，此时用码序列表示的信 源离散熵保持不变。 最简单的无失真编码是对信源符号进行 4-2进制变换，即 x1 → 00, x2 → 01, x3 →10, x4 →11 该编码的码长K=2， 该编码的码长K=2，码字的每一个比特 携带信息的效率即编码效率
第3章 离散信源无失真编码
电子科技大学
信源发出的消息需要传输或存储才能发 挥作用，而对于传输或存储来说，现在 二进制信号最具优势。 因此，为了满足信道特性，往往需要将 n元的信源符号序列变换为m元(现在一 元的信源符号序列变换为m 般为二元) 般为二元)的信源码序列，这一过程就 是信源编码。 信源编码的问题是：
电子科技大学
与第二种编码相比，码字又压缩了约0.04 与第二种编码相比，码字又压缩了约0.04 个比特，编码效率提高了2.1%。 个比特，编码效率提高了2.1%。 总结该例子，有以下几点结论与问题： ①一般采用不等长编码，使平均码长接 近离散熵，从而在无失真前提下提高编 码效率；编码的基本原则是大概率符号 元编成短码，小概率符号元编成长码。
二、无失真编码定理
电子科技大学
1、异前置码 如果所采用的不等长编码使接收端能从 码序列中唯一地分割出对应与每一个符 号元的码字，则称该不等长编码为单义 可译码。 单义可译码中，如果能在对应与每一个 符号元的码字结束时立即译出的称为即 时码，如果要等到对应与下一个符号元 的码字才能译出的称为延时码。
①怎样保证编码和译码过程不丢失信息， 即怎样实现无失真编码？ ②怎样有效地利用码字的每一个比特去 携带信息，即在编码过程中怎样用最少 的比特数去表示信源的离散熵？ ③无失真编码的具体方法？
电子科技大学
一、无失真编码的基本思路
电子科技大学
先看一个单符号离散信源无失真编码的 例子：
x4 X x1 x2 x3 P(X) = 0.5 0.3 0.15 0.05
一种能保证符号元与码字一一对应的不 等长编码为 x1 →0, x2 →10, x3 →110, x4 →111 其平均码长
电子科技大学
K = 0.5×1+ 0.3× 2 + 0.15× 3 + 0.05× 3 =1.7 编码效率
H(X) 1.648 η= = ≈ 96.9% K 1.7
与第一种编码相比，码字压缩了0.3个比 与第一种编码相比，码字压缩了0.3个比 特，编码效率提高了14.5%。 特，编码效率提高了14.5%。
②由于码长不等，如何保证接收端从码 序列中唯一地分割出对应与每一个符号 元的码字，以实现无失真译码？ ③对符号序列进行组(block)编码有助于 对符号序列进行组(block)编码有助于 使平均码长接近离散熵，但平均码长能 否无限接近离散熵，从而使编码效率趋 近1？如果能，对序列长度有什么要求？
电子科技大学
码C的特点是：任何一个码字都不是其他 的特点是：任何一个码字都不是其他 码字的前缀，因此将该码称为异前置码。 码字的前缀，因此将该码称为异前置码。 异前置码可以用树图来构造： 0 一个三元码树图 1 0 从树根开始到每一个 1 2 0 终节点的联枝代表一 1 2 个码字，故相应的异 2 前置码
电子科技大学
电子科技大学
H(X) 1.648 η= = ≈ 82.4% K 2
电子科技大学
码字的比特数中约有17.6%未携带信息， 码字的比特数中约有17.6%未携带信息， 属于冗余比特，传输这种码序列效率不 高。 为了压缩比特数，可以考虑对信源符号 进行不等长编码，如 x1 → 0, x2 →1, x3 → 00, x4 → 01 但该编码不能实现无失真译码，即不能 保证符号元与码字的一一对应。
i =1
二进制香农码的编码步骤如下： 二进制香农码的编码步骤如下： 将符号元x 按概率进行降序排列； ①将符号元xi按概率进行降序排列； )=0，计算第j ②令p(x0)=0，计算第j-1个码字的累加概 率 pa (xj ) = ∑p(xi )
i =0 j−1
电子科技大学
j = 1,2,L,n
③确定第i个码字的码长ki， ki为满足下 确定第i个码字的码长k 列不等式的整数： 列不等式的整数： − lbp(xi ) ≤ ki < −lbp(xi ) + 1 用二进制表示，取小数点后k ④将pa(xj)用二进制表示，取小数点后ki 位作为符号元x 的码字。 位作为符号元xi的码字。
进一步，如果对该信源的二次扩展信源
电子科技大学
X2 x1x1 x1x2 x1x3 x1x4 x2x1 x2x2 x2x3 x2x4 2 = P(X ) 0.25 0.15 0.075 0.025 0.15 0.0Hale Waihona Puke Baidu 0.045 0.015 x3x1 x3x2 x3x3 x3x4 x4x1 x4x2 x4x3 x4x4 0.075 0.045 0.0225 0.0075 0.025 0.015 0.0075 0.0025
的理想无失真编码的存在性，代价是取 无限长的符号序列进行组编码，即只有 L→∞时 L→∞时
H∞ η= =1 K lim lbm L→∞ L
电子科技大学
可见，极限熵H 可见，极限熵H∞是一个界限，通常也称 为香农界。
特别地，对于L 特别地，对于L维离散平稳无记忆信源， 由于其平均符号熵H 由于其平均符号熵HL(X1X2…XL) =H(X)， =H(X)， 故对信源符号进行m 故对信源符号进行m元不等长组编码， 一定存在一种无失真编码方法，当L 一定存在一种无失真编码方法，当L足够 大时，使得每个信源符号所对应码字的 平均比特数 K H(X) ≤ lbm < H(X) + ε L 式中，ε 式中，ε为任意给定的小正数。 此时香农界为H(X)。 此时香农界为H(X)。
设m元异前置码第i个码字的长度为ki , 元异前置码第i个码字的长度为k i=1,2, …,n 考虑一个N级满树，在第N级共有m 考虑一个N级满树，在第N级共有mN个节 点，在第k 级共有m 点，在第ki级共有mki个节点。 根据异前置码的定义，第i 根据异前置码的定义，第i个码字后的节 点不能再用，故不能用的节点数为m 点不能再用，故不能用的节点数为mN-ki 构造异前置码的码树图上总共不用的节 点总数
∴kilbm ≥ −lbP(ai ) lbP(ai ) 即 i ≥− k lbm
电子科技大学
lbP(ai ) lbP(ai ) 取− ≤ ki < − +1 lbm lbm
其平均码长
n lbP(ai ) n lbP(ai ) − ∑P(ai ) ≤ ∑P(ai )ki < −∑P(ai ) +1 lbm lbm i =1 i =1 i =1 n
电子科技大学
平稳无记忆信源的香农界H(X)大于m 平稳无记忆信源的香农界H(X)大于m阶 马尔科夫信源的香农界H ，而m 马尔科夫信源的香农界Hm+1，而m阶马尔 科夫信源的香农界H 科夫信源的香农界Hm+1又大于一般平稳 信源的香农界H 信源的香农界H∞。
电子科技大学
因此，对离散平稳信源进行无失真编码， 每个信源符号所对应码字的平均比特数 平稳无记忆信源最多， m阶马尔科夫信 源次之，一般平稳信源最少。
进行无失真编码，一种能保证符号元与 码字一一对应的不等长编码为
x1x1 →00, x1x2 →100, x1x3 →1100, x1x4 →11100 x2x1 →101, x2x2 →010, x2x3 →0110, x2x4 →111100
x3x1 →1101, x3x2 →0111, x3x3 →111110, x3x4 →1111110
设不等长组编码对应于符号元a 设不等长组编码对应于符号元ai=xi1xi2… xiL的码字长度为ki 的码字长度为k −ki 取ki使之满足m ≤ P(ai )
由于 m ∑
i =1 n −ki
电子科技大学
≤ ∑P(ai ) =1
i =1
n
说明该编码是异前置码 1 −ki ki Qm ≤ P(ai )即m ≥ P(ai )
000,001 002,01 02,1 2 , , ,
码C所对应的二元码树图
电子科技大学
0 0 1 1 1 0
m元长度为ki , i=1,2, …,n的异前置码存在 元长度为k …,n的异前置码存在 的充分必要条件是：
∑m
i =1
n
−ki
≤1
该充要条件称为克拉夫特(Kraft)不等式。 该充要条件称为克拉夫特(Kraft)不等式。
H(X1X2 LXL ) H(X1X2 LXL ) 即 ≤K< +1 lbm lbm H(X1X2 LXL ) K H(X1X2 LXL ) lbm ≤ lbm < + L L L L
K lbm电子科技大学 HL (X1X2 LXL ) ≤ lbm < HL (X1X2 LXL ) + L L lbm 只要 ≥ ε L K HL (X1X2LXL ) ≤ lbm < HL (X1X2LXL ) + ε L 无失真编码定理又叫香农第一定理，该 定理从理论上阐明了编码效率 HL (X1X2 LXL ) η= →1 K lbm L