第8讲——离散无记忆信源不等长编码

可得Biblioteka σ I2 = 2.58 × 10 7 L≥ 2 ε pe
1 1 0.81]2 + 0.75[log 0.81]2 = 0.471 0.25 0.75
0.05 H (U ) = 0.0427 0.95
也就是长度要达到2580万以上。
Morse电码
A B C D E F G H I – – –– – – –– J K L M N O P Q R ––– –– – –– – ––– – – ––– – S T U V W X Y Z – – – –– –– ––– – –
码 树
0 1 0 01 2 0 1 2 1 2 0 1 2 0 1 2 2
三进制码树
异字头码（译码）
异字头码是唯一可译的。 异字头码具有即时性 异字头码的树图表示。 事件 a1 a2 a3 a4 概率 0.5 0.25 0.125 0.125 码C 0 10 110 111
异字头码（译码）
异字头码是唯一可译的。 异字头码具有即时性。 异字头码的树图表示。 事件 a1 a2 a3 a4 概率 0.5 0.25 0.125 0.125 码C 0 10 110 111 a1 a2 a3 0 0 1 1 a4 0 1 111100 a4 a2 a1
H (U L ) nL < +1 log D H (U L ) 1 n < + L log D L H (U ) 1 n < + log D L
n ≥
H (U ) log D
Shannon第一编码定理
——离散无记忆信源
任一唯一可译的D元不等长 码总满足 H (U ) n ≥ log D 存在唯一可译的D元不等长 码满足 H (U ) 1 n < + log D L
证明
K nk = log e ∑ D 1 ≤ 0 k =1 H (U ) n ≥ 于是有 log D
Kraft不等式
(若pk = D
nk
H (U ) , k = 1 ~ K，则 n = ) log D
不等长编码定理证明
选n1、n2、…、nK，使 Dnk ≤ pk < D(nk 1) , k =1 ~ K 则有 ∑ D
由此得
D nk ≤ 1 ∑
k =1
K
任一满足Kraft不等式的非异字头码都可以找到 一个码字长度不变的异字头码。
不等长编码定理
任一唯一可译的D元不等 长码总满足 存在唯一可译的D元不等 长码满足
H (U ) n ≥ log D
H (U ) n < +1 log D
H (U ) n≥ log D
不等长编码定理证明
D nk ≤ 1 ∑
k =1
K
唯一可译码必要条件
定理 唯一可译码必满足Kraft不等式 证明 对任意的正整数r，有
K nk1 K nk2 nk ∑ D = ∑ D ∑ D k =1 k =1 k1 =1 2
K r
K nkr ∑ D k =1 r
=∑
K
编码速率与编码效率 R = n log D H (U ) η= R
Shannon第一编码定理
——离散无记忆信源
任一唯一可译的D元不等长 码总满足 H (U ) n ≥ log D 任一唯一可译的D元不等 长码总满足 存在唯一可译的D元不等长 码满足 H (U ) 1 n < + log D L 存在唯一可译的D元不等 长码满足 log D R < H (U ) + L
Kraft不等式
长度分别为n1、n2、…、nK的D元异字头码存在的 充分必要条件是 必须注意：
∑
K
D nk ≤ 1
k =1
– Kraft不等式只是用来说明唯一可译码是否存在，并 不能作为唯一可译码的判据； 如码字{0，10，010，111}虽然满足Kraft不等式，但 它不是唯一可译码。
2 n k = 2 1 + 2 2 + 2 3 + 2 3 = 1 ∑
R ≥ H (U )
R = n log D
H (U ) η= R
U a1 a2 U2 a1a1 a1a2 a2a1 a2a2
例 题
概率 3/4 1/4 概率 9/16 3/16 3/16 1/16 码字 0 1 码字 0 10 110 111 平均码长 1×3/4+ 1×1/4=1 平均码长 1×9/16+ 2×3/16+ 3×3/16+ 3×1/16 =27/16 R 1 R η 0.811 η
异字头码
异字头码是唯一可译的。 异字头码具有即时性。 异字头码的树图表示。
码 树
树根—码字的起点
0 0 0 0 1 0 1 0 1 0 1 0 1 0
A
1 0 1 0 1 0 0 1 0 1 1
分成r个树枝—码的进制数 中间节点—码字的一部分 端节点—码字1101
1
节数—码长 二进制码树 满树：每个节点上都有2个分枝的树——等长码 非满树：不等长码
若事件ak对应的码字长度为nk，则平均码字长度为
n =
希望 n 小。
∑n
k =1
K
k
p (ak )
解决方案：概率大的事件用短码字。
不等长编码的唯一可译性
1）每个消息都至少有一个码字与之对应，且不同的消 息对应不同的码字 ； 2） 对于一个码，如果存在一种译码方法，使任意若干 个码字所组成的字母串只能唯一地被翻译成这几个 码字所对应的事件序列，即码字的分点唯一确定。 解决方案：适当地编码，使得每个码字都具有识别标记。
第八讲 离散无记忆信源 不等长编码
Review
等长编码
消息集
{u L }
码字集 {v N }
N log D ≥ L log K
无失真 几乎无失真
DN ≥ K L
N log D > LH (U )
R > H (U )
N log D 典型序列R = L
例题
掷硬币：正面出现p=0.25，这时信源熵H(U)=0.81。 （1）若采用等长二元无错编码时，
k =1 4
Kraft不等式充分性证明
证明: 不妨设n1≤n2≤…≤nK，则n1级节点中的任何一个 作端点即占去了满树中所有可能nK级节点的
D nK n1 / D nK = D n1
依次进行下去，当为第K个消息选择码字时，若有
D
nK
≤ 1 ∑ D nk
k =1
K 1
就能保证为第K个消息能够选择一个nK级端点作为 码字，从而构造了异字头码。
k =1 K nk
≤ ∑ pk = 1，所以必存在码字长度为n1、n2、…、
k =1
K
nK的唯一可译D元不等长码。 另外，对红式右边求倒数取对数并进行概率加权得
K 1 H (U ) = ∑ pk log > ∑ pk log D nk 1 pk k =1 k =1 K
= ∑ pk ( nk 1) log D = ( n 1) log D
Ai D i ∑
rnmax nK ∑ D = ∑ Ai D i k =1 i =rnmin K
r
由码的唯一可译性，可知长度为i含r个码字的序列 必不相同，于是 Ai ≤ D i ，则
1 1 log 2 r ( nmax nmin ) rnmax nk r r ∑ D ≤ k =∑1 ≤ (rnmax rnmin ) = 2 rn k =1 min 当 r → ∞ 时，上式右边指数项趋于0，因而右边趋于1。 K 1 r
pe ≤ 10 5 （2）若采用只对典型序列编码，要求译码错误概率
η = H (U ) / R = 0.95，求L
N R = log D = 1 L
η = H (U ) / R = 0.81
由 η = H (U ) /[ H (U ) + ε ] = 0.95 可得 ε = 又
σ I2 = 0.25[log
K nk1 K nk2 nk ∑ D = ∑ D ∑ D k =1 k =1 k1 =1 2
K r
K nkr ∑ D k =1 r
=∑
=
K
k1 =1
rnmax
∑ ∑D
k2 =1 kr =1
K
K
( nk1 + nk 2 + + nk r )
i = rnmin
不等长码实例
事件 a1 a2 a3 a4 概率 0.5 0.25 0.125 0.125 码A 0 0 1 10 码B 0 1 00 11 码C 0 10 110 111 码D 0 01 011 0111
码C的平均码长为 n C = 1×0.5+2×0.25+3×0.125+3×0.125=1.75 码D的平均码长为 n D = 1×0.5+2×0.25+3×0.125+4×0.125=1.875
K 1 ∑ pk nk log D H (U ) n log D = ∑ pk log pk k =1 k =1 K 1 = ∑ pk log + ∑ pk log D nk pk k =1 k =1 K K D nk D nk D nk = ∑ pk log = log e∑ pk ln ≤ log e∑ pk ( 1) pk pk pk k =1 k =1 k =1 K K K
Kraft不等式必要性证明
设有一个异字头码存在，它的各码字长度为 证明： n1≤n2≤…≤nK，则可作一个nK级满树，根据异字头 条件，我们可以将K个码字和树中的某一级节点相对 应，即将码字嵌入树中。每个码字对应的节点占去 码树的 D nk ，由异字头条件知，这K个码字至多覆 盖整个码树，因而有