第8讲——离散无记忆信源不等长编码

码字集
n
x1, x2 , , xr
k1
, nk2 , , nkr

xi B
nki n
总共 K r个序列，对其进行重新组合
Ai 表示含有i个码元的序列总数
则 i [rnmin , rnmax ]
nmax max n1 , n2 , , nK
nmin min n1, n2 , , nK


k1 1
K
D
k2 1 kr 1
K
K
( nk1 nk2 nkr )

rnmax
i rnmin
i A D i
rnmax K nK D Ai D i k 1 i rnmin
r
由码的唯一可译性，可知长度为i含r个码字的序列 必不相同，于是 Ai D i ，则
存在唯一可译的D元不等长 码满足
H (U L ) nL 1 log D H (U L ) 1 n L log D L H (U ) 1 n log D L
Shannon第一编码定理
——离散无记忆信源
任一唯一可译的D元不等长 码总满足
n H (U ) log D
存在唯一可译的D元不等长 码满足
k 1 K nk
pk 1 ，所以必存在码字长度为n1、n2、…、
k 1
K
nK的唯一可译D元不等长码。 另外，对红式右边求倒数取对数并进行概率加权得
K 1 H (U ) pk log pk log D nk 1 pk k 1 k 1 K
pk (nk 1) log D (n 1) log D
n H (U ) 1 log D L
编码速率与编码效率 R n log D H (U ) R
Shannon第一编码定理
——离散无记忆信源
任一唯一可译的D元不等长 码总满足 存在唯一可译的D元不等长 码满足
H (U ) 1 n log D L
H (U ) n log D
任一唯一可译的D元不等 长码总满足
1 1 rnmax log2 r nmax nmin nk r r D 1 (rnmax rnmin ) 2 k 1 k rnmin 当 r 时，上式右边指数项趋于0，因而右边趋于1。 K 1 r
nk D 1 由此得 k 1
码 树
0 0 01 2 0 1 1 2 0
1
1 2
2 0 1 2
2
三进制码树
异字头码（译码）
异字头码是唯一可译的。 异字头码具有即时性
异字头码的树图表示。 事件 a1 概率 0.5 码C 0
a2 a3
a4
0.25 0.125
0.125
10 110
111
异字头码（译码）
异字头码是唯一可译的。 异字头码具有即时性。
5 p 10 （2）若采用只对典型序列编码，要求译码错误概率 e
N R log D 1 L
H (U ) / R 0.81
H (U ) / R 0.95，求L
由 H (U ) /[ H (U ) ] 0.95 可得 又
I2 0.25[log
K
任一满足Kraft不等式的非异字头码都可以找到 一个码字长度不变的异字头码。
不等长编码定理
任一唯一可译的D元不等 长码总满足 存在唯一可译的D元不等 长码满足
H (U ) n log D
H (U ) n 1 log D
n
H (U ) log D
不等长编码定理证明
K 1 H (U ) n log D pk log pk nk log D pk k 1 k 1 K 1 pk log pk log D nk pk k 1 k 1 K K D nk D nk D nk pk log log e pk ln log e pk ( 1) pk pk pk k 1 k 1 k 1 K K K
K
H (U ) 1 于是有 n log D
k 1
不等长编码定理推论
U L , p(u L ) 若对L长消息符号序列进行编码，相当于对源 中的元素进行编码
任一唯一可译的D元不等长 码总满足
H (U L ) nL log D H (U L ) n L log D H (U ) n log D
可得
I2 L 2 2.58 10 7 pe
1 1 0.81]2 0.75[log 0.81]2 0.471 0.25 0.75
0.05H (U ) 0.0427 0.95
也就是长度要达到2580万以上。
Morse电码
A B C D E F G H I ·– – ··· – ·– · – ·· · ··– · ––· ·· ·· ·· J K L M N O P Q R ·– – – – ·– ·– ·· –– –· ––– ·– – · – – ·– ·– · S T U V W X Y Z ··· – ··– ···– ·– – – ··– – ·– – – – ··
不等长码实例
事件 a1 概率 0.5 码A 0 码B 0 码C 0 码D 0
a2
a3 a4
0.25
0.125 0.125
0
1 10
1
00 11
10
110 111
01
011 0111
唯一可译的两种解决方法
逗点码 见到逗号就识别为一个码字的开始。 若①事件与码字一一对应； ②每个码字的开头部分都是一个相同的字母串； ③这个字母串仅仅出现在码字的开头，不出现在 码字的其它部位。则称这个字母串为逗号，称此码 为逗点码。 异字头码 见到一个码字就立即识别。 若①事件与码字一一对应； ②每个码字都不是另一个码字的开头部分（字头）。 则称此码为异字头码。
1 1 0 1 01 1 0 0 0 0001 1 0 1 1 1 10 0 110 1110字头码，其码长分 别为n1,n2,…,nK，则只需画出一个有K个端节点 分别处于n1,n2,…,nK级的D元树图即可。
任意给定的n1,n2,…,nK和D，是否总能存在 满足条件的D元异字头码？
异字头码
异字头码是唯一可译的。 异字头码具有即时性。
异字头码的树图表示。
码 树
树根—码字的起点
0
A
1
分成r个树枝—码的进制数
1
0 0 1 1
0
0 0
1
0
0
1
中间节点—码字的一部分
1 0 10 1 0 1 0
0 1 0 1
端节点—码字1101
节数—码长
二进制码树 满树：每个节点上都有2个分枝的树——等长码 非满树：不等长码
nk D 1 k 1 K
唯一可译码必要条件
定理 唯一可译码必满足Kraft不等式 证明 对任意的正整数r，有
K K n nk 2 k1 D D D nk k 1 k1 1 k2 1 K r
作二元编码
a1 U ~ 3 4 a2 1 4
R H (U )
存在唯一可译的D元不等 长码满足 log D R H (U ) L
R n log D
H (U ) R
U a1 a2 U2 a1a1
例 题
概率 3/4 1/4 概率 9/16 码字 0 1 码字 0 平均码长 1×3/4+ 1×1/4=1 平均码长 1×9/16+ 2×3/16+ 3×3/16+ 3×1/16 =27/16 R 1 R η
证明
K nk log e D 1 0 k 1 H (U ) 于是有 n log D
Kraft不等式
(若pk D nk , k 1 ~ K，则n
H (U ) ) log D
不等长编码定理证明
选n1、n2、…、nK，使 D nk pk D ( nk 1) , k 1 ~ K 则有 D
唯一可译码必要条件
定理 唯一可译码必满足Kraft不等式
证明 对任意的正整数r，有
K nk1 K nk2 nk D D D k 1 k 1 k1 1 2
K
r

K nkr D k 1 r
不等长码实例
事件 a1 概率 0.5 码A 0 码B 0 码C 0 码D 0
a2
a3 a4
0.25
0.125 0.125
0
1 10
1
00 11
10
110 111
01
011 0111
码C的平均码长为 nC 1×0.5+2×0.25+3×0.125+3×0.125=1.75 码D的平均码长为 n D 1×0.5+2×0.25+3×0.125+4×0.125=1.875
D
nK
1 D nk
k 1
K 1
就能保证为第K个消息能够选择一个nK级端点作为 码字，从而构造了异字头码。
Kraft不等式必要性证明
设有一个异字头码存在，它的各码字长度为 证明： n1≤n2≤…≤nK，则可作一个nK级满树，根据异字头条 件，我们可以将K个码字和树中的某一级节点相对 应，即将码字嵌入树中。每个码字对应的节点占去 码树的 D nk ，由异字头条件知，这K个码字至多覆 盖整个码树，因而有
E对应1000
J对应1011101110111000
特点：经常出现的字母变换为较短的数字序列， 不经常出现的字母变换为较长的数字序列。
平均码长
设信源随机变量U的概率分布为
a2 , , aK U a1 , P P(a ), P(a ), , P(a ) 1 2 K
Kraft不等式
长度分别为n1、n2、…、nK的D元异字头码存在的 充分必要条件是
• 必须注意：
nk D 1 k 1 K
– Kraft不等式只是用来说明唯一可译码是否存在，并 不能作为唯一可译码的判据； 如码字{0，10，010，111}虽然满足Kraft不等式，但 它不是唯一可译码。
异字头码的树图表示。 事件 a1 概率 0.5 码C 0 a1 a2 a3 0 0 0 1
111100 a4 a2 a1
a2 a3
a4
0.25 0.125
0.125
10 110
111
1 1 a4
异字头码（编码）
（1）若选定某一节点表示消息，则该节点不再延伸。 这是为了保证异字头条件。 （2）当码字长度给定，异字头码不是唯一的。

K nkr D k 1 r


k1 1
K
D
k2 1 kr 1
K
K
( nk1 nk2 nkr )
a1, a2 , , aK
r长码字序列
消息集
b1, b2 , , bK B n1, n2 , , nK n
第八讲 离散无记忆信源 不等长编码
Review
等长编码
消息集
u L
无失真 几乎无失真
DN K L
N log D LH (U )
码字集 v N
N log D L log K
R H (U )
N log D 典型序列R L
例题
掷硬币：正面出现p=0.25，这时信源熵H(U)=0.81。 （1）若采用等长二元无错编码时，
nk 2 21 22 23 23 1 k 1 4
Kraft不等式充分性证明
证明: 不妨设n1≤n2≤…≤nK，则n1级节点中的任何一个 作端点即占去了满树中所有可能nK级节点的
D nK n1 / D nK D n1
依次进行下去，当为第K个消息选择码字时，若有
若事件ak对应的码字长度为nk，则平均码字长度为
n nk p ( ak )
k 1
K
希望 n 小。
解决方案：概率大的事件用短码字。
不等长编码的唯一可译性
1）每个消息都至少有一个码字与之对应，且不同的消 息对应不同的码字 ； 2） 对于一个码，如果存在一种译码方法，使任意若干 个码字所组成的字母串只能唯一地被翻译成这几个 码字所对应的事件序列，即码字的分点唯一确定。 解决方案：适当地编码，使得每个码字都具有识别标记。