第7讲——离散无记忆信源等长编码

有 即
1 H (U ) log p(u L ) H (U ) L
L[ H (U ) ] log p(u L ) L[ H (U ) ]
等式两边各项取指数，即得证。
推论2(典型序列数目)
U , p(ak )和 0 ,典型序列 当L足够大时，对于给定的信源
每个序列平均符号的信息量接近于信源熵H(U)； 所有典型序列的概率和趋近于1。
T (L, )
个别非典型序列的概率不一定比个别典型序列的概率低。 虽然非典型序列集中序列的总概率很小，但是元素数目 不一定小。
理解典型序列
个别非典型序列的概率不一定比个别典型序列的概率低。 掷硬币试验：正面出现概率p，反面出现概率1-p 典型序列 p pL (1 p) L pL 非典型序列（全反） (1 p)L 虽然非典型序列集中序列的总概率很小，但是元素数目 不一定小。 TU ( L, ) 2 L[ H (U ) ] 2 L[ H (U ) ] L[log K H (U ) ] 2 KL UL 2 L log K
I L 将以概率1取值为H(U)。 即当L足够大时，
推论1(特定序列出现的概率)
若 u L TU (L, ) ，则 2 L[ H (U ) ] p(uL ) 2 L[ H (U ) ] 即
p(uL ) 2 LH (U )
证明：从典型序列定义式
TU ( L, ) uL : H (U ) I L H (U )
第七讲 离散无记忆信源 等长编码
信源编码基本概念
消息集 码字集
u L
信源输出序列 字母表 码字序列 集合
v N
u L (u1 , u 2 ,, u L )
a1 , a 2 ,, a K A p , p , , p K 1 2
v N (v1 , v2 ,, vN )
每个英文电报符号 至少要用5位二元符 号编码
实际英文电报符号信源，在考虑了符号出现的概率以 及符号之间的依赖性后，平均每个英文电报符号所提 供的信息量约等于1.4比特，即编码后5个二元符号只 携带约1.4比特的信息量，远小于5比特( 最大熵)，可 见编码后的信息传输效率极低。
Hale Waihona Puke 无失真等长编码X Y
信源
N log D
LH (U )
p(u L ) p(ul )
l
I (u L ) log p(u L ) log p(ul ) [ log p(ul )] I (ul )
l l l
I L I (u L ) / L
令信源的熵为 H (U )，I (ul ) 的方差为 I ，则 I L 的均值为
可选 ，这可以通过适当选择L来实现，上式可以写成
I (u L ) Pr H (U ) 1 L
即当L足够大时，I L将以概率1取值为H(U)。
N log D LH (U )
典型序列
U , p(ak ) 的熵， 0 令H(U)是集
定义为给定信源U输出长为L的典型序列集，其中，
Lk 是L序列中 ak出现的次数，又称之为强典型序列集。
信源划分定理
定理： 给定信源 U , p(ak )和 0，当 L 时，
Pr TU ( L, ) 1
由契比雪夫大数定理，对于
0
I (u L ) I2 Pr H (U ) 2 L L
L长序列
信源编码器 码表
DN K L
N log D L log K
信道
N长码字
N log D LH (U )
几乎无失真编码
几乎无失真等长编码
选择L足够长，使
N log D L[ H (U ) L ]
其中， L为与L有关的正数，且当 L 时有 L 0 ,才 能不损失信息。然而这样的编码不总能保证单义可译， 但非单义可译所引起的错误可渐近为任意小。反之， 若 N log D L[ H (U ) ，编码误差变得任意大。 L]
2
方差为
I (ul ) EI (ul ) I (u L ) l l E E H (U ) L L L
E[
I (u L ) 1 H (U )] 2 2 E[ I (u L ) LH (U )] 2 L L 1 2 E[ I (u l ) LH (U )]2 L l
可达
对于给定的信源和编码速率R以及任意 0 若存在有L0 E () D() 使当码长 L L0 时 pe 就称R是可达的，否则称此R不可达。
无扰编码定理
若R>H(U)，则R是可达的；若R<H(U) ，则R是 不可达的。 对于给定的离散无记忆信源，若D元码的速率R超过 信源的熵，即 N / L log D [ H (U ) ]，则存在有编码 方法，当L足够大时就能使译码错误概率任意小。 编码效率 H (U ) / R
信源划分定理
定理： 给定信源 U , p(ak )和 0，当 L 时，
Pr TU ( L, ) 1 对于任意小 0，存在有正整数 L0，使得当
L L0时，有
Pr u L TU ( L, ) 1
由契比雪夫大数定理，对于
0
uL TU ( L. )

2 L( H (U ) ) TU ( L, ) 2 L[ H (U ) ]
即 TU (L, ) (1 )2L[ H (U ) ]
理解典型序列
一个离散无记忆信源输出的消息序列可以分为两组，
T ( L, ) 各序列出现的概率近于相等；
H (U ) / H (U )
(1 )2L[ H (U ) ] TU (L, ) 2L[ H (U ) ]
证明充分性
令 R H (U )，取 L L 。由信源划分定理推论2，对于 0
0
通过选择足够大的L，可使 TU (L, ) 2L[ H (U ) ] 2LR 编码： 对于每个 u L TU ( L, ) 依次标以码号1,2,…,2LR-1, 并令 相应号数的二元序列 作为相应消息的码字；而对于
因为R H (U ) 2 ，所以有 2L[ H (U ) 2 ] 个码字， 而典型 序列的个数至少为 (1 )2L[ H (U ) ] ，所以在TU ( L, ) 中的 序列可以找到码字的概率为
p 2L[ H (U )2 ] /(1 )2L[ H (U ) ] 2 L /(1 )
I (u L ) I2 Pr H (U ) 2 L L
I (u L ) I2 Pr H (U ) 1 2 1 L L
可选 ，这可以通过适当选择L来实现，上式可以写成
I (u L ) Pr H (U ) 1 L
I (u L ) I2 Pr H (U ) 1 2 1 L L
可选 ，这可以通过适当选择L来实现，上式可以写成
I (u L ) Pr H (U ) 1 L
I L 将以概率1取值为H(U)。 即当L足够大时，
码3 1 10 100 1000
码4 1 01 001 0001
无失真等长编码
X
Y
信源
L长序列
K
L
信源编码器
码表
DN K L
N log D L log K
DN
信道
N长码字
D K
N
L
实 例
英文电报27个符号,K=27,L=1,D=2(二元编码)
log 2 K NL log 2 27 5 log 2 D
u L T U ( L, )，都用第2LR个标号(000· · · 000)表示。
译码 ： 若x2
LR
ˆ L uL 则u
ˆ L (000) 若 x 2 LR 则 u
ˆ L uL Pr uL T (L, ) pe Pr u


因此，R为可达速率。

1 2 2 * L I I /L 2 L
由契比雪夫大数定理，对于 0
I (u L ) I2 Pr H (U ) 2 L L
I (u L ) I2 Pr H (U ) 1 2 1 L L
TU ( L, ) uL : H (U ) I L H (U )
定义为给定信源U输出长为L的典型序列集，又可称作 弱ε典型序列集； 相应 TU ( L, ) 的补集为非典型序列集。
U , p(ak )的熵， 令H(U)是集 0
TU ( L, ) uL : L[ p(ak ) ] Lk L[ p(ak ) ]
2
L ( H (U ) )
TU (L, ) 2 L[ H (U ) ]
TU (L, ) 2L[ H (U ) ]
2 L[ H (U ) ] p(uL ) 2 L[ H (U ) ]
uL TU ( L. )
有 1

p(uL )
B b1 , b2 ,, bD
D元码 等长码 不等长码 唯一可译码
信源编码基本概念
信源符号 信源符号 出现概率
a1 a2 a3 a4
p(a1)=1/2 p(a2)=1/4 p(a3)=1/8 p(a4)=1/8
码0 00 01 10 11
码1 0 11 00 11