3.1离散无记忆信源等长编码

3.1离散无记忆信源等长编码
几乎无失真等长编码
选择L 足够长，使
其中，
为与L 有关的正数，且当时有,才能不损失信息。

然而这样的编码不总能保证单义可译，但非单义可译所引起的错误可渐近为任意小。

反之，若，编码误差变得任意大。

]
)([log L U H L D N ε+≥L ε∞→L 0→L ε])([log L U H L D N ε−<
3.2 离散无记忆（简单）信源的等长编码编码速率
R=N log D/L
R=N log D/L≥log K
关于编码速率的说明：
表示一个长度为N的D元码字给一个长度为L的消息的每个符号所提供的信息量。

一个消息序列U L 每符号含有信息量算术平均为：
信源的熵为H(U)
设I (u l )的方差为3.2 离散无记忆（简单）信源的等长编码
()/()/L L l l
I I L I u L
==∑u ()()()
()()l k k k
E I u p a I a H U ==∑2
I σ()()()()
2
2()()I
l k k k
D I u p a I a H U σ==−∑
3.2 离散无记忆（简单）信源的等长编码
例信源发出的消息序列长度L=8。

长为8的序列是(a 1+a 2)8的展开式的所有项，共28个。

消息序列的概率是(p 1+p 2)8的二项展开式中的各项。

1
2~1/43/4l a a u ⎛⎞⎜⎟
⎝⎠
()()()12~1/4
3/4l I a I a I u ⎛⎞
⎜⎟
⎝⎠()0.81H U bit
=()()()()2
2
()()0.471
I
l k k k
D I u p a I a H U σ==−=∑()()()
888111/8I a I a I a ==()()()()35
8121235/8
I a a I a I a =+
3.2.2 信源划分定理
•典型序列集的定义
•令H(U)是集的熵，，
•定义为给定信源U 输出长为L 的典型序列集
它称作弱ε典型序列集；相应地，
的补集为非典型序列集。

3.2 离散无记忆（简单）信源的等长编码
{})(,k a p U 0>ε{}
εεε+≤≤−=)()(:),(U H I U H L T L L U u ()
()/,L
L
L L I
I L U
=∈u u ),(εL T U
令u L 是信源的长为L 的输出序列，其中，是序列中出现的次数。

称为强典型序列集。

例4次掷硬币试验强典型序列有{0011}, {1001}, {1100}, {1100}, {0011}, {1010}.
ε>{}
(,):[()][()]U L k k k T L L p a L L p a εεε=−≤≤+u k L k a {},()k U p a
例信源发出的消息序列长度L=8,对其二元随机编码。

I 8的数值：
2, 1.80, 1.60, 1.41, 1.21, 1.01, 0.811, 0.61, 0.415
12~1/43/4a a U ⎛⎞
⎜⎟
⎝⎠
()0.81H U bit
=87162534435261781121212121212122
a ,a a ,a a ,a a ,a a ,a a ,a a ,a a ,a
()()20.471
I k D I a σ==
()4435261781212
12
12
2
22
a a ,a a ,a a ,a a ,a 163/0.3679.
I
L σε
=若对共个序列编码,错误概率上限是
()()()()()()()8
7
6
2
5
3
01238
8
8
8
C 1/4C 1/43/4C 1/43/4C 1/43/40.027
e P =+++=261735121212
0.2a a ,a a ,a a
ε=弱典型序列是44352617812
12
12
12
2
0.4a a ,a a ,a a ,a a ,a
ε=弱典型序列是87162531121212
a ,a a ,a a ,a a
3.2 离散无记忆（简单）信源的等长编码
3.2.3 离散无记忆信源编码定理
•可达
•对于给定的信源和编码速率R 以及任意，若
存在有，
和，使当时，就称R 是可达的，否则称此R 不可达。

例掷硬币实验R=1bit 可达；R=0.5bit 不可达。

0>ε0L ()E ()D 0L L >ε<e p
复习
无失真等长编码的充要条件
信源符号{a 1,a 2,…,a K } 码字符号{0,1,…,D-1}长l 的消息序列a i1a i2…a il 长为N 的码字n 1n 2…n N
D N ≥K L
N log D /L ≥log K
编码速率R =N log D /L R ≥log K
典型序列集
典型序列的数量
(1-ε
)2L (H (U )-ε)≤|T U (L ,
ε)|≤2
L (H (U )+ε)特定典型序列出现的概率
若一个特定的事件(u 1u 2…u L )∈T U (L , ε)，则
2-L (H (U )+ε)≤P {(u 1u 2…u L )=(a i 1a i 2…a i L )}≤2-L (H (U )-ε)
Asymptotic Equipartition Property
{}
εεε+≤≤−=)()(:),(U H I U H L T L L U u
3.2 离散无记忆（简单）信源的等长编码
3.2.3 离散无记忆信源编码定理编码效率
最佳编码时，其
中，。

1
/)(≤=R U H η])(/[)(εη+=U H U H 0>ε
作业3.1 3.2。