第8讲——离散无记忆信源等长编码
信源编码等长码
● 根
0
º
0
1● 1●
0 1
10
º
0
110
º
111
º
码字是从树根节点出发到达终节点所对应的码符号序列
•
码的分类结构图
奇异码 非奇异码
唯一可译码
非唯一可译码
等长码
非等长码
即时码
延时码
• 平均码长
码字长度
n nm P(Cm )
码 , 或单义可译码。否则，就称为非唯一可译码或非 单义可译码。
例如,表3.1中码1是唯一可译码,而码2是非唯一可
译码。因为对于码2，其有限长的码符号序列能译成 不同的信源符号序列。如码符号序列为0010，可译 成s1s2s1或s3s1，就不唯一了。
唯一可译码 非唯一 可译码
表3.1
唯一可译码
[定义] 若W中任一有限长的码字序列 （即有限长的一 串W），可以被唯一地分割成一个一个码字，就称为是单义 可译或唯一可译的，W也叫做单义代码。 从扩展性定义：码的任意N次扩展码都是非奇异码，则唯一可译
• 求信息传输速率。
7 i=0
H X =-p(x i )log(p(x i )) 2.75log2 2.75(比特/符号) 1 1 1 n 2 2 2 3 2 4 2.75 （码元/符号） 4 8 16 信源特殊分 H X 2.75 RD = =1(比特/码元时间) 布，每个消 2.75 n 息的概率
码C: 0 10
110
111
4、码C是唯一可译的,因为任一串有限长的码字w, 如 100111011010 只能被分割成 10，0，111，0，110，10 任何其他分割方法都会产生一些不属于代码W的 码字（如1，001，11，011，010）；
第8讲——离散无记忆信源不等长编码
码字集
n
x1, x2 , , xr
k1
, nk2 , , nkr
xi B
nki n
总共 K r个序列，对其进行重新组合
Ai 表示含有i个码元的序列总数
则 i [rnmin , rnmax ]
nmax max n1 , n2 , , nK
nmin min n1, n2 , , nK
k1 1
K
D
k2 1 kr 1
K
K
( nk1 nk2 nkr )
rnmax
i rnmin
i A D i
rnmax K nK D Ai D i k 1 i rnmin
r
由码的唯一可译性，可知长度为i含r个码字的序列 必不相同，于是 Ai D i ，则
存在唯一可译的D元不等长 码满足
H (U L ) nL 1 log D H (U L ) 1 n L log D L H (U ) 1 n log D L
Shannon第一编码定理
——离散无记忆信源
任一唯一可译的D元不等长 码总满足
n H (U ) log D
存在唯一可译的D元不等长 码满足
k 1 K nk
pk 1 ，所以必存在码字长度为n1、n2、…、
k 1
K
nK的唯一可译D元不等长码。 另外，对红式右边求倒数取对数并进行概率加权得
K 1 H (U ) pk log pk log D nk 1 pk k 1 k 1 K
pk (nk 1) log D (n 1) log D
n H (U ) 1 log D L
信息论及编码理论基础(第三章)讲诉
2018/11/16
9
§3.2 离散无记忆（简单）信 源的等长编码
（9）在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 （DN≥KL） 当R<H(U1)时，无论怎样编码都是有错编码。这是因为 R<H(U1)≤logK。 （DN<KL） （如果H(U1)=logK，则以上两种情形已经概括了全部情形。 但如果H(U1)<logK，则还有一种情形） 当logK>R>H(U1)时，虽然无论怎样编码都是有错编码， 但可以适当地编码和译码使译码错误的概率pe任意小。这 就是所谓“渐进无错编码”。
EV1 qk loga
k 1
2018/11/16
qk
H (U1 )
13
§3.2 离散无记忆（简单）信 源的等长编码
取IL是(V1V2…VL)的如下函数： I L
1 L Vl L l 1
则 ① IL最终是(U1U2…UL)的函数； ② 1 L 1 L 1 EI L EVl H (U1 ) DI L D Vl 2 L l 1 L l 1 L
2018/11/16
12
§3.2 离散无记忆（简单）信 源的等长编码
设…U-2U-1U0U1U2…是离散无记忆（简单）信源的输出随机变 量序列。设U1的概率分布为
a1 a2 aK U1 ~ q q q K 1 2
取Vl是Ul的如下函数：当Ul=ak时， Vl=loga(1/qk)。则 ①随机变量序列…V-2V-1V0V1V2…相互独立，具有相同的概率 分布； K ② 1
2018/11/16 5
§3.2 离散无记忆（简单）信 源的等长编码
例：离散无记忆简单信源发出的随机变量序列为：…U-2U1U0U1U2…。其中U1的事件有3个：{晴, 云, 阴}。 (U1U2)有9个事件 {（晴晴），（晴云），（晴阴），（云晴），（云云）， （云阴），（阴晴），（阴云）， （阴阴）}。 用字母表{0, 1}对(U1U2)的事件进行2元编码如下： （晴晴）→0000，（晴云）→0001，（晴阴）→0011， （云晴）→0100，（云云）→0101，（云阴）→0111， （阴晴）→1100，（阴云）→1101，（阴阴）→1111。
ch3离散无记忆信源的无损编码
算术编码（AC）
初始时设S=Φ ，F(Φ)＝0，p(Φ)＝1。 计算序列的积累概率和序列的概率。
F ( Sur ) F ( S ) p( S ) F (ur ) p( Sur ) p( S ) p(ur )
1 计算码长 L log p ( S )
序列
Φ
1 11 111 1110 11101 111010 1110101 11101011
F（S） 0 0.01 0.0111 0.100101 0.100101 0.1001101011 0.1001101011 0.10011100000001 0.1001110011110111
P（S） 1 0.11 0.1001 0.011011 0.00011011 0.0001010001 0.000001010001 0.00000011110011 0.0000001011011001
离散无记忆信源的等长编码
Shannon等长信源编码定理 熵为H(U)的离散无记忆信源，对信源输 出长度为L的输出序列进行编码，假设编码字 符表有D个符号，则当
N L[ H (U ) L ] / log D
时，信源可以实现无损编码。反之若
N L[ H (U ) L ] / log D
将信源的K个符号按概率递减次序排列。 将两个概率最小的信源符号合并成一个新符号，
新符号的概率值为两个信源符号概率值的和。 依次类推，直至信源最后只剩下一个符号。 将每次合并的两个信源符号分别用0和1表示。 由后向前返回，就得到各信源符号对应的码字。
D元Huffman编码步骤：
增补D-M个概率为0的虚拟符号，其中M由下式给出：
信息理论与编码 第四章 离散无记忆信源无失真编码
7
63
H (U ) i1 P(ui ) log P(ui ) 32 bit/符号
l l 3 码元/符号
c
H (U ) l log r
63 32
3 log 2
65.625%
提高编码效率的方法：对符号串进行编码，同时
引入一定的失真。
20
4、引入失真，提高编码效率
lN H (U )
N log r
4
11 11
l
P(ui )li
i 1
1 2 3 3 24 88
1.75 码元/符号
编码策略： 出现概率大的符
编码策略：采用等长
号采用较短的码字，出现概
的码字
率小的符号采用较长的码字7
3、信息率
信
U
源 {u1,u2 , ,uq}
编码器 f
W
X
{w1,w2 , ,wq} {x1,x2 , ,xr }
限定定长编码码长的最小值，因此最佳的定长编码效率为：
c
H (U ) l log r
H (U ) lN log r
H (U )
H (U )
(1c )H (U ) c
(4-3-9)
N
可以证明，差错率满足关系：Pe
2 (U N 2
)
信源自信息量的方差
2 (U ) E I (ui ) H (U )2 P(ui )log P(ui )2 H (U )2
f 是一 一对应 的映射
P(wi ) P(ui ) i 1,2, ,q
X
{x1,x2 , ,xr }
H(W ) H(U) bit/码字或 bit/符号
新信源X ：H (X ) H (W ) H (U ) bit/码元
3.1离散无记忆信源等长编码
3.1离散无记忆信源等长编码3.1离散无记忆信源等长编码3.1离散无记忆信源等长编码几乎无失真等长编码选择L 足够长，使N log D ≥L [H (U ) +εL ]εL 为与L 有关的正数，且当L →∞时有εL →0, 才其中，能不损失信息。
然而这样的编码不总能保证单义可译，但非单义可译所引起的错误可渐近为任意小。
反之，若N log D3.2 离散无记忆（简单）信源的等长编码编码速率R =N log D /L R =N log D /L ≥log K关于编码速率的说明：表示一个长度为N 的D 元码字给一个长度为L 的消息的每个符号所提供的信息量。
3.2 离散无记忆（简单）信源的等长编码一个消息序列U L 每符号含有信息量算术平均为：I L =I (u L ) /L =∑I (u l ) /Ll信源的熵为H(U)E (I (u l ))=∑p (a k ) I (a k ) =H (U )k设I (u l ) 的方差为σI 2σ=D (I (u l ))=∑p (a k ) (I (a k ) ?H (U ))2Ik23.2 离散无记忆（简单）信源的等长编码例信源发出的消息序列长度L=8。
a 2??a 1u l ~??1/43/4?I (a 1)I (a 2)?I (u l )~??3/4??1/42H (U )=0.81bitσ=D (I (u l ))=∑p (a k ) (I (a k ) ?H (U ))=0.4712Ik长为8的序列是(a1+a2) 8的展开式的所有项，共28个。
消息序列的概率是(p1+p2) 8的二项展开式中的各项。
I 8(a 18)=I (a 18)/8=I (a 1)5I 8(a 13a 2)=(3I (a 1)+5I (a 2))/83.2 离散无记忆（简单）信源的等长编码3.2.2 信源划分定理典型序列集的定义令H(U)是集{U , p (a k ) }的熵，ε>0，T U (L , ε) ={u L :H (U ) ?ε≤I L ≤H (U ) +ε}(IL=I (u L )/L , u L ∈UL)定义为给定信源U 输出长为L 的典型序列集T U (L , ε) 的补集它称作弱ε典型序列集；相应地，为非典型序列集。
第三章 信源编码-离散无记忆源等长编码
第三章 信源编码——离散信源无失真编码本章分析问题：在信宿要求无失真接收时，或所有信源信息无损的条件下，离散信源输出的表示——即信源编码问题。
内容：信源分类，信息速率的计算，编码定理，有效编码方法等。
一、信源及其分类 1． 离散信源和连续信源离散信源表示：…Ｕ－２Ｕ－１Ｕ０Ｕ１Ｕ２…其中ＵＬ随机变量，取值范围：Ａ＝｛ａ１，ａ２，…ａｋ｝ ２．无记忆源和有记忆源无记忆源：各ＵＬ彼此统计独立简单信源：各ＵＬ彼此统计独立且服从同一概率分布 Ｐ（ＵＬ＝ａｋ）＝Ｐｋ，ｋ＝１，２，…，Ｋ∑=Kk 1Ｐｋ＝１有记忆源：各ＵＬ取值相关。
ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ）∈ＵＬ，其概率分布由Ｌ维随机矢量表示，Ｐ（ＵＬ＝ａ）＝Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ） ３．平稳信源：概率分布与起始下标无关Ｐ（Ｕ１＝ａｋ１，…，ＵＬ＝ａｋＬ）＝Ｐ（Ｕｔ＋１＝ａｋ１，…，ＵＬ＝ａｋＬ）４．各态历经源：信源输出的随机序列具有各态历经性。
５．有限记忆源：用条件概率Ｐ（ＵＬ，ＵＬ－１，ＵＬ－２，ＵＬ－ｍ）表述。
ｍ为记忆阶数。
６．马尔可夫源：有限记忆源可用有限状态马尔可夫链描述，当ｍ＝１时为简单马尔可夫链。
７．时间离散的连续源：各随机变量ＵＬ取值连续。
８．随机波形源：时间和取值上均连续的信源；由随机过程ｕ（ｔ）描述，时间或频率上有限的随机过程可展开成分量取值连续的随机矢量表示，即时间上离散，取值连续的信源。
９．混合信源二、离散无记忆源的等长编码离散无记忆源：ＤＭＳＬ长信源输出序列：ＵＬ＝（Ｕ１，Ｕ２，…，ＵＬ），Ｕｌ取值｛ａ１，ａ２，…ａｋ｝，共ＫＬ种不同序列。
对每个输出序列用Ｄ元码进行等长编码，码长为Ｎ，则可选码共有ＤＮ个。
１．单义可译码或唯一可译码：条件：ＤＮ≥ＫＬ＝Ｍ，即Ｎ≥ＬｌｏｇＫ／ｌｏｇＤＮ／Ｌ：每个信源符号所需的平均码元数；Ｎ／Ｌ→３．３２２；２．信息无损编码要求：设每个信源符号的信息量为Ｈ（Ｕ），则Ｌ长信源序列的最大熵值为ＬＨ（Ｕ），编码时由于Ｄ个码元独立等概时携带信息量最大，使码长最短。
信息论第8讲最佳不等长编码讲解
1
s2
1
0
1
1
0 1
0 ss34 1 s5
10
s6
1
s17
s7
Huffman编码最佳性证明
【定理1】
对于给定的信源，存在最佳唯一可译二元码，其最 小概率的两个码字的长度最长且相等，它们之间仅最后
一位码元取值不同（一个为0，另一个为1）。
lK最大 存在另外一个码字其长度也为lK，
并且与cK仅最后一位码元取值不 同(一个为0，另一个为1)
信源符号 概率pk s1 0.40
s2 0.18 s3 0.10 s4 0.10
s5 0.07
s6 0.06
s7 0.05 0
s8 s9
0.04 1 02
0.09 0 1 2
码字
0.22
0
0.38
1 2
0 1.00
0
10
1
11
2 12
21
22
200 201
思考: r元Huffman编码？
?q (r 1) r Y 进行编码
S(1)：
s(1) 1
s(1) K 2
s(1) K 1
p p p (1)
(1) (1)
1
K 2 K 1
ps ps ps S(K-3)：
(K 3) 1
(K 3) 1
(K 3) 2
(K 3) 2
(K 3) 3
(K 3) 3
S(K-2)：
s( K 2) 1
p( K 2) 1
, ,
N 增加0概率 符号
进行编码
例： 设离散无记忆信源
S P(S
)
信息理论与编码_ 离散无记忆信源无失真编码_
3、编码器的输出f 是一一对应的映射i i P w P u i q()()1,2,, H W H U ()()bit/码字或bit/符号H W H U H X l l()()()bit/码元新信源X ：编码后的信息率R ：平均一个码元携带的信息量。
H W H U H X l l()()()bit/码元平均码长越小，每个码元携带的信息量就越多，传输一个码元就传输了较多的信息。
R X{,,,}12r x x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源4、编码效率为了衡量编码效果，定义编码效率：编码后的实际信息率与编码后的最大信息率之比。
max max ()()()()log log c R H X H U l H U R H X r l r注：编码效率实际上也是新信源X 的信息含量效率或熵的相对率。
新信源的冗余度也是码的冗余度：1c c X{,,,}12rx x x 编码器f12{,,,}q u u u 12{,,,}r x x x WU12{,,,}q w w w X信源5种不同的码i P u W W W W W U u u u u 351241234()1200001001401000010011810100111001118111110111111W 1: 定长码。
W 3: 变长码。
奇异码。
定长非奇异码肯定是UDC u u u u u u u u u u u u u12434321121211,00,10,010110,01,00,11,00,1,00,1W 2: 定长码。
W 4: 变长码。
W 5: 变长码。
非奇异码。
非奇异码。
非奇异码。
非奇异码。
续长码。
非续长码。
续长码。
及时码。
非及时码。
奇异码肯定不是UDC不是UDC非续长码肯定是UDC 是UDC非及时码。
非续长码。
W 3：1001001唯一可译码定长非奇异码非续长码非奇异码码奇异码非奇异码非唯一可译码唯一可译码定长非奇异码变长非续长码（部分）变长续长码4.3 定长编码定理和定长编码方法1、对信源输出的符号序列进行编码DMS编码器f12{,,,}q u u u 12{,,,}r x x x WU 12{,,,}q w w w XX12{,,,}r x x x DMS编码器f 12{,,,}N q 12{,,,}r x x x WNU 12{,,,}Nq w w w XX12{,,,}r x x x 对信源U 的单个符号进行编码对信源U 的N 长符号串进行编码对扩展信源U N 的单个符号进行编码12i i i iNu u u 1212,,,{,,,}i i iN q u u u u u u2、定长编码定理r 进制定长编码,码长为l N , 可用的码字数目：Nl r Nl Nrq唯一可译max max ()log ()log log N r H U l q H U N r r信息传输率编码效率()()/N H U R H X l Nmax ()()()log c NH X H U l H X r Nbit/码元DMS编码器f 12{,,,}Nq 12{,,,}r x x x W NU 12{,,,}N q w w w XX12{,,,}r x x x定长无失真编码定理：用r 元符号表对离散无记忆信源U 的N 长符号序列进行定长编码，N 长符号序列对应的码长为l N ，若对于任意小的正数ε，有不等式:就几乎能做到无失真编码，且随着序列长度N 的增大，译码差错率趋于0。
信源编码的基本方法
X
m
k
S : Si ,i
1,2,...L
编码输出
YNmJ
C
X
m
J
其中 YNmJ Y1mY2m...YNmJ Ykm C : Ci ,i 1,2,..., D
C : Ci ,i 1,2,...D 为输出的码元集。
接收端的译码输出
X 'Jm C1 YnJm
XJ
YnJ
4.6 率失真理论
一.实际系统中的权衡问题
实际系统中通常需要考虑性能与经济性之间的权衡问题；
可采用以某些不可察觉或可察觉但不影响应用的信号失真代 价，来换取所需的传输速率、存储空间、运算复杂度和系统实 现成本的降低；
电话系统采样8kHz采样，8比特量化；
数字音响系统采样44kHz采样，16或24比特量化；
R
nJ J
log2
D
其中 nJ 为不等长编码的平均码长。
定义4.5.3 信源的熵 H S 与编码速率R 的比值定义为编码效率
C
H S
R
要保证编码没有信息丢失，要求
R H S C 1
3. 霍夫曼(Huffman)编码 霍夫曼编码是一种异字头不等长编码，其基本思想是： 对出现概率大的符号或符号组用位数较少的码字表示； 对出现概率小的符号或符号组用位数较多的码字表示。 由此可提高编码效率。 霍夫曼编码： 定理4.5.17 霍夫曼编码一种最佳的不等长编码。 霍夫曼编码的应用条件： 信源的分布(统计)特性已知。
P
Si
ni
n
2
其中 n
LP
i 1
Si
ni
编码过程的排序过程不同会影响码长的方差。
码字长度的均匀性和方差 示例：信源的符号空间为
第三章 离散信源
Wuhan University
3.1 信源及其分类 3.2 离散无记忆信源的等长编码
1
信源的描述及分类
Wuhan University
信源的统计特性 信源是信息的来源,是产生消息(符号)或消 息序列的来源。 由于消息的不确定性，因此，信源是产生随 机变量、随机序列和随机过程的源。 客观信源的基本特性是具有随机不确定性。
Wuhan University
二进制无记忆信源的N次扩展：把每
N个二进制数字组成一组，则信源等 效成一个具有2N个符号的新信源，把 它称为单符号二进制无记忆信源的N 次扩展信源。
7
单符号信源的扩展
Wuhan University
例1：电报系统中，可以认为每二个二进制数
字组成一组。这样信源输出的是由二个二进 制数字组成的一组组符号。这时可以将它们 等效看成一个新的信源，它由四个符号00， 01，10，11组成，把该信源称为二进制无记 忆信源的二次扩展。
≥LlogK 没有考虑信源统计特性，认为每个 信源符号独立等概。 考虑信源统计特性时，无错编码的 条件： NlogD ≥LH(U) R≥H(U)
统计平均，仅当L 为无限时
22
离散无记忆信源的等长编码
Wuhan University
R ≥H(U) 在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U)时，无论怎样编码都是有错 编码。 当logK>R>H(U)时，可以适当地编码 和译码使译码错误的概率pe任意小。 这就是所谓“渐进无错编码”。
K k 1 k
15
离散无记忆信源的等长编码
Wuhan University
离散无记忆信源的无损编码
结论：一个典型列的概率 2-LH（U）
结论：总典型列数量 2LH（U）
结论
无差错编码
DN≥2LH(U)
差错编码
差错概率Pe→0 编码速率R ≥ H(U) 可达
2LH(U)
差错概率Pe→1 编码速率R<H(U) 不可达
随着消息序列长度L增加，平均表示一位十进制数 的二进制数N/L减少，编码效率提高。 但消息序列L增加会导致 （1）编码复杂性增大 （2）译码延时越长
3.1.2 Shannon编码定理和典型列解 释
对等长编码长度的要求（与L，H(U),D有关）
信源编译码方框图
定理的严格证明留到3.1.3节给出，先给出
序列自信息的方差
平均每个信源输出符号的自信息
渐近等分性质(AEP)结论
（3.1.19）
典型列集合
平均每个信源输出符号的自信息
当L->∞时，
L→∞时，典型列出现概率为1， 非典型列出现概率为0
典型列：高概率集
非典型列：低概率集
注意： (1)个别非典型列出现的概率不一定比典型列 概率小 (2)非典型列总概率小，但总数不一定少
第三章 离散无记忆信源(DMS)的无损编 码
离散无记忆信源
离散:信源输出在时间、取值上均为离散 无记忆：信源前后输出消息是独立、不相
关的
（离散无记忆）信源
信源模型的构成：在有限字符集上取值的
独立随机变量序列 计算信源输出的信息量（熵）：易计算 有效描述信源的输出
信源无损压缩编码
证明的思路。 信源编码、译码方框图
错误概率
N:编码长度 数
L:消息长度
D:编码字符
信源编码速率
第8讲——离散无记忆信源等长编码
ˆ 译码 ： x < 2 LR 则 u L = u L 若
ˆ 若 x = 2 LR 则 u L = (00 0)
ˆ pe = Pr {u L ≠ u L } = Pr u L ∈ T ( L, ε ) ≤ ε
{
}
Байду номын сангаас
因此，R为可达速率。
即当L足够大时，I L将以概率1取值为H(U)。
N log D > LH (U )
典型序列
∀ 令H(U)是集 {U , p(ak )} 的熵，ε > 0
TU ( L, ε ) = {u L : H (U ) − ε ≤ I L ≤ H (U ) + ε }
定义为给定信源U输出长为L的典型序列集，又可称作 弱ε典型序列集；相应 TU ( L, ε ) 的补集为非典型序列集。 令H(U)是集 {U , p(ak )} 的熵， ε > 0 ∀
∑ E[I (u )]
l l
L
= H (U )
方差为
E[
1 I (u L ) − H (U )]2 = 2 E[ I (u L ) − LH (U )]2 L L 1 = 2 E[∑ I (u l ) − LH (U )] 2 L l
=
1 * Lσ I2 = σ I2 / L L2
由契比雪夫大数定理，对于 ∀ε > 0
⎡ I (u L ) ⎤ σ I2 Pr ⎢ − H (U ) > ε ⎥ < 2 = pe ⎣ L ⎦ Lε
例 题
掷硬币：正面出现p=0.25，这时信源熵H(U)=0.81。 （1）若采用等长二元无错编码时，
信源编码--离散信源无失真编码概述PPT课件( 17页)
•
18、在人生的舞台上，当有人愿意在台下陪你度过无数个没有未来的夜时，你就更想展现精彩绝伦的自己。但愿每个被努力支撑的灵魂能吸引更多的人同行。
5
§3.2 离散无记忆（简单）信 源的等长编码
例：1离U散0U无1U记2…忆。简其单中信U源1的发事出件的有随3机个变：量{晴序, 列云为, 阴：}…。U-2U(U1U2)有9个事件 {（晴晴），（晴云），（晴阴），（云晴），（云云），
（云阴），（阴晴），（阴云）， （阴阴）}。 用字母表{0, 1}对(U1U2)的事件进行2元编码如下： （晴晴）→0000，（晴云）→0001，（晴阴）→0011， （云晴）→0100，（云云）→0101，（云阴）→0111， （阴晴）→1100，（阴云）→1101，（阴阴）→1111。
§3.2 离散无记忆（简单）信 源的等长编码
（10）渐进无错编码 （简单地说就是：当R>H(U1)时，可以适 当地编码和译码使得译码错误的概率pe任意小。严格地说就 是：）
设给定了编码设备的编码速率R0，R0>H(U1)。则对任意的ε>0， 总存在一个L0，使得对任意的L>L0，都有对(U1U2…UL)的等 长编码和对应的译码方法，满足
当编码速率R比较高时，可以选择比较大的N，因此可供选 择的码字比较多，因此更容易设计出能够快速识别的码， 降低译码的难度。
当编码速率R比较低时，意味着使用低成本的编码设备。此 时只能选择不大的N，因此更需要编码的技巧。 ）
2019/5/26
9
§3.2 离散无记忆（简单）信 源的等长编码
（9）在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U1)时，无论怎样编码都是有错编码。这是因为
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无失真等长编码
X
Y
信源
信源编码器
信道
L长序列
码表
N长码字
DN KL
N log D L log K
N log D LH (U )
第八讲
离散无记忆信源 等长编码
信源编码基本概念
消息集
u L
码字集
vN
信源输出序列 字母表
码字序列
uL (u1,u2 , ,uL )
A
a1, a2 ,
p1 ,
p2
,
, aK , pK
v N (v1, v2 , , vN )
集合
B b1,b2, ,bD
D元码 等长码 不等长码 唯一可译码
H (U
)
L[H (U ) ] log p(uL ) L[H (U ) ]
等式两边各项取指数，即得证。
推论2(典型序列数目)
当L足够大时，对于给定的信源 U , p(ak )和 0,典型序列
的个数 TU (L, ) 满足 (1 )2L[H(U) ] TU (L, ) 2L[H(U) ]
推论1(特定序列出现的概率)
若 u L TU (L, ) ，则 2L[H (U ) ] p(uL ) 2L[H (U ) ]
即
p(uL ) 2LH (U )
证明：从典型序列定义式
TU (L, ) uL : H (U ) IL H (U )
有
即
H (U
)
1 L
log
p(uL )
I (uL ) L
H (U )
2 I
L 2
Pr
I (uL ) H (U ) L
1
2 I
L 2
1
可选 ，这可以通过适当选择L来实现，上式可以写成
Pr
I (uL ) L
H (U )
1
即当L足够大时，I L将以概率1取值为H(U)。
N log D LH (U )
典型序列
令H(U)是集U , p(ak )的熵， 0 TU (L, ) uL : H (U ) IL H (U )
X
Y
信源
信源编码器
信道
L长序列
KL
码表
N长码字
DN
DN KL
N log D L log K
DN KL
实例
英文电报27个符号,K=27,L=1,D=2(二元编码)
N
L
log 2 log 2
K D
log 2
27
5
每个英文电报符号 至少要用5位二元符 号编码
实际英文电报符号信源，在考虑了符号出现的概率以
定义为给定信源U输出长为L的典型序列集，又可称作 弱ε典型序列集； 相应 TU (L, ) 的补集为非典型序列集。
令H(U)是集U , p(ak )的熵， 0 TU (L, ) uL : L[ p(ak ) ] Lk L[ p(ak ) ]
定义为给定信源U输出长为L的典型序列集，其中，
几乎无失真编码
几乎无失真等长编码
选择L足够长，使 N log D L[H (U ) L ]
其中， L为与L有关的正数，且当 L 时有 L 0 ,才
能不损失信息。然而这样的编码不总能保证单义可译， 但非单义可译所引起的错误可渐近为任意小。反之， 若 N log D L[H (U ) ， 编L ] 码误差变得任意大。
Lk 是L序列中 ak出现的次数，又称之为强典型序列集。
信源划分定理
定理：
给定信源U , p(ak )和 0，当 L 时，
Pr TU (L, ) 1
由契比雪夫大数定理，对于 0
Pr
I (uL ) L
H (U )
2 I
L 2
Pr
I (uL ) L
H (U )
1
2 I
L 2
1
即
TU (L, ) 2LH (U)
证明：1 p(uL)
p(uL )
2L(H (U ) ) TU (L, ) 2L[H (U ) ]
UL
u L TU ( L. )
uL TU (L. )
即
TU (L, ) 2L[H (U ) ]
由
2L[H (U ) ] p(uL ) 2L[H (U ) ]
有 1
p(uL )
T (L, ) 2 2L(H (U ) ) U
L[H (U ) ]
uLTU (L. )
uLTU (L. )
即 TU (L, ) (1 )2L[H(U) ]
理解典型序列
➢ 一个离散无记忆信源输出的消息序列可以分为两组， T (L, ) 各序列出现的概率近于相等；
信源编码基本概念
信源符号
信源符号 出现概率
码0
a1 p(a1)=1/2 00 a2 p(a2)=1/4 01 a3 p(a3)=1/8 10 a4 p(a4)=1/8 11
码表
码1 码2 码3 码4
0
0
1
1
11 10 10 01
00 00 100 001
11 01 1000 0001
无失真等长编码
Pr uL TU (L, ) 1
由契比雪夫大数定理，对于 0
Pr
I (uL ) L
H (U )
2 I
L 2
Pr
I (uL ) L
H (U )
1
2 I
L 2
1
可选 ，这可以通过适当选择L来实现，上式可以写成
Pr
I (uL ) L
H (U )
1
即当L足够大时，IL 将以概率1取值为H(U)。
方差为
E
I
(u L L
)
E
l
I (ul L
)
EI (ul )
l
H (U )
L
E[ I (uL ) L
H (U )]2
1 L2
E[I (uL )
LH(U )]2
1 E[
L2
l
I (ul ) LH (U )]2
1 L2
*
L
2 I
2 I
/
L
由契比雪夫大数定理，对于 0
Pr
N log D LH (U )
p(u L ) p(ul )
l
I (uL ) log p(uL ) log p(ul ) [ log p(ulI (u L ) / L
令信源的熵为 H (U )，I (ul ) 的方差为 I2，则 I L 的均值为
可选 ，这可以通过适当选择L来实现，上式可以写成
Pr
I (uL ) L
H (U )
1
即当L足够大时，IL 将以概率1取值为H(U)。
信源划分定理
定理：
给定信源U , p(ak )和 0，当 L 时，
Pr TU (L, ) 1
对于任意小 0，存在有正整数 L0，使得当
L L0时，有