第四章 无失真信源编码

第四章 无失真信源编码
以上为正定理部分的证明。
利用表达式： r
当 N→∞时，由④式得：来自exp( N ) 2 M (S ) 1 2 N

④
r exp( N ) →0 2 绝大部分在 A 中的序列已 M (S ) 1 无对应的码字，译码一定出错 N 2
在N→∞时，由①式得 P( A ) →1
可以求得H(S)=2.5524比特/符号及方差
2
2 （S） 7.82 2 2 若要求编码效率为90%，即 7.82 7 82 （S） （.S） H (S ) H ( S（S） 7.82 ) 0 .9 可 H ( ) S H.9S ) 可解得 0.28 0( 09 H ( S ) . 可解得 . 0可解得 .28 0 9 .28 ( S ) 0 H H (S ) H (S )
• 显然，平均码长越短，则Rt越大，信息传输效率 就越高，编码中使平均码长为最短的码是人们感 兴趣的。
第四章 无失真信源编码
• 最佳码：
凡是能载荷一定的信息量，且码字的平均 长度最短，可分离的变长码的码字集合称 为最佳码或紧致码。 无失真信源编码的基本问题就是要找最佳 码，变长码的编码定理确定了最佳码的平 均码长可能达到的理论极限。
码字数为rl
则对S进行等长编码，须满足 q ≤ rl
每个信源符号都有对应的码字可选
第四章 无失真信源编码
若S送出一个信源符号所需的信息率为R，则N长符号 所需的信息率为NR 而每个码元的最大信息量为log r，则 l 长码序列的信 息量为 l log r
编码前后信息量应保持不变，即：
NR＝ l log r
送出一个信源符号所需信息率：R＝（l /N ）log r
为使传送信息率最小，需找到一种编码方式，使R最 小。编码定理所研究的就是最小的R为何值才能得到 无失真的译码，若小于此信息率是否还能无失真地译 码？
第四章 无失真信源编码
二、等长信源编码定理 无记忆平稳离散信源的熵为H(S)，若对信源长为N的 符号序列进行等长编码，码字从 r 个码符号集中选 取 l 个码元组成，对于任意∈＞0，只要满足： 或 则当N足够大时，可实现几乎无失真编码．即译码错 误概率能为任意小。反之，若：
无失真信源编码要求译码结果与信源的输出相比
不产生歧义，信源符号或序列与码本中的码字必
须构成一一对应的变换关系，且译码结果也是唯
一的。
由于离散无记忆信源符号等概分布时，信源输出
的信息量最大为H0，而通常信源是非等概分布，
熵为H(S)，必存在信息冗余，即：
H (S ) 1H0
第四章 无失真信源编码
第四章 无失真信源编码
C={W1,W2, ‥,Wn}，所以信源编码就是将信源符号
S与码字之间按照一定规则进行的一种变换处理：
S
信源编码器
m
C
或者将长为N的信源符号序列Si=S1S2‥SN与码本中
的码字构成某种对应关系。使信源符号的信息载荷
在码字中。
信源译码是信源编码的逆过程，即由C恢复出S。
第四章 无失真信源编码
)
M exp[( H ( S ) ) N ] P( A ) ) M
a N A
N
min P(a
a N A
N
)
M exp[( H ( S ) ) N ]
将 P( A ) 式代入②式，得：
2 (S ) (1 ) exp[N ( H ( S ) )] M exp[N ( H ( S ) )] ③ 2 N
信源编码中，符号与码字可以有多种对应关系，
即可以有多种不同的编码方式。总可以在这些编
码方式中选择一种最有效地编码，使信源被编码
后，减小甚至消除信源的信息冗余，提高通信系
统的有效性。 编码在工程实现中有两种形式：等长码和变长码 等长码：码字由位数相同的码符号组成，码长l是 不变的常数。 变长码：码本中各码字的长度l可以不同。
第四章 无失真信源编码
第四章 无失真信源编码
4.1 信源编码的作用与构成
4.2 等长信源编码定理
4.3 变长码及其编码定理 4.4 几种信源编码方法
第四章 无失真信源编码
4.1 信源编码的作用与构成
信源编码：将信源输出的随机序列变换成码序 列，且能进行反变换或译码，同时使传送码 序列所需的信息率最小。 信源符号集S={S1,S2, ‥Sq}，Si为消息符号 码符号集m={m1,m2, ‥mr}，mi也称码元 由若干码元（如l位）组成一个码符号序列： Wi=m1m2‥ml，Wi被称为码字 则码字Wi中的码元有r种可能的取值，码长为l 所有码字构成的集合称为码本C
P( A ) 0
c
全部序列几乎都落入 A 集，且无对应的码字，故译 码错误概率趋于1。完成逆定理的证明。
第四章 无失真信源编码
小
结:
当每个信源符号必须输出的信息率为
R＝（l /N ）log r 时，只要R>H(S)，这种编
码一定可以做到几乎无失真；
反之，当R<H(S)时，不可能构成无失真的编
第四章 无失真信源编码
二、离散信源变长编码定理
1、平均码长的概念
设信源：
编码后的码字：
对应的码长：
则平均码长：
（码符号/每信源符号）
平均码长是每个信源符号平均需用的码元数。
第四章 无失真信源编码
• 平均每个码元携带的信息量（编码后所需信道的 信息传输率）：
•
R＝ 道每秒钟传输的信息量为：
• 若传输一个码符号平均需要t秒钟，则编码后信
H (S ) H (S ) 1 或： 1 log r H (S ) 但必须取无限长的信源符号（N→∞）进行统一编 N
第四章 无失真信源编码
例：已知某信源
S1 S 2 S3 S 4 S5 S6 S7 S8 S 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04
第四章 无失真信源编码
无失真编码定理→第一极限定理 信源
限失真编码定理→第三极限定理
编码定理 离散信道编码定理
信道
连续信道编码定理
→第二极限定理
第四章 无失真信源编码
4.2 等长信源编码定理
一、等长码
信源符号Si（i=1,2, ‥‥ q）
码字Wi（i=1,2, ‥‥q）
若Wi中的码元有r种可能的取值，码长为l
第四章 无失真信源编码
由于N长的全部可能的序列有qN个，若只对属于 A 集的 M 个序列进行编码，则： rl＞ M 考虑③式，可得：r exp[N ( H (S ) )] log r H ( S ) 最终可得： N 其它 Ac 集内的序列会在译码时将发生差错，考虑 2 (S ) ①式可得差错概率：P( Ac ) Pe N 2 2 2 上式中， 和 为定值，只要N足够大，Pe 可以 2 (S ) 小于任一正数 ，即： 2 N 为达到差错要求， 2 (S ) 信源序列长 N须满足： N 2
H (S ) H (S ) 1 或： 1 log r H (S ) 但必须取无限长的信源符号（N→∞）进行统一编 N
第四章 无失真信源编码
注意：等长信源编码定理是把信源限定为离散无 记忆和平稳的，这些限制条件有的是能解除或减 弱的，而对于非平稳信源，或有记忆信源而言， 需再有一些限制，仍可成立。 对于连续信源，由于信息量趋于无限，不能完成 无失真编码，只可进行限失真编码。 编码定理使输出符号的信息率与信源熵之比接近1， 即编码效率： 码才能实现。
exp[( H (S ) ) N ] P(a N ) exp[( H (S ) ) N ]
第四章 无失真信源编码
序列处于 A 集中的概率必为集内各序列aN的概率 之和： P( A )
a N A
P(a P(a
N
) M
max P(a
a N A
N
的变换，使变换后新的码符号信源（信道的输入
信源）尽可能为等概率分布，以使新信源的每个
码符号平均所含的信息量达到最大，从而使信道
一起编码才可满足要求，这不便于工程实现。
第四章 无失真信源编码
4.3 变长码及其编码定理
一、变长码的基本概念
编码原则：出现概率大的符号用短码，概率小的符 号用长码，可提高编码效率。 问题：码字如何分离。变长码必须是唯一可译码， 才能实现无失真编译码。
1、码字可分离性
异前置码（前缀条件码）：任一码字的前面任一起 始部分都不构成其它码字。这是码字可分离的充分 条件。译码时无需参考后续的码符号就能立即作出 判断，译成对应的信源符号，则称为即时码。
码；
R＝H(S)时，为临界状态。
第四章 无失真信源编码
注意：等长信源编码定理是把信源限定为离散无 记忆和平稳的，这些限制条件有的是能解除或减 弱的，而对于非平稳信源，或有记忆信源而言， 需再有一些限制，仍可成立。 对于连续信源，由于信息量趋于无限，不能完成 无失真编码，只可进行限失真编码。 编码定理使输出符号的信息率与信源熵之比接近1， 即编码效率： 码才能实现。
即：
由于信源取值有q种，则N长信源序列就有qN种，
将qN种序列分成两个互补的集
A 和 A
c
I (a N ) A {a N ： | －H ( S ) | } N I (a N ) C A {a N ： | －H ( S ) | } N
第四章 无失真信源编码
根据随机序列aN的切比雪夫不等式，显然：
则不能实现无失真编码，而当N足够大时，译码错误 概率近似等于1，译码几乎必定出错。
第四章 无失真信源编码
定理证明：设N长符号组成的序列为aN，则相应的 切比雪夫不等式为：