第三章 信源编码

p( xi | yi ) I ( xi ; yi ) log2 p( xi )
xi 的自信息：
1 I ( xi ) log2 p( xi )
平均互信息：( X ; Y ) p( xi , y j ) log2 I
i 1 j 1
n
m
p( xi , y j ) p( xi ) p( y j )
x(t )
n


x(
n ) 2W
sin[2W (t
利用抽样定理可把模拟信源的输出转换成等效的 离散时间信源。
n )] 2W n 2W (t ) 2W
二. 信息的量度——熵及其性质
1. 熵 离散随机变量 xi
事件X
yi 事件Y 事件Y yi 的出现提供事件X xi 的信息量 xi 和 yi 间的互信息：
源符号平均所需的最小的r元码位数就是原 始信源的熵值 H r (s) 。 （2）通过增加扩展信源的次数N，可使编码 平均码长 LN N 达到下限值。 （3）逆定理：若平均编码码长小于信源的熵 值，则惟一可译码不存在，在译码时必然要 引起失真。
2. 香农第二定理 — 噪声信道编码定理
信道编码——第七章 最大似然译码准则：MLD (Maximum Likelihood Decoding) 香农第二定理：（存在性定理） 设某信道有r个输入符号，s个输出符号，信道 容量为C，只要码长n足够长，总可以在输入的 r n 个符号集中找到M个码字组成一个码，并存在相应 的译码规则，使信道输出的错误概率 PE 任意小。 M 2n (C ) ， 为 其中M个等可能的消息，且 任意小的正数。
n H ( x) p( xi ) log p( xi ) i 1 0 p( x ) 1 H ( x) 0 i
当 x i为确定时 p( xi ) 1 ，则 H ( x) 0 确定性越大，H (x) 越小。
信源的熵 H (x)反映的是信源的总体不确定性。
H (s) LN H ( s) 1 log2 r N log2 r N
LN H ( s) N 时有： lim 且当 H r ( s) N N log2 r
若以二元码表示编码，则
LN 1 H ( s) H ( s) N N
说明：（1）要实现无失真的信源编码，变换每个信
1. 香农第一定理 —— 无失真可变长信源编码 定理
（1）信源编码器 a. 信源编码的实质：是对信源的原始符号按一定规 则进行变换，以新的编码符号代替原始信源符号， 从而降低原始信源的冗余度。 b. 编码的过程：是按照一定的规则，将信源的各个 原始符号 i 表示成码字 Wi 输出，而 Wi 是由若干个 码元 xi j组成的序列。
（3）只要信道编码后，输入信道的信息传输率不超 过信道容量C，则总存在最佳编码，使传输达到任 意高的可靠性。
3. 香农第三定理 —— 保真度准则下的信源 编码定理
（1）失真度与信息失真函数 失真度：对于每一对输入、输出符号 (u , v ) 定义单符号失真度： d (ui , v j ) 0 i 1,2,, r; j 1,2, , s
一种码字个数为 M 2 K [ R ( D ) ] 的信源编码，使 编码后码的平均失真度 D D 。
) 组成的 a. 对于长度为K的M个码字 (M 2 码C，编码后每个符号的信息传输率为：
log 2 M R R( D) K 即 R不小于率失真函数 R(D) 。
k [ R ( D ) ]
d (ui , v j ) (ui v j ) P ( P 2)
平均失真度定义：
D [d (ui , v j )] E[d (u, v)]
（2）信息率失真函数 a. R(D) min{p(v j | ui ), D D} {I (U ;V )} (比特 / 符号) 信息传输率 I (U ;V ) b. 无记忆高斯信源的率失真函数（香农，1959年）
说明：
M 2n(C )，由于对M个等概率消息进行 （1）码字数 编码，则编码后每符号的信息传输率为： log 2 M R C R可以无限逼近信息容量C。 n （2）只要码长n足够长，则总可以找到一种码，使 编码后的信道信息传输率R达到信道容量，且在相 应的译码规则下使错误概率最小，从而实现极高的 传输可靠性。
平均自信息： H ( x) p( xi ) I ( xi )
i 1
n
p( xi ) log2 p( xi )
i 1
n
H X 表示信源可能的输出字符集， (X ) 表示每个信 源字符的平均自信息。
H (x)称为信源的熵
2. 熵的基本性质 （1）非负性 H ( x) 0 （2）确定性
第三章 信源编码
主要内容：
1. 信源的数学模型和量度
2. 离散信源的编码 —— 离散无记忆信源的编码 及其相关算法 （1）最优量化技术 （2）编码技术（时间波形编码，频谱波形编码， 模型基信息编码）
基本概念：
信源——离散、模拟 DMS——离散无记忆信源 对数量度 平均互信息 熵及其基本性质 信源编码定理Ⅰ,Ⅱ 霍夫曼编码算法 率失真函数及香农定理 量化(矢量量化)(K均值算法) PCM DPCM 适应PCM和DPCM DM(增量调制) 自适应变换编码 LPC——线性预测编码
H 为该码的编码效率。式中， (s ) 代表信息量，N为 扩展信源次数，即N次扩展信源的无失真编码。
LN H ( s) log r N
（2）香农第一定理——可变长无失真信源编码定理 设 S N {1,2 ,,q }N 为q元离散无记忆信源S 的N次扩展信源，若对 S N 进行编码，码符号集 {x1 , x2 ,.xr } X , 则总可以找到一种编码方法 构成惟一可译码，使信源S中每个符号所需的 平均码长度 LN / N 满足：
（3）对称性 H (P , P2 ,, Pq ) H (Pi , P ,, Pi ) 1 i
1 2 q
即当 P , P ,, P 的顺序互换时，熵函数的值不变 1 2 q
熵函数只与随机变量的总体结构有关
（4）扩展性 lim H ( P , P2 ,, Pq , , ) H ( P , P2 , , Pq ) 1 1 0 当信源中增加小概率事件后，对信源总的平均 不确定性几乎没有影响。 熵的总体平均性 （5）可加性 对于两个统计独立信源X和Y，有 H ( XY ) H ( X ) H (Y ) 1 1 1 （6）极值性 H ( P1 , P2 ,, Pq ) H ( , ,, ) log q
Rg (D)

1 2 2 log2 ( x / D) (0 D x ) 2 2 0 (D x )
x2 为高斯信源输出的方差。
（3）香农第三定理（存在性定理）
设 R(D)为一离散无记忆信源的信息率失真
函数，并且有有限的失真测度D，则对于任意
D 0, 0 ，以及任意长的码长K，一定存在
b. 只要码长K足够长，总可以找到一种信源编码， 使编码后的信息传输率略大于率失真函数 R(D) ， 而D D 。
c. 如果编码后的信息传输率 R R(D)，则保真度准 则 D D 不再满足。
四. 信源编码技术
1. 离散信源编码
2. 模拟信源编码
一. 信源的数学模型
信源：随机信号(能量信号，功率信号)<非确知信号> 信源输出序列统计独立 —— DMS（离散无记忆信源） 信源的输出统计相关 ——（平稳） 模拟信源具有输出波形 x(t )，是平稳随机过程 X (t ) 的一个样本函数，其自相关函数xx ( ) ，功率密度谱xx ( f ) 当 X (t )是带限的随机过程，即 | f | W 时，满足条 件 xx ( f ) 0 ，可以用抽样定理来表示 x(t )
q q q
信源中各事件的出现概率趋于均等时，信源具 有最大熵。 等概率事件平均不确定性最大 证明：用到凸函数和詹森不等式
E[logY ] log[E (Y )]
p
i 1
q
i
logyi log pi yi
i 1
q
三. 香农三大定理
通信的根本问题是如何高效、可靠地实现信息 的传输。
编码就是从信源符号到码符号组成的码字之
间的一种映射。
S : s {1 ,, q }
C : c {W1 ,,Wq }
X : x {x1 ,, xr }
Wi ( xi1 , xi2 ,, xil )
c. 定义1. 若某一种码的任意一串有限长的符号序列 只能被惟一地译成所对应的信源符号，则该码称 为惟一可译码。 定义2. 若用r元码对信源 S N 进行编码，设S中每个 符号所需的平均码长为 LN / N ，则定义
需要解决两个问题： （1）在不失真或允许一定失真的条件下，如何用尽 可能少的编码符号来传送信源信息，以便提高信息 传输率； （2）在信道受到干扰的情况下，如何增强信息的抗 干扰能力，同时又不过多地降低信息传输率。 对于数字通信系统，解决这两个问题的基本方 法是采用信源编码和信道编码，而研究的理论依据 就是著名的香农三大定理。