第6章 限失真信源编码
合集下载
第六章 限失真信源编码01
6.2 信息率失真函数
2) 试验信道 1°有失真的信源编码器视作有干扰的信道 1 有失真的信源编码器视作有干扰的信道(假想信道) 2°当信源已知 (即P(X)已知)时 , 单个符号的失真度给 定, 选择一类假想信道 , 使得 D ≤ D ,这类假想信道称为 D 失真允许信道 , 或 D 失真允许试验信道. 记为 PD={ p( yi | xj ): D ≤ D ; i=1,2, … ,n ; j=1,2,…m } p( yi | xj )为信道的传递概率。 3) 信息率失真函数R(D) 定义 在允许信道 PD 中 , 寻求 寻求一个信道 个信道p( Y |X ) , 使给定 的信源经过此信道后 , 互信息量I(X ;Y )达到最小。该最小 互信息量称为信息率失真函数R(D) , 简称率失真函数
6.1 失真测度
各种图像信号应用的码率
应用种类 HDTV 普通电视 会议电视 电视电话 象素数 /行 1920 720 352 35 128 行 数 /帧 1080 480 288 88 112 码率bps 压缩前 1.18G 167M 36.5M 36.5 5.2M 压缩后 20~25M 4~8M 1.5~2M .5 56k
第六章 限失真信源编码
《信息论基础》 印刷与包装系
内容大纲
失真测度 信息率失真函数 限失真信源编码定理 常用信源编码方法
教学重点及难点
Hale Waihona Puke 掌握失真测度方法； 熟悉信息率失真函数及限失真信源编码定理； 熟悉常用信源编码方法。
6.1 失真测度
限失真编码：信源编码经过译码后能保留应用要求的 信息 允许信源有一定的失真 信息，允许信源有一定的失真。 为什么要限失真编码 1°连续信源的绝对熵为无限大 1 连续信源的绝对熵为无限大，由于信道的带宽有限， 由于信道的带宽有限 受信道容量的限制。不可能实现完全无失真的信源信息的 传输 (可能性) 传输。 2°信道资源和技术经济因素的限制。(可实现性) 3°实际应用不必要无失真地恢复信源消息, 不必要完全 无失真的信源信息的传输。 (必要性) 4°数字系统的应用 ,模拟量的采样,量化也会引入失真. 模拟量的采样 量化也会引入失真
信息论与编码民大06限失真信源编码
23-Oct-18
21/49
离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2.5)的条件限制下求I(X;Y)的极值， 引入参量S和μi(i=1,2,…,n)，构造一个新函数ф (4.2.6) （S 和μi 为待定参量)
23-Oct-18
22/49
离散信源率失真函数的参量表达式
理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率 R=(Klog2 m)/L 小于信道容量C，总能找到一种编码，使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息。反 之，若R>C，则传输总要失真。 实际上“消息完全无失真传送”的不可实现性 实际的信源常常是连续的，信息率无限大，要无失真传送 要求信道容量C为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失 真传输，所需的信息率大大超过信道容量R>>C。
引入一个失真函数，计算在失真度一定的情况下信息率的 极小值就变成有意义了。
4/49
23-Oct-18
信息率与失真的关系
信道中固有的噪声和不可避免的干扰，使信源的消息通 过信道传输后造成误差和失真 误差或失真越大，接收者收到消息后对信源存在的不确 定性就越大，获得的信息量就越小，信道传输消息所需 的信息率也越小。
研究信道容量的意义：是为了解决在已知信道中传送最大 信息率问题。目的是充分利用已给信道，使传输的信息量 最大而发生错误的概率任意小，以提高通信的可靠性。这 就是信道编码问题。
23-Oct-18
15/49
信息率失真函数的性质
率失真函数的定义域
第六章 限失真信源编码
信息论基础 武汉科技大学
n
m
平均失真度
D 是在平均意义上，从总体上对整个系统失 真情况的描述。它是信源统计特性 p( xi ) 、 信道统计特性 p( y j | xi ) 和失真度 d ( xi , y j ) 的函数 。 p( y j | xi ) 和 d ( xi , y j ) 给定后，平均失 当 p( xi ) ， 真度就不是一个随机变量了，而是一个确定 的量。
信息论基础 武汉科技大学
信息率失真函数
信息率失真函数 R(D) 是假定信源给定的情 况下，在用户可以容忍的失真度内再现信源 消息所必须获得的最小平均信息量。它反映 的是信源可压缩程度。率失真函数一旦找到， 就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
即，d ( xi , y j )在X 和Y 的联合概率空间P ( XY )中的统计平均值 D E d ( xi , y j ) p( xi , y j )d ( xi , y j )
I ,J
p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
凡是满足保真度准则的信道，称为失真许 可的实验信道。所有失真许可实验信道组成 的一个集合用表示，即有
BD p(b j | ai ); D D
在满足保真度准则的所有试验信道组成的 集合中，总可以找到某一试验信道，使平均 互信息量达到极小值（最小值），这个最小 值就是信息率失真函数，或简称率失真函数。
信息论基础 武汉科技大学
失真测度
对每一对 ( xi , y j ) ，指定一个非负函数
d ( xi , y j ) 0
称 d ( xi , y j ) 为单个符号的失真度/失真函数。 表示信源发出一个符号 xi ，在接收端 再现 y j 所引起的误差或失真。
n
m
平均失真度
D 是在平均意义上，从总体上对整个系统失 真情况的描述。它是信源统计特性 p( xi ) 、 信道统计特性 p( y j | xi ) 和失真度 d ( xi , y j ) 的函数 。 p( y j | xi ) 和 d ( xi , y j ) 给定后，平均失 当 p( xi ) ， 真度就不是一个随机变量了，而是一个确定 的量。
信息论基础 武汉科技大学
信息率失真函数
信息率失真函数 R(D) 是假定信源给定的情 况下，在用户可以容忍的失真度内再现信源 消息所必须获得的最小平均信息量。它反映 的是信源可压缩程度。率失真函数一旦找到， 就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
即，d ( xi , y j )在X 和Y 的联合概率空间P ( XY )中的统计平均值 D E d ( xi , y j ) p( xi , y j )d ( xi , y j )
I ,J
p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1
凡是满足保真度准则的信道，称为失真许 可的实验信道。所有失真许可实验信道组成 的一个集合用表示，即有
BD p(b j | ai ); D D
在满足保真度准则的所有试验信道组成的 集合中，总可以找到某一试验信道，使平均 互信息量达到极小值（最小值），这个最小 值就是信息率失真函数，或简称率失真函数。
信息论基础 武汉科技大学
失真测度
对每一对 ( xi , y j ) ，指定一个非负函数
d ( xi , y j ) 0
称 d ( xi , y j ) 为单个符号的失真度/失真函数。 表示信源发出一个符号 xi ，在接收端 再现 y j 所引起的误差或失真。
第六章率失真函数理论及限失真信源编码
用以下数学方法描述：如果用 d(x,y) 表示当发端为x，而收端为
y 时所定义的某种误差代价；或者是当用y 来代替x 时，所定量
的失真度。具体的讲，对于离散信源设发端
收端：y b1,b2, ,bm ；当发 ai时收到 b j
x a1, a2, , an ;
符号的情况下定义
失真度为：
def
0 i = j
问题的另一方面是如何用数学关系式定量地描述失真限度， 即什么是信宿可接受的失真程度；什么情况下又是信宿不能接受 的失真程度。所以这种数学描述的第一步是如何将失真程度的大 小定量地给出；其次才是能否在失真度D定义给出之后，找到一
§6. 1 率失真函数的基本概念与定义
种信息率的性能界限：R(D);使得信宿在R>R(D)时，收到信息后
5º Guide action: Channel coding problem
I(X;Y) is a function of P(y/x).
R(D)是表达信源与失真要求 匹配条件下的最小传信率； 在RR(D)下，总能找到一种 编码方法,满足信宿要求。
Source coding problem with finite distortion (Data Compression)
i1 j 1
If let
0 i j dij 1 i j
then d Pe
即，平均每一符号可能发生的误码率。
当x, y都为L维的随机矢量时，可定义矢量间的失真函数为：
dL( x,
def
y)
1 L
L l=1
d(xl ,
yl
)
dL = E dL( x, y ) =
1 LE L l=1
d(xl , yl )
第6章 限失真信源编码
m ax
i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N
i 1 s
r
s
P (u i ) P (v j ) d (u i , v j )
j 1
所以， D 就是在R(D)=0的情况下，D 的最小值
D max min
P (u
i 1 j 1
r
i
) P ( v j ) d (u i , v j )
信息率失真函数的性质
1、R ( D ) 的定义域是 [0, D m ax ] 2、R ( D ) 是D的下凸函数 3、R ( D ) 是定义域上的非增函数
对连续信源进行 熵压缩编码是绝 对必需的
说明
• 有失真的熵压缩编码主要针对连续信源，但其理论同样适 用于离散信源。 • 由于离散信源处理起来比连续信源简单得多，以下将从离 散信源开始有失真编码的讨论。
主要内容
6.1 失真测度 6.2 信息率失真函数及其性质 6.3 限失真信源编码定理 总结
6.1 失真测度
r
取统计平均
P (u , v
i i 1 r j 1 s
s
j
) d (u i , v j )
P (u
i 1 j 1
i
) P ( v j | u i ) d (u i , v j )
符号序列的失真度
信源
U
{u 1 , u 2 , , u r }
信道 (信源编码器)
1 2 N
V
符号的失真度
d (u i , v j )
{ v1 , v 2 , , v s }
N长输入序列 N长输出序列
h uh uh uh
h 1, 2, , r l 1, 2, , s
N
N
限失真信源编码
m
p(ui , v j )d (ui , v j )
i1 j1
nm
p(ui ) p(v j | ui )d (ui , v j )
i1 j1
DD
D 为给定的失真度
设离散信源U =[0,1]的概率分布为均匀分布，信宿V =[0,1,2]，传递概
率矩阵为
p(v
|
u)
0.6 0.3
求失真矩阵 D.
解：
d(0,0) = d(1,1) = d(2,2) = 0; d(0,1) = d(1,0) = d(1,2) = d(2,1) = 1; d(0,2) = d(2,0) = 4;
0 1 4
D
1
0
1
4 1 0
D Ed (u, v) n
这里 n=2
R(D) H (U ) H (D) H () H (D) H () - log (1 ) log(1 )
H (D) -D log D (1 D) log(1 D)
R(D) 1.0
0.8
ω=0.5
0.6
ω=0.4
ω=0.3
0.4
ω=0.2
inf 为 下确界 （最大下边界）
二元对称信源 U =[0,1], 概率分布为
P(u) [, 1 ] （ 1/ 2）
信宿 V =[0,1], 采用汉明失真，求 0 D 的率失真函数 R(D) 。
.
由汉明失真，有
R(D) H (U ) H (D) D log(n 1)
考虑对均值为零，方差为1的高斯随机变量进行8级量化。由最小均方 误差最小化，可以得到如下表所列出的最优量化及Huffman编码。
信息论与编码 限失真信源编码
第一节 失真测度
1、失真度
信源 信源 编码 信道 编码 广义无扰信道
信道
干扰
信道 译码
信源 译码
信宿
失真范围: 由于只涉及信源编码问题, 所以可以将信 道编码和信道译码看成是信道的一部分. 这样信宿 收到消息的失真(或误差)只是由信源编码带来的.
第一节 失真测度
试验信道: 由于是失真编码, 所以信道不是一一
前 言
失真传输的研究方向:
在允许一定程度失真的条件下, 能把信源信息压 缩到什么程度, 即最少需要多少比特数才能描述
信源;
也就是说, 在允许一定程度失真的条件下, 如何
能快速地传输信息, 这是本章要讨论的问题。
前 言
这个问题在香农1948年最初发表的经典论文中已 经有所体现, 但直到1959年香农又发表了“保真
条件下, 如何能快速的传输信息, 这就是本章所要讨
论的问题. 本章所讨论的内容是量化、数模转换、频带压 缩和数据压缩的理论基础.
前 言
本章主要介绍信息率失真理论的基本内容, 侧重 讨论离散无记忆信源. 首先给出信源的失真度和信息率失真函数的定义
与性质, 然后讨论离散信源的信息率失真函数计算.
在这个基础上论述保真度准则下的信源编码定理.
前 言
失真传输的可能性:
传送图像时, 也并不是需要全部精确地把图像传送到
观察者. 只需将电视信号每一像素的黑白灰度级分成
256级, 屏幕上的画面就已足够清晰悦目.
对于静止图像或活动图像, 从空间频域来看, 每一帧一 般只含有大量的低频域分量, 高频域分量很少. 若将高 频分量丢弃, 只传输或存储低频分量, 数据率便大大减 少, 而图像质量仍能令人满意. 这是因为人眼有一定的 主观视觉特征, 允许传送图像时有一定的误差存在.
信息论-第6章无失真信源编码
16
6.1 单义可译码
码奇异性： ⒋ 码奇异性：
非奇异码：代码组C中所有码字都不相同。 非奇异码：代码组 中所有码字都不相同。 中所有码字都不相同 奇异码： 代码组 中有相同的码字。 奇异码： 代码组C中有相同的码字 中有相同的码字。
17
6.1 单义可译码
5. 单义可译性： 单义可译性： 任意有限长的码元序列， 任意有限长的码元序列，只能被唯一地分割 成一个个的码字，便称为唯一 单义 单义)可译码 成一个个的码字，便称为唯一(单义 可译码
5
信源编码
信源
编码器
信道
Байду номын сангаас
码表
图6-1 信源编码器示意图
6
信源编码
信源编码是指信源输出符号经信源编码器 信源编码是指信源输出符号经信源编码器 编码后转换成另外的压缩符号 无失真信源编码：可精确无失真地复制信 无失真信源编码： 源输出地消息
7
信源编码
将信源消息分成若干组，即符号序列 将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， ， xil∈A={a1，a2，…，ai，…，an} ， ， 每个符号序列x 依照固定码表映射成一个码字y 每个符号序列 i依照固定码表映射成一个码字 i， yi＝(yi1yi2…yil…yiL)， )， yil∈B={b1，b2，…，bi，…，bm} ， ， 这样的码称为分组码 有时也叫块码。只有分组码才有对 分组码， 这样的码称为分组码，有时也叫块码。只有分组码才有对 应的码表，而非分组码中则不存在码表。 应的码表，而非分组码中则不存在码表。
i
X=(x1,x2…xr)，由r个符号组成 ， 个符号组成
的集合称为代码组 码字W 码字 i =(xi1xi2…xil )的集合称为代码组 的集合称为代码组C
信息论与编码8----限失真信源编码2
信息论与编码-限失真信源编码
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.
5. 算术编码 算术编码也是一种无失真信源编码方法. 前面讨论的无失真信源编码方法,都是针对单个 信源符号的编码,当信源符号之间有相关性时, 这些编码方法由于没有考虑到符号之间的相关 性,因此编码效率就不可能很高.解决的办法 是对较长的信源序列进行编码,但会遇到与定 长编码时同样的问题.而且,采用前面的序列 编码需要完全知道联合概率和条件概率,这在
F(s1)=F(s)+A(s)p(0) 对应的区间宽度为 A(s1)=A(s)p(1)=A(s)-A(s0) 由前面的分析又知,符号序列对应的区间宽度为 A(s="0")=p(0); A(s="1")=1-A(s="0")=p(1); A(s="00")=A(0)p(0)=p(0)p(0)=p(00);
信息论与编码-限失真信源编码
当输入的第二个符号为"1"时,s="01",s="01" 所对应的区间是在[0,F(1))中进行分割.符 号序列"00"对应的区间宽度为 A(00)=A(0)p(0)=p(0)p(0);符号序列"01"对 应的区间宽度为 A(01)=A(0)p(1)=p(0)p(1)=p(01),也等于 A(01)=A(0)-A(00)."00"对应的区间为[0, F(s="01"));"01"对应的区间为[F(s="01"), F(1)).其中F(s="01")是符号序列"01"区间 的下界值,可见,F(s="01")=p(0)p(0)正是符 号序列s="01"的累计分布函数.
限失真编码
DK，MK
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义：将空域图像信号映射变换到另一个正交矢量空 间（变换域或频域），产生一批变换系数，对系数进 行编码处理
• 原理：
– 信号在时域描述时信息冗余度大，变换后，参数独 立，去掉相关性，减少冗余，数据量大大减少。
– 利用人的视觉特性，对高频细节不敏感，可以滤除 高频系数，保留低频系数。
件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例：（高斯信源） 表6-2（P236）举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码：再现v(ω) – 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理－5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理，没有构造方法 – 存在问题：
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难
TK:门限电平（k+1个）
qk:电平值 （k个）
4） 均匀量化 概念：量化间隔相等
最优均匀量化：使DK达到最小均匀量化 例：对高斯信源
即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一
种Uoyd-Max算法
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条
变换编码原理
• 定义：将空域图像信号映射变换到另一个正交矢量空 间（变换域或频域），产生一批变换系数，对系数进 行编码处理
• 原理：
– 信号在时域描述时信息冗余度大，变换后，参数独 立，去掉相关性，减少冗余，数据量大大减少。
– 利用人的视觉特性，对高频细节不敏感，可以滤除 高频系数，保留低频系数。
件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0
则求出{Tk}{qk}. 6)实例：（高斯信源） 表6-2（P236）举例说明
输出 1 电平 数K
最优 1 均匀 量化
L-M算 1 法
4
8
16 24 32
0.1188 0.03744 0.01154 0.005747 0.003490
uv(ω),否则编码uv(1) – 译码：再现v(ω) – 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真
度
§7.4:限失真信பைடு நூலகம்编码定理－5
• 限失真信源编码定理的几点说明
– 只是一个存在性定理，没有构造方法 – 存在问题：
• 符合实际信源的R(D)函数计算相当困难
– 信源统计特性的确切数学描述难得 – 符合主客观实际的失真测度难得 – R(D)计算本身困难
限失真信源编码定理
14
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
第6章 限失真信源编码
第6章 限失真信源编码一、例题：【例6.1】 二元对称信源，信源{0,1}U =，接收变量{0,1}V =，在汉明失真定义下，失真函数为：(0,0)(1,1)0d d ==，(0,1)(1,0)1d d ==其失真矩阵为0110⎡⎤=⎢⎥⎣⎦D 容易看出：对于离散对称信源，其汉明失真矩阵D 为一个方阵，且对角线上的元素为零，即：0111101111011110⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦D【例6.2】 信源U ＝{0,1,2}，接收变量V ＝{0,1,2},失真函数为2(,)()i j i j d u v u v =-，求失真矩阵。
由失真定义得：d (0,0)＝d (1,1)＝d (2,2)＝0d (0,1)＝d (1,0)＝d (1,2)＝d (2,1)＝1 d (0,2)＝d (2,0)＝4所以失真矩阵D 为14101414⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦D【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ，其中(1,2)i U i =取自符号集{0,1}，通过信道传输到信宿，接收N 维随机序列12()V V =V ，其中(1,2)i V i =取自符号集{0,1}，定义失真函数(0,0)(1,1)0(0,1)(1,0)1d d d d ====求符号序列的失真矩阵。
解： 由N 维信源序列的失真函数的定义得11(,)(,)(,),kk NN N i j i j k d d d uv Nαβ===∈∈∑u v u U v V所以[][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)22N N d d d d d d =+==+=类似计算其他元素值，得到信源序列的失真矩阵为110122110122111022111022N⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦D【例6.4】 设信源符号有8种，而且等概率，即1()8i P u =。
失真函数定义为0(,)1i j i jd u v i j =⎧=⎨≠⎩假如允许失真度12D =，即只要求收到的符号平均有一半是正确的。
信息理论与编码 第六章 限失真信源编码 PPT课件
R(ND) min I(U N ;V N ) min{I(U N ;V N ); D(N ) ND}
P
V
N
|U
N
BND
信源和信道均无记忆，有
R( ND) min{I(U N ;V N ); D( N ) ND}
min{NI(U;V ); D D} NR(D)
6.2.2 信息率失真函数的性质
数常用于连续信源。
6.2 信息率失真函数及其性质
6.2.1 信息率失真函数的定义 如果要求平均失真 D小于某个给定值D，即要求
rs
D E{d(ui , v j )}
P(ui )P(v j | ui )d (ui , v j ) D
i1 j1
——保真度准则 D D
满足保真度准则 的信道称为D允许(试验)信道
Dmax
min
1
3
P(v1 )
1
3
1 3
0
1 3
1 3
6.2.2 信息率失真函数的性质
2. R(D)是D的下凸函数 3. R(D)是定义域上的非增函数
R(D)
0 Dmin
Dmax
D
6.3 限失真信源编码定理 -----香农第三编码定理
设离散无记忆信源的信息率失真函数为R(D)，只 要满足R>R(D)，当信源序列足够长时，一定存在一种 编码方法，其译码失真小于或等于D+ε，其中ε是任意 小的正数；反过来若R<R(D)，则无论采用什么样的编 码方法，其译码失真必大于D。
将r×s个d(ui,vj)排成矩阵——失真矩阵，记为[d]：
d(u1, v1 ) [d ] d(u2 , v1 )
d(u1, v2 ) d(u2 , v2 )
信息论导论第六章信源编码
信源编码
第6章 信源编码
从数学意义上，信源编码就是信源符号序列到码 字之间的映射。 无失真信源编码 选择适合信道传输的码集，现在一般选二进 制数 寻求一种将信源符号序列变换为码字的系统 方法，这种方法要保证符号序列与码字之间的 一一对应关系
信源编码
衡量编码方法优劣的主要指标中，码长和易实现 性最受重视。
i 1 i 1 i 1
nN
nN
nN
H(X N ) NH(X) K H(X N ) 1 NH(X) 1
K 1 H(X) H(X) N N 1 任意给定 ，只要NN
信源编码
三、无失真信源编码 1、香农码
香农码直接基于最优码码长的界，是一种采用异 前置码实现的无失真不等长编码。
信源编码
例2
X x1 x 2 x 3 P(X) 0.5 0.3 0.2
分别对该信源和其二次扩展信源编香农码，并计 算编码效率。 (1)对信源编码
log P(x1 ) log 2 1 k1 1 log P(x 2 ) log 0.3 1.74 取k 2 2
码B 码C 0 01 0 10
x 3 0.15 x 4 0.05
011 110 0111 111
码A不是单义可译码，它有二义性；码B和码C是 单义可译码；码B是延时码，它需等到对应与下一 个符号的码字开头0才能确定本码字的结束，存在 译码延时；码C是即时码。
信源编码
码C的特点——任何一个码字都不是其它码字的前 缀，因此将该码称为异前置码。 异前置码可以用树图来构造。 一个三元码树图 从树根开始到每一个终节 点的联枝代表一个码字， 相应的异前置码
x1
x2
0.5
第6章 信源编码
从数学意义上，信源编码就是信源符号序列到码 字之间的映射。 无失真信源编码 选择适合信道传输的码集，现在一般选二进 制数 寻求一种将信源符号序列变换为码字的系统 方法，这种方法要保证符号序列与码字之间的 一一对应关系
信源编码
衡量编码方法优劣的主要指标中，码长和易实现 性最受重视。
i 1 i 1 i 1
nN
nN
nN
H(X N ) NH(X) K H(X N ) 1 NH(X) 1
K 1 H(X) H(X) N N 1 任意给定 ，只要NN
信源编码
三、无失真信源编码 1、香农码
香农码直接基于最优码码长的界，是一种采用异 前置码实现的无失真不等长编码。
信源编码
例2
X x1 x 2 x 3 P(X) 0.5 0.3 0.2
分别对该信源和其二次扩展信源编香农码，并计 算编码效率。 (1)对信源编码
log P(x1 ) log 2 1 k1 1 log P(x 2 ) log 0.3 1.74 取k 2 2
码B 码C 0 01 0 10
x 3 0.15 x 4 0.05
011 110 0111 111
码A不是单义可译码，它有二义性；码B和码C是 单义可译码；码B是延时码，它需等到对应与下一 个符号的码字开头0才能确定本码字的结束，存在 译码延时；码C是即时码。
信源编码
码C的特点——任何一个码字都不是其它码字的前 缀，因此将该码称为异前置码。 异前置码可以用树图来构造。 一个三元码树图 从树根开始到每一个终节 点的联枝代表一个码字， 相应的异前置码
x1
x2
0.5
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
•最常用的失真函数
均方失真： 绝对失真： 相对失真：
误码失真：
d ( xi , y j ) x
i
yj
2
d ( xi , y j ) xi y j
d ( xi , y j ) xi y j / xi
0, d ( xi , y j ) ( xi , y j ) 1， xi y j 其它
R( D) min I (U ;V )
PD
Pij PD
min p(ui ) p(v j / ui ) log
i 1 j 1
n
m
p(v j / ui ) p (v j )
研究信息率失真函数是为了解决在已知 信源和允许失真度D的条件下，使信源必 须传送给用户的信息量最小。就是在一 定失真度D条件下，尽可能用最少的码符 号来传送信源信息，使得信源的消息尽 可能快的传送出去。以提高有效性。属 于信源编码问题。
6.1 失真测度
失真函数 平均失真 ห้องสมุดไป่ตู้真度准则
失真函数
在实际问题中，信号有一定的失真是可以容忍 的。但是当失真大于某一限度后，信息质量将 被严重损伤，甚至丧失其实用价值。要规定失 真限度，必须先有一个定量的失真测度。为此 可引入失真函数。 直观而言，允许失真越大，信息传输率可以越 小；若允许失真越小，信息传输率需要越大。
i 1 j 1 m
n
m
p (ai ) p (b j / ai )d (ai , b j )
i 1 j 1
n
对于连续随机变量同样可以定义平均失真：
D
p xy ( x, y)d ( x, y)dxdy
保真度准则
保真度准则：给定失真D，如果平均失真度 D 不大于D. D失真许可的实验信道：信源给定，单个符号 失真度给定，满足保真度准则的信道。
i 1
n
式右边达到最小，这时上式可简化成 Dmax min
j 1,, m
pd
i 1 i
n
ij
例：设输入输出符号表为X＝Y{0，1}，输入概率分 布p(x)={1/3，2/3}，失真矩阵为
d (a1 , b1 ) d (a1 , b2 ) 0 1 d d ( a , b ) d ( a , b ) 1 0 2 2 2 1
6.2 信息率失真函数的性质
R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin p(ui ) min p(v j / ui )d (ui , v j )
Dmin p(ui ) min d (ui , v j )
i
i
j
实际中，一般Dmin＝0, 当失真矩阵每行至少一个 0，每列至多一个0时，满足 R( Dmin ) R(0) H (U ) 0 1 1 / 2 例1：U取值{0,1},V取值{0,1,2},失 p 1 0 1 / 2 真矩阵 例2：U等概取值{0,1,2},V取值{0,1},失真矩阵
独立 p p(v / u ) q(v ) q ij j i j j • 求出满足条件 m q 1 的D中的最小值 ，即
j 1
j
Dmax min q j pi dij
j 1 i 1
m
n
从上式观察可得：在j=1,…,m中，可找到 pi d ij 值 最小的 j，当该 j对应的 qj＝ 1，而其余 qj为零时，上
失真函数
假如某一信源X，xi{a1,…an}，经过有失真的信道传输输出 Y，yj {b1,…bm}。指定非负函数
若xi＝yj，则认为没有失真；若xi yj，那么就产生了失真。 这个函数用以衡量用yj代替xi所引起的失真程度。
xi y j 0 d(xi ,y j ) α α 0 xi y j
失真矩阵：单个符号失真度的全体构成的矩阵
d (a1 , b1 ) d (a1 , b2 ) d (a1 , bm ) d (a , b ) d (a , b ) d (a , b ) 2 1 2 2 2 m d d (a n , b1 ) d (a n , b2 ) d (a n , bm )
PD p (v j / ui ) : D D, i 1,2, , n; j 1,2, , m
满足保真度准则下，寻找信源必须传输给收信 者的信息量R的下限值。也就是希望在满足一 定失真的情况下，使得信息传输率R尽可能小。
信息率失真函数R(D)
信息率R是所需输出的有关信源X的信息量。接收端 获得的平均信息量，是互信息I(U;V)。互信息取决 于信源分布和信道转移概率分布，当p(ui)一定时，I 是关于p(vj/ui) 的凸函数，存在极小值。 在允许信道PD中，可以寻找一种信道pij，使给定的 信源p(ui)经过此信道传输后，互信息达到最小。该 最小的互信息就称为信息率失真函数R(D)：
解：当 Dmin＝ 0 时， R(Dmin) ＝ H(X) ＝ H(1/3 ， 2/3)＝ 0.91 比特/符号，这时信源编码器无失真，所以该编码器的 转移概率为
1 0 P 0 1
当R(Dmax)＝0时
1 0 p1 1 / 2 1 / 2 0 1
0 1 p2 0 0 1 0
(2) Dmax和R(Dmax)
• 选择所有满足R(D)＝0中D的最小值，定义为R(D) 定义域的上限Dmax，即 Dmax min D R ( D ) 0 • 显然的，当D> Dmax时，I(X;Y)=0, 即输入和输出
前三种失真函数适用于连续信源，后一种适用于离
散信源。
平均失真
由于 xi和 yj都是随机变量，所以失真函数 d(xi， yj) 也是随机 变量，限失真时的失真值，只能用它的数学期望或统计平均值， 因此将失真函数的数学期望称为平均失真，记为：
D p (ai b j )d (ai , b j )