第五章 限失真信源编码和率失真函数修改.ppt
合集下载
《限失真信源编码》课件
方法
常见的限失真信源编码方 法包括均匀量化、动态范 围压缩、预测编码和联合 编码等。
均匀量化
原理
均匀量化将信源数据划分为固定间隔的量化等级，将连续的数据离散化。
方法
均匀量化方法包括等距离离散量化和等中心离散量化等。
误差
均匀量化会引入量化误差，误差大小取决于量化等级的精度。
动态范围压缩
原理
动态范围压缩是通过改变信源数据的幅度范围，将较大幅度的数据变小。
方法
常见的动态范围压缩方法包括对数变换、分段线性变换等。
预测编码
原理
预测编码基于信源数据的统计特性，通过预测当前数据和上一时刻数据之间的关系来压缩数 据。
方法
常见的预测编码方法包括线性预测编码和差分编码等。
联合编码
原理
联合编码使用多个编码器进行信源编码，并 利用编码器之间的相关性进一步压缩数据。
《限失真信源编码》PPT 课件
欢迎观看本次《限失真信源编码》的PPT课件。在本课程中，我们将深入研 究失真、信源编码及限失真信源编码的概念、方法和应用。
简介
失真是信息传输过程中不可避免的问题，限失真信源编码旨在减少或控制失真程度，提高信息传输的可 靠性和质量。
信源编码是将信息进行压缩和编码以减少传输带宽的过程，限失真信源编码进一步在编码过程中限制失 真。
参考文献
1. 《信息论与编码》 - 傅斌 2. 《现代通信原理与系统分析》 - 张启元 3. 《数字信号处理》 - 张广义
一般信源编码
特点与缺点
一般信源编码可以实现较高的压缩比，但在一定程度上会引入一定的失真。
方法
常见的一般信源编码方法包括霍夫曼编码、算术编码等。
限比的前提下，通 过控制失真程度提高信息 传输质量。
限失真信源编码ppt
• 解：失真矩阵为
d 10
1 0
00..55
• 说明: (1) 最常用的失真函数
均方失真函数： 绝对失真函数： 相对失真函数：
d(xi,yj)=(xi-yj)2 d(xi,yj)= xi y j d(xi,yj)= xi y j / xi
误码失真函数：
o,
d(xj,yj)=
(
xi
,
y
j
)
1,
其他特 VIP专享精彩活动
权
VIP专属身份标识
开通VIP后可以享受不定期的VIP随时随地彰显尊贵身份。
专属客服
VIP专属客服，第一时间解决你的问题。专属客服Q全部权益：1.海量精选书免费读2.热门好书抢先看3.独家精品资源4.VIP专属身份标识5.全站去广告6.名
• 3. 矢量传输情况平均失真度
DN
1 N
N
E[d (xik , y jk )]
k 1
1 N
N
Dk
k 1
• 说明: Dk是第k个符号的平均失真。
4.1.3 信息率失真函数R（D）
• 1. 信息率失真函数R（D）问题产生? 对于信息容量为C的信道传输信息传输率为R
的信源时，如果R＞C，就必须对信源压缩， 使其压缩后信息传输率R’小于信道容量C，但 同时要保证压缩所引人的失真不超过预先规定 的限度几信息压缩问题就是对于给定的信源， 在满足平均失真
d (x1, y1 ) d
d (xn , y1 )
d (x1, ym )
d (xn , ym )
例4-1-1
• 设信源符号序列为X＝{ 0,1}，接收端收 到符号序列为Y＝{ 0,1,2}，规定失真函数 为 d(0,0)＝d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,买的VIP时长期间，下载特权不清零。
第五章 限失真信源编码和率失真函数修改
无失真信源编码定理和信道编码定理得出 这样一个结论:无论是无噪信道还是有噪信道, 只要信道的信息传输率R小于信道容量C,总能 找到一种编码,在信道上以任意小的错误概率和 , 任意接近信道容量C的信息率传输消息.反之,若 信道信息传输率R大于信道容量C,一定不能使 传输错误概率任意小而实现无失真传输.
这两个概念的适用范围是不一样的,研究信道容量 C是为了在已知信 道中尽可能地传送信息,是为了充分利用已给定的信道,使传输的信息量最 大而错误概率任意小,以提高通信的可靠性,这是信道编码的问题 . 研究信息率失真函数是为了在已知信源和允许失真度条件下,使信源 输出的信息率尽可能小,也就是在允许的一定失真度 D的条件下,使信源必 须传送给信宿的信息量最少,尽可能用最少的码符号来传送信源信息,使信 源的信息可以尽快地传送出去,以提高通信的有效性,这是信源编码问题 .
平均失真定义为
Ed ( X n , g n ( f n ( X n ))) =
码率定义为
p( x n )d ( x n , g n ( f n ( x n ))) ∑
x n ∈χ n
R=
1 log 2 M n
定义 5.1.4 设信源随机变量 X 与其复制随机变 ˆ ˆ 量 X 服从概率分布 p (x) ，有失真测度 d ( x, x) 定义信息率失真函数为
≥ Dmax
ˆ x
x
由 Q (D ) 的定义必有 D ≥ Dmax 。
ˆ ˆ 反之，设 D ≥ Dmax 。由定义知，存在 x ∈ χ ，使
*
ˆ Dmax = ∑ p( x)d ( x, x * )
x
定义条件概率
1 x = x * ˆ ( x x) = ˆ ˆ Q ˆ ˆ ˆ 0 x ≠ x*
限失真编码PPT课件
第28页/共29页
感谢您的观看！
第29页/共29页
TK:门限电平（k+1个）
qk:电平值 （k个）
第24页/共29页
4） 均匀量化 概念：量化间隔相等 最优均匀量化：使DRk=1/4+1/2log(Pu/Dk)
问题：均匀量化不是DK最小的一个、提出一种Uoyd-Max算法
第25页/共29页
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条件进行迭代（必要条件为：P235）
第7页/共29页
§7.5:香农三大定理的关系和比较－1
无失真信源编码定理 信源冗余度压缩编码 无失真、保熵 信源压缩的极限值：信源熵H(S)
存在性、构造性
限失真信源编码定理 信源的熵压缩编码 有失真、熵压缩 信源压缩的极限值：率失真函数R(D)
存在性定理
第8页/共29页
§7.5:香农三大定理的关系和比较－2
最佳的预测编码：en=yn-un 最小 有三种不同的标准：最小均方误差；最小 平均绝对误差；最大零误差概率；
第17页/共29页
预测编码
DPCM基本原理
转入 f(i,j)
e(i,j)
量化器
编码器
f(i,j)
信
f’(i,j)
道
f’(i,j) 输出
预测器 预测器
传
f’(i,j)
输
e’(i,j)
解码器
f(i,j)
DPCM编、解码原理图
第18页/共29页
预测编码
最佳量化
不带量化器的DPCM线性预测编码，属于无失真编码系 统；带有量化器的DPCM线性预测编码，属于有失真编码系 统。
DPCM线性预测系统是一个负反馈系统，对误差有收敛 性。发送端与接收端之间的误差等于量化误差。
感谢您的观看！
第29页/共29页
TK:门限电平（k+1个）
qk:电平值 （k个）
第24页/共29页
4） 均匀量化 概念：量化间隔相等 最优均匀量化：使DRk=1/4+1/2log(Pu/Dk)
问题：均匀量化不是DK最小的一个、提出一种Uoyd-Max算法
第25页/共29页
5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条件进行迭代（必要条件为：P235）
第7页/共29页
§7.5:香农三大定理的关系和比较－1
无失真信源编码定理 信源冗余度压缩编码 无失真、保熵 信源压缩的极限值：信源熵H(S)
存在性、构造性
限失真信源编码定理 信源的熵压缩编码 有失真、熵压缩 信源压缩的极限值：率失真函数R(D)
存在性定理
第8页/共29页
§7.5:香农三大定理的关系和比较－2
最佳的预测编码：en=yn-un 最小 有三种不同的标准：最小均方误差；最小 平均绝对误差；最大零误差概率；
第17页/共29页
预测编码
DPCM基本原理
转入 f(i,j)
e(i,j)
量化器
编码器
f(i,j)
信
f’(i,j)
道
f’(i,j) 输出
预测器 预测器
传
f’(i,j)
输
e’(i,j)
解码器
f(i,j)
DPCM编、解码原理图
第18页/共29页
预测编码
最佳量化
不带量化器的DPCM线性预测编码，属于无失真编码系 统；带有量化器的DPCM线性预测编码，属于有失真编码系 统。
DPCM线性预测系统是一个负反馈系统，对误差有收敛 性。发送端与接收端之间的误差等于量化误差。
信息论基础 第5章 限失真信源编码和率失真函数
构成一个码本，为对应信源的重构
定义5.1.2 率失真对(R,D)可达，若存在一个(2nR , n)率失真码
序列，满足
lim
n
Ed
(
X
n
,gn
(f
n
(X
n
)))
D
率失真区域：可达(R, D)的闭包
定义5.1.3 率失真函数：给定D时，R(D) min R ( R,D)可达 失真率函数：给定R时，D(R) min D ( R,D)可达
1
...
0
...
1
1
1
...
0
在二元情况下：
D
1 0
0
1
失真度和平均失真度
2：
2
d (xi , y j ) xi y j
3： d(xi , y j ) xi y j
平方误差失真 绝对失真
例1：对称信源n=m，定义失真度为：
2
d (xi , y j ) xi y j
当n=m=3时， X 0 1 2 Y 0 1 2
nm
D P(x, y)d (x, y)
P(xi )P( y j / xi )d (xi , y j )
X ,Y
i1 j 1
信息率失真函数及其性质
选择试验信道满足
p( y j | xi ) 1
j p( y j | xi ) 0
所有d (xi , y j ) 最小值的y j Y i 1, 2,L , m
失真度和平均失真度
长度为n的信源符号序列的失真度
定义：符号序列X N X1, X 2 ,L , X N ,其中每个随机变量Xi
取值于同一符号集 x1, x2 ,L , xn , X N共有nN个不同符号i， 而接收端的符号序列为Y N Y1,Y2,L ,YN ,Yj y1, y2,L , ym ，
第五章 信息率失真函数及限失真信源编码解析
第五章 信息率失真函数及限失真信源编码
正交变换编码基本方法有： 1）区域采样法：利用变换域中能量集中于低频区
域 的特点，用一个二维低通滤波器使低频分量的变换 域系数被保留和编码，其他分量被舍弃。解码后的 误差与变换形式及能量 集中程度有关。 2）区域编码法：在区域采样的基础上，依据变换
域 系数特点，分成子区域进行量化和编码。可进一步
则：
（3）
若q0(x)符合概率密度函数
的要求（非负性、归一性），就可得到R(D)函数的
参量表达式。
第五章 信息率失真函数及限失真信源编码
例：设连续信源的变量x服从正态分布，即
定义失真函数且 求信息率失真函数R(D)。 解：
第五章 信息率失真函数及限失真信源编码
给定允许失真度 D＝－1/2S，即：
dij
第五章 信息率失真函数及限失真信源编码
可分别求得平均失真函数：
可得最大允许的失真度： 引用（2）式，得：
第五章 信息率失真函数及限失真信源编码
结果：
试验信道的传输概率：
第五章 信息率失真函数及限失真信源编码
可见：平均失真函数D就是平均误码率。 如图为不同信源概率值 的R(D)曲线：
显然Dmax＝p， R(Dmax)＝0
第五章 信息率失真函数及限失真信源编码
结论：在信源压缩问题中，规定D是一个困 难的任务。实际中，失真总是可以容忍的， 只是如何定义失真函数dij和规定可容许的D 值，D↑→压缩量↑→传输代价↓ 要发挥R(D)函数理论的作用，核心问题是研 究失真函数和平均失真值的合理性问题，这 须通过大量实验才能达到。
注意：D≥Dmax时，R(D)仍为0，R(D)的定义域为 （0，Dmax）
第五章 信息率失真函数及限失真信源编码
第五章 离散信源的限失真信源编码
i
) P ( y j | x i )d ij
若X和Y都是n维矢量消息的集合，也可以定义两个矢量消息之 间的失真函数为：
d n ( x, y) 1 n
d( x
r 1
n
r
, yr )
其平均失真函数为：
d n ( x , y ) E [d n ( x , y )] 1 n
r
1 n
r 1
j
值中的最小值，故定义Dmax为：
Dmax min d j min
Y Y
P( x
X
i
)d ij
例：已知信源的消息集合X中包含x0和x1两个消息，并设它们的概 率为P(X1)＝p < 1/2，P(X2)＝1－p，而信宿符号集合Y也包含两个 符号y0和y1 ，失真矩阵为
D d 00 d 10 d 01 d 11 0
X2＝{a91，…， a100}，Y2＝{a90}，属于失真集合，对应dij＝1， 其中i＝91，92，…，100，j＝90 据题意，P(xi)＝1/100，i＝1，2，…，100 所以，有：
d
X 2Y2
P ( x i ) P ( y j | x i )d ij 1 1 1 0.1
R( D )
{ P ( y j | x i )} PD
min
I ( X ; Y ) min I ( X ; Y )
d D
R(D)又称作率失真函数 信息率失真函数与信道容量的关系： 信源与信道的对偶关系反映在信息率失真函数与信道容量之 间的对偶关系。信道容量C是给定信道传输概率集合（或信道矩 阵）的条件下，信道所允许的最大信息传输速率。也就是说，信 道容量C是在给定传输特性的条件下，平均互信息量I（X；Y）在 信源消息概率矢量上的一个极大值。信息率失真函数R（D）是在 给定信源消息概率分布的条件下，I（X；Y）在试验信道的信道 传输概率矢量P(yj|xi)上一个极小值
第5章有失真信源编码
第5章有失真信源编码第５章有失真信源编码（信息率失真函数）离散信源有失真编码连续信源有失真编码5.1信息率－失真函数的概念在第２章我们证明了当输入随机变量的概率分布确定时，互信道是条件转移概率的下凸函数，即互信息必存在一个最小值。
然而，在没有其它约束条件的情况下，这个最小值就是零。
因为一方面互信息总是非负的，另一方面，当输入和输出随机变量相互独立时互信息等于零。
所以研究一般情况下互信息的极小值问题没有什么意义。
无失真信源编码时，信源的熵是信息率所能达到的下限。
在很多实际情况下，要做到完全没有失真是没有必要的，特别是对连续信源编码，由于信源的绝对熵无穷大，要达到无失真编码是不可能的。
为此，我们有必要研究在满足某种失真准则下互信息的极小值问题，即信息率－失真函数。
首先看离散信源的情况。
设Ｘ和Ｙ是定义在相同取值域AB{a1,a2,,an}上的离散型随机变量。
失真函数d(某,y)是定义在AB上的非负函数d(某,y)d(某某,Yy),某A,yB例如，可定义0,ijd(i,j)d(ai,aj),ij（５.１.１）其物理意义是当输入和输出相等时没有失真，当输入和输出不相等时失真是相同的。
显然失真函数d(某,y)是对Ｙ代表Ｘ所引起失真的量度。
失真函数的定义由所研究的客观问题决定。
（５.１.１）式的失真函数称为汉明失真准则。
失真函数只定义了若干具体失真的数值，为了反映随机变量之间的总体失真情况，我们定义平均失真dEd(某,y)对离散型变量（５.１.２）dp(i)p(j|i)d(i,j)ij（５.１.３）如果Ｘ和Ｙ都是Ｌ维随机矢量，可定义矢量间的失真为1LdL(某,Y)d(某l,yl)Ll1平均失真（５.１.４）1L1LdLEdL(某,Y)E[d(某l,yl)]dlLl1Ll1其中dl是第l个分量的平均失真。
（５.１.５）如果我们要求平均失真不大于某个定值Ｄ。
令PDp(j|i)|dD表示所有满足平均失真不大于Ｄ的条件概率矩阵Ｐ的集合，我们定义R(D)minI(某,Y)PPD（５.１.６）为信息率－失真函数，或简称率失真函数。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
的平均失真 Ed(X , Xˆ ) Dmax D，且此时有 I ( X , Xˆ ) 0 。从 而，R(D) 0。
(ii) 设 D1, D2 0, 0 1 。由 R(D)的定义知，存在 Qi (xˆ x) Q(Di ) 使 I ( p, Qi ) R(Di ), i 1,2 于是
从数学上来看,平均互信息 I( X; Y)既是信源概率分布 p( xi)的上凸函数,又 是信道传递概率p ( yj | xi)的下凸函数,因此信道容量 C和信息率失真函数 R(D)具有对偶性 .
信道容量
是指在信道固定前提下,选择一种信源概率分
布使信息传输率最大(求极大值) .它反映了信道传输信息的能力,是信道可靠传输
但是无失真的保熵的编码并非是必需的,有时候也不可能实现 .比如,在传送语音信号时, 由于人耳接受的带宽和分辨是有限的,因此可以把频谱范围从 20 Hz～20 kHz的语音信 号去掉低端和高端的频率,看成带宽只有 300～3 400 Hz的信号 .这样虽然会有一些失 真,但是这种失真是允许的 .再比如,在传送活动图像时,由于人眼的视觉暂留特性,我们只 需每秒种传送 25帧的静止图像,人们看到的就是连贯的活动图像 .所以在实际生活中,通 常总是要求在保证一定质量的前提下,在信宿近似地再现信源输出的信息 .因此,实际的信 息传输率可以降低 .另一方面,由于受到信息存储,处理或传输设备的限制而不得不对信源 输出的信号作某种近似的表示 .比如实际信源的输出常常是连续的消息,连续信源的绝对 熵 H(S)是无限大 .若要求无失真地传送连续信源的消息,则信息传输率 R也为无限大 .在 信道中,由于带宽总是有限的,所以信道容量总是受到限制,而实际信源输出的信息率总是 大大超过信道容量(R >C) ,因此也就不可能实现完全无失真地传输信源的消息 .
x
对任意的 x , xˆ ˆ 成立。 （5.1） 如果R(D) 0 ，则存在满足上述条件的Q(xˆ x) Q(D) ，
使得
Ed(X , Xˆ ) p(x)Q xˆ x)d(x, xˆ) x, xˆ
p(xˆ) p(x)d (x, xˆ)
xˆ
x
Dmax
由Q(D) 的定义必有 D Dmax。
5.1 失真度和率失真函数
在实际中,允许有一定程度失真的通信模型 可描述如下:
图5.1.1 限失真信源编码模型
设一个信源产生的 n 长消息序列为，
X n ( X1, X 2,, X n )
其复制序列为 Xˆ n (Xˆ1, Xˆ 2 ,, Xˆ n ) ，其中 X i 和 Xˆ i
分别取值于有限字母集 和 ˆ 上。
关,不同的信源 R( D)不同 .
这两个概念的适用范围是不一样的,研究信道容量 C是为了在已知信 道中尽可能地传送信息,是为了充分利用已给定的信道,使传输的信息量最 大而错误概率任意小,以提高通信的可靠性,这是信道编码的问题 .
研究信息率失真函数是为了在已知信源和允许失真度条件下,使信源 输出的信息率尽可能小,也就是在允许的一定失真度 D的条件下,使信源必 须传送给信宿的信息量最少,尽可能用最少的码符号来传送信源信息,使信 源的信息可以尽快地传送出去,以提高通信的有效性,这是信源编码问题 .
第五章 限失真信源编码和率失真函数
5.1 失真度和率失真函数 5.2 率失真函数的计算 5.3 限失真信源编码定理
在第 3章,讨论了离散信源的无失真信源编码,它是一种冗余度压缩编码,可以对信 源输出的信息进行有效地表示,并且可以保证信源输出的信号在编译Байду номын сангаас前后不会有任何失 真 .从信号携带信息的角度看,还可以保证编译码前后的信号具有相同的信息熵,因此冗余 度压缩编码是无失真的保熵的编码 .
定义5.1.1 设d(x, xˆ)是定义在 ˆ 上的函数且满足 以下条件:
(i) d(x, xˆ) 0, 对任意的 x , xˆ ˆ 成立;
(ii) dx, xˆ 0 当且仅当 x xˆ
则称d (x, xˆ) 是 ˆ 上的一个失真测度
以下给出几个常见的失真测度：
无失真信源编码定理和信道编码定理得出
这样一个结论:无论是无噪信道还是有噪信道, 只要信道的信息传输率R小于信道容量C,总能 找到一种编码,在信道上以任意小的错误概率和 任意接近信道容量C的信息率传输消息.反之,若 信道信息传输率R大于信道容量C,一定不能使 传输错误概率任意小而实现无失真传输.
然而,实际中的信源往往是连续信源,一般来 说,不可能实现完全无失真的传输信源的信息.同 时,在实际生活中人们并不要求完全无失真地恢 复消息,只要求在一定的保真度条件下,近似地恢 复信源发出的消息.这就是本章要讨论的限失真 信源编码问题.
量 Xˆ 服从概率分布 p(x) ，有失真测度 d (x, xˆ) 定义信息率失真函数为
R(D) min I (X , Xˆ ) Q( xˆ|x),Ed ( X , Xˆ )D
其中 min是对所有满足以下性质的条件概率 Q(xˆ x)
取值。在给定的信源概率分布 p(x) 及条件概率 Q(xˆ x) 的乘积所得的联合分布 p(x, xˆ) p(x)Q(xˆ x)
的最大信息传输率 .信道容量与信源无关,是信道特性的参量,不同的信道其信道容
量不同 .
信息率失真函数
是在信源固定,满足保真度准
则的条件下的信息传输率的最小值,它反映了满足一定失真度的条件下信源可以压
缩的程度,也就是满足失真要求而再现信源消息所必须获得的最少平均信息
量 .R( D)是信源特性的参量, R( D)一旦求出就与求极值过程中选择的试验信道无
下的平均失真
Ed(X , Xˆ ) p(x, xˆ)d(x, xˆ) D x xˆˆ
信息率失真函数也有以下等价表达式
R(D) min I ( p;Q) Q( xˆ x),Ed ( X , Xˆ )D
为了讨论率失真函数的性质，我们记
d (Q) p(x)Q(xˆ x)d (x, xˆ) x xˆ
如果无失真的冗余度压缩编码主要是针对离散信源的,那么,有失真的熵压缩编码主 要是针对连续信源 .本章讨论的是离散无记忆信源的限失真信源编码理论,这样便于理解 率失真理论的基本概念 .
我们讨论的物理模型仍然是信源编码器,编码器的输入符号集 X = x1, x2,⋯, xr , 输出符号集 Y = y1, y2,⋯, ys .编码器可以看作一个广义的信道, X是信道的输入, Y 是信道的输出 .与无失真信源编码不同,这时从输入到输出的映射是一个多对一的映射, 它是不可逆的,信源符号序列和码符号序列之间的差异就是编码时引入的失真 .
Q(D) Q(xˆ x) : d(Q) D
于是有
Dmax
min
xˆˆ
x
p( x)d ( x,
xˆ)
R(D) min I ( p, Q) QQ( D)
如果信源输出的信息率为 R,在信道容量为 C的信道 上传输,如果 R > C,就会引起失真,需要对信源进行压缩, 使压缩后信源输出的信息率 R *小于信道容量 C .压缩的 过程中也会引入失真,但可以控制失真在一个可控的范围 内,即满足保真度准则 .从另一方面来说,我们总希望在满 足保真度准则以后,压缩后的信息传输率 R *尽可能地小 .
这个最小值 R(D)就是信息率失真函数,也称率失真函数,它的单位是比 特/信源符号、哈特莱/信源符号或奈特/信源符号 . 对于 N维信源符号序列,同样可以得其信息率失真函数:
当信源和信道均为无记忆时, I( X; Y) = NI( X; Y) ,所以有
对于给定的信源,在满足保真度准则 D¯≤ D的前提下,信息率失真函数 R( D)是信源输出的信息率允许压缩到的最小值 .由于 I( X; Y)是 p( yj | xi) 的下凸函数,所以在 BD集合中, I( X; Y)的最小值一定存在 .
定理5.1.1 率失真函数 R(D)具有以下性质： (i)0 R(D) H(X )并且 R(D) 0 当且仅 当 D ； Dmax
(ii) R(D)是 0, 上的下凸函数； (iii) R(D)是 0, Dmax上的减函数； (iv) R(D)是0, 上的连续函数。
这就证明了R(D) 为 0, 上的下凸函数。
(iii) (iv)
设由微0 积D分1 知 D识2 知，凸则函Q数(D必1 ) 连 Q续(D，2故) ，由从(i而i), RR((DD)2在) 0R, D(Dma1x).
如果要把连续信源的消息离散化,由于信源熵为无穷大,根据无失真信源编码定理,要用无 穷多个比特数才能完全无失真地描述它,这在实际中是做不到的,因此必然会带来一定程 度的失真 .在允许一定失真程度的条件下,怎样用尽可能少的信道符号来表达信源的信息, 也就是信源熵所能压缩的极限或者说编码后信源输出的信息率压缩的极限值,这就是本章 要讨论的问题———限失真信源编码问题 .限失真信源编码也称保真度准则下的信源编 码、熵压缩编码或者称信息率失真理论,它是量化、数模转换、频带压缩和数据压缩的理 论基础 .
证明 （i）由互信息的性质有
0 I ( X , Xˆ ) H ( X ) H ( X Xˆ ) H ( X )
进而，由定义知：R(D) 0 的充要条件是存在转 移概率Q(xˆ x) Q(D), 使 I ( X ; Xˆ ) 0
即 Xˆ 与 X 独立，这时
Q(xˆ x) p(xˆ) p(x)Q(xˆ x)
f n : n 1,2,, M
g n : ˆ n
平均失真定义为
Ed(X n , gn ( f n (X n ))) p(xn )d(xn , gn ( f n (xn ))) xn n
码率定义为
R
1 n
log
2
M
(ii) 设 D1, D2 0, 0 1 。由 R(D)的定义知，存在 Qi (xˆ x) Q(Di ) 使 I ( p, Qi ) R(Di ), i 1,2 于是
从数学上来看,平均互信息 I( X; Y)既是信源概率分布 p( xi)的上凸函数,又 是信道传递概率p ( yj | xi)的下凸函数,因此信道容量 C和信息率失真函数 R(D)具有对偶性 .
信道容量
是指在信道固定前提下,选择一种信源概率分
布使信息传输率最大(求极大值) .它反映了信道传输信息的能力,是信道可靠传输
但是无失真的保熵的编码并非是必需的,有时候也不可能实现 .比如,在传送语音信号时, 由于人耳接受的带宽和分辨是有限的,因此可以把频谱范围从 20 Hz～20 kHz的语音信 号去掉低端和高端的频率,看成带宽只有 300～3 400 Hz的信号 .这样虽然会有一些失 真,但是这种失真是允许的 .再比如,在传送活动图像时,由于人眼的视觉暂留特性,我们只 需每秒种传送 25帧的静止图像,人们看到的就是连贯的活动图像 .所以在实际生活中,通 常总是要求在保证一定质量的前提下,在信宿近似地再现信源输出的信息 .因此,实际的信 息传输率可以降低 .另一方面,由于受到信息存储,处理或传输设备的限制而不得不对信源 输出的信号作某种近似的表示 .比如实际信源的输出常常是连续的消息,连续信源的绝对 熵 H(S)是无限大 .若要求无失真地传送连续信源的消息,则信息传输率 R也为无限大 .在 信道中,由于带宽总是有限的,所以信道容量总是受到限制,而实际信源输出的信息率总是 大大超过信道容量(R >C) ,因此也就不可能实现完全无失真地传输信源的消息 .
x
对任意的 x , xˆ ˆ 成立。 （5.1） 如果R(D) 0 ，则存在满足上述条件的Q(xˆ x) Q(D) ，
使得
Ed(X , Xˆ ) p(x)Q xˆ x)d(x, xˆ) x, xˆ
p(xˆ) p(x)d (x, xˆ)
xˆ
x
Dmax
由Q(D) 的定义必有 D Dmax。
5.1 失真度和率失真函数
在实际中,允许有一定程度失真的通信模型 可描述如下:
图5.1.1 限失真信源编码模型
设一个信源产生的 n 长消息序列为，
X n ( X1, X 2,, X n )
其复制序列为 Xˆ n (Xˆ1, Xˆ 2 ,, Xˆ n ) ，其中 X i 和 Xˆ i
分别取值于有限字母集 和 ˆ 上。
关,不同的信源 R( D)不同 .
这两个概念的适用范围是不一样的,研究信道容量 C是为了在已知信 道中尽可能地传送信息,是为了充分利用已给定的信道,使传输的信息量最 大而错误概率任意小,以提高通信的可靠性,这是信道编码的问题 .
研究信息率失真函数是为了在已知信源和允许失真度条件下,使信源 输出的信息率尽可能小,也就是在允许的一定失真度 D的条件下,使信源必 须传送给信宿的信息量最少,尽可能用最少的码符号来传送信源信息,使信 源的信息可以尽快地传送出去,以提高通信的有效性,这是信源编码问题 .
第五章 限失真信源编码和率失真函数
5.1 失真度和率失真函数 5.2 率失真函数的计算 5.3 限失真信源编码定理
在第 3章,讨论了离散信源的无失真信源编码,它是一种冗余度压缩编码,可以对信 源输出的信息进行有效地表示,并且可以保证信源输出的信号在编译Байду номын сангаас前后不会有任何失 真 .从信号携带信息的角度看,还可以保证编译码前后的信号具有相同的信息熵,因此冗余 度压缩编码是无失真的保熵的编码 .
定义5.1.1 设d(x, xˆ)是定义在 ˆ 上的函数且满足 以下条件:
(i) d(x, xˆ) 0, 对任意的 x , xˆ ˆ 成立;
(ii) dx, xˆ 0 当且仅当 x xˆ
则称d (x, xˆ) 是 ˆ 上的一个失真测度
以下给出几个常见的失真测度：
无失真信源编码定理和信道编码定理得出
这样一个结论:无论是无噪信道还是有噪信道, 只要信道的信息传输率R小于信道容量C,总能 找到一种编码,在信道上以任意小的错误概率和 任意接近信道容量C的信息率传输消息.反之,若 信道信息传输率R大于信道容量C,一定不能使 传输错误概率任意小而实现无失真传输.
然而,实际中的信源往往是连续信源,一般来 说,不可能实现完全无失真的传输信源的信息.同 时,在实际生活中人们并不要求完全无失真地恢 复消息,只要求在一定的保真度条件下,近似地恢 复信源发出的消息.这就是本章要讨论的限失真 信源编码问题.
量 Xˆ 服从概率分布 p(x) ，有失真测度 d (x, xˆ) 定义信息率失真函数为
R(D) min I (X , Xˆ ) Q( xˆ|x),Ed ( X , Xˆ )D
其中 min是对所有满足以下性质的条件概率 Q(xˆ x)
取值。在给定的信源概率分布 p(x) 及条件概率 Q(xˆ x) 的乘积所得的联合分布 p(x, xˆ) p(x)Q(xˆ x)
的最大信息传输率 .信道容量与信源无关,是信道特性的参量,不同的信道其信道容
量不同 .
信息率失真函数
是在信源固定,满足保真度准
则的条件下的信息传输率的最小值,它反映了满足一定失真度的条件下信源可以压
缩的程度,也就是满足失真要求而再现信源消息所必须获得的最少平均信息
量 .R( D)是信源特性的参量, R( D)一旦求出就与求极值过程中选择的试验信道无
下的平均失真
Ed(X , Xˆ ) p(x, xˆ)d(x, xˆ) D x xˆˆ
信息率失真函数也有以下等价表达式
R(D) min I ( p;Q) Q( xˆ x),Ed ( X , Xˆ )D
为了讨论率失真函数的性质，我们记
d (Q) p(x)Q(xˆ x)d (x, xˆ) x xˆ
如果无失真的冗余度压缩编码主要是针对离散信源的,那么,有失真的熵压缩编码主 要是针对连续信源 .本章讨论的是离散无记忆信源的限失真信源编码理论,这样便于理解 率失真理论的基本概念 .
我们讨论的物理模型仍然是信源编码器,编码器的输入符号集 X = x1, x2,⋯, xr , 输出符号集 Y = y1, y2,⋯, ys .编码器可以看作一个广义的信道, X是信道的输入, Y 是信道的输出 .与无失真信源编码不同,这时从输入到输出的映射是一个多对一的映射, 它是不可逆的,信源符号序列和码符号序列之间的差异就是编码时引入的失真 .
Q(D) Q(xˆ x) : d(Q) D
于是有
Dmax
min
xˆˆ
x
p( x)d ( x,
xˆ)
R(D) min I ( p, Q) QQ( D)
如果信源输出的信息率为 R,在信道容量为 C的信道 上传输,如果 R > C,就会引起失真,需要对信源进行压缩, 使压缩后信源输出的信息率 R *小于信道容量 C .压缩的 过程中也会引入失真,但可以控制失真在一个可控的范围 内,即满足保真度准则 .从另一方面来说,我们总希望在满 足保真度准则以后,压缩后的信息传输率 R *尽可能地小 .
这个最小值 R(D)就是信息率失真函数,也称率失真函数,它的单位是比 特/信源符号、哈特莱/信源符号或奈特/信源符号 . 对于 N维信源符号序列,同样可以得其信息率失真函数:
当信源和信道均为无记忆时, I( X; Y) = NI( X; Y) ,所以有
对于给定的信源,在满足保真度准则 D¯≤ D的前提下,信息率失真函数 R( D)是信源输出的信息率允许压缩到的最小值 .由于 I( X; Y)是 p( yj | xi) 的下凸函数,所以在 BD集合中, I( X; Y)的最小值一定存在 .
定理5.1.1 率失真函数 R(D)具有以下性质： (i)0 R(D) H(X )并且 R(D) 0 当且仅 当 D ； Dmax
(ii) R(D)是 0, 上的下凸函数； (iii) R(D)是 0, Dmax上的减函数； (iv) R(D)是0, 上的连续函数。
这就证明了R(D) 为 0, 上的下凸函数。
(iii) (iv)
设由微0 积D分1 知 D识2 知，凸则函Q数(D必1 ) 连 Q续(D，2故) ，由从(i而i), RR((DD)2在) 0R, D(Dma1x).
如果要把连续信源的消息离散化,由于信源熵为无穷大,根据无失真信源编码定理,要用无 穷多个比特数才能完全无失真地描述它,这在实际中是做不到的,因此必然会带来一定程 度的失真 .在允许一定失真程度的条件下,怎样用尽可能少的信道符号来表达信源的信息, 也就是信源熵所能压缩的极限或者说编码后信源输出的信息率压缩的极限值,这就是本章 要讨论的问题———限失真信源编码问题 .限失真信源编码也称保真度准则下的信源编 码、熵压缩编码或者称信息率失真理论,它是量化、数模转换、频带压缩和数据压缩的理 论基础 .
证明 （i）由互信息的性质有
0 I ( X , Xˆ ) H ( X ) H ( X Xˆ ) H ( X )
进而，由定义知：R(D) 0 的充要条件是存在转 移概率Q(xˆ x) Q(D), 使 I ( X ; Xˆ ) 0
即 Xˆ 与 X 独立，这时
Q(xˆ x) p(xˆ) p(x)Q(xˆ x)
f n : n 1,2,, M
g n : ˆ n
平均失真定义为
Ed(X n , gn ( f n (X n ))) p(xn )d(xn , gn ( f n (xn ))) xn n
码率定义为
R
1 n
log
2
M