限失真信源编码
合集下载
第5章 限失真信源编码
X ,Y
i1 j1
i1 j1
平均失真是符号失真函数在信源空间和信宿空 间平均的结果，是描述某一信源在某一信道传 输时失真的大小，是从整体上描述系统的失真 情况。
三、信源符号序列的失真
从上面的单符号失真函数，可以得到信源符号 序列的失真函数和平均失真度。由于序列时相 当于是一个由单符号随机变量组成的随机矢量， 仿照单符号时的情况，可得：
因此，当规定了允许失真，又找到了适当的失真
函数 dij ，就可以找到该失真条件下的最小信息
率R(D)，用不同的方法进行数据压缩时（在允 许的失真限度D内），其压缩的程度如何，可以 用R(D)来衡量。由它可知是否还有压缩潜力， 有多大的压缩潜力。因此，有关R(D)的研究也 是信息论领域的一个研究热点。
平方失真：
d (xi , y j ) (xi y j )2
绝对失真：
d(xi , y j ) xi y j
相对失真：
d(xi , y j ) xi y j / xi
误码失真：
d
(
xi
,
y
j
)
(
xi
,
y
j
)
0,
1,
xi y j 其它
也可以按其它的标准，如引起的损失、风险、 主观感觉上的差别等来定义失真函数。
R(D) H( p) H(D)
第六章率失真函数理论及限失真信源编码
§6.6 限失真信源编码编码定理的应用
第六章：限失真信源编码
§6. 1
信息率失真函数的基本概念与定义
(The Basic Concepts and Definitions of Rate-Distortion Function)
到目前为止，从数学角度看我们所讲的《信息论》的 内容也仅有两个最基本的概念；而由这两概念出发，引出 了一系列的概念和应用的讨论。 下面我们将这些概念、定义相继出现的思路作一介绍：
sourcecodingfinitedistortion61信息率失真函数的基本概念与定义62信息率失真函数的性质63离散信源的率失真函数计算64离散信源率失真函数的迭代算法65高斯信源的率失真函数66限失真信源编码编码定理的应用basicconceptsratedistortionfunction到目前为止从数学角度看我们所讲的信息论的内容也仅有两个最基本的概念
§6. 1 率失真函数的基本概念与定义
的信息损失才能越少。比如：语音源是发出速码率为R＝64kbit/s 的语声信号时，对于人耳来说应该几乎没有失真；而当速码率降 低为R＝32kbit/s时，人耳就会对此类语声信息的接受产生失真影 响，如感觉到沙沙声，但有这点失真也无妨，因为它对人类的理 解毫无影响；如果再进一步降低信息率，若R＝16kbit/s 时，则明 显感到失真加大，听起来费劲；如果再低当R＝8kbit/s 时，人类 的听觉器官就可能不适应，甚至时间一长会厌烦此类信号，因为 它不仅带来了语声清晰度的失真，而且也大大影响了可懂度方面 的效果。因此信息率R与失真程度之间的确存在某种依赖关系， 问题时如何用某种数学方法将它描述。 问题的另一方面是如何用数学关系式定量地描述失真限度， 即什么是信宿可接受的失真程度；什么情况下又是信宿不能接受 的失真程度。所以这种数学描述的第一步是如何将失真程度的大 小定量地给出；其次才是能否在失真度D定义给出之后，找到一
信息率失真函数与限失真信源编码
§7.1:概述－7
• 方法： – 虚拟：将讨论重点虚拟细化
• 将限失真信源的编译码过程虚拟
• 信源编码过程→信道* →信源译码过程
试验信道
• 可以用信道传递概率来描述限失真信源编译码前后的关系
信源
信源 编码
信道 编码
信道
信道 译码
信源 译码
信宿
信源
信源 编码
信源
U
信道*
试验信道 P(V|U)
信源 译码
• 计算平均失真度 D • 当 ≤D，求互信息 • 求互D信息的下限值得到包含有D和σ2 的R(D)表达式 • 讨论D和σ2 比值不同时R(D)的取值
– 验证：找到满足R(D)的试验信道，验证其正确性 – 结果分析：R(D)曲线分析
R(D)
1 2
log
2
D
0
D 2 D 2
§7.3:率失真函数－12
试验信道的统计特性有关。
D
§7.2:失真的度量－7
• 平均失真度 – N维信源符号序列的平均失真度： 此时D为一 rN×sN阶的矩阵
D (N ) E[d (u, v)]
与： d（u，vr）N 、sN p(pu()、i )pp(v(|uj)|、Ni 均) N有d关(uil , v jl )
i1 j1
• P(u)=[ω，1－ ω]， ω≤1/2 • 汉明失真矩阵
信息论与编码第5章限失真信源编码
前言
• 失真传输的必要性:
– 数字系统需要传送、存储和处理大量的数据. 如实际数字通信系统中, 普通电话的数码率为64 kb/s; 可视电话的数码率为8.448 Mb/s; 黑白电 视的数码率为60 Mb/s等. 传输信号质量要求越高, 数码率也越高. 数码 率高, 不仅对传输不利, 而且也增加了存储和处理的困难.
错误概率 PE
信道容量
C max{I (U ; V )} p(u)
RC
信道编码定理
信道容量 C 与信源 p(u) 无关, 是信道特性 p(v|u)的 参量. 不 同的 信道, 信道容量 C 不同
信源 p(u), 失真测度 d(u,v) 信道 p(v|u)
本章所讨论的内容是量化、数模转换、频带 压缩和数据压缩的理论基础.
前言
本章主要介绍信息率失真理论的基本内容, 侧 重讨论离散无记忆信源.
首先给出信源的失真度和信息率失真函数的定 义与性质, 然后讨论离散信源的信息率失真函数计 算. 在这个基础上论述保真度准则下的信源编码定 理.
第一节 失真测度
1、失真度
第一节 失真测度
保真度准则:
平均失真度 D 不大于我们所允许的失真D,
即
DD
当信源p(u)和失真度d(ui,vj)给定, 选择不同的信 道(相当于选择不同编码方法), 所得平均失真度不
同.
第5章(2)无失真和限失真信源编码
H L ( X) 1 KL log m L L取无限长
14
5.2.1
定长编码定理
例1 设离散无记忆信源概率空间为
a2 a3 a 4 a5 a6 a7 a8 X a1 P ＝0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04
H ( X ) pi log pi 2.55
2(X ) 7.82 7 8 L 9 . 8 10 10 2 0.282 106
17
5.2.2
变长编码定理
变长编码定理 在变长编码中，码长K是变化的
根据信源各个符号的统计特性，如概 率大的符号用短码，概率小的用较长的码， 使得编码后平均码长降低，从而提高编码 效率。（统计匹配）
最佳变长编码
(3)将每一大组的信源符号进一步再分成两 组，使划分后的两个组的概率之和近于 相同，并又赋予两个组一个二进制符号 “0”和“1”。 (4)如此重复，直至每个组只剩下一个信源 符号为止。 (5)信源符号所对应的码字即为费诺码。
2
9
5.2.1
定长编码定理
在这种编码方式下，若差错概率为Pe，
据切比雪夫不等式可导出
2 ( X) Pe 2 L
式中 2 (X) E{[ I (xi ) H (X)]2 } 为自信息方差,为
一正数。当 2 ( X和 )
简述限失真信源编码定理
简述限失真信源编码定理
限失真信源编码定理是信息论中的一个重要定理，它指出，在给定的信息源和编码器的情况下，可以通过编码器将信息源的信息编码成一个符合某种失真度要求的信号，从而实现信息的传输。
限失真信源编码定理的具体表述是：设X是一个有限的信息源，Y是一个有限的编码器，D是一个失真度函数，则存在一个编码器Y，使得对任意的X，都有：
D(X,Y(X))≤D0
其中D0是一个给定的失真度阈值。
这个定理表明，在给定的失真度阈值D0的情况下，可以通过编码器Y将信息源X的信息编码成一个符合失真度要求的信号，从而实现信息的传输。
限失真信源编码定理的重要性在于，它提供了一种有效的方法来传输信息，即在给定的失真度阈值D0的情况下，可以通过编码器Y将信息源X的信息编码成一个符合失真度要求的信号，从而实现信息的传输。因此，限失真信源编码定理在信息论中具有重要的意义。
第五章 限失真信源编码和率失真函数修改
ˆ d ( x, x ) =
0 1
ˆ x = x ˆ x ≠ x
（2）平方失真测度
ˆ ˆ d ( x, x ) = ( x − x )
（3）绝对失真测度
2
ˆ ˆ d ( x, x ) = x − x
ˆ ˆ 定义5.1.2设 d ( x, x ) 是 χ × χ 上的一个失真测 定义 n ˆn ˆ ˆ ˆ x 度， = ( x1 , x 2 , L, x n ) 和 x = ( x1 , x 2 , L , x n ) 分别是 χ 和 χˆ 上的信源序列和其复制序列。 n ˆn 定义 x 和 x 之间的平均失真测度为：
如果要把连续信源的消息离散化,由于信源熵为无穷大,根据无失真信源编码定理,要用无 穷多个比特数才能完全无失真地描述它,这在实际中是做不到的,因此必然会带来一定程 度的失真 .在允许一定失真程度的条件下,怎样用尽可能少的信道符号来表达信源的信息, 也就是信源熵所能压缩的极限或者说编码后信源输出的信息率压缩的极限值,这就是本章 要讨论的问题———限失真信源编码问题 .限失真信源编码也称保真度准则下的信源编 码、熵压缩编码或者称信息率失真理论,它是量化、数模转换、频带压缩和数据压缩的理 论基础 . 如果无失真的冗余度压缩编码主要是针对离散信源的,那么,有失真的熵压缩编码主 要是针对连续信源 .本章讨论的是离散无记忆信源的限失真信源编码理论,这样便于理解 率失真理论的基本概念 . 我们讨论的物理模型仍然是信源编码器,编码器的输入符号集 X = x1, x2,⋯, xr , ⋯ 输出符号集 Y = y1, y2,⋯, ys .编码器可以看作一个广义的信道, X是信道的输入, Y ⋯ 是信道的输出 .与无失真信源编码不同,这时从输入到输出的映射是一个多对一的映射, 它是不可逆的,信源符号序列和码符号序列之间的差异就是编码时引入的失真 .
第七章：限失真编码1
R(D)
R(D)>0
R(D)=0
min
Q(v)
U ,V
Q(v) p(u)d (u, v) Q (v ) d (v )
' V V U
min
Q(v)
Dmax
D
§7.3:率失真函数－4
R(D)的计算
求解R(D)，--求解互信息的极小值 互信息I(X,Y)是条件转移概率的下凸函数极小值 存在 一般情况下很难得到R(D)的显函数表达式，只能 得到参量表达式 具体计算很困难，一般利用计算机进行迭代计算 在一些特殊情况下，R(D)有显式解。
2
当D＝ σ2时， R(D)＝0。即： 如果允许失真等于信源的方差，则只需 用均值m来表示信源输出，而不需要传 送信源的任何实际输出。
当D＝0时，R(D) ∞。即：
在连续信源情况下，要毫无失真地传送 连续信源必须要求信道具有无限大的容 量。
当D＝0.25 σ2时,R(D)=1（比特/自由 度）。即：
失真度定义
0, ui=vj >0, ui≠ vj
0, ui=vj
离散信源：用失真矩阵描述。dij=
汉明距离度量时：dij=
1, ui≠ vj
连续信源：用失真函数描述。d(u,v)=(u-v)2 =|u-v|
§7.2:失真的度量－4
第七章：信息率失真函数与限失真信源编码
• 在一般条件下当0<D<Dmax时，计算平均失真度 D
• 选取一个信道，使 D ＝D，求互信息 • 求互信息的下限值得到R(D)
–验证：找到满足R(D)的试验信道，验证其正确性
–结果分析：R(D)曲线分析
R(D)
H () H (D) 0 D 0 D
§7.3:率失真函数－9
• R(D)的计算
– 求解R(D)，--求解互信息的极小值
– 互信息I(X,Y)是条件转移概率的下凸函数极小值存在
– 一般情况下很难得到R(D)的显函数表达式，只能得到 参量表达式
– 具体计算很困难，一般利用计算机进行迭代计算
§7.3:率失真函数－7
• 二进制对称信源的R(D)计算
– 已知条件：二进制对称信源U={0,1}，接收变量 V={0,1}，允许的 失真D
汉明距离度量时：dij=
0, ui=vj
1, ui≠ vj
– 连续信源：用失真函数描述。d(u,v)=(u-v)2 =|u-v|
§7.2:失真的度量－4
• 平均失真度
– 单符号失真度： d（ui，vj）≥ 0，（i=1~r，j=1~s）
信源的失真矩阵可表示为：
d (u1, v1).......d (u1, vs )
最好地利用C
消息 压缩冗余度
信 源
最佳分布 无噪无损信道
• 选取一个信道，使 D ＝D，求互信息 • 求互信息的下限值得到R(D)
–验证：找到满足R(D)的试验信道，验证其正确性
–结果分析：R(D)曲线分析
R(D)
H () H (D) 0 D 0 D
§7.3:率失真函数－9
• R(D)的计算
– 求解R(D)，--求解互信息的极小值
– 互信息I(X,Y)是条件转移概率的下凸函数极小值存在
– 一般情况下很难得到R(D)的显函数表达式，只能得到 参量表达式
– 具体计算很困难，一般利用计算机进行迭代计算
§7.3:率失真函数－7
• 二进制对称信源的R(D)计算
– 已知条件：二进制对称信源U={0,1}，接收变量 V={0,1}，允许的 失真D
汉明距离度量时：dij=
0, ui=vj
1, ui≠ vj
– 连续信源：用失真函数描述。d(u,v)=(u-v)2 =|u-v|
§7.2:失真的度量－4
• 平均失真度
– 单符号失真度： d（ui，vj）≥ 0，（i=1~r，j=1~s）
信源的失真矩阵可表示为：
d (u1, v1).......d (u1, vs )
最好地利用C
消息 压缩冗余度
信 源
最佳分布 无噪无损信道
2015秋.信息论.第5章限失真信源编码
常见失真函数： 1. 汉明失真： 0， if x y, d ( x, y ) 1， if x y.
2. 平方失真：
2 d ( x, y ) （y x） .
3. 绝对失真： d (x, y ) y x
图像处理中，常用平方误差和绝对误差度量失真
9
若源符号集A包含r个符号，码符号集B包含s个符号，
对于离散无记忆信道，BD { p( y j | xi ) : D D} 。
21
X
信源 试验信道
Y
信宿
p ( y | x)
*
*
*
限失真信源压缩问题就是对给定的信源，在满足保真度准则
的前提下，使信息传输率尽可能小。
从接收端的角度，在满足 D D的条件下，希望需要再现
信源信息所必须获得的平均信息量最小，即I ( X ; Y )最小。
信
X
试验信道
Y
p ( y | x)来自百度文库
信
源
宿
6
主要内容
1 失真测度 2 信息率失真函数
3 限失真信源编码定理和逆定理
4 信息率失真函数的计算
7
5.1 失真测度
8
5.1.1 失真函数
信源发出符号x，接收端收到符号y的失真，可用一个非负函数 d ( x, y )来定量描述，称为失真函数。
2. 平方失真：
2 d ( x, y ) （y x） .
3. 绝对失真： d (x, y ) y x
图像处理中，常用平方误差和绝对误差度量失真
9
若源符号集A包含r个符号，码符号集B包含s个符号，
对于离散无记忆信道，BD { p( y j | xi ) : D D} 。
21
X
信源 试验信道
Y
信宿
p ( y | x)
*
*
*
限失真信源压缩问题就是对给定的信源，在满足保真度准则
的前提下，使信息传输率尽可能小。
从接收端的角度，在满足 D D的条件下，希望需要再现
信源信息所必须获得的平均信息量最小，即I ( X ; Y )最小。
信
X
试验信道
Y
p ( y | x)来自百度文库
信
源
宿
6
主要内容
1 失真测度 2 信息率失真函数
3 限失真信源编码定理和逆定理
4 信息率失真函数的计算
7
5.1 失真测度
8
5.1.1 失真函数
信源发出符号x，接收端收到符号y的失真，可用一个非负函数 d ( x, y )来定量描述，称为失真函数。
信息论与编码8----限失真信源编码2
信息论与编码-限失真信源编码
更新两个存储器中的数值.因为在编码过程中, 没输入一个符号要进行乘法和加法运算,所以 称这种编码方法为算术编码 算术编码. 算术编码 很容易将其推广到多元信源序列.可以得到一般 信元序列的累计分布函数和区间宽度的递推公 式为
F ( sa k ) = F ( s ) + p ( s ) F (a k ) A( sa k ) = p ( sa k ) = p ( s ) p (a k )
s s s
信息论与编码-限失真信源编码
平均每个信源符号的码长为
H ( s) L H ( s) 1 ≤ < + n n n n
对无记忆信源,有
H ( s ) = nH L ( s )
因此有
L 1 H L ( s) ≤ < H L ( s) + n n
信息论与编码-限失真信源编码
可以看出,算术编码的编码效率是比较高的.当 信源符号序列很长时,n很大,平均码长接近于 信源的符号熵. 例题:设二元无记忆信源s={0,1},其p(0)=1/4, p(1)=3/4.对二元序列s=11111100做算术编码. 解:
p ( s = 11111100) = p 2 (0) p 6 (1) = (1 / 4) 2 (3 / 4) 6
1 l= =7 log p ( s )
信息论与编码-限失真信源编码
限失真信源编码定理
14
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
17
传真编码
• 文件传真的基本特性
❖ 游程长度编码是一种十分简单的压缩方法，编码／ 解码的速度也非常快，因此得到了广泛的应用。许 多图形和视频文件，如BMP，TIF及AVI等，都采 用了这种压缩方法，尤其适用于文本(文件)数据压 缩，它主要是去除文本中的冗余字符或字节中的冗 余位以达到减少数据文件所占的存储空间的目的。
10
5.4.1游程编码
❖ 如是二元信源,则对于任意小的ε＞0,每一个信源符 号的平均码长满足如下公式：
3
限失真信源编码定理
在失真限度内使信息率任意接近R(D)的编码方 法存在。然而，要使信息率小于R(D)，平均失 真一定会超过失真限度D。 对于连续平稳无记忆信源，无法进行无失真编 码，在限失真情况下，有与上述定理一样的编 码定理。
210
211
175
211
209
211
211
211
211
176
216
211
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
17
传真编码
• 文件传真的基本特性
❖ 游程长度编码是一种十分简单的压缩方法，编码／ 解码的速度也非常快，因此得到了广泛的应用。许 多图形和视频文件，如BMP，TIF及AVI等，都采 用了这种压缩方法，尤其适用于文本(文件)数据压 缩，它主要是去除文本中的冗余字符或字节中的冗 余位以达到减少数据文件所占的存储空间的目的。
10
5.4.1游程编码
❖ 如是二元信源,则对于任意小的ε＞0,每一个信源符 号的平均码长满足如下公式：
3
限失真信源编码定理
在失真限度内使信息率任意接近R(D)的编码方 法存在。然而，要使信息率小于R(D)，平均失 真一定会超过失真限度D。 对于连续平稳无记忆信源，无法进行无失真编 码，在限失真情况下，有与上述定理一样的编 码定理。
210
211
175
211
209
211
211
211
211
176
216
211
限失真编码
§7.4:限失真信源编码定理－4
• 限失真信源编码定理的证明
• 问题：
– 设有达到R(D)的试验信道p(v|u),要证明对于任意的R‘>R(D)时，存在一 种信息传输率为R’的信源编码，其平均失真度≤D+δ
• 思路：
– 产生码书 – 选取编译码方法 – 计算失真度
• 方法：
– 产生码书：在Vn空间随机抽取M=2nR’个随机序列v – 编码方法：若存在与信源序列u构成失真典型序列对的序列v(ω),则编码
§7.4:限失真信源编码定理－3
• 定理解释：
– 对于任何失真度D≥0，只要码长n足够长，总可 以找到一种编码C，使编码后每个信源符号的 信息传输率: R′=logM/n=R(D)+ε 即: R′≥R(D) 而码的平均失真度d(C)≤D。
– 在允许失真D的条件下，信源最小的、可达的 信息传输率是信源的R(D)。
0.1175 0.03454 0.009497 0.004367 0.002499
说法：随k增加，L一M算法明显比均匀量化好， 对无记忆高斯连续信源。标量压缩相当有效，矢
量量化性质同标量量化）（略）
变换编码：
它是熵压缩编码中的一种，还一种是什么 （矢量量化）
思想：（P243）
特点：多了两个限加：
预测编码
最佳量化
不带量化器的DPCM线性预测编码，属于无失真编码系 统；带有量化器的DPCM线性预测编码，属于有失真编码系 统。
第七章：信息率失真函数与限失真信源编码
U
0 U u1 u2 例： 二元信源 0.4 0.6 , D 0 P(U ) 计算 Dmax 。
§7.3:率失真函数－6
• R(D)的计算
– 求解R(D)，--求解互信息的极小值
– 互信息I(X,Y)是条件转移概率的下凸函数极小值存在
U u1 , u2 ,..., ur ，等概分布 V v1 , v2 ,..., vr ，失真函数定义
0 i j d (ui , v j ) i, j 1, 2,..., r 1 i j R(D) log r D log(r 1) H ( D)
0.2 0.4 0.6 0.8 1.0 1.2
R(D)(比特/符 号）
ω＝0.5
ω＝0.3 ω＝0.2 ω＝0.1
信源压缩的可能性越小 反之， 若信源分布越不均匀，
即信源剩余度越大，
0.1 0.2 0.3 0.4 0.5
D
R(D)就越小， 压缩的可能性就越大。
二进制对称信源的R(D)函 数
§7.3:率失真函数－10
等概信源的信息率失真函数。 信源输出符号集 ，输出符号集 为
D E[d (u, v)] p(uv)d (u, v)
u ,v
p(ui ) p(v j | ui )d (ui , v j )
i j
0 U u1 u2 例： 二元信源 0.4 0.6 , D 0 P(U ) 计算 Dmax 。
§7.3:率失真函数－6
• R(D)的计算
– 求解R(D)，--求解互信息的极小值
– 互信息I(X,Y)是条件转移概率的下凸函数极小值存在
U u1 , u2 ,..., ur ，等概分布 V v1 , v2 ,..., vr ，失真函数定义
0 i j d (ui , v j ) i, j 1, 2,..., r 1 i j R(D) log r D log(r 1) H ( D)
0.2 0.4 0.6 0.8 1.0 1.2
R(D)(比特/符 号）
ω＝0.5
ω＝0.3 ω＝0.2 ω＝0.1
信源压缩的可能性越小 反之， 若信源分布越不均匀，
即信源剩余度越大，
0.1 0.2 0.3 0.4 0.5
D
R(D)就越小， 压缩的可能性就越大。
二进制对称信源的R(D)函 数
§7.3:率失真函数－10
等概信源的信息率失真函数。 信源输出符号集 ，输出符号集 为
D E[d (u, v)] p(uv)d (u, v)
u ,v
p(ui ) p(v j | ui )d (ui , v j )
i j
信息论基础 第5章 限失真信源编码和率失真函数
BD p(y / x) : D D
失真度和平均失真度
例： 求汉明失真的平均失真度
Ed(X , X ) p(X X )d(X , X ) p(X X )d(X , X )
=p( X X ) 1 p( X X ) 0
=p( X X )
在通信中代表信源值与估计值 不等的概率，汉明失真也称 误差概率失真 把保真度准则作为信道转移概率的约束，求信息率R=I(X;Y) 的最小值有实用意义
Y N共有mN个不同符号j。假设信源发送信源序列为 i (xi1, xi2 ,L , xiN ),而输出序列为j ( y j1, y j2 ,L , y jN ), N长的
信源符号序列失真度为
N
d (i, j) d (xik , y jk ) k 1
失真度和平均失真度
例：假设某离散信源输出的符号序列为X 2 ( X1, X 2 ),
p( y / x) p( y)
失真度函数变为：
nm
D
P(xi )P( y j / xi )d (xi , y j )
i1 j1
nm
P(xi )P( y j )d (xi , y j )
i1 j1
信息率失真函数及其性质
所以，Dmax就是在R(D)=0的情况下，求
nm
Dmax
min p( y j ) i1
p( y j )是任选的，只需满足非负性和归一性。若Ds是所有Dj
失真度和平均失真度
例： 求汉明失真的平均失真度
Ed(X , X ) p(X X )d(X , X ) p(X X )d(X , X )
=p( X X ) 1 p( X X ) 0
=p( X X )
在通信中代表信源值与估计值 不等的概率，汉明失真也称 误差概率失真 把保真度准则作为信道转移概率的约束，求信息率R=I(X;Y) 的最小值有实用意义
Y N共有mN个不同符号j。假设信源发送信源序列为 i (xi1, xi2 ,L , xiN ),而输出序列为j ( y j1, y j2 ,L , y jN ), N长的
信源符号序列失真度为
N
d (i, j) d (xik , y jk ) k 1
失真度和平均失真度
例：假设某离散信源输出的符号序列为X 2 ( X1, X 2 ),
p( y / x) p( y)
失真度函数变为：
nm
D
P(xi )P( y j / xi )d (xi , y j )
i1 j1
nm
P(xi )P( y j )d (xi , y j )
i1 j1
信息率失真函数及其性质
所以，Dmax就是在R(D)=0的情况下，求
nm
Dmax
min p( y j ) i1
p( y j )是任选的，只需满足非负性和归一性。若Ds是所有Dj
第七章：信息率失真函数与限失真信源编码
消息
信
源
编
码
信 道
信道
编 码
R< C; PE=ε,
限：信息传输率最大值C 每个信道符号平均能够携带的最大信息量
§7.1:概述－3
• 存在问题
– 对于连续和模拟信源H(S)=∞
• 信道传输率R=H(S)/n（比特/码符号）
R= ∞
• 平均码长l=Hr(S)=H(S)/logr,
l= ∞,
–实际上，因为B有限，C一定有限，R<C
Leabharlann Baidu
最好地利用C
消息 压缩冗余度
信 源
最佳分布 无噪无损信道
编 码
R=C;PE=0,
限：平均码长最小值Hr(S) 每个码符号平均能够携带的最大信息量
§7.1:概述－2
• 有噪信道编码定理回顾：
– 只要R<C，总可以找到一种信道编码方法，使在信道 上能够以尽可能小的PE传输信息。
增加冗余度，最好地匹配信 道特性
对于同一个D：
R(D)(比特/符 号）
1.0
信源分布越均匀， R(D)就越大，
0.8
ω＝0.5 ω＝0.3
信源压缩的可能性越小
0.6
ω＝0.2
反之，
ω＝0.1
0.4
若信源分布越不均匀，
0.2
即信源剩余度越大，
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
{"code":"InvalidRange","message":"The requested range cannot be satisfied.","requestId":"830e4e7d-9036-ቤተ መጻሕፍቲ ባይዱbd0-8644-9bdfb2e3cc96"}