信息率失真理论
合集下载
第4章 信息率失真函数
原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
率失真理论-中国科学技术大学
第十章率失真理论由实际生活经验我们知道，一般人们并不要求完全无失真地恢复消息。
对人的心理视觉研究表明，人们在观察图像时主要是寻找某些比较明显的目标特征，而不是定量地分析图像中每个像素的亮度，或者至少不是对每个像素都等同地分析。
例如观看段视频或观察幅图像，同地分析。
例如观看一段视频或观察一幅图像，人们可能会关注其主要情节，对视频或图像中的细节并不是那么注意，此时便允许视频或图像有一定程度的失真。
《信息论基础》中国科学技术大学刘斌234第十章率失真理论描述一个任意的实数需要无穷比特。
对连续随机变量的有限表示不可能完美。
对连续随机变量的有限表示不可能完美失真度量：随机变量和它的表示之间的距离的度量。
度量率失真理论的基本问题：对于一个给定的信源分布与失真度量在特定的码率下可达到的分布与失真度量，在特定的码率下，可达到的最小期望失真是多少？率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
《信息论基础》中国科学技术大学刘斌235量化X 例的表示（再生点）：R 比特失真度量：中国科学技术大学刘斌236《信息论基础》量化Lloyd算法：量化的迭代算法✓基于某个再生点集合，找到最优的再生区域基于某个再生点集合找到最优的再生区域集（在失真度量下的最邻近的区域）✓确定这些区域的相应最优再生点n个独立同分布的随机变量集合✓可用nR比特表示使用一个✓使用个nR比特的序列来表示联合的n元随机变量，要优于使用n个R比特的序列来分别表示n个随机变量。
个随机变量《信息论基础》中国科学技术大学刘斌237率失真理论模型信源：编码：编码译码：《信息论基础》中国科学技术大学刘斌238失真度量失真函数(distortion function)或失真度量(distortion measure)：信源字母表与再生字母表的乘积空间到非负实数集的映射✓汉明（误差概率）失真：✓平方误差失真：称失真度量是有界的：失真的最大值有限失真的最大值有限《信息论基础》中国科学技术大学刘斌239失真度量失真函数是人为地规定的，给出其规定时应该考虑解决问题的需要以及失真可能引起的损失、风险和主观上感觉的差别等因素。
率失真理论及经典的码率控制算法
率失真理论及经典的码率控制算法一、视频编码的率失真思想率失真理论研究的是限失真编码问题：能使限失真条件下比特数最小的编码为最佳编码。
设信源为},...,,{21m m a a a A =，经过编码后，信宿为},...,,{21n n b b b B =，定义信源、信宿概率空间分别为)}(),...,(),({Q )}(),...,(),({2121n m b Q b Q b Q a P a P a P P 、。
定义平均失真函数)(Q D 如下： ∑∑∑∑======m j j k j nk k j m j k j n k k j a b Q a P b a d b a P b a d Q D 1111)|()(),(),(),()(其中，),(k j b a d 为失真度，度量准则可是均方误差MSE 、绝对差分和SAD 或差分平方和SSD 等。
若信源概率分布)(j a P 已知，则平均失真仅仅取决于条件概率)|(j k a b Q ，从而必然存在这样一个条件概率)|(j k a b Q 使得D Q D ≤)(，即：))((D Q D Q Q D ≤=即D Q 为保证平均失真)(Q D 在允许范围D 内的条件概率集合。
进一步，定义),(Y X I 为接收端获取的平均信息量：)()|(log)|()(),(1k j k m j j k j b Q a b Q a b Q a P Y X I ∑==同样，在给定的)(j a P 前提下，),(Y X I 的大小也只取决于。
现在率失真函数)(D R 定义为在D Q 范围内寻找最起码的信息量，即：),()(min Y X I D R DQ Q ∈=该公式的含义：在允许的失真度为D 的条件下，信源编码给出的平均信息量的下界，也就是数据压缩的极限数码率。
当数码率R 小于率失真函数)(D R 时，无论采用什么编码方式，其平均失真必大于D 。
视频压缩是典型的限失真编码，率失真理论同样适应于视频编码。
信息率失真函数的定
信息率失真函数的定
义
所谓信息率失真，是指在数据传输过程中造成的原本可以正常识别的信息被破坏而无法被正确识别的现象。
它通常由某种外部的影响，如噪声、干扰或错误编码等因素造成。
具体来说，信息率失真函数是一种度量从输入到输出信号中信息率“差异”的函数。
它定义为信号输出中比原始信号（输入）中丢失的信息的分数。
可以用以下公式来表示信息率失真：
I_R=1-D_R
其中，I_R是信息率失真，D_R是失真率，它定义为输出信号（受失真影响的信号）比输入信号（未受失真影响信号）失真的部分所占的比例，单位是%。
第4章 信息率失真理论.ppt
表示
DD
4、实验信道
定义
满足保真度准则的所有数据处理信道
信息率失真理论
表示
离散信源的实验信道 PD (Xˆ / X) {P(Xˆ / X) : D D} 全部n×n个实验信道转移概率——实验信道矩阵
PD (xˆ 1 / x1) PD (xˆ 1 / x 2 ) ... PD (xˆ 1 / x n )
信息率失真理论
P(x i ) log P(xˆ j ) P(x i ) log PD (xˆ j / x i ) SP(x i )d(x i , xˆ j ) i 0 i 1,2,, n j 1,2,, n
log
PD (xˆ j / x i P(xˆ j )
)
Sd(xi
i1 j1
n
SD P(x i ) log i i1
信息率失真理论
2、二进制信源的信息率失真函数
二进制信源P(XX) xp1 1x2p
其中p 1 2
失真矩阵[D]
0 1
1 0
2
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的 i
0
i 1,2,, n j 1,2,, n
信息率失真理论
PD (xˆ j / x i ) P(xˆ j )
2Sd (xi ,xˆ j ) i
i 1,2,, n
j 1,2,, n
PD (xˆ j / x i ) iP(xˆ j )2Sd(xi ,xˆ j) i 1,2,, n j 1,2,, n
PD
(Xˆ
/
X)
PD
(xˆ 2 / ...
DD
4、实验信道
定义
满足保真度准则的所有数据处理信道
信息率失真理论
表示
离散信源的实验信道 PD (Xˆ / X) {P(Xˆ / X) : D D} 全部n×n个实验信道转移概率——实验信道矩阵
PD (xˆ 1 / x1) PD (xˆ 1 / x 2 ) ... PD (xˆ 1 / x n )
信息率失真理论
P(x i ) log P(xˆ j ) P(x i ) log PD (xˆ j / x i ) SP(x i )d(x i , xˆ j ) i 0 i 1,2,, n j 1,2,, n
log
PD (xˆ j / x i P(xˆ j )
)
Sd(xi
i1 j1
n
SD P(x i ) log i i1
信息率失真理论
2、二进制信源的信息率失真函数
二进制信源P(XX) xp1 1x2p
其中p 1 2
失真矩阵[D]
0 1
1 0
2
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的 i
0
i 1,2,, n j 1,2,, n
信息率失真理论
PD (xˆ j / x i ) P(xˆ j )
2Sd (xi ,xˆ j ) i
i 1,2,, n
j 1,2,, n
PD (xˆ j / x i ) iP(xˆ j )2Sd(xi ,xˆ j) i 1,2,, n j 1,2,, n
PD
(Xˆ
/
X)
PD
(xˆ 2 / ...
《信息论》(电子科大)第七章_信息率失真理论
电子科技大学
称全部n 称全部n×m个失真度组成的矩阵为失真 矩阵： 矩阵：
d(x1, y1 ) d(x1, y2 ) d(x , y ) d(x , y ) 2 2 2 1 [D] = ... ... d(xn , y1 ) d(xn , y2 ) ... d(x1, ym ) ... d(x2 , ym ) ... ... ... d(xn , ym )
电子科技大学
i = 1,2,L,n, j = 1,2,L,m
µi ln − Sd(xi , yj ) − =0 p(yj ) p(xi ) p(yj / xi ) i = 1,2,L,n, j = 1,2,L,m
µi 令ln λi = p(xi )
ln
p(yj / xi ) p(yj )
电子科技大学
∂ {−S[∑∑p(xk )p(yl / xk )d(xk , yl ) − D]} ∂p(yj / xi ) k =1 l =1
n m
= −Sp(xi )d(xi , yj )
p(yj / xi ) ∂Φi ∴ = p(xi )ln ∂p(yj / xi ) p(yj ) − Sp(xi )d(xi , yj ) − µi = 0
电子科技大学
d(xi , yj ) = (yj − xi )
2
称为平方误差失真度。 称为平方误差失真度。
(2)平均失真度 (2)平均失真度
D = E[d(xi , yj )] = ∑∑p(xi )p(yi / xi )d(xi , yj )
i =1 j=1 n m
电子科技大学
(3)保真度准则 (3)保真度准则 如果给定的允许失真为D 如果给定的允许失真为D 为保真度准则。 则称 p(yj / xi ) = p(yj )
信息论第七讲率失真函数
率失真函数R(D)是连续单调函数
2019/4/4
15
4.4 率失真函数
例:求率失真函数
已知信源{x1=0，x2=1}，概率分布为（δ，1-δ),δ<0.5，信道输出 符号Y = {y1=0，y2=1}，失真测度为汉明（Hamming）失真测 度，求率失真函数R(D)。 (1)求出R(D)的定义域 Dmin = 0· δ+0· (1-δ) = 0 D max = min {1-δ, δ}=δ
2
由上面方程组解出，
(1 D) p( y1 ) Dp( y2 ) 1 Dp( y1 ) (1 D) p( y2 )
D
1 2D
p( y1 )
1 D p( y2 ) 1 2D
由P(X),P(Y)和P(X/Y)就可以求出相应的P(Y/X).
以一个特例说明存在这样的信道转移概率矩阵[P].
R D min I X ;Y : D D
p( y / x )
2019/4/4
12
4.4 率失真函数
(4)率失真函数的定义域
R(D)的值域 率失真函数的值域为 0 R（D） H（X）
R(D)
H（X）
Dma D的最小值Dmin 0 Dmin x 在给定的失真度矩阵中，对每一个xi，找一个最 小的 dij，然后对所有的i =1, 2, …,n 求统计平均值， 就是D的最小值，即
对于汉明失真度，平均失真度为：
2 2 i 1 j 1
0 1 d ij 1 0
(信道误码率）
D p( xi , y j )d i j p(0,1) p(1, 0) Pe
可知：0≤Pe≤D ≤δ 在R(D)的定义中，要求满足平均失真度小于等于D， 取等号则：
信息论第四章失真率函数
【例4.8】 信源含两个消息{x1=0，x2=1},其概率分布为 失真测度 p为(XX汉)明 （x1Ha1mx2min,gδ）<失0.真5，测信度道，输求出率符失号真Y函=数{yR1=(D0，)。y2=1}，
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D （y1）+（1-D） (y2)
由上面方程组解出，
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D （y1）+（1-D） (y2)
由上面方程组解出，
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
信息率失真理论及其应用 11.1 (2)
11
“信息论与编码”课件
信息率失真函数与信息价值
解 （ 1）
Dmax
V=Dmax – 0 = a /5 元 R(D1) = -0.8 lb0.8 – 0.2 lb0.2 0.722
v V a/5 0.1444 a 元/比特 R( D1 ) 0.722
好 坏
2 4a a a min p (ai )dij min , j 5 5 5 i 1
“信息论与编码”课件
4.3信息率失真函数与信息价值
信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题，也被应用于质量检测和科学管理中。 例4.6某印刷电路板（PCB）加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元，但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为95%，试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意，可将PCB产品作为一信源，且有 信源空间： 好（合格） 废（废品） P(好)=0.98 P(废)=0.02
4
“信息论与编码”课件
信息率失真函数与信息价值
情况3 正确无误地判断合格品和废品——完美的检验 相当于无噪信道情况，信道矩阵 好 废 好 1 0
平均失真度为 D 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵， 有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明，如果从每块PCB板上获取0.142比特的信息 量，就可以避免一切细小的损失。 可能造成的最大损失为 98元/块，所以0.142比特信息量 的最大价值为98元，则每一比特信息的最大价值为
“信息论与编码”课件
信息率失真函数与信息价值
解 （ 1）
Dmax
V=Dmax – 0 = a /5 元 R(D1) = -0.8 lb0.8 – 0.2 lb0.2 0.722
v V a/5 0.1444 a 元/比特 R( D1 ) 0.722
好 坏
2 4a a a min p (ai )dij min , j 5 5 5 i 1
“信息论与编码”课件
4.3信息率失真函数与信息价值
信息率失真理论不仅被应用于信息传输来解决信源的压 缩编码问题，也被应用于质量检测和科学管理中。 例4.6某印刷电路板（PCB）加工厂的产品合格率约为 98%。一块好的PCB板出厂价约为100元，但如果客户 发现一块不合格的板子可向厂方索赔10 000元。已知厂 方检验员检验的正确率约为95%，试用信息率失真理论 来分析检验的作用并作比较。假设合格品出厂、废品报 废都不造成损失。 解 根据题意，可将PCB产品作为一信源，且有 信源空间： 好（合格） 废（废品） P(好)=0.98 P(废)=0.02
4
“信息论与编码”课件
信息率失真函数与信息价值
情况3 正确无误地判断合格品和废品——完美的检验 相当于无噪信道情况，信道矩阵 好 废 好 1 0
平均失真度为 D 0 即这种情况不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵， 有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142 比特/块 该式说明，如果从每块PCB板上获取0.142比特的信息 量，就可以避免一切细小的损失。 可能造成的最大损失为 98元/块，所以0.142比特信息量 的最大价值为98元，则每一比特信息的最大价值为
信息论基础——信息率失真函数
1/ 2 1/ 4
1/ 1/
2 4
0 3/8
1/8 3 / 16
31//186
这儿不是矩阵乘法, 而是输入概率第一行分别乘以信道矩阵
第一行中的元素。第二行乘以第二行。
有了联合概率，求统计平均：
D 0 0 1/ 811/ 8 0.5 3 / 81 3 /16 0 3 /16 0.5 23/ 32
写法不同而已。
这时, 信息从0变成1，失真为0，即传输过程中不失真。
失真函数本身没有绝对意义，其选择必须与实际的物理内容相符合。 比如确定信息被传成了等概率分布，已经失真的什么信息量都没了， 但依然可以把失真矩阵元全部定义为0。但是这个定义与实际不符合， 没有任何价值。
失真函数的绝对大小也没有意义，一个失真函数直接乘2也可以作为失真 函数。失真量两倍了，但是对物理实际的描述程度却没有任何改变。
在合理定义的失真函数下，对同一个信道： 信道的信息传输率较大，则平均失真较小。 而信息传输率较小，平均失真较大。
在实际情况中：允许有一定失真，平均失真不能超过D, 那么这个时候信息传输率就有个与D最小值R m in , 如果R小于 R m in 则失真就会超过限制D。显然这个R m in 与信道矩阵有关。
信道矩阵： 00
1 0
0 1
，失真矩阵： 10
1 0
1 1
1 0 0
1 1 0
失真函数具有一定任意性，一个信源传输后，定义不同的失真函数 其失真量也不一样。
信道矩阵为
0 0
1 0
0 1
1 0 0
重新定义失真矩阵为： 11
0 1
1 0
0 1 1
这个定义与分别给出所有矩阵元，
一次用函数给出所有矩阵元，d (x, y) (x 1 y)一样。
4.1 有关信息率失真函数的基本概念
若一个信源的所有符号压缩前后的失真大小都为α， 则可写作对角线上为0，其余为α。则该单符号离散 信源进行压缩传输的失真矩阵可以写作。
0 D 0 nm
2013-10-18 12
失真矩阵
若α=1，则失真函数称为汉明失真函数，失真矩阵称 为汉明失真矩阵，变为
的失真，而对于信源整体压缩时，引起的失真测 度需要求平均失真。 平均失真：平均失真为失真函数的数学期望。可 以表示信源压缩传输时平均每个符号所引起的失 真的大小，是从总体上对整个信源压缩失真情况 的描述。 平均失真的特性：
它是信源统计特性，信道统计特性和失真度 的函数，当以上三个量 p( xi ), p( y j / xi )和d ( xi , y j ) 给定后，平均失真度就不再是一个随机量了， 而变成一个确定的量。 人们所允许的压缩失真都是平均意义上的失 真。
则N次扩展信源的失真函数可定义为
d N (ai , b j ) d N (( xi1 xi 2 xiN ), ( y j1 y j 2 y jN ))
无记忆
d ( xi1，y j1 ) d ( xi 2，y j 2 ) d ( xiN，y jN )
d ( xik，y jk )
k 1
2013-10-18 15
N
连续信源的失真函数
记作：d(x,y)
例：某一连续信源进行压缩传输时，采用的失真压缩的函数 为均方式真，则其失真函数可写作： d(x,y)=(y-x)2
2013-10-18
16
平均失真
d ( xi , y j )只能表示两个特定的具体符号xi 和y j之间
[理学]信息论与编码原理_第4章_信息率失真函数
![[理学]信息论与编码原理_第4章_信息率失真函数](https://img.taocdn.com/s3/m/1e507070a2161479171128d5.png)
概
念 实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接 收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留 性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本 信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念 信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定 性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带 压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引 言
4.1 (3) 信息率失真理论
基
本 信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本 平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的 描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和 失真度 d(xi,yj) 的函数 。
h
第12页
念 实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接 收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留 性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本 信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念 信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定 性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带 压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引 言
4.1 (3) 信息率失真理论
基
本 信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本 平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的 描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和 失真度 d(xi,yj) 的函数 。
h
第12页
率失真理论
2 / 8
我们先讨论信息率失真函数的性质， 计算一个简单的例子， 然后证明这个函数总是可达的， 即总是存在失真为 D 而码率为 R ( D ) 的率失真码。
I
ˆ ) ，则 5. 定理 4.1：对于 i.i.d 的信源 X，如果其分布为 p(x)，且其有界失真度量函数为 d ( x, x
率失真函数与对应的信息率失真函数总是相等的。即：
R( D) = R I ( D) =
ˆ | x ): p( x
( x ,x )
ˆ) I(X ; X min ˆ| x ) d ( x , x ˆ )≤ D p( x) p( x ∑ ˆ
6.2 计算 1. 一个简单例子：考虑一个二元 Bernulli 信源，其输出符号 1 的概率为 p，失真度量为汉明 失真，则：
(b)是因为增加条件会降低熵 (c)是因为对于汉明失真度量函数：
3 / 8
ˆ ) = Pr( X ≠ X ˆ )d ( X , X ˆ ) + Pr( X = X ˆ )d ( X , X ˆ) Ed ( X , X ˆ )i1 + Pr( X = X ˆ ) i0 = Pr( X ≠ X ˆ) = Pr( X ≠ X ≤D
Dmax 也可以通过另一种方法来进行定义：满足 R ( D) = 0 的所有 D 中的最小值。
3. 率失真函数 R ( D ) 的性质 (1) R ( D ) 是 D 的非增函数 (2) R ( D ) 是凸函数 (3) 当 D ≥ Dmax ， R ( D ) = 0
ˆ = 1 表示 x (1) 我们首先寻找率失真函数的一个下界：注意到对于 Bernolli 信源， x ⊕ x
ˆ ，类似的， x ⊕ x ˆ 。 ˆ 不相等，换句话说， x ⊕ x ˆ = 1 等价于 X ≠ X ˆ = 0 等价于 X = X 与x
我们先讨论信息率失真函数的性质， 计算一个简单的例子， 然后证明这个函数总是可达的， 即总是存在失真为 D 而码率为 R ( D ) 的率失真码。
I
ˆ ) ，则 5. 定理 4.1：对于 i.i.d 的信源 X，如果其分布为 p(x)，且其有界失真度量函数为 d ( x, x
率失真函数与对应的信息率失真函数总是相等的。即：
R( D) = R I ( D) =
ˆ | x ): p( x
( x ,x )
ˆ) I(X ; X min ˆ| x ) d ( x , x ˆ )≤ D p( x) p( x ∑ ˆ
6.2 计算 1. 一个简单例子：考虑一个二元 Bernulli 信源，其输出符号 1 的概率为 p，失真度量为汉明 失真，则：
(b)是因为增加条件会降低熵 (c)是因为对于汉明失真度量函数：
3 / 8
ˆ ) = Pr( X ≠ X ˆ )d ( X , X ˆ ) + Pr( X = X ˆ )d ( X , X ˆ) Ed ( X , X ˆ )i1 + Pr( X = X ˆ ) i0 = Pr( X ≠ X ˆ) = Pr( X ≠ X ≤D
Dmax 也可以通过另一种方法来进行定义：满足 R ( D) = 0 的所有 D 中的最小值。
3. 率失真函数 R ( D ) 的性质 (1) R ( D ) 是 D 的非增函数 (2) R ( D ) 是凸函数 (3) 当 D ≥ Dmax ， R ( D ) = 0
ˆ = 1 表示 x (1) 我们首先寻找率失真函数的一个下界：注意到对于 Bernolli 信源， x ⊕ x
ˆ ，类似的， x ⊕ x ˆ 。 ˆ 不相等，换句话说， x ⊕ x ˆ = 1 等价于 X ≠ X ˆ = 0 等价于 X = X 与x
第10章 率失真理论
率失真理论
n ∂ ˆ ˆ ˆ [−∑P(xl ) lnP(xl )] = −[P(xi ) ln P(x j ) + P(xi )] ˆ ∂P(x j / xi ) l=1
n n ∂ ˆ ˆ [∑∑P(xk )P(xl / xk ) lnP(xl / xk )] ˆ ∂P(x j / xi ) k=1 l=1
率失真理论
③保真度准则 如果给定的允许失真为D
称D≤ D为 真 准 保 度 则
2、测试信道 定义
信源概率分布P(X)或概率密度函数p(x)不变时调整 信道，满足保真度准则的所有信道为测试信道， ˆ ˆ 用 PD (X / X)或pD (x / x) 表示
率失真理论
表示
ˆ ˆ 单符号离散测试信道 PD (X/ X) = {P(X/ X) : D ≤ D}
③对D具有单调递减性 由R(D)对D具有的非负性、严格下凸性及R(Dmax) =0即可说明
率失真理论
当Dmin=0时，率失真函数R(D)的大致曲线为 R(D) H(X)
Dmin
Dmax D
率失真理论
3、率失真函数的表达式
单符号离散信源的率失真函数可以通过平均互信 息在满足保真度准则前提下信源固定时对信道转 移概率分布的条件极值来求取 信道转移概率分布的n个约束条件
率失真理论
ˆ P(x j / xi ) ∂Φi ˆ = P(xi ) ln −SP(xi )d(xi , x j ) −µi = 0 ˆ ˆ ∂P(x j / xi ) P(x j ) i =1,2,L, n j =1,2,L, n
ˆ P(x j / xi ) µi ˆ ln −Sd(xi , xj ) − =0 ˆ P(x j ) P(xi ) i =1,2,L, n j =1,2,L, n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i1 j1
信息率失真理论
(5)R(D)
n i1
n
P(xi )PD (xˆ j / xi ) log
j1
PD (xˆ j / xi ) P(xˆ j )
n i1
n
P(xi )PD (xˆ j / xi ) log
j1
i P(xˆ j )2Sd(xi ,xˆ j ) P(xˆ j )
nn
log[ i 2Sd(xi ,xˆ j) ]
0
i 1,2, ,n j 1,2, , n
信息率失真理论
PD (xˆ j / xi ) P(xˆ j )
2Sd(xi ,xˆ j ) i
i 1,2, , n
j 1,2, , n
PD (xˆ j / xi ) iP(xˆ j )2Sd(xi,xˆ j) i 1,2, , n j 1,2, , n
PD
(xˆ 1
/
x1)
p (1 p)2S p(1 22S )
PD (xˆ 2
/
x1)
(1 p) p(1
p2S 22S )
2S
PD
(xˆ 1
/
x2
)
p (1 p)2S (1 p)(1 22S
)
2S
PD
(xˆ
2
/
x
2
)
(1 p) p2S (1 p)(1 22S
)
i 1,2
j 1,2
信息率失真理论
4 44 48 88 8 0.267(bit )
信息率失真理论
71
PD (xˆ 1
/
x1)
(1 D)(p D) p(1 2D)
8 1
8 3
7 12
44
15
PD (xˆ 2
/ x1)
D(1 p D) p(1 2D)
8 1
8 3
5 12
44
11
PD (xˆ 1
/ x2)
D(p D) (1 p)(1 2D)
信息率失真理论
表示
R(D) min I(X;Xˆ ) PD (Xˆ / X)
1、信息率失真函数
实验信道转移概率分布的n个约束条件
n
PD (xˆ j / xi ) 1 i 1,2, , n
j1
保真度准则的约束条件
nn
D
P(xi xˆ j)d(xi , xˆ j ) D
i1 j1
信息率失真理论
乘P(xi)对i求和
n
1 i P(x i )2Sd(xi ,xˆ j) i1
j 1,2, , n
对j求和
n
1 i P(xˆ j )2Sd(xi ,xˆ j) j1
i 1,2, , n
信息率失真理论
信息率失真函数
n
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的i
j 1,2, , n
8 3
8 3
1 36
44
信息率失真理论
75
PD (xˆ 2
/ x2)
(1 D)(1 p D) (1 p)(1 2D)
8 3
8 3
35 36
44
信息率失真理论
3、等概率信源的信息率失真函数 等概率信源
0 1 1
失真矩阵[D]
1
0
1
1
1
0
信息率失真理论
n
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的i i1
22
(4)由含S的D D
P(xi )PD (xˆ j/ xi )d(xi , xˆ j )求S
i1 j1
D
p
(1 p) p2S p(1 22S )
2S
(1
p)
p (1 p)2S (1 p)(1 22S )
2S
(1 2S ) 2S 2S
1 22S
1 2S
2S D S log D
1 i
P(xˆ 1 )2S
P(xˆ 2 )2S
P(xˆ n )
1 i
i 1,2, , n
{S[
)
k 1
n l1
P(x k
)PD
(xˆ l
/
xk
)d(x k
, xˆ l )
D]}
SP(xi )d(xi , xˆ j )
PD
(xˆ j
/
x
i
)
{ i [
n l1
PD
(xˆ
l
/
xi
)
1]}
i
i 1,2, ,n j 1,2, ,n
信息率失真理论
P(xi ) log P(xˆ j ) P(xi ) log PD (xˆ j / xi ) SP(xi )d(xi , xˆ j ) i 0 i 1,2, , n j 1,2, , n
表示
➢汉明失真度——常用于离散信源
d(xi
,
xˆ
j
)
0 1
i j i j
信息率失真理论
全部n×n个失真度——失真矩阵
d(x1, xˆ1) d(x1, xˆ 2) ... d(x1, xˆ n )
[D] d(x2, xˆ1) d(x2, xˆ 2) ... d(x2, xˆ n )
...
... ... ...
信息率失真理论
第4章 信息率失真理论
教学内容和要求 ➢理解保真度准则，理解实验信道 ➢掌握二进制信源、等概率信源的信息率失真函 数 ➢了解N次扩展信源的信息率失真函数 ➢掌握高斯信源的信息率失真函数
信息率失真理论
一、保真度准则和实验信道
1、失真度
定义
单符号信源发出的消息x i或x与单符号等效信源收到的 消息xˆ j或xˆ间的非负函数d(xi , xˆ j )或d(x, xˆ )
P(x
i
)
log
P(xˆ
j
)
log
eP(x
i
)
信息率失真理论
PD (xˆ j
/
n
[ x i ) k1
n l1
P(x k )PD (xˆ l
/
x k ) logPD (xˆ l
/
xk
)]
P(xi ) log PD (xˆ j / xi ) P(xi ) log e
PD
(xˆ j
/
xi
n
P(x i )PD (xˆ j / x i ) log i
i1 j1
nn
P(x i )PD (xˆ j / xi )Sd(x i , xˆ j )
i1 j1
n
SD P(xi ) log i i1
信息率失真理论
2、二进制信源的信息率失真函数
二进制信源P(XX) xp1 1x2p
其中p 1 2
l1
PD
(xˆ j
/
xi
n
{ ) k1
P(xˆ l ) log
P(xˆ l
)
nn
P(x k )PD (xˆ l / x k ) logPD (xˆ l / x k )]
k1 l1
信息率失真理论
nn
S[ P(x k )PD (xˆ l / x k )d(x k , xˆ l ) D] k1 l1
1
1 n
2
1 2S n
n
1 2S n
1
1
1 n
2S
2
1 n
2S
n
1 n
1
i
1
n (n 1)2S
i 1,2, , n
j 1,2, , n
信息率失真理论
n
(2)由 P(xˆ j )2Sd(xi ,xˆ j) 1/ i求含S的P(xˆ j )
j1
P(xˆ 1) P(xˆ 2 )2S
P(xˆ n )2S
定义
失真度的数学期望
信息率失真理论
表示
nn
D E[d(xi, xˆ j)]
P(xixˆ j)d(xi , xˆ j)
i1 j1
bb
D E[d(x, xˆ )] a a p(xxˆ )d(x, xˆ )dxdxˆ
3、保真度准则
定义
平均失真度不大于给定的允许失真D
信息率失真理论
表示
DD
4、实验信道
定义
满足保真度准则的所有数据处理信道
信息率失真理论
表示
离散信源的实验信道 PD (Xˆ / X) {P(Xˆ / X) : D D} 全部n×n个实验信道转移概率——实验信道矩阵
PD (xˆ 1 / x1) PD (xˆ n )
PD
(Xˆ
/
1 R(D) 0.811 p=0.5
p=0.25
0
0.25
0.5 D
信息率失真理论
例1
二进制信源P(XX)
0 1/ 4
31/ 4失真矩阵[D]
0 1
1 0
求允许失真D=1/8时的信息率失真函数R(D)及达到 R(D)的实验信道
D=1/8时 R(D) H(p) H(D) 1 log 1 3 log 3 1 log 1 7 log 7
失真矩阵[D]
0 1
1 0
2
(1)由 i P(x i )2Sd(xi ,xˆ j) 1求含S的i
j 1,2
i1
1p 2 (1 p)2S 1
1
1 p(1
2S )
1p2S 2 (1 p) 1
2
1 (1 p)(1
2S )
信息率失真理论
2
(2)由 P(xˆ j )2Sd(xi ,xˆ j) 1/ i求含S的P(xˆ j ) j1