信息率失真函数解读
合集下载
信息率失真函数
平均失真 ：
描述某个信源在某一试验信道传输下的 失真大小,它对信源和信道进行了统计平 均,是从总体上描述整个系统的失真
8
3、L长序列编码平均失真
❖ 如X编长l…果 码 符假 后 号Xn,定 序}输,其离 列出中散y符j=L信[号长y源j1序符y输j2列号…入Y序y=符j列L{Y]号x1iY序=2[…列xi1YXxil＝2……{YXxmi1L}X],,其经2…中信L源
❖ 离散无记忆信源
13
例2 已知编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 求互信息
14
若编码器输入的概率分布不变仍为p(x)={0.5 ,0.5} 但信道矩阵 求互信息
• 可见当p(x)一定时,I (X,Y)随信道矩阵p(yj|xi)而变。 • 因为p(x)分布一定时,信道受干扰不同所能传递的
信道容量：
信息率失真函数：
16
信道容量和信息率失真函数的区别
2、反映的事物不同
• 信道容量：
– 假定信道固定的前提下,选择一种试验信源使信息 传输率最大。
– 它所反映的是信道传输信息的能力,是信道可靠传 送的最大信息传输率。
• 一旦找到了信道容量,它就与信源不再有关,而是信
道特性的参量,随信道特性的变化而变化
6
4.11、.2单平符号均离失散信真源的平均失真
❖ x是i和随y机j都变是量随,有机限变失量真,所时以的失信真源函（数总d(体xi,）yj)失也 真值只能用数学期望表示
❖ 将失真函数的数学期望称为平均失真：
7
2、两者的区别平均失真
失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的 大小
信息量是不同的。 • 当p(x)一定时,I (X,Y)是关于p(yj|xi)的下凸函数。 • 因此当改变p(yj|xi)时,I (X,Y)有一极小值。
描述某个信源在某一试验信道传输下的 失真大小,它对信源和信道进行了统计平 均,是从总体上描述整个系统的失真
8
3、L长序列编码平均失真
❖ 如X编长l…果 码 符假 后 号Xn,定 序}输,其离 列出中散y符j=L信[号长y源j1序符y输j2列号…入Y序y=符j列L{Y]号x1iY序=2[…列xi1YXxil＝2……{YXxmi1L}X],,其经2…中信L源
❖ 离散无记忆信源
13
例2 已知编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 求互信息
14
若编码器输入的概率分布不变仍为p(x)={0.5 ,0.5} 但信道矩阵 求互信息
• 可见当p(x)一定时,I (X,Y)随信道矩阵p(yj|xi)而变。 • 因为p(x)分布一定时,信道受干扰不同所能传递的
信道容量：
信息率失真函数：
16
信道容量和信息率失真函数的区别
2、反映的事物不同
• 信道容量：
– 假定信道固定的前提下,选择一种试验信源使信息 传输率最大。
– 它所反映的是信道传输信息的能力,是信道可靠传 送的最大信息传输率。
• 一旦找到了信道容量,它就与信源不再有关,而是信
道特性的参量,随信道特性的变化而变化
6
4.11、.2单平符号均离失散信真源的平均失真
❖ x是i和随y机j都变是量随,有机限变失量真,所时以的失信真源函（数总d(体xi,）yj)失也 真值只能用数学期望表示
❖ 将失真函数的数学期望称为平均失真：
7
2、两者的区别平均失真
失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的 大小
信息量是不同的。 • 当p(x)一定时,I (X,Y)是关于p(yj|xi)的下凸函数。 • 因此当改变p(yj|xi)时,I (X,Y)有一极小值。
第4章 信息率失真函数
原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
信息率失真函数的定
信息率失真函数的定
义
所谓信息率失真，是指在数据传输过程中造成的原本可以正常识别的信息被破坏而无法被正确识别的现象。
它通常由某种外部的影响，如噪声、干扰或错误编码等因素造成。
具体来说，信息率失真函数是一种度量从输入到输出信号中信息率“差异”的函数。
它定义为信号输出中比原始信号（输入）中丢失的信息的分数。
可以用以下公式来表示信息率失真：
I_R=1-D_R
其中，I_R是信息率失真，D_R是失真率，它定义为输出信号（受失真影响的信号）比输入信号（未受失真影响信号）失真的部分所占的比例，单位是%。
信息率失真函数r(d)
信息率失真函数r(d)
信息率失真函数是信息论中对信源的提取率和失真之间关系的描述函数，用于量化信息传输过程中的信源失真。
信息传输中存在两个基本要素，即提取率和失真。
提取率指的是通过传输信道提取出的有效信息的比例，
而失真则是指提取出的信息与原始信息之间的差异。
信息率失真函数通常被用来评估压缩编码的性能。
在压缩编码中，为
了减小数据的传输量，我们会对数据进行压缩，并通过编码算法将其表示
为较短的二进制代码。
压缩过程中的失真表示为编码后恢复的数据与原始
数据之间的差异。
在设计压缩编码算法时，我们希望能够在提取率和失真之间达到一个
平衡。
提取率越高，我们能够从信道中提取出更多的有效信息；而失真越小，恢复的信息与原始信息的差距越小。
信息率失真函数可以帮助我们在
这两个方面之间进行权衡。
在信息论中，常用的信息率失真函数有均方误差函数和最大误差概率
函数。
均方误差函数衡量的是编码恢复的数据与原始数据之间的平方差的
期望，可以通过最小化均方误差来实现较低的失真。
而最大误差概率函数
则衡量的是编码恢复的数据与原始数据之间的最大差异的概率，可以通过
最小化最大误差概率来实现较低的失真。
总结来说，信息率失真函数是信息论中用于量化信源提取率和失真之
间关系的函数。
它可以帮助我们在设计压缩编码算法时找到提取率和失真
之间的平衡点，以达到较高的提取率和较低的失真。
信息论第七讲率失真函数
率失真函数R(D)是连续单调函数
2019/4/4
15
4.4 率失真函数
例:求率失真函数
已知信源{x1=0，x2=1}，概率分布为（δ，1-δ),δ<0.5，信道输出 符号Y = {y1=0，y2=1}，失真测度为汉明（Hamming）失真测 度，求率失真函数R(D)。 (1)求出R(D)的定义域 Dmin = 0· δ+0· (1-δ) = 0 D max = min {1-δ, δ}=δ
2
由上面方程组解出，
(1 D) p( y1 ) Dp( y2 ) 1 Dp( y1 ) (1 D) p( y2 )
D
1 2D
p( y1 )
1 D p( y2 ) 1 2D
由P(X),P(Y)和P(X/Y)就可以求出相应的P(Y/X).
以一个特例说明存在这样的信道转移概率矩阵[P].
R D min I X ;Y : D D
p( y / x )
2019/4/4
12
4.4 率失真函数
(4)率失真函数的定义域
R(D)的值域 率失真函数的值域为 0 R（D） H（X）
R(D)
H（X）
Dma D的最小值Dmin 0 Dmin x 在给定的失真度矩阵中，对每一个xi，找一个最 小的 dij，然后对所有的i =1, 2, …,n 求统计平均值， 就是D的最小值，即
对于汉明失真度，平均失真度为：
2 2 i 1 j 1
0 1 d ij 1 0
(信道误码率）
D p( xi , y j )d i j p(0,1) p(1, 0) Pe
可知：0≤Pe≤D ≤δ 在R(D)的定义中，要求满足平均失真度小于等于D， 取等号则：
信息论第四章失真率函数
【例4.8】 信源含两个消息{x1=0，x2=1},其概率分布为 失真测度 p为(XX汉)明 （x1Ha1mx2min,gδ）<失0.真5，测信度道，输求出率符失号真Y函=数{yR1=(D0，)。y2=1}，
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D （y1）+（1-D） (y2)
由上面方程组解出，
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D （y1）+（1-D） (y2)
由上面方程组解出，
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
信息率失真函数及其性质
Dmax min
j 1,2,, s
pd
i 1 i
r
ij
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
（3）Dmax的计算 例 设输入输出符号表示为U＝V{0，1}，输入概率分布 p(u)={1/3，2/3}，失真矩阵为
d (u1 , v1 ) d (u1 , v2 ) 0 1 d d ( u , v ) d ( u , v ) 1 0 2 1 2 2 分析： 当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，
s
j
1
D中的最小值 ，即
Dmax min p j pi dij
j 1 i 1
s
r
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
r
3、信息率失真函数的性质
（3）Dmax的计算 从上式观察可得：在j=1，…，s中，可找到 pi dij
i 1
值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右 边达到最小，这时上式可简化成
s中可找到为零时上式右边达到最小这时上式可简化成max123信息率失真函数的性质信息论电子信息工程学院max的计算设输入输出符号表示为uv01输入概率分布pu1323失真矩阵为minhxh1323091比特符号这时信源编码器无失真所以该编码器的转移概率为3信息率失真函数的性质信息论电子信息工程学院max的计算所以该编码器的转移概率为minmin3信息率失真函数的性质信息论电子信息工程学院max的计算此时输出符号概率3信息率失真函数的性质信息论电子信息工程学院rd是关于d的严格递减函数
j 1,2,, s
pd
i 1 i
r
ij
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
（3）Dmax的计算 例 设输入输出符号表示为U＝V{0，1}，输入概率分布 p(u)={1/3，2/3}，失真矩阵为
d (u1 , v1 ) d (u1 , v2 ) 0 1 d d ( u , v ) d ( u , v ) 1 0 2 1 2 2 分析： 当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，
s
j
1
D中的最小值 ，即
Dmax min p j pi dij
j 1 i 1
s
r
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
r
3、信息率失真函数的性质
（3）Dmax的计算 从上式观察可得：在j=1，…，s中，可找到 pi dij
i 1
值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右 边达到最小，这时上式可简化成
s中可找到为零时上式右边达到最小这时上式可简化成max123信息率失真函数的性质信息论电子信息工程学院max的计算设输入输出符号表示为uv01输入概率分布pu1323失真矩阵为minhxh1323091比特符号这时信源编码器无失真所以该编码器的转移概率为3信息率失真函数的性质信息论电子信息工程学院max的计算所以该编码器的转移概率为minmin3信息率失真函数的性质信息论电子信息工程学院max的计算此时输出符号概率3信息率失真函数的性质信息论电子信息工程学院rd是关于d的严格递减函数
信息论基础——信息率失真函数
1/ 2 1/ 4
1/ 1/
2 4
0 3/8
1/8 3 / 16
31//186
这儿不是矩阵乘法, 而是输入概率第一行分别乘以信道矩阵
第一行中的元素。第二行乘以第二行。
有了联合概率，求统计平均：
D 0 0 1/ 811/ 8 0.5 3 / 81 3 /16 0 3 /16 0.5 23/ 32
写法不同而已。
这时, 信息从0变成1，失真为0，即传输过程中不失真。
失真函数本身没有绝对意义，其选择必须与实际的物理内容相符合。 比如确定信息被传成了等概率分布，已经失真的什么信息量都没了， 但依然可以把失真矩阵元全部定义为0。但是这个定义与实际不符合， 没有任何价值。
失真函数的绝对大小也没有意义，一个失真函数直接乘2也可以作为失真 函数。失真量两倍了，但是对物理实际的描述程度却没有任何改变。
在合理定义的失真函数下，对同一个信道： 信道的信息传输率较大，则平均失真较小。 而信息传输率较小，平均失真较大。
在实际情况中：允许有一定失真，平均失真不能超过D, 那么这个时候信息传输率就有个与D最小值R m in , 如果R小于 R m in 则失真就会超过限制D。显然这个R m in 与信道矩阵有关。
信道矩阵： 00
1 0
0 1
，失真矩阵： 10
1 0
1 1
1 0 0
1 1 0
失真函数具有一定任意性，一个信源传输后，定义不同的失真函数 其失真量也不一样。
信道矩阵为
0 0
1 0
0 1
1 0 0
重新定义失真矩阵为： 11
0 1
1 0
0 1 1
这个定义与分别给出所有矩阵元，
一次用函数给出所有矩阵元，d (x, y) (x 1 y)一样。
第四章 信息率失真函数
为什么要讨论信息率失真函数R(D) ？
失真在传输中是不可避免的。
连续信源输出的信息量为无穷大,不可能实现无失真信源编码. 接收者(信宿)无论是人还是机器设备，都有一定的分辨能力与 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以
灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的。
因此 D 取决于以下几个因素：
) i=1,2, ,n) 1）信源的统计特性，即 p(ai（
2）信道的统计特性，即 p(b j / ai ) 3）失真函数，即 d (ai , b j ) 一般情况下，人们所允许的失真指的都是平均意义 上的失真。如果规定其平均失真度 D不能超过某一限 定的值D，即D就是允许失真的上界。
称它为允许范围内的失真。
如果R>C，就必须对信源压缩，使得压缩后的R*<C，但同时要 求引入的失真不能超过规定的限度。 对于给定的信源，在允许失真的条件下信源熵所能压缩的理论 极限值就是率失真函数R(D) 。
综上所述，一般可以对信源输出的信息进行限失真
处理，降低信息率，提高传输效率。
在允许一定程度的失真条件下，能够把信息压缩到 什么程度？需要多少比特的信息率才能描述信源？ 本章主要讨论一定程度的失真情况下所需的最少的 信息率，即信息率失真函数R(D) 。 思路：从分析失真函数、平均失真出发求出信息率 失真函数R(D)。
失真函数的数值是依据实际应用情况，用bj代替ai所导致的失 真大小是人为决定的。上例中用b=2代替a=0和a=1所导致的失 真程度相同，均为0.5；而用b=0代替a=1所导致的失真程度要大 些，为1。
二、平均失真度
1. 离散随机变量平均失真度定义
失真函数的数学期望称为平均失真度。
n m n m
失真在传输中是不可避免的。
连续信源输出的信息量为无穷大,不可能实现无失真信源编码. 接收者(信宿)无论是人还是机器设备，都有一定的分辨能力与 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以
灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的。
因此 D 取决于以下几个因素：
) i=1,2, ,n) 1）信源的统计特性，即 p(ai（
2）信道的统计特性，即 p(b j / ai ) 3）失真函数，即 d (ai , b j ) 一般情况下，人们所允许的失真指的都是平均意义 上的失真。如果规定其平均失真度 D不能超过某一限 定的值D，即D就是允许失真的上界。
称它为允许范围内的失真。
如果R>C，就必须对信源压缩，使得压缩后的R*<C，但同时要 求引入的失真不能超过规定的限度。 对于给定的信源，在允许失真的条件下信源熵所能压缩的理论 极限值就是率失真函数R(D) 。
综上所述，一般可以对信源输出的信息进行限失真
处理，降低信息率，提高传输效率。
在允许一定程度的失真条件下，能够把信息压缩到 什么程度？需要多少比特的信息率才能描述信源？ 本章主要讨论一定程度的失真情况下所需的最少的 信息率，即信息率失真函数R(D) 。 思路：从分析失真函数、平均失真出发求出信息率 失真函数R(D)。
失真函数的数值是依据实际应用情况，用bj代替ai所导致的失 真大小是人为决定的。上例中用b=2代替a=0和a=1所导致的失 真程度相同，均为0.5；而用b=0代替a=1所导致的失真程度要大 些，为1。
二、平均失真度
1. 离散随机变量平均失真度定义
失真函数的数学期望称为平均失真度。
n m n m
第四章：信息率失真函数
信息率失真函数
R( D)
p ( y j / xi )PD
min I ( X ;Y )
I ( X ; Y ) NR( D)
N N
对于离散无记忆信源的N次扩展信源和离散无记忆 信道的N次扩展信道：
RN ( D)
p (b j / ai )PD ( N )
min
信息率失真函数
在研究R(D)时，引用的条件概率p(y/x)并没有 实际信道的含义。只是为了求平均互信息的 最小值而引用的、假想的可变试验信道。实 际上这些信道反映的仅是不同的有失真信源 编码或信源压缩。所以改变试验信道求平均 互信息的最小值，实质上是选择一种编码方 式使信息传输率最小。
信息率失真函数的性质
基本概念
失真函数与平均失真度
失真函数 常用的失真函数 平均失真度 离散无记忆信道的N次扩展信道的平均失真
基本概念
失真函数
X {x1...xn} Y { y1... ym} P( yj / xi )
对任一 ( xi, yj ) 指定一个非负数d ( xi, yj ) 0 称 d ( xi, yj ) 为单个符号的失真度或失真函数。
p ( xi1 ) p( xiN ) p( y j1 / xi1 ) p( y jN / xiN ) d ( xik , y jk )
i1 1 n iN 1 j1 1 jN 1 k 1
n
m
m
N
p ( xi1 ) p( y j1 / xi1 )d ( xi1 , y j1 ) p( xi2 ) p( y j2 / xi2 ) d ( xi2 , y j2 )
i 1 j 1
n
m
p( xi ) p( y j / xi )d ( xi , y j )
信息率失真函数
p ( y ) p ( x / y )( x y ) dxdy
2
p ( y ) dy
p ( x / y )( x y ) dx
2
令D( y )
p( x / y )( x y ) dx (条件方差)
2
D
p( y ) D( y )dy
用于离散信源。
2012年5月27日星期日
2
在信源给定，而且具体定义了失真度后， 总希望在满足一定失真的情况下，再现 信源信息，使信源必须传输给收信者的 信息传输率R尽可能的小；
或者说，在满足保真度准则下，寻找信 源必须传输给收信者的信息传输率的下 限值。
2012年5月27日星期日
3
信息率失真函数R(D)
由高斯最大熵定理，Y=y条件下的最熵为：
H c max ( X / y )
1 2
log 2eD( y )
D(y)是在 Y=y条件下 的条件方 差
H c ( X / y)
1 2
log 2eD( y )
根据连续条件熵定义，有：
Hc ( X / Y )
p ( y ) H c ( X / y )dy
x
i
yj
2
d ( xi , y j ) xi y j
相对失真： d ( x i , y j ) x i y j / x i 误码失真：
0, d ( xi , y j ) ( xi , y j ) 1， xi y j 其它
前三种失真函数适用于连续信源，后一种适
平均失真和信息率失真函数
2
p ( y ) dy
p ( x / y )( x y ) dx
2
令D( y )
p( x / y )( x y ) dx (条件方差)
2
D
p( y ) D( y )dy
用于离散信源。
2012年5月27日星期日
2
在信源给定，而且具体定义了失真度后， 总希望在满足一定失真的情况下，再现 信源信息，使信源必须传输给收信者的 信息传输率R尽可能的小；
或者说，在满足保真度准则下，寻找信 源必须传输给收信者的信息传输率的下 限值。
2012年5月27日星期日
3
信息率失真函数R(D)
由高斯最大熵定理，Y=y条件下的最熵为：
H c max ( X / y )
1 2
log 2eD( y )
D(y)是在 Y=y条件下 的条件方 差
H c ( X / y)
1 2
log 2eD( y )
根据连续条件熵定义，有：
Hc ( X / Y )
p ( y ) H c ( X / y )dy
x
i
yj
2
d ( xi , y j ) xi y j
相对失真： d ( x i , y j ) x i y j / x i 误码失真：
0, d ( xi , y j ) ( xi , y j ) 1， xi y j 其它
前三种失真函数适用于连续信源，后一种适
平均失真和信息率失真函数
信息论与编码(清华出版社)第4章信息率失真函数-Qtech
{
i = 1,2, L , n; j = 1,2, L , m
}
14
信息率失真函数R(D) 信息率失真函数
由于互信息取决于信源分布和信道转移概率分布， 根据2-2 由于互信息取决于信源分布和信道转移概率分布 ， 根据 节所述， 一定时， 是关于p(y 型凸函数， 节所述，当p(xi)一定时，互信息 是关于 j/xi) 的U型凸函数， 一定时 互信息I是关于 型凸函数 存在极小值。因而在上述允许信道P 存在极小值。因而在上述允许信道 D中，可以寻找一种信道 pij，使给定的信源 i)经过此信道传输后，互信息 ；Y)达 使给定的信源p(x 经过此信道传输后 互信息I(X； 达 经过此信道传输后， 到最小。该最小的互信息就称为信息率失真函数R(D)，即 到最小。该最小的互信息就称为信息率失真函数 ，
3
4.1 平均失真和信息率失真函数
4.1.1 4.1.2 4.1.3 4.1.4 失真函数 平均失真 信息率失真函数R(D) 信息率失真函数 信息率失真函数的性质
4
4.1 平均失真和信息率失真函数
在实际问题中， 在实际问题中，信号有一定的失真是可以容 忍的。但是当失真大于某一限度后， 忍的。但是当失真大于某一限度后，信息质量将 被严重损伤，甚至丧失其实用价值。要规定失真 被严重损伤，甚至丧失其实用价值。 限度，必须先有一个定量的失真测度。 限度，必须先有一个定量的失真测度。为此可引 入失真函数。 入失真函数。
如何减小失真，允许失真到什么程度； 如何减小失真，允许失真到什么程度； 在允许一定程度的失真条件下， 在允许一定程度的失真条件下，把信源信息压 缩到什么程度。 缩到什么程度。
2
第4章 在信源允许一定失真情况下 所需的最少信息率， 从分析失真函数、 所需的最少信息率 ， 从分析失真函数 、 平 均失真出发，求出信息率失真函数R（D） 。 均失真出发，求出信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源的R（D）计算 离散信源的 （ ）
[理学]信息论与编码原理_第4章_信息率失真函数
![[理学]信息论与编码原理_第4章_信息率失真函数](https://img.taocdn.com/s3/m/1e507070a2161479171128d5.png)
概
念 实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接 收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留 性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本 信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念 信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定 性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带 压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引 言
4.1 (3) 信息率失真理论
基
本 信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本 平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的 描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和 失真度 d(xi,yj) 的函数 。
h
第12页
念 实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接 收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留 性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本 信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念 信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定 性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带 压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引 言
4.1 (3) 信息率失真理论
基
本 信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本 平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的 描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和 失真度 d(xi,yj) 的函数 。
h
第12页
信息率失真函数的定义
信源最小平均失真度Dmin
是非负函数d(xi , yj)的数学期望，也是一个非负 D 函数，显然其下限为 0。因此允许平均失真度 。因此允许平均失真度D的下 限也必然是0，这就是不允许有任何失真的情况。 – 允许平均失真度D能否达到其下限值0，与单个符号 的失真函数有关。 – 信源最小平均失真度 Dmin ：对于每一个xi，找出一个 yj与之对应，使d(xi , yj)最小，不同的xi对应的最小 d(xi , yj)也不同。这相当于在失真矩阵的每一行找出 一个最小的d(xi , yj) ，各行的最小d(xi , yj)值都不同。 对所有这些不同的最小值求数学期望，就是信源的 最小平均失真度。
（2）若设此信源的失真度为汉明失真。因为是二元信源， 输入是等概率分布，所以信源的信息率失真函数 R(D)=1R(D)=1-H(D) 比特/信源符号 Rt(D)=2.66*R(D) Rt(D)=2.66*R(D) 比特/秒 若当 Ct>=Rt(D ) Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误，也就是不会因信 道而增加信源新的失真。总的信源的失真是信源压缩编码所 造成的允许失真D 所以有 2=2.66*[12=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真D ≈ 0.0415时，此信源就可以在次信道 中传输。
R ( D)
1 D I (U ;V ) = H (U ) − H (U | V ) = H ( ) − H ( ) 2 α
α
0, D >
α
2
2
A = − , ，失真 = 4.1设无记忆信源 p ( x ) 1 3, 1 3, 1 3 ，接收符号集 2 2 1 2 矩阵 D = 1 1 ，试求：Dmax 和 Dmin及达到 Dmax ， 时的转移概率矩 D min 2 1 阵。
信息率失真函数的物理意义
信息率失真函数的物理意义
信息率失真函数(Information Rate-Distortion Function)是在一定失真度量下，对于给定的信源，最低要求的信息传输速率。
它描述了信源与信宿之间信息传输的效率，是信源编码理论中的基本概念之一。
信息率失真函数的物理意义可以从以下几个方面解释：
1. 失真度量：信息率失真函数是基于一定的失真度量来定义的。
失真度量是指对于信源中的不同符号或信号，它们在解码后与原始信号之间的差异程度。
失真度量的种类很多，常见的有对称失真度量和非对称失真度量。
2. 信息传输速率：信息率失真函数描述了在一定的失真限制下，最低要求的信息传输速率。
这个速率是在信源编码中追求的目标，因为较低的信息传输速率通常可以降低编码成本和传输成本，同时提高信息传输的效率。
3. 信源编码定理：信息率失真函数是信源编码定理中的基本概念之一。
信源编码定理指出了对于任意给定的信源，存在一种最优的编码方式，使得编码后的信息传输速率达到信息率失真函数所描述的值。
因此，信息率失真函数为信源编码提供了理论基础和指导。
4. 信息率失真函数的优化：信息率失真函数的优化是指在给定失真限制下，寻找最低的信息传输速率。
这个过程通常涉及到编码算法和码本设计等方面，是信源编码理论中的重要研
究方向之一。
通过优化信息率失真函数，可以提高信息传输的效率和可靠性，降低编码和传输成本。
总之，信息率失真函数是描述信源与信宿之间信息传输效率的基本概念，它在信源编码理论中具有重要的作用和意义。
信息率失真函数
d(a1,b1) ... d(a1,bm )
d
d (a2 , ...
b1)
... ...
d(a2, bm ) ...
d(an,b1) ... d(an,bm )
其中， 失真。d(ai,bj
)
表示当试验信道的输入为ai时，输出为bj所产生的
0
4
你现在学习的是第4页，课件共112页
9.1.2 失真测度
b 1 b 2 ... b n 1 b n
a 1 1 0 ... ... 0
a2
0
1
0
...
0
... ... ... ... ... ...
a n1
0
...
0
1
0
an
0
...
...
0
1
... ... ... ... ... 1
a 2 n 0 ... ... ... 1
你现在学习的是第22页，课件共112页
22
9.3.1码率的压缩
平满均足失要真求。D x,yp(x)p(y/x)d(x,y)2 1 n n 2 n 112 n n1 2算法
，
bj(j
1，，n)的概率分布为：
n1 1/2n ... 1/2n
(n1)/2n 所以
H (Y )n 1lo 2 n g n 1lo2 n g
2 n
2 n n 1
i1 j1
（9.4.4）
❖ 从（9.4.3）式可知，约束条件有n+1个，其中1个为平均失真约束， n个条件概率归一化约束，未知数pij有mn个。下面用拉格朗日乘 子法求有约束极值。
你现在学习的是第15页，课件共112页
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4．1 失真测度
一、失真度
• 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。
• 所以信息传输率与信源编码所引起的失真(或误差) 是有关的。
首先讨论失真的测度。
离散无记忆信源U，信源变量U＝{u1,u2,…ur}， 概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端，接收端的接 收变量V＝ {v1,v2,…vs} 。
0 1 D 1 0
• 对二元对称信源(s＝r＝2)，信源U＝{0,1}，接收变量V＝ {0,1}。在汉明失真定义下，失真矩阵为：
[例2] 删除信源。信源变量U＝{u1,u2,…ur} ，接收变量V＝ {v1,v2,…vs} (s = r+1) 。定义其单个符号失真度为：
0 d (ui , v j ) 1 1 / 2
1 0 1 2 D 1 1 0 2
则
[例3] 对称信源(s = r) 。信源变量U＝{u1,u2,…ur} ，接收变 量V＝ {v1,v2,…vs} 。失真度定义为：
d (ui , v j ) (v j ui )
2
若信源符号代表信源输出信号的幅度值，这就是一种以方 差表示的失真度。它意味着幅度差值大的要比幅度差值小的所 引起的失真更为严重，严重程度用平方来表示。 当 r＝3时， U＝{0,1,2}，V＝{0,1,2} ，则失真矩阵为：
i j i j js
除j=s以外所有的j和i 所有i
• 其中接收符号vs作为一个删除符号。
• 在这种情况下，意味着若把信源符号再现为删除符号vs时， 其失真程度要比再现为其他接收符号的失真程度少一半。
• 若二元删除信源s ＝2，r＝3， U＝{0,1}，V＝{0,1 ,2} 。 失真度为： d(0,0)=d(1,2)=0 d(0,2)=d(1,0)=1 d(0,1)=d(1,1)=1/2
[例1] 离散对称信源(r=s)。信源变量U＝{u1,u2,…ur} ，接收变量 V＝ {v1,v2,…vs}。定义单个符号失真度：
0 d (u i , v j ) 1
ui v j ui v j
这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的 元素为零，即：
0 1 ... 1 1 0 ... 1 D : : ... : 1 1 ... 0 rr
D E[d (ui , v j )] E[d (u, v)]
在离散情况下，信源U＝{u1,u2,…ur} ，其概率分布P(u)＝ [P(u1),P(u2),…P(ur)] ，信宿V＝ {v1,v2,…vs} 。 若已知试验信道的传递概率为P(vj/ui)时，则平均失其度为：
D P(uv)d (u, v) P(ui ) P(v j / ui )d (ui , v j )
第四章
信息率失真函数
无失真信源编码和有噪信道编码告诉我们：只要信道的 信息传输速率小于信道容量，总能找到一种编码方法,使得 在该信道上的信息传输的差错概率任意小；反之，若信道 的信息传输速率大于信道容量，则不可能使信息传输差错 概率任意小。 但是，无失真的编码并非总是必要的。
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息 传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允 许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散 无记忆信源。 首先给出信源的失真度和信息率失真函数的定义与性质； 然后讨论离散信源和连续信源的信息率失真函数计算；在这基 础上论述保真度准则下的信源编码定理。
对应于每一对(u,v)，我们指定一个非负的函数：
i j 0 d (ui , v j ) ( 0) i j
称为单个符号的失真度(或失真函数)。 通常较小的d值代表较小的失真，而d(ui,vj)＝0 表示没有失真。
若信源变量U有r个符号，接收变量V有s个符号， 则d(ui,vj)就有r×s个,它可以排列成矩阵形式，即：
UV i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D，即： DD 称此为保真度准则。
信源固定(给定P(u))，单个符号失真度固定时(给定 d(ui,vj)) ，选择不同试验信道，相当于不同的编码方法，所得 的平均失真度是不同的。 有些试验信道满足D D，而有些试验信道D＞D。 凡满足保真度准则----平均失真度D D的试验信通称为--D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号BD表 示，即： BD={P (vj / ui)： D D}
d (u1 , v1 ) d (u1 , v 2 ) d (u , v ) d (u , v ) 2 1 2 2 D : : d (u r , v1 ) d (u r , v 2 )
... d (u1 , v s ) ... d (u 2 , v s ) ... : ... d (u r , v s )
它为失真矩阵D，是 r×s 阶矩阵。
须强调: 这里假设U是信源，V是信宿，那么U和V之间必 有信道。 实际这里U指的是原始的未失真信源，而V是指失真以后 的信源。
因此，从U到V之间实际上是失真算法，所以这里的转移 概率p来自vj/ui)是指一种失真算法，
有时又把p(vj/ui) 称为试验信道的转移概率，如图所示。 U 原始信源 p (vj/ui) 试验信道 V 失真信源 信道
0 1 4 D 1 0 1 4 1 0
上述三个例子说明了具体失真度的定义。一般情况下根据 实际信源的失真，可以定义不同的失真和误差的度量。另外 还可以按其他标准，如引起的损失、风险、主观感觉上的差 别大小等来定义失真度d(u,v)。
二、 平均失真度
信源 U 和信宿 V 都是随机变量，故单个符号失真度d(ui,vj) 也是随机变量。显然，规定了单个符号失真度d(ui,vj) 后，传 输一个符号引起的平均失真，即信源平均失真度：