《信号处理原理》 第4章 信息失真率
合集下载
ch04 信息率失真函数
P (Y X )
⎧0 xi = y j d ( xi , y j ) = ⎨ ⎩a xi ≠ y j
3
⎡ p ( y1 x1 ) p ( y2 x1 ) ... p ( ym x1 ) ⎤ ⎢ ⎥ ⎢ p ( y1 x2 ) p ( y2 x2 ) ... p ( ym x2 ) ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ p ( y1 xn ) p ( y2 xn ) ... p ( ym xn ) ⎦ ⎥ ⎣
⎡ d ( x1, y1 ) d ( x1, y2 ) ⎢d ( x , y ) d ( x , y ) 2 1 2 2 D= ⎢ ⎢ ⎢ ⎣d ( xn , y1 ) d ( xn , y2 )
d ( x1, ym ) ⎤ d ( x2 , ym )⎥ ⎥ ⎥ ⎥ d ( xn , ym )⎦
4
4.1 基本概念
i =1 j n
(
)
离散信源 连续信源
Dmin = ∑ p(xi )min d(xi , y j )
i=1 j
n
仅当失真矩阵每行均 有零元素时, Dmin= 0
R(Dmin ) = R(0) = H ( X )
R(Dmin ) = R(0) = H(x) =∞
12
4.1 基本概念
西华师范大学 物理与电子信息学院
失真函数d(αi,βj)
d(αi , β j ) = d(xi1 xi2
N k =1
xiN , yj1 yj2
= ∑d(xik , yjk )
D ≤ D ，D——允许失真的上界
7
平均失真度—— 单符号时的N倍
D( N ) = ND
8
4.1 基本概念
西华师范大学 物理与电子信息学院
第4章 信息率失真函数
原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
信息论基础与编码课件第四章 信息率失真函数
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值 中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的 联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1
第4章 信息率失真理论
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
③对D具有单调递减性
由R(D)对D具有的非负性、严格下凸性及R(Dmax) =0说明
信息率失真理论
当Dmin=0时，信息率失真函数R(D)的大致曲线 R(D) H(X)
Dmin
Dmax D
信息率失真理论
3、信息率失真函数的表达式
ˆ P( x j / x i ) i ˆ ln Sd( x i , x j ) 0 ˆ P( x j ) P( x i ) i 1,2,, n j 1,2,, n
i 令 ln i P( x i ) ˆ P( x j / x i ) ˆ Sd ( x i , x j ) ln ln i e ˆ P( x j )
信息率失真理论
第2个实验信道满足D2条件下R(D)的定义 ˆ ˆ P (X / X) {P(X / X) : D D }
D2 2
ˆ ˆ R (D 2 ) min I(X; X) I 2 (X; X) ˆ
PD2 ( X / X )
取一个新的实验信道
ˆ ˆ PD1 (X / X) (1 )PD2 (X / X) ˆ {P(X / X) : D D1 (1 )D 2 }
ˆ ... d( x1 , x n ) ˆ ... d( x 2 , x n ) ... ... ˆ ... d( x n , x n )
汉明失真矩阵
0 1 [ D] ... 1 1 0 ... 1 ... ... ... ... 1 1 ... 0
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
设第1个实验信道满足D1条件下R(D)的定义
信息论第四章失真率函数
【例4.8】 信源含两个消息{x1=0，x2=1},其概率分布为 失真测度 p为(XX汉)明 （x1Ha1mx2min,gδ）<失0.真5，测信度道，输求出率符失号真Y函=数{yR1=(D0，)。y2=1}，
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D （y1）+（1-D） (y2)
由上面方程组解出，
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D （y1）+（1-D） (y2)
由上面方程组解出，
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
第四章 信息率失真函数
即:离散无记忆信源的N次扩展信源， 通过离散无记忆信 的N次扩展信道的平均失真度是单符号信源， 通过单符号 信道的N倍。 相应的保真度准则为：
D (N ) ND
例:设信源X取值于{0,1},失真函数数分别
为d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1.其N=3次
扩展信源的输入X=X1X2X3,经信道传导输 后,输出为Y=Y1Y2Y3,求失真矩阵[D(N)].
译码必定出错。
K L
log 2
m
H
(X
)
2
• 变长编码定理
– 若一离散无记忆信源的符号熵为H(X)，对信源 符号进行m元变长编码，一定存在一种无失真
编码方法，其码字平均长度满足下列不等式
1 H(X) K H(X)
log 2 m
log 2 m
信道编码定理
• 信道编码定理：若有一离散无记忆平稳信道，其
那么在允许一定程度失真的条件下，能 够把信源信息压缩到什么程度，也就是，允 许一定程度失真的条件下，如何能快速的传 输信息，这就是本章所要讨论的问题。
1、失真函数
信源
信源 编码
信道 信道 编码
信道 译码
信源 译码
信宿
干扰
根据信道编码定理，我们可以把信道编码、信道和信道 解码等价成是一个没有任何干扰的广义信道，这样收信者收 到消息后，所产生的失真只是由信源编码带来的。我们也可
(N)
I
(X
;Y
)
RN (D) NR(D)
§4.1.3 率失真函数性质
R(D)
连续
H(X)
离散
D D Dmax D
1 定义域：0, Dmax
D=0 R(D)=H(X)
D (N ) ND
例:设信源X取值于{0,1},失真函数数分别
为d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1.其N=3次
扩展信源的输入X=X1X2X3,经信道传导输 后,输出为Y=Y1Y2Y3,求失真矩阵[D(N)].
译码必定出错。
K L
log 2
m
H
(X
)
2
• 变长编码定理
– 若一离散无记忆信源的符号熵为H(X)，对信源 符号进行m元变长编码，一定存在一种无失真
编码方法，其码字平均长度满足下列不等式
1 H(X) K H(X)
log 2 m
log 2 m
信道编码定理
• 信道编码定理：若有一离散无记忆平稳信道，其
那么在允许一定程度失真的条件下，能 够把信源信息压缩到什么程度，也就是，允 许一定程度失真的条件下，如何能快速的传 输信息，这就是本章所要讨论的问题。
1、失真函数
信源
信源 编码
信道 信道 编码
信道 译码
信源 译码
信宿
干扰
根据信道编码定理，我们可以把信道编码、信道和信道 解码等价成是一个没有任何干扰的广义信道，这样收信者收 到消息后，所产生的失真只是由信源编码带来的。我们也可
(N)
I
(X
;Y
)
RN (D) NR(D)
§4.1.3 率失真函数性质
R(D)
连续
H(X)
离散
D D Dmax D
1 定义域：0, Dmax
D=0 R(D)=H(X)
第四章信息率失真函数
其失真程度要比再现为其他接收符号的失真程度少一半。
若二元删除信源s ＝2，r＝3， U＝{0,1}，V＝{0,1 ,2} 。 失真度为：
d(0,0)=d(1,2)=0
d(0,2)=d(1,0)=1 则
d(0,1)=d(1,1)=1/2
0 D
1
1
2 1
1
0
2
[例3] 对称信源(s = r) 。信源变量U＝{u1,u2,…ur} ，接收变量 V＝ {v1,v2,…vs} 。失真度定义为：
[例5]有一个二元等概平稳无记忆信X源 X0,1，0接,1收符号集为
Y 0,1,2
且失真矩阵为
[d
]
0
0
1 1
求率失真函数R(D)
。
解：由
Dmin
x
p(x) mind(x, y) 0 y
Dmax
min y
x
p(x)d(x, y) 1
由于信源等概分布，失真函数具有对称，因此，存在 着与失真矩阵具有同样对称性的转移概率分布达到率失 真R(D) ，该转移概率矩阵可写为：
P(v j / ui )
i1 j1
其约束条件为:
P(ui )P(v j / ui )
i1
P(v j / ui ) 0
s
P(v j / ui ) 1
j 1
rs
P(ui )P(v j / ui )d(ui , v j ) D
i1 j1
一、等概率、对称失真信源的计算
对于等概、对称失真的信源，存在一个与失真矩阵具有 同样对称性的转移概率分布达到率失真R(D)。
p(x)d(x, y)
x
• 允许失真度D的下限可以是零，即不允许任何失真的情况。
若二元删除信源s ＝2，r＝3， U＝{0,1}，V＝{0,1 ,2} 。 失真度为：
d(0,0)=d(1,2)=0
d(0,2)=d(1,0)=1 则
d(0,1)=d(1,1)=1/2
0 D
1
1
2 1
1
0
2
[例3] 对称信源(s = r) 。信源变量U＝{u1,u2,…ur} ，接收变量 V＝ {v1,v2,…vs} 。失真度定义为：
[例5]有一个二元等概平稳无记忆信X源 X0,1，0接,1收符号集为
Y 0,1,2
且失真矩阵为
[d
]
0
0
1 1
求率失真函数R(D)
。
解：由
Dmin
x
p(x) mind(x, y) 0 y
Dmax
min y
x
p(x)d(x, y) 1
由于信源等概分布，失真函数具有对称，因此，存在 着与失真矩阵具有同样对称性的转移概率分布达到率失 真R(D) ，该转移概率矩阵可写为：
P(v j / ui )
i1 j1
其约束条件为:
P(ui )P(v j / ui )
i1
P(v j / ui ) 0
s
P(v j / ui ) 1
j 1
rs
P(ui )P(v j / ui )d(ui , v j ) D
i1 j1
一、等概率、对称失真信源的计算
对于等概、对称失真的信源，存在一个与失真矩阵具有 同样对称性的转移概率分布达到率失真R(D)。
p(x)d(x, y)
x
• 允许失真度D的下限可以是零，即不允许任何失真的情况。
信息论与编码---第4章信息率失真函数
6
[D]称为信道 {X-P(Y/X)-Y} 的失真矩阵. 称为信道 失真矩阵.
长江大学电信学院
X
4.1 基本概念
常用的失真函数有 (1)
d ( xi , y j ) = a 0, i= j a > 0, i ≠ j
7
当i = j时,x和y的消息符号都是 i,说明收发 的消息符号都是x 时 和 的消息符号都是 之间没有失真,所以失真函数 之间没有失真,所以失真函数dij = 0;反之, ;反之, 当i ≠ j时,信宿收到的消息不是信源发出的符 时 而是y 出现了失真,所以失真函数d 号xi,而是 j,出现了失真,所以失真函数 ij 值的大小可以表示这种失真的程度. ≠0,而dij值的大小可以表示这种失真的程度. ,
长江大学电信学院
X
4.1 基本概念
d (a i , b j ) = d ( x i1 x i2 L x i N , y j1 y j2 L y j N ) = d ( x i1 , y j1 ) + d ( x i2 , y j2 ) + L + d ( x i N , y j N ) = ∑ d ( x i k , y jk )
长江大学电信学院
X
4.1 基本概念
2. 平均失真度的定义 若信源和信宿的消息集合分别为X:{x1, 若信源和信宿的消息集合分别为 x2, …, xn}和Y:{y1, y2, …, ym},其概率分别为 和 , p(xi)和p(yj) (i=1, 2, …, n ; j=1, 2, …, n ),信道 和 , 的转移概率为p(y ,失真函数为d 的转移概率为 j|xi),失真函数为 (xi,yj),则 , 称随机变量X和 的联合概率 的联合概率p(x 称随机变量 和Y的联合概率 i yj )对失真函数 对失真函数 的统计平均值为该通信系统的平均失真 d (xi, yj)的统计平均值为该通信系统的平均失真 的统计平均值为该通信系统的 度.
第四章：信息率失真函数
信息率失真函数
R( D)
p ( y j / xi )PD
min I ( X ;Y )
I ( X ; Y ) NR( D)
N N
对于离散无记忆信源的N次扩展信源和离散无记忆 信道的N次扩展信道：
RN ( D)
p (b j / ai )PD ( N )
min
信息率失真函数
在研究R(D)时，引用的条件概率p(y/x)并没有 实际信道的含义。只是为了求平均互信息的 最小值而引用的、假想的可变试验信道。实 际上这些信道反映的仅是不同的有失真信源 编码或信源压缩。所以改变试验信道求平均 互信息的最小值，实质上是选择一种编码方 式使信息传输率最小。
信息率失真函数的性质
基本概念
失真函数与平均失真度
失真函数 常用的失真函数 平均失真度 离散无记忆信道的N次扩展信道的平均失真
基本概念
失真函数
X {x1...xn} Y { y1... ym} P( yj / xi )
对任一 ( xi, yj ) 指定一个非负数d ( xi, yj ) 0 称 d ( xi, yj ) 为单个符号的失真度或失真函数。
p ( xi1 ) p( xiN ) p( y j1 / xi1 ) p( y jN / xiN ) d ( xik , y jk )
i1 1 n iN 1 j1 1 jN 1 k 1
n
m
m
N
p ( xi1 ) p( y j1 / xi1 )d ( xi1 , y j1 ) p( xi2 ) p( y j2 / xi2 ) d ( xi2 , y j2 )
i 1 j 1
n
m
p( xi ) p( y j / xi )d ( xi , y j )
信息论与编码(清华出版社)第4章信息率失真函数-Qtech
{
i = 1,2, L , n; j = 1,2, L , m
}
14
信息率失真函数R(D) 信息率失真函数
由于互信息取决于信源分布和信道转移概率分布， 根据2-2 由于互信息取决于信源分布和信道转移概率分布 ， 根据 节所述， 一定时， 是关于p(y 型凸函数， 节所述，当p(xi)一定时，互信息 是关于 j/xi) 的U型凸函数， 一定时 互信息I是关于 型凸函数 存在极小值。因而在上述允许信道P 存在极小值。因而在上述允许信道 D中，可以寻找一种信道 pij，使给定的信源 i)经过此信道传输后，互信息 ；Y)达 使给定的信源p(x 经过此信道传输后 互信息I(X； 达 经过此信道传输后， 到最小。该最小的互信息就称为信息率失真函数R(D)，即 到最小。该最小的互信息就称为信息率失真函数 ，
3
4.1 平均失真和信息率失真函数
4.1.1 4.1.2 4.1.3 4.1.4 失真函数 平均失真 信息率失真函数R(D) 信息率失真函数 信息率失真函数的性质
4
4.1 平均失真和信息率失真函数
在实际问题中， 在实际问题中，信号有一定的失真是可以容 忍的。但是当失真大于某一限度后， 忍的。但是当失真大于某一限度后，信息质量将 被严重损伤，甚至丧失其实用价值。要规定失真 被严重损伤，甚至丧失其实用价值。 限度，必须先有一个定量的失真测度。 限度，必须先有一个定量的失真测度。为此可引 入失真函数。 入失真函数。
如何减小失真，允许失真到什么程度； 如何减小失真，允许失真到什么程度； 在允许一定程度的失真条件下， 在允许一定程度的失真条件下，把信源信息压 缩到什么程度。 缩到什么程度。
2
第4章 在信源允许一定失真情况下 所需的最少信息率， 从分析失真函数、 所需的最少信息率 ， 从分析失真函数 、 平 均失真出发，求出信息率失真函数R（D） 。 均失真出发，求出信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源的R（D）计算 离散信源的 （ ）
第4章 信息率失真函数 《信息论与编码》经典PPT课件
失真矩阵
d(a1,b1) d(a1,bm )
d
d(an,b1) d(an,bm )
• 例：设信源符号序列为X={0,1},接收端收到符号
序列为Y= {0,1,2},规定失真函数为
失真矩阵
d(0,0)＝d(1,1)= 0 d(0,1)＝d(1,0)= 1 d(0,2)＝d(1,2)= 0.5
d
没有失真
0
• d(xi , y j ) 0
x ≠ y xi y ji
j
产生失真
失xi 真 yj 的大小,用一个量来表示,即失真函数d(xi,yj),
以衡量用yj代替xi所引起的失真程度。
• 失真函数定义为：
0
d(xi, yj )
xi y j
0 xi y j
4
失真函数
• 将所有的d(xi,yj)排列起来,用矩阵表示为:
• 如果对信源进行不失真编码,平均每个符号至少需 要log2n个二进制码元。
• 现在假定允许有一定失真,假设失真限度为D=1/2 设想采用下面的编码方案：
a1→a1， a2→a2， …an→an
an+1→an ,an+2→ an ,…a2n→ an
21
• 平均失真
D
i
j
p(ai
)
p(a j
|
ai
8
L长序列编码
• 如果假定离散信源输出符号序列X＝{X1X2… Xl… Xn},其中L长符号序列xi =[xi1xi2…xiL],经信源 编码后,输出符号序列Y={Y1Y2…Yl…Ym},其中L
长符号序列yj=[yj1yj2…yjN ],则失真函数定义为
1
dL (xi , y j ) L j d (xiL , y jL )
[理学]信息论与编码原理_第4章_信息率失真函数
![[理学]信息论与编码原理_第4章_信息率失真函数](https://img.taocdn.com/s3/m/1e507070a2161479171128d5.png)
概
念 实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接 收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留 性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本 信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念 信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定 性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带 压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引 言
4.1 (3) 信息率失真理论
基
本 信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本 平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的 描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和 失真度 d(xi,yj) 的函数 。
h
第12页
念 实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接 收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留 性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本 信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念 信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定 性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带 压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引 言
4.1 (3) 信息率失真理论
基
本 信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本 平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的 描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和 失真度 d(xi,yj) 的函数 。
h
第12页
信息率失真函数的定义
信源最小平均失真度Dmin
是非负函数d(xi , yj)的数学期望，也是一个非负 D 函数，显然其下限为 0。因此允许平均失真度 。因此允许平均失真度D的下 限也必然是0，这就是不允许有任何失真的情况。 – 允许平均失真度D能否达到其下限值0，与单个符号 的失真函数有关。 – 信源最小平均失真度 Dmin ：对于每一个xi，找出一个 yj与之对应，使d(xi , yj)最小，不同的xi对应的最小 d(xi , yj)也不同。这相当于在失真矩阵的每一行找出 一个最小的d(xi , yj) ，各行的最小d(xi , yj)值都不同。 对所有这些不同的最小值求数学期望，就是信源的 最小平均失真度。
（2）若设此信源的失真度为汉明失真。因为是二元信源， 输入是等概率分布，所以信源的信息率失真函数 R(D)=1R(D)=1-H(D) 比特/信源符号 Rt(D)=2.66*R(D) Rt(D)=2.66*R(D) 比特/秒 若当 Ct>=Rt(D ) Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误，也就是不会因信 道而增加信源新的失真。总的信源的失真是信源压缩编码所 造成的允许失真D 所以有 2=2.66*[12=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真D ≈ 0.0415时，此信源就可以在次信道 中传输。
R ( D)
1 D I (U ;V ) = H (U ) − H (U | V ) = H ( ) − H ( ) 2 α
α
0, D >
α
2
2
A = − , ，失真 = 4.1设无记忆信源 p ( x ) 1 3, 1 3, 1 3 ，接收符号集 2 2 1 2 矩阵 D = 1 1 ，试求：Dmax 和 Dmin及达到 Dmax ， 时的转移概率矩 D min 2 1 阵。
信息率失真函数的物理意义
信息率失真函数的物理意义
信息率失真函数(Information Rate-Distortion Function)是在一定失真度量下，对于给定的信源，最低要求的信息传输速率。
它描述了信源与信宿之间信息传输的效率，是信源编码理论中的基本概念之一。
信息率失真函数的物理意义可以从以下几个方面解释：
1. 失真度量：信息率失真函数是基于一定的失真度量来定义的。
失真度量是指对于信源中的不同符号或信号，它们在解码后与原始信号之间的差异程度。
失真度量的种类很多，常见的有对称失真度量和非对称失真度量。
2. 信息传输速率：信息率失真函数描述了在一定的失真限制下，最低要求的信息传输速率。
这个速率是在信源编码中追求的目标，因为较低的信息传输速率通常可以降低编码成本和传输成本，同时提高信息传输的效率。
3. 信源编码定理：信息率失真函数是信源编码定理中的基本概念之一。
信源编码定理指出了对于任意给定的信源，存在一种最优的编码方式，使得编码后的信息传输速率达到信息率失真函数所描述的值。
因此，信息率失真函数为信源编码提供了理论基础和指导。
4. 信息率失真函数的优化：信息率失真函数的优化是指在给定失真限制下，寻找最低的信息传输速率。
这个过程通常涉及到编码算法和码本设计等方面，是信源编码理论中的重要研
究方向之一。
通过优化信息率失真函数，可以提高信息传输的效率和可靠性，降低编码和传输成本。
总之，信息率失真函数是描述信源与信宿之间信息传输效率的基本概念，它在信源编码理论中具有重要的作用和意义。
信息论与编码原理_第4章_信息率失真函数
性”，实际上只要每秒放映 24 幅静态画面。
有些失真没有必要完全消除。 既然允许一定的失真存在，对信息率的要求便可降低。
返回目录
2019/1/17
Department of Electronics and Information, NCUT
Song Peng
பைடு நூலகம்
第7页
4.1.1 引
言
信息率与允许失真之间的关
4.1 基 本 概 念
(3) 常用的失真函数
第一种：
i j 0 d ( xi , y j ) a a 0 i j 0 a D a a a a a 0 a a a 0 a 0 a a 0
特点：对角线上的元素均为 0，对角线以外的其它元素都为常数
2019/1/17
Department of Electronics and Information, NCUT
Song Peng
第14页
4.1.2 失真度与平均失真度
4.1 基 本 概 念
(2) 失真度
失真矩阵
失真度还可表示成矩阵的形式
d ( x1 , y1 ) d ( x1 , y2 ) d ( x1 , ym ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 m D d ( x , y ) d ( x , y ) d ( x , y ) n 1 n 2 n m
以定义失真度为 0；
当 i≠j 时，用 Y 代表 X 就有误差。 这种定义认为对所有不同的 i 和 j 引起的误差都一样，所以定义
失真度常数 a。
2019/1/17
华侨大学工学院信息论Chapter 4 信息率失真函数
,
y1
)
d (x1, y2 ) d (x2 , y2 )
d (x1, y3 )
d
(
x2
,
y3
)
d (0, 0) d (0,1) d (0, 2) 0 1 0.5
d (1, 0)
d (1,1)
d
(1, 2)
1
0
0.5
注：失真函数的函数形式可以根据需要任意选取，例如平方
代价函数、绝对代价函数、均匀代价函数等。
如果预先规定的限定失真度为D，则称信源压缩后的平均失真度D 不大于D的准则为保真度准则，即保真度准则满足D D。
信息压缩问题就是对于给定的信源，在满足保真度准则的前提下， 使信息率尽可能小。
将满足保真度准则的所有信道称为失真度D许可信道
（也称D允许的试验信道），记为
PD p y | x : D D
17
4.1.3 信息率失真函数R(D)
X 信源编码器
X a1, a2 ,L an
Y
Y b1,b2 ,L bn
假想信道
将信源编码器看作信道
信源编码器的目的：使编码后所需的信息传输率 R 尽量小； 然而R越小，引起的平均失真就越大；
2020/4/13
Chapter 4 信息率失真函数
18
D失真许可信道(试验信道)
dL (xi ,
yj)
1 L
L l 1
d (xil ,
y jl )
其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil 时，经编码输出L长符号样值yj中的第l个符号yjl时的失真 函数。
202失0/4真/13函数矩阵共有nLC×hapmterL4个信息元率素失真。函数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
对于连续随机变量同样可以定义平均失真
D pxy (x, y)d (x, y)dxdy
对于L长序列编码情况，平均失真为
2
4.1 平均失真和信息率失真函数
然而，如何对失真进行描述？什么是允许的失 真？信源输出信息率被压缩的最大程度是多少？ 信息率失真理论回答了这些问题，其中香农的限 失真编码定理定量地描述了失真，研究了信息率 与失真的关系，论述了在限失真范围内的信源编 码问题。
3
4.1 平均失真和信息率失真函数
4.1.1 失真函数
25
4.1 平均失真和信息率失真函数
4.1.4 信息率失真函数的性质 1. R(D)函数的定义域 ⑴ Dmin和R(Dmin)
Dmin＝0
R(Dmin) R(0) H (X )
对于连续信源
R(Dmin ) R(0) H c (x)
26
4.1 平均失真和信息率失真函数
(2) Dmax和R(Dmax)
X
Y
P(Y/X)
4
5
4.1 平均失真和信息率失真函数
0, d (xi , y j ) a , a 0
xi y j xi y j
表示信源发出符号xi而经信道传输后再 现信道输出符号集合中的yj所引起的误差 或失真，称之为xi和yj之间的失真函数。
4.1 平均失真和信息率失真函数
yj＝(yj1yj2…yjl…yjL)，则失真函数定义为：
d L (xi , y
j)
1 L
L l 1
d (xil ,
y jl )
4.1 平均失真和信息率失真函数
其中d(xil，yjl)是信源输出L长符号样值xi中的 第l个符号xil时，编码输出L长符号样值yj中的第l 个符号yjl的失真函数。
nm
p(ai ) p(bj | ai )d (ai , bj )
i1 j 1
12
4.1 平均失真和信息率失真函数
式中，p(aibj),i=1,2,…,n,j=1,2,…,m是联合分 布；p(ai)是信源符号概率分布；p(yj|xi)是符号转 移概率分布；d(ai,bj) ,i=1,2,…,n,j=1,2,…,m是离 散随机变量的失真函数。
1 0 P 0 1
当R(Dmax)＝0时
4.1 平均失真和信息率失真函数
2
Dm a x
min
j 1, 2
i 1
pi d ij
min j 1, 2
p1d11 p2 d 21 , p1d12
p2 d 22
min
j 1, 2
1 3
0
2 3
1,
称为D允许试验信道。
19
4.1 平均失真和信息率失真函数
2、信息率失真函数R(D)
由于互信息取决于信源分布和信道转移概率
分布，当p(xi)一定时，互信息I(X；Y)是关于 p(yj/xi) 的U型凸函数，存在极小值。因而在上 述允许信道PD中，可以寻找一种信道pij，使给 定的信源p(xi)经过此信道传输后，互信息I(X； Y)达到最小。该最小的互信息就称为信息率失
第4章信息率失真函数
4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算
1
4.1 平均失真和信息率失真函数
在前面几章的讨论中，其基本出发点都 是如何保证信息的无失真传输。
但在许多实际应用中，人们并不要求完 全无失真地恢复消息，而是只要满足一定 的条件，近似地恢复信源发出的消息就可 以了。
17
18
4.1 平均失真和信息率失真函数
1、D允许试验信道 平均失真由信源分布p(xi)、假想信道的转移概
率p(yj/xi)和失真函数d(xi，yj)决定，若p(xi)和d(xi， yj)已定，则可给出满足下式条件的所有转移概率 分布pij，它们构成了一个信道集合PD
PD p(yj / xi ) : D D i 1,2,, n; j 1,2,, m
pij p( y j / xi ) p( y j ) p j
此时平均失真为
nm
D
pi p j dij
i1 j 1
4.1 平均失真和信息率失真函数
m
求出满足条件 p j 1 的D中的最小值 ，即
j 1
m
n
Dmax min p j pi dij
j 1 i1
失真函数d (xi, yj) (i=1, 2, …, n; j=1, 2, …, m ) 共有(nm)个具体值 ，按xi和yj的对应关系， 排列成一个(nm)阶矩阵，如下式所示
d (a1,b1) d (a1,b2 ) d (a1,bm )
d d (a2 ,b1) d (a2,b2 ) d (a2,bm )
1 3
1
2 3
0
min
j 1, 2
2 3
,
1 3
1 3
此时输出符号概率p(b1)＝0，p(b2)＝1，
a1 b2 , a2 b2
所以这时的编码器的转移概率为
d (an ,b1) d (an ,b2 ) d (an ,bm )
d称为信道 {X-P(Y/X)-Y} 的失真矩阵。
6
7
4.1 平均失真和信息率失真函数
例4.1 设信源符号X{0,1}，编码器输出符号 Y{0,1,2}，规定失真函数为
d(0,0)=d(1,1)=0
d(0,1)=d(1,0)=1
8
4.1 平均失真和信息率失真函数
最常用的失真函数
均方失真：d(xi , y j ) xi y j 2
绝对失真：d (xi , y j ) xi y j
相对失真：d (xi , y j ) xi y j / xi
误码失真：
0,
d (xi , y j ) (xi , y j ) 1，
2n 2n 2n
2n
24
4.1 平均失真和信息率失真函数
3、信息率失真函数R(D)物理意义 1°R(D)是信源给定的情况下, 在可容忍的失真度 内再现信源消息所必须获得的最小平均信息量 。 2°R(D)是反映给定信源可压缩的程度。 3°R(D)求出后 , 就与选择的试验信道无关 , 而只 是信源特性的参量 , 不同的信源 , 其R(D)是不同 的
由互信息公式可得：I(X;Y)=H(Y)-H(Y/X)=H(Y)
4.1 平均失真和信息率失真函数
信道输出概率分布为
P1 P2
pn 1 n 2n
则输出熵H(Y)为
Pn 1
1 2n
H (Y ) H ( 1 1 1 n) log 2n 1 n log(n 1)
1 i j d (ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失 真为1，试研究在一定编码条件下信息压缩的程 度。
22
4.1 平均失真和信息率失真函数
由信源概率分布可求出信源熵为
H ( 1 1 ) log 2n比特/ 符号 2n 2n
设想采用下面的编码方案：
11
4.1 平均失真和信息率失真函数
4.1.2平均失真
由于xi和yj都是随机变量，所以失真函数d(xi,yj) 也是随机变量，要分析整个信源的失真大小，只
能用它的数学期望或统计平均值，因此将失真函
数的数学期望称为平均失真，记为
nm
D
p(aibj )d (ai , bj )
i1 j 1
布；p(yj/xi)，i＝1，2，…，n，j＝1，2，…， m是转移概率分布； p(yj)，j＝1，2，…，m是
接收端收到符号概率分布。
21
4.1 平均失真和信息率失真函数
例4.2 设信源的符号表为A＝{a1，a2，…，a2n}，