ch5率失真理论和保真准则下的信源编码

x

x* arg min p(x)d (x, x)
xx
利用信源的对称性 来计算率失真函数
❖
设二元等概信源

pX( x)


x0 0.5
x1 0.5

，再生字符表
为

X



x0
,

x1
,

x
2

，失真度量矩阵为d
23




0
0
11
第5章
率失真理论和保真度 准则下的信源编码
失真函数
❖ 一、基本离散信源（单字母）失真
❖ 信源
X P( X
)


x1 p( x1 )
x2 p(x2 )
xn p(xn )
❖ 信宿


X
P( X
)



x1

p( x1
)

x2
0 1 4 Dij 1 0 1
4 1 0
平均失真
❖ 定义





D E[d(X , X )] p(x, x)d(x, x) p(x) p(x | x)d(x, x)


x,x
x,x
❖ 等概信源通过信道转移概率矩阵P的信道传输，失
真测度为均方失真测度，求平均失真。信道转移概

Dmin
p(x) min d (x, x)
x
xX

Dm ax

min

q
(

x|
x
)
QI
0
E[d ( X
,
X
)]




min p(x) p(x)d (x, x)
p(x)

x
x

min p(x)d (x, x) xx

p(x)d (x, x*)
❖ 该定理指出，在失真限度内使信息率任意接近R(D) 的编码方法是存在的，然而，要使信息率小于R(D)， 平均失真一定会超过失真限度D。
重点
❖ 失真函数、失真矩阵 ❖ 率失真函数定义 ❖ 率失真函数计算 ❖ 保真度准则下的信源编码定理
率矩阵为
012
P

０ １
２
u1 u2
0.6 0.25
0.2 0.5
0.2 0.25
u3 0.1 0.1 0.8
❖ 二、N次扩展信源失真（序列失真）

d(xn, xn)

1 n
n i 1
d (xi


xi )


d
(xn
,
xn
)

max i
d
(xi

xi
)
率失真函数

R(D) min {I ( X ; X )} q( x x)BD
失真矩阵

d
(
x1
,

x1
)

d (x1, x2 )

Dij

d
(
x2
,

x1
)

d (x2 , x2 )





d (xn , x1) d (xn , x2 )
d
(
x1
,

xm
)

d
(
x2
,

xm
)

d (xn , xm )nm
❖ 二元对称信源U＝{0,1}，接收变量V＝{0,1} 在汉明失真定义下，失真函数为： d (0,0)＝d(1,1)＝0 d(0,1)＝d(1,0)＝1
求率失真函数R(D) 。
保真度准则下的信源编码定理
❖ （限失真信源编码定理）设离散无记忆信源的失真 函数为R(D)，给定允许失真D，则当信息率R>R(D)， 只要信源序列长度L足够长，一定存在一种编码方 法，其译码平均失真小于或等于D＋ε，ε为任意小 的正数；反之，若R<R(D)，则无论采用什么样的编 码方法，其平均译码失真必大于D。





BD

q( x|x) p( x,x)d ( x,x)D




x,x

简单信源的率失真函数计算
❖ 贝努利信源是一个二元无记忆信源，其中输 出符号0的概率为1-p，输出符号1的概率为p。 求在Hamming失真度量下，贝努力信源的率 失真函数。
率失真函数的性质
❖ R(D)的非零区域(Dmin , Dmax) ❖ R(D)的向下凸性 ❖ R(D)为单调递减的连续函数

p(x2 )

xm

p(

xm
)
失真函数
❖ 汉明失真
d
(
x,

x)

0,

(x x)

1, (x x)
❖ 平方误差失真


d(x, x) (x x)2
❖ 绝对失真


d (x, x) | x x |
❖ 相对失真


d (x, x) | x x | / | x |
❖ 失真矩阵
0 1 Dij 1 0
ห้องสมุดไป่ตู้
❖ 设信源 U＝{0,1}，接收变量V＝{0,1,2}， 定义失真函数为： d(0,0)＝d(1,1)＝0， d(0,1)＝d(1,0)＝1， d(0,2)＝d(1,2)＝0.5
❖ 失真矩阵
0 1 0.5
Dij 1 0 0.5
❖ 信源U＝{0,1,2},接收变量V＝{0,1,2},均方失 真函数为d(ui,vj)＝(ui－vj)2,求失真矩阵。