ch5率失真理论和保真度准则下的信源编码.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
p(x2 )
xm
p(
xm
)
失真函数
汉明失真
d
(
x,
x)
0,
(x x)
1, (x x)
平方误差失真
d(x, x) (x x)2
绝对失真
d (x, x) | x x |
相对失真
d (x, x) | x x | / | x |
x
x* arg min p(x)d (x, x)
xx
利用信源的对称性 来计算率失真函数
设二元等概信源
pX( x)
x0 0.5
x1 0.5
,再生字符表
为
X
x0
,
x1
,
x
2
,失真度量矩阵为 d
23
0
0
该定理指出,在失真限度内使信息率任意接近R(D) 的编码方法是存在的,然而,要使信息率小于R(D), 平均失真一定会超过失真限度D。
重点
失真函数、失真矩阵 率失真函数定义 率失真函数计算 保真度准则下的信源编码定理
BD
q( x|x) p( x,x)d ( x,x)D
x,x
简单信源的率失真函数计算
贝努利信源是一个二元无记忆信源,其中输 出符号0的概率为1-p,输出符号1的概率为p。 求在Hamming失真度量下,贝努力信源的率 失真函数。
率失真函数的性质
R(D)的非零区域(Dmin , Dmax) R(D)的向下凸性 R(D)为单调递减的连续函数
0 1 4 Dij 1 0 1
4 1 0
平均失真
定义
D E[d(X , X )] p(x, x)d(x, x) p(x) p(x | x)d(x, x)
x,x
x,x
等概信源通过信道转移概率矩阵P的信道传输,失
真测度为均方失真测度,求平均失真。信道转移概
失真矩阵
d
(
x1
,
x1
)
d (x1, x2 )
d
(
x1
,
xm
)
Dij
d
(
x2
,
x1
)
d (x2 , x2 )
d
(
x2
,
xm
)
d (xn , x1)
d (xn , x2 )
d (xn , xm )nm
二元对称信源U={0,1},接收变量V={0,1} 在汉明失真定义下,失真函数为: d (0,0)=d(1,1)=0 d(0,1)=d(1,0)=1
第5章
率失真理论和保真度 准则下的信源编码
失真函数
一、基本离散信源(单字母)失真
信源
X P( X
)
x1 p( x1 )
x2 p(x2 )
xn p(xn )
信宿
X
P( X
)
x1
p( x1
)Hale Waihona Puke Baidu
x2
11
求率失真函数R(D) 。
保真度准则下的信源编码定理
(限失真信源编码定理)设离散无记忆信源的失真 函数为R(D),给定允许失真D,则当信息率R>R(D), 只要信源序列长度L足够长,一定存在一种编码方 法,其译码平均失真小于或等于D+ε,ε为任意小 的正数;反之,若R<R(D),则无论采用什么样的编 码方法,其平均译码失真必大于D。
率矩阵为
012
P
0 1
2
u1 u2
0.6 0.25
0.2 0.5
0.2 0.25
u3 0.1 0.1 0.8
二、N次扩展信源失真(序列失真)
d(xn, xn)
1 n
n i 1
d (xi
xi )
d
(xn
,
xn
)
max i
d
(xi
xi
)
率失真函数
R(D) min {I ( X ; X )} q( x x)BD
失真矩阵
0 1 Dij 1 0
设信源 U={0,1},接收变量V={0,1,2}, 定义失真函数为: d(0,0)=d(1,1)=0, d(0,1)=d(1,0)=1, d(0,2)=d(1,2)=0.5
失真矩阵
0 1 0.5
Dij 1 0 0.5
信源U={0,1,2},接收变量V={0,1,2},均方失 真函数为d(ui,vj)=(ui-vj)2,求失真矩阵。
Dmin
p(x) min d (x, x)
x
xX
Dm ax
min
q
(
x|
x
)
QI
0
E[d ( X
,
X
)]
min p(x) p(x)d (x, x)
p(x)
x
x
min p(x)d (x, x) xx
p(x)d (x, x*)