第7章 限失真信源编码分析

失真矩阵
信源U有n个符号，接收变量V有m个符号
d即(u：i,vj)就有n×m个，可以排成矩阵形式，
d (u1,Βιβλιοθήκη Baiduv1)
Dij
d
(u2
,
v1
)
d (u1, v2 ) d (u2 , v2 )
d (u1, vm )
d
(u2
,
vm
)
d
(un
,
v1
)
d (un , v2 )
d
(un
,
vm
)
信息论与编码理论 第7章 限失真信源编 码
为什么允许存在失真
连续信源
其上有无穷多个点，但是传输时不可能传输无穷多个 点，只能选择有限个点传输
但是用有限精确表示无限是不可能的，失真必然存在
离散信源
信源符号的个数虽然是有限的，但有时为了提高压缩 效果，需要减少符号个数
例如{0.5, 1.0, 1.5, 2.0, 2.5, 3.0}压缩为{1, 2, 3}，这必 然引入失真
i1 j1
3
3
p(0) p(vj | 0)d(0, vj ) p(1) p(vj |1)d(1, vj )
j 1
j 1
0.7 0 0.8 1 0.1 0.5 0.1 0.3 1 0.1 0 0.8 0.5 0.1
0.15
保真度准则
保真度准则指平均失真度不大于允许失真D， 即： DD
sl——信源输出序列中的一个符号
yl——信宿接收序列中的一个符号
例
0 1 0.5 D 1 0 0.5
若信源序列S=01,Y=02 则d(S,Y)=(d(0,0)+d(1,2))/2=(0+0.5)/3=0.25
又若信源序列S=11,Y=02 则d(S,Y)=(d(1,0)+d(1,2))/2=(1+0.5)/2=0.75
7.2.2 信息率失真函数 定义域及性质
R(D)的定义域为 0 ≤ Dmin ≤ D ≤ Dmax
D由m于in是D允许E[的d (平u, v均)]失 真n 的m 最p(小ui值) p(v j | ui )d (ui , v j )
称为失真矩阵，是n×m阶矩阵
汉明失真
如果误码失真的常数值为1，则称为汉明失真
0 1 1
1
1 0 1
1
Dij 1 1 0
1
1 1 1
0
失真矩阵举例
【例】二元对称信源，信源U＝ 【例】信源U＝{0,1,2},接收变
{0, 1}，接收变量V＝{0, 1}，在
汉明失真定义下，失真函数为：
d(0,0)＝d(1,1)＝0, d(0,1)＝d(1,0) ＝1 则失真矩阵为
R(D) min I(U;V ) p(vj |ui )BD 即互信息越小
需要通过试验信道传输的信息 量越小
信息传输率越小
因此，我们关注信 息传输率的最小值
将这个信息传输率 的最小值记作R(D)， 这就是信息率失真 函数
关于率失真函数的说明
R(D) min I(U;V ) p(vj |ui )BD
信宿
有时信宿不要求精确恢复
消息，例如人眼、人耳等
去掉信宿感觉不到的数据
可以提高压缩比，不过 这样也就带来了失真
Lena.bmp 118K
Lena.jpg 25K
7.1 失真的度量 7.1.1 失真函数和失真矩阵
由于进行失真编码，因此发送的数据与接收的数据之间有
差别 设离散无记忆信源（限失真 信源编码之前的数据）为
U 0 1
0.8 0.1 0.1
例
P
0.7
0.3
PV|U 0.1 0.8 0.1
信源U={0,1}，信宿V={0,1,2}
信道 失真矩阵
D
0 1
1 0
0.5 0.5
则信源平均失真为
23
D E[d(u,v)]
p(ui ) p(v j | ui )d (ui , v j )
0 1
Dij 1 0
量 ＝(Vu＝i－{v0j),12,2},失真函数为d(ui,vj) 由失真定义得
d(0,0)＝d(1,1)＝d(2,2)＝0 d(0,1)＝d(1,0)＝d(1,2)＝d(2,1)＝ 1 d(0,2)＝d(2,0)＝4
则失真矩阵为
【例】设信源U＝{0, 1},接收变
量 V ＝ {0, 1, 2} ， 失 真 函 数 为 d(0,0)＝d(1,1)＝0, d(0,1)＝d(1,0) ＝1, d(0,2)＝d(1,2)＝0.5 则失真矩阵为
从所有满足保真度准则的试验信道中找到 一个条件概率，使平均互信息最小，其实 质是
选择（设计）一种编码方式，在满足保真度准 则的条件下，使信息传输率最小，即保留的信 息最少/失真最大，以达到压缩比最高
当给定系统所允许的失真D之后，R(D)已经 是信息传输率的最小值，不能再小了。如 果再小，系统将不满足保真度准则的要求。
保真度准则体现了限失真信源编码中的 “限”
7.2 信息率失真函数
信息传输率R：平均每个码元携带的信息量 试验信道BD：将编码过程看成一个信道，而且满足保真度准则
编码之前 的数据
编码器
编码之后 的数据
编码之前 的数据
试验信道
编码之后 的数据
失真越大
而这个最小值又与 允许的失真有关
编码后的数据能够提供的关于 编码前的数据的信息量越小
7.1.3 平均失真和保真度准则
D E[d (u, v)]
信源平均失真： n
m
p(ui , v j )d (ui , v j )
i1 j1
nm
p(ui ) p(v j | ui )d (ui , v j )
i1 j1
ui——信源输出符号，i＝1，2，…，n p(ui)——信源输出符号ui的概率 vj——信宿接收符号，j＝1,2,…，m p(vj|ui)——信道传递概率 含义：从总体上描述整个系统失真情况
0 1 4 Dij 1 0 1
4 1 0
0 1 0.5 Dij 1 0 0.5
7.1.2 序列失真 （N次扩展信源失真）
信源序列失真度（或失真函数）定义为：
1 N
d(S,Y)
N
d (sl , yl )
l 1
S=s1s2…sN——信源的一个输出序列
Y=y1y2…yN——信宿的一个接收序列
U
P
u1 p(u1
)
u2 p(u2 )
un p(un )
接收端接收到的数据（限失真 信源编码之后的数据）为
V P
v1 p(v1 )
v2 p(v2 )
vm
p(vm
)
因此可以定义失真函数(或单个符号失真度)为：
d(ui,vj)≥0, i=1,2,…,n; j=1,2,…,m 用差来或度失量真信源发出符号为ui，接收符号为vj时所引起的误