第七章 限失真信源编码

第七章 限失真信源编码
7.1 失真测度 7.2 信息率失真函数 7.3 信息率失真函数的计算 7.4 限失真信源编码定理和逆定理 * 7.5 熵压缩编码具体方法
第七章：限失真编码
概述
失真测度
X
Y
信源
编码器/信道
信宿
R=I(X;Y)>R(D)
第七章：限失真编码
7.1.1 失真函数
失真测度
X P
x1 p( x1
)
x2 p(x2 )
பைடு நூலகம்
xr p(xr )
Y P
y1 p( y1
)
y2 p(y2 )
ys p( ys )
d (xi , y j ) 0, i 1,2, , r, j 1,2, , s
第七章：限失真编码
7.1.1 失真函数
失真测度
失真矩阵
d(x1, y1) D d(x2 , y1)
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.2 信息率失真函数的定义
R(D) min I (X ;Y )
p( y j | xi )BD
RN
(D)
min
p(y j |xi )BD
I (X; Y)
当信源为离散无记忆平稳信源、信道为离散无记忆平稳信 道时
I (X; Y) NI ( X ;Y )
为 Y Y1Y2Y3 ，其中每个随机变量均取值于Y 0,1 。
定义失真函数
d (0,0) =d (1,1) =0，
d (0,1) =d (1,0) =1，求失真矩阵 D (N ）。
第七章：限失真编码
7.1.1 失真函数
0 1 1 2 1 2 2 3
1 0 2 1 2 1 3 2
1 2 0 1 2 3 1 2
p(y jk | xik ) p(y j | xi ) (k 1,2, , N)
Dk D
D(N) N D
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
7.2.1 D 允许信道
保真度准则
DD
D(N ) ND
D失真允许信道
BD p(y j | xi ) : D D i 1,2, , r; j 1,2, , s BD(N) p(y j | xi ) : D(N) ND i 1, 2,L , r N ; j 1, 2,L , sN
当 0 D Dmax p 时，
D E[d (xi , y j )] p(xi y j )d (xi , y j )
ij
P( X 0,Y 1) P( X 1,Y 0) PE
1 0
1
2 1
，求 Dmin
2
第七章：限失真编码
1. R(D的)定义域
0 1 1 D 0 1 1
1 0 1
1 0 0 P 1 0 0
0 1 0
信息率失真函数的性质
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
例7.4
设信源
X P( X
)
0 1 3
1 1
3
2 1
,
Y
0,1
3
第七章：限失真编码
信息率失真函数
7.2 信息率失真函数
这两个概念适用范围是不一样。研究信道容量C 是为 了解决在已知信道中尽可能多地传送信息的问题，是为了 充分利用已给定的信道，使传输的信息量最大而错误概率 任意小，以提高通信的可靠性，这是信道编码的问题。
研究信息率失真函数是为了解决在已知信源和允许失 真度条件下，使信源输出的信息率尽可能小，也就是在允 许一定失真度D 的条件下，使信源必须传送给信宿的信息 量最少，尽可能用最少的码符号来传送信源信息，使信源 的信息可以尽快地传送出去，以提高通信的有效性，这是 信源编码问题。
D
0
0
第七章：限失真编码
2. R(D是)关于D的下凸函数
信息率失真函数的性质
对于任意 0 1 和 D1, D2 Dmax 有
RD1 (1)D2 R(D1) (1)R(D2 )
第七章：限失真编码
信息率失真函数的性质
3. R(D在)定义域内是严格递减函数
D1 D2 D1 D0 D2
R(D1) R(D2 )
R(D0 ) R(D1)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
例7.6 二元信源的信息率失真函数
信源 X 0 1
P
p
1 p ,
p1 2
输出符号集为（0，1），失真函数定义为
0 i j dij 1 i j
i,j 1, 2
P
p
1 p ,
p1 2
输出符号集为（0，1），失真函数定义为汉明失真
0 i j dij 1 i j
i,j 1, 2
，求 R(D) 。
第七章：限失真编码
信息率失真函数的计算
7.3.2 二元信源和离散等概信源的 R(D)
解： Dmin 0 且满足该最小失真的试验信道是一个无
噪无损信道。
rN sN
p(xi ) p(y j | xi )d (xi , y j )
i1 j1
rN sN
N
p(xi ) p(y j | xi ) d (xik , y jk )
i1 j1
k 1
N
D(N) Dk k 1
失真测度
第七章：限失真编码
失真测度
7.1.2 平均失真
p(xik ) p(xi )
得到平均失真度D(S)，并将S表示为D的函数。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
（4） 将参量S代入 得到率失真函数。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
R(D) H ( p) H (D)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
等概信源的信息率失真函数。
例7.7 信源输出符号集 X x1, x2 , , xr ，等概
分布，输出符号集 Y
定义为
y1,
y2,
,
yr
，失真函数
0 i j d(xi , y j ) 1 i j i, j 1,2, , r
求 R(D) 。
RN (D) NR(D)
第七章：限失真编码
7.2 信息率失真函数
信息率失真函数
C max I ( X ;Y )
p( xi )
是在信道固定前提下，选择一种信源概率分布使信息传输 率最大（求极大值）。它反映了信道传输信息的能力，是 信道可靠传输的最大信息传输率。信道容量与信源无关， 是反映信道特性的参量，不同的信道其信道容量不同。
rs
p(xi )p( y j | xi )d (xi , y j )
i1 j1
D(N ) E d (xi , y j )
rN sN
p(xi ) p(y j | xi )d (xi , y j )
i1 j1
失真测度
第七章：限失真编码
7.1.2 平均失真
D(N ) E d (xi , y j )
（2） 平方误差失真函数
d(xi , y j ) (xi y j )2
失真函数是根据人们的实际需要和失真引起的损失、 风险大小等人为规定的。
第七章：限失真编码
7.1.1 失真函数
失真测度
例7.1.1 设信道输入 X 0,1，输出 Y 0,1,2，
规定失真函数
d(0,0)=d(1,1)=0， d(0,1)=d(1,0)=1， d(0,2)=d(1,2)=0.5，求 D 。 解：
d(xr , y1)
d(x1, y2 ) d(x2, y2)
d(xr , y2)
d(x1, ys ) d(x2 , ys ) d(xr , ys )
rs
第七章：限失真编码
7.1.1 失真函数
失真测度
常用的失真函数有： （1） 汉明失真
0 d (xi , y j ) 1
xi y j xi y j
第七章：限失真编码
失真测度
7.1.1 失真函数
例7.1.1 设信道输入 X 0,1，输出Y 0,1,2 ，
规定失真函数
d(0,0)=d(1,1)=0，
d(0,1)=d(1,0)=1，
d(0,2)=d(1,2)=0.5，求 D 。
解：
D
0 1
1 0
0.5 0.5
第七章：限失真编码
失真测度
7.1.1 失真函数
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
Dmin min
p(xi ) p(y j | xi )d (xi , y j )
ij
p(xi ) min p( y j | xi )d (xi , y j )
i
j
i
p(
xi
)
mind
j
(
xi
,
y
j
)
例7.3：删除信道
D
0
1
布为
p(xi
)
1 2r
,i
1,2,
,2r，失真函数选为
0 d (xi , y j ) 1
xi y j xi y j
求当允许的失真度为1/2时信源的率失真函数。
第七章：限失真编码
信息率失真函数的计算
7.3.2 二元信源和离散等概信源的 R(D)
例7.9 二元信源的信息率失真函数
信源 X 0 1
R(D) log r D log(r 1) H (D)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
R(D) log r D log(r 1) H (D)
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
例7.8 设信源符号集 X x1, x2 , , x2r 。概率分
，求 R(D) 。
第七章：限失真编码
信息率失真函数的计算
7.3.1 应用参量表示式计算 R(D)
解：（1）由 p(xi )iesdij 1 计算 1 和 2 。
（2）由
j
i
p( y j )esdij
1
i
计算 p( y1) 和p( y2 ) 。
（3）将求得的 1 ，2 和 p( y1) ，p( y2 ) 代入
符号序列的失真函数
X x1, x2 , , xr
Y y1, y2 , , ys
X X1X2 X N
Y Y1Y2 YN
xi xi1 xi2 xiN
y j y j1 y j2 y jN
d (xi , y j ) d (xi1 xi2 xiN , y j1 y j2 y jN )
d (xi1 , y j1 ) d (xi2 , y j2 ) d (xiN , y jN )
N
d (xik , y jk )
k 1
第七章：限失真编码
7.1.1 失真函数
失真测度
例7.1.2 假设信源输出序列 X X1 X 2 X 3 ，其中每个随
机变量均取值于X 0,1 。经信道传输(编码）后的输出
第七章：限失真编码
7.2 信息率失真函数
信息率失真函数
R(D) min I (X ;Y )
p( y j|xi ):DD
是在信源固定，满足保真度准则的条件下的信息传输率的 最小值。反映了满足一定失真度的条件下信源可以压缩的 程度，也就是满足失真要求而再现信源消息所必须获得的 最少平均信息量。是信源特性的参量，一旦求到就与求极 值过程中选择的试验信道无关，不同的信源率失真函数不 同。
0 p( y2
|
x2
)
1
p(
y1
|
x3
)
0
p( y j |xi )BD min
p( y2 | x3 ) 1
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
R(D) 0 p(y j | xi ) p(y j )
Dmax min p( y j ) p(xi )d (xi , y j )
0 1
D
1 12
1 02
，求 Dmin
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
解：
Dmin
10 11 10 1 3 32 3 6
p( y1 | x1) 1
1 R(Dmin ) R(6) min I ( X ;Y ) H ( X )
p( y2 p( y1
| x1) | x2 )
p(y j ) j
i
min j
i
p(xi )d(xi , y j )
rs
D
p(xi )p( y j | xi )d (xi , y j )
i1 j1
第七章：限失真编码
1. R(D的)定义域
信息率失真函数的性质
例： 二元信源 计算 Dmax 。
X P( X
)
x1 0.4
x2 0.6
,
D(N )
2 1
1 2
1 2
0 3
3 0
2 1
2 1
1 2
2 1 3 2 1 0 2 1
2 3 1 2 1 2 0 1
3 2 2 1 2 1 1 0
失真测度
第七章：限失真编码
7.1.2 平均失真
rs
D E d (xi , y j )
p(xi y j )d (xi , y j )
i1 j1
1 P 0
0 1
R(Dmin ) R(0) H ( X ) H ( p)
Dmax
min j
p(xi )d (xi , y j ) min(1 p, p) p
P
0 0
1 1
R(Dmax ) R( p) 0
第七章：限失真编码
信息率失真函数的计算
7.3.2 二元信源和离散等概信源的 R(D)