4 率失真编码

4.1
失真测度与平均失真
在允许一定失真的前提下，从提高传输效率的角度出发， 可以对信源信息量事先进行压缩再予传输，这章要讨论的 问题就是给定一个失真度，求出在平均失真小于给定值的 条件下，信源所能压缩的最低程度，即率失真函数R(D)。 1．失真测度 x, y ) 失真测度d( X x1 给定离散信源 =
[d ] = 1
0 1
4
1 0
【例4.3】 绝对值误差失真测度 例 信源输出符号X = {0, 1, 2}，信道输出符号Y = {0, 1, 2} ，给出失真 测度 d i j = ︱xi - yj ︱ i, j = 0, 1, 2 则失真测度矩阵为 0 1 2
[d ] = 1
【例4.1】 汉明（Hamming）失真测度 例 汉明（ ） 信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …, yK}，约定失真测度
无误码 y i = xi y j = x i (i ≠ j ) 误码
d ii = 0
d ij = 1
i, j = 1,2, ⋯ , K
2
i
y j ) =1
由假设的反向信道计算平均失真，得
D=
∑∑φ ( x
i =1 j =1
2
2
i
y j )ω ( y j )d i j = [ω(y1) +ω(y2) ]D = D
。
由上式知 D = D ，满足失真条件 D ≤ D 计算条件熵：H (X Y ) = − = H2 (D)
∑∑ω ( y )φ ( x
H2 (δ) − H2(D) 0≤ D≤δ R(D) = D>δ 0
（5）要找出正向信道，可由
q(u i ) = ∑ φ (u i v j )ω (v j ) i = 1, 2
j =1
2
，
反解出ω(yj)， j = 1, 2，再计算出 p ( y j x i ) = 。 q( xi ) ①δ=（1-D）ω（y1）+ Dω (y2) 1-δ = D ω（y1）+（1-D）ω (y2) 由上面方程组解出， δ −D 1−δ − D ω ( y1 ) = ω ( y2 ) = 1 − 2D 1 − 2D ② 再算出 φ ( x1 y1 )ω ( y1 ) (1 − D ) 1δ−− D (1 − D )(δ − D ) 2D p ( y1 x1 ) = = = q ( x1 ) δ δ (1 − 2 D) −δ D φ ( x1 y 2 )ω ( y 2 ) D 11− 2−D D(1 − δ − D) p ( y 2 x1 ) = = = q ( x1 ) δ δ (1 − 2 D)
0 1 2 1 0
2.平均失真
x2 ⋯ xI X x1 离散信源 = q( x ) q( x ) ⋯ q( x ) ，经有扰信 2 I q( X ) 1
道传输，信道输出符号为Y = {y1, y2, …, yJ}，平均失真即对d i j（i =1, 2, …,I; j = 1, 2, …, J）求统计平均值，记为
R (D ) ∆ min I ( X ; Y ) : D ≤ D
p( y x)
{
}
式(4-12)的意义在于，选择p(y∣x)即选择某种编码方法在满足 的 D ≤ D前提下，使I (X ; Y) 达到最小值R(D) ，这就是满足平 均失真 D ≤ D 条件下的信源信息量可压缩的最低程度。
4.2.2 率失真函数的值域、定义域 率失真函数的值域、 的值域（参见图4-1） 1.R(D)的值域 率失真函数的值域为 0 ≤ R（D）≤ H（X） (4-13) 2. R(D)的定义域
D=
∑∑ p( x y
i i =1 j =1
I
J
j )d i j =
∑∑ q( x ) p( y
i i =1 j =1
I
J
j
xi )d i j （4-4）
平均失真 D 是对在给定信源分布q(x)条件下，通过有扰信道 传输而引起失真的统计平均度量。
4.2
信息率失真函数R(D) 信息率失真函数
4.2.1 率失真函数的定义 给定信源，即信源概率分布q (x) 一定，给定失真测度矩阵 [d]=[dij]，寻找信道，记它的转移概率矩阵为 P = [ p ( y j xi )] ，要求满足
1 (N ) d (X ,Y ) = N
∑
k =1
N
d ( X k , Yk )
（4-2）
【例4.2】 平方误差失真测度 例 信源输出符号X = {0, 1, 2}， 信道输出符号Y = {0, 1, 2} ， 给出失 真测度d i j = (xi - yj )2 i, j = 0, 1, 2 则失真测度矩阵为 0 1 4
j i =1 j =1
2
2
i
y j ) log φ ( xi y j )
= - (1-D) log (1-D) - D log D
则平均互信息量I (X; Y) = H (X) -H (X︱Y) = H2 (δ) - H2 (D )， 假设的[φ(x︱y)]确实在满足 D = 的条件下，使 D I (X; Y) = H2 (δ) - H2 ( D )。 从而有
（3）在0 ≤ D ≤δ的范围内，计算R(D ） 根据熵的性质 H（XY）≥ H (X) ≥ H (X︱Y)， 又算出 H (X) = -δ log δ -(1-δ) log (1-δ) = H2 (δ ) 将这两个结果代入平均互信息量的表达式 I (X; Y) = H (X) -H (X︱Y)，得到 I (X; Y ) ≥ H2 (δ) -H (XY) （4-32） 0 1 对于汉明失真测度，失真测度矩阵为 [d ] = 1 0 2 2 平均失真
x2 X x1 = p ( X ) δ 1 − δ ,δ<0.5，信道输出符号Y = {y1=0，y2=1}，
失真测度为汉明（Hamming）失真测度，求率失真函数R(D)。 (1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域 R (Dmin=0) = H(U ) = -δlogδ- (1-δ) log (1-δ) = H2 (δ) R (Dmax) = R (δ) = 0
（2）D的最大值Dmax 当R (D) 达到其最小值Rmin（D）= 0时，对应的失真 最大，这种情况下D对应着R (D) 函数定义域的上界值 Dmax，如图4-1所示。 Dmax ∆ min{D : R (D ) = 0} =min{D: I (X; Y ) = 0 } （4-15) 求出计算Dmax的显式:
上述约定可以用矩阵表示为
0 1 ⋯ 1 1 0 ⋯ 1 [d ] = ⋮ ⋮ ⋯ ⋮ 1 1 ⋯ 0
式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi而信宿方判为 yj引起的失真度。 对于矢量传输情况，若信道的输入、输出均为N 长序列X = X1 X2 … XN ，Y = Y1 Y2 … YN ，定义失真测度为
D=
∑ ∑ p(x y
i i =1 j =1
j
)d i j = p ( X ≠ Y )
在R(D)的定义中，要求满足 D ≤ D ，取等号 D = D ，则 H（XY）= H2（X⊕Y）= H2 [p (X≠Y )] = H2 (D) 将这一结果代入式（4-32），得 I（X；Y）≥ H2 (δ)- H2 (D) 根据定义 R D ∆ min I X ; Y : D ≤ D
Dmax = min
j
∑ q ( x )d
i i =1
I
ij
j =1,2, …, J（4-18）
纵上所述，R(D)的定义域为： D min ≤ D ≤ D max，式中D min和D max可分 别由式（4-14）和式（4-18）求出。
4.2.3 率失真函数的性质 率失真函数有如下几条性质:： 分别给定两个失真度D1和D2（Dmin ≤ D1, D2 ≤ Dmax），则下 式成立： R (α1D1+α2D2) ≤α1R (D1)+α2 R (D2) （4-19）
∑ p( y
j =1
2
j
xi ) = 1
根据[d]的对称性，假设一个反向信道(Y→X ) y1 y 2 φ ( x y) = x1 1 − D D x2 D 1 − D
[
]
反向信道的转移概率矩阵为，假设的反向信道应满足： φ(xi︱yj) ≥ 0 i, j = 1,2
∑φ (x
i =1
D=
∑∑ q( x ) p( y
i i j
j
xi )d i j ≤ D
（4-11）
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y)是 信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以关于 p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个极小 值为率失真函数 率失真函数R(D)，即： (4-12)
φ ( xi y j )ω ( y j )
φ ( x 2 y1 )ω ( y1 )
D 1δ−− D 2D
x X 1 【例4.9】 信源分布 例 . =1 q( X ) 3 y y
R(D)
H（X）
Dma 0 Dmin x 图4－1 R（D）的值域
D
（1）D的最小值Dmin 在给定的失真测度矩阵中，对每一个xi，找 一个最小的 d i j ，然后对所有的i =1, 2, …,I求统 计平均值，就是D的最小值，即