信息论第四章失真率函数

p( y
j 1
2
j
xi ) 1
根据[d]的对称性，假设一个反向信道(Y→X ) y1 y 2 ( x y ) x1 1 D D x2 D 1 D


反向信道的转移概率矩阵为，假设的反向信道应满足： φ(xi︱yj) 0 i, j = 1,2
(x
x2 xI X x1 离散信源 ，经有扰信 q( X ) q( x1 ) q( x 2 ) q( x I )
道传输，信道输出符号为Y = {y1, y2, …, yJ}，平均失真即对d i j（i =1, 2, …,I; j = 1, 2, …, J）求统计平均值，记为
k 1,2,..., N 对一位信源信道所取的均值相等，即
从而，
D1 ... Dk ... DN D
D( N ) D
4.2
信息率失真函数R(D)
4.2.1 率失真函数的定义 给定信源，即信源概率分布q (x) 一定，给定失真测度矩阵 [d]=[dij]，寻找信道，记它的转移概率矩阵为 P [ p( y j xi )] ，要求满足
i 1
2
i
y j ) 1
由假设的反向信道计算平均失真，得
D
( x
i 1 j 1
2
2
i
y j ) ( y j )d i j = [ω(y1) +ω(y2) ]D = D
。
由上式知 D D ，满足失真条件 D D
计算条件熵：H X Y = H2 (D)
( y ) ( x
Dmax min
j
q( x ) d
i i 1
I
ij
j =1,2, …, J（4-18）
纵上所述，R(D)的定义域为： D min D D max，式中D min和D max可分 别由式（4-14）和式（4-18）求出。
4.2.3 率失真函数的性质 率失真函数有如下几条性质:： 分别给定两个失真度D1和D2（Dmin D1, D2 Dmax），则下 式成立： R (α1D1+α2D2) ≤α1R (D1)+α2 R (D2) （4-19）
信息率失真函数R(D)
补充：试验信道(D允许信道)PD 1.定义：固定信源(H(X)时，满足失真度准则 ( D D) 的所有转移概率p(y/x)的集合 2.单符号信源、单符号信道的试验信道
PD { p( y j / xi ) : D D} i 1 n, j 1 m
3.N次扩展信源、N次扩展信道的PD(N)
Dma 0 Dmin x 图4－1 R（D）的值域
D
（1）D的最小值Dmin 在给定的失真测度矩阵中，对每一个xi，找 一个最小的 d i j ，然后对所有的i =1, 2, …,I求统 计平均值，就是D的最小值，即
Dmin
q( x ) min d
i i yj
ij
(4-14)
（2）D的最大值Dmax 当R (D) 达到其最小值Rmin（D）= 0时，对应的失真 最大，这种情况下 D 对应着 R (D) 函数定义域的上界值 Dmax，如图4-1所示。 Dmax minD : RD 0 =min{D: I (X; Y ) = 0 } （4-15) 求出计算Dmax的显式:
第 4章 率失真编码
第4章 率失真编码
内容提要 数据压缩是信息传输和处理的重要研究内容，率失 真理论研究的就是在允许一定失真的前提下，对信 源的压缩编码。率失真信源编码定理（香农第三定 理）指出：率失真函数 R (D) 就是在给定失真测度 条件下，对信源熵可压缩的最低程度。 本章只限于研究率失真理论最基本的内容，失真测 度，率失真函数，率失真函数的定义域，值域，性 质及定量计算。 R (D) 的计算很烦琐，文中通过二 个例子介绍了几种特殊情况下 R (D )的求法，一般 情况只能用参数法求解。
【例4.3】 绝对值误差失真测度 信源输出符号X = {0, 1, 2}，信道输出符号Y = {0, 1, 2} ，给出 失真测度 d i j = ︱ x i - yj ︱ i, j = 0, 1, 2 则失真测度矩阵为 0 1 2
d 1
0 1 2 1 0
2.平均失真
d ii 0
d ij 1
i, j 1,2, , K
上述约定可以用矩阵表示为
0 1 1 1 0 1 d 1 1 0
式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi而信宿方判为 yj引起的失真度。 对于矢量传输情况，若信道的输入、输出均为N 长序列X = X1 X2 … XN ，Y = Y1 Y2 … YN ，定义失真测度为
N
k J
p( x
k 1 i 1 j 1
ki
, ykj )d ( xki , ykj ) （4-5）
（4-5）式表明了离散无记忆N次扩展信道的输入输出符号之 间平均失真等于单个符号xki,ykj之间失真统计值的总和。
若矢量信源是原离散无记忆信道的N次扩展，且矢 量信道也是原离散无记忆信道的N次扩展，则每个 Dk
4.1
失真测度与平均失真
在允许一定失真的前提下，从提高传输效率的角度出发， 可以对信源信息量事先进行压缩再予传输，这章要讨论的 问题就是给定一个失真度，求出在平均失真小于给定值的 条件下，信源所能压缩的最低程度，即率失真函数R(D)。 1．失真测度d( x, y ) X x1 给定离散信源
第4章 率失真编码
信息率失真函数R(D)——香农1959年提出 在允许一定失真度D的情况下， 信源输出的信息率可压缩为R(D)值 数据压缩的理论基础 I(X;Y)——H(X)、H(Y/X)的二元函数 固定H(Y/X) ，改变H(X)得I(X;Y)最大值 ——信道容量 固定H(X)，改变H(Y/X) 得I(X;Y)最小值 ——率失真函数
输出符号yj引起的失真用 d (xi ,y j)（i =1, …,I j = 1, …, J） 表示，简记为d i j，将所有的d i j列出来，可以得到下面的失真 测度矩阵 d11 d12 d1 J d d d 21 22 2J (4-1) d d d d I2 IJ I1
D
p( x y
i i 1 j 1
I
J
j )d i j
q( x ) p( y
i i 1 j 1
I
J
j
xi )d i j （4-4）
平均失真D 是对在给定信源分布q(x)条件下，通过 有扰信道传输而引起失真的统计平均度量。
平均失真说明： ①是在平均意义上，对系统失真的总体描述 ②是信源统计特性p(xi)的函数 是信道统计特性p(yj / xi)的函数 是规定失真度 d(xi, yj)的函数 若保持p(xi)、d(xi, yj) 不变，则平均失真 度就是信道特性p(yj / xi)的函数
D
q( x ) p( y
i i j
j
xi ) d i j D
（4-11）
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数 p(y∣x) 的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个 极小值为率失真函数R(D)，即：
j i 1 j 1
2
2
i
y j ) log ( xi y j )
= - (1-D) log (1-D) - D log D
则平均互信息量I (X; Y) = H (X) -H (X︱Y) = H2 (δ) - H2 (DΒιβλιοθήκη Baidu)， 假设的[φ(x︱y)]确实在满足 D 的条件下，使 D I (X; Y) = H2 (δ) - H2 ( D )。 从而有
1 (N) d (X ,Y ) N
d(X
k 1
N
k , Yk
)
（4-2）
【例4.2】 平方误差失真测度
信源输出符号X = {0, 1, 2}， 信道输出符号Y = {0, 1, 2} ， 给 出失真测度d i j = (xi - yj )2 i, j = 0, 1, 2
0 1 则失真测度矩阵为 d 1 0 4 1 4 1 0
（3）在0 D δ 的范围内，计算R(D ） 根据熵的性质 H（XY） H (X) H (X︱Y)， 又算出 H (X) = - log -(1-) log (1-) = H2 ( ) 将这两个结果代入平均互信息量的表达式 I (X; Y) = H (X) -H (X︱Y)，得到 I (X; Y ) H2 (δ) -H (XY) （4-32） 0 1 对于汉明失真测度，失真测度矩阵为 [d ] 1 0 2 2 平均失真
D
p( x y
i i 1 j 1
j
)d i j p( X Y )
在R(D)的定义中，要求满足 D D ，取等号 D D ，则 H（XY）= H2（X⊕Y）= H2 [p (X≠Y )] = H2 (D) 将这一结果代入式（4-32），得 I（X；Y） H2 (δ)- H2 (D) 根据定义 R D min I X ; Y : D D
RD min I X ; Y : D D
p( y x)


(4-12)
式(4-12)的意义在于，选择p(y∣x)即选择某种编码方法在满足 的 D D前提下，使I (X ; Y) 达到最小值R(D) ，这就是满足平 均失真 D D 条件下的信源信息量可压缩的最低程度。
4.2
x2 X x1 p( X ) 1 ,δ <0.5，信道输出符号Y = {y1=0，y2=1}，
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0· δ +0· (1-δ ) = 0 D max = min {1-δ , δ }=δ (2) 求R(D)的值域 R (Dmin=0) = H(U ) = -δlogδ- (1-δ) log (1-δ) = H2 (δ) R (Dmax) = R (δ ) = 0
PD( N ) { p(bj / ai ) : D( N ) ND} i 1 nN , j 1 mN
4.2.2 率失真函数的值域、定义域 1.R(D)的值域（参见图4-1） 率失真函数的值域为 0 R（D） H（X） (4-13) 2. R(D)的定义域
R(D)
H（X）
N次扩展信道 对于矢量传输情况，若信道的输入、输出符号均为 N长序列X=X1，…,Xk,…,XN,X k {x1 , x2 ,...,xI } , Y=Y1，…,Yk,…,YN, Yk { y1, y2 ,..., yJ } ， 平均失真定义为
D
(N)
1 N 1 N
D
k 1 N I

= H2 (δ )- H2 (D )
p( y x)



（4）上面是按照定义求出了R(D)，下面的问题是要真正找到 这么一个信道转移概率矩阵为P的信道，使 H（Y︱X）= H2（D），从而R(D)= H2 (δ) - H2 (D)，且P中的 每一个元素p (yj︱xi) 都满足 p (yj︱xi) 0 i, j = 1,2
x2 x I ，信道 q ( x ) q ( x ) q ( x ) q ( X ) 2 I 1
【例4.1】 汉明（Hamming）失真测度 信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …, yK}，约定失真测度
无误码 y i xi y j xi (i j ) 误码
1.R(D)是D的∪型凸函数
2. R(D)是D的连续、单调、减函数 3.对于离散无记忆信源（DMS） R (N ) (D) = N R (D)
4.3
率失真函数的计算
4.3.1二种特殊情况下的求解 【例4.8】 信源含两个消息{x1=0，x2=1},其概率分布为
失真测度为汉明（Hamming）失真测度，求率失真函数R(D)。