信息论第四章失真率函数

ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
第4章 率失真编码
第4章 率失真编码
内容提要 数据压缩是信息传输和处理的重要研究内容，率失 真理论研究的就是在允许一定失真的前提下，对信 源的压缩编码。率失真信源编码定理（香农第三定
理）指出：率失真函数R (D) 就是在给定失真测度
条件下，对信源熵可压缩的最低程度。 本章只限于研究率失真理论最基本的内容，失真测 度，率失真函数，率失真函数的定义域，值域，性
dii 0 i, j 1,2, , K dij 1
上述约定可以用矩阵表示为
0
d 1
1 0
1 1
1 1 0
式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi而信宿方判为 yj引起的失真度。
对于矢量传输情况，若信道的输入、输出均为N 长序列X = X1 X2 … XN ，Y = Y1 Y2 … YN ，定义失真测度为
质及定量计算。R (D) 的计算很烦琐，文中通过二 个例子介绍了几种特殊情况下R (D )的求法，一般
情况只能用参数法求解。
第4章 率失真编码
信息率失真函数R(D)——香农1959年提出 ✓ 在允许一定失真度D的情况下，
信源输出的信息率可压缩为R(D)值 ✓ 数据压缩的理论基础 I(X;Y)——H(X)、H(Y/X)的二元函数 ➢ 固定H(Y/X) ，改变H(X)得I(X;Y)最大值
(4-12)
式(4-12)的意义在于，选择p(y∣x)即选择某种编码方法在满足
的 D D前提下，使I (X ; Y) 达到最小值R(D) ，这就是满足平 均失真 D D 条件下的信源信息量可压缩的最低程度。
4.2 信息率失真函数R(D)
补充：试验信道(D允许信道)PD 1.定义：固定信源(H(X)时，满足失真度准则 (D D) 的所有转移概率p(y/x)的集合 2.单符号信源、单符号信道的试验信道
i1 j1
i1 j1
平均失真D 是对在给定信源分布q(x)条件下，通过 有扰信道传输而引起失真的统计平均度量。
平均失真说明：
①是在平均意义上，对系统失真的总体描述
②是信源统计特性p(xi)的函数 是信道统计特性p(yj / xi)的函数 是规定失真度 d(xi, yj)的函数 若保持p(xi)、d(xi, yj) 不变，则平均失真 度就是信道特性p(yj / xi)的函数
x1 q( x1
)
x2 q(x2 )
xI q(xI
)
，经有扰信
道传输，信道输出符号为Y = {y1, y2, …, yJ}，平均失真即对d i j（i =1, 2, …,I; j = 1, 2, …, J）求统计平均值，记为
IJ
IJ
D
p(xi y j )di j
q(xi ) p( y j xi )di j （4-4）
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
yK}，约定失真测度
yi xi
无误码
y
j
xi (i
j)
误码
J
p(xki , ykj )d (xki , ykj )（4-5）
j 1
（4-5）式表明了离散无记忆N次扩展信道的输入输出符号之 间平均失真等于单个符号xki,ykj之间失真统计值的总和。
若矢量信源是原离散无记忆信道的N次扩展，且矢
量信道也是原离散无记忆信道的N次扩展，则每个 Dk
k 1,2,...,N 对一位信源信道所取的均值相等，即
N次扩展信道
对于矢量传输情况，若信道的输入、输出符号均为
N长序列X=X1，…,Xk,…,XN,X k {x1, x2 ,..., xI } , Y=Y1，…,Yk,…,YN, Yk {y1, y2 ,..., yJ } ，
平均失真定义为
D( N )
1 N
N
Dk
k 1
1 N
N k 1
I i 1
d (N ) (X ,Y )
1 N
N
d ( X k ,Yk )
k 1
（4-2）
【例4.2】 平方误差失真测度
信源输出符号X = {0, 1, 2}， 信道输出符号Y = {0, 1, 2} ， 给
出失真测度d i j = (xi - yj )2 i, j = 0, 1, 2
则失真测度矩阵为
0
d 1
1 0
4 1
4 1 0
【例4.3】 绝对值误差失真测度
信源输出符号X = {0, 1, 2}，信道输出符号Y = {0, 1, 2} ，给出
失真测度
d i j = ︱xi - yj ︱
则失真测度矩阵为
0 1 2
d 1 0 1
2 1 0
i, j = 0, 1, 2
2.平均失真
ቤተ መጻሕፍቲ ባይዱ
离散信源
q
X (X
)
1．失真测度d( x,
给定离散信源
y)
X
q( X
)
x1 q(x1
)
x2 q(x2 )
xI q(xI
)
，信道
输出符号yj引起的失真用 d (xi ,y j)（i =1, …,I j = 1, …, J）
表示，简记为d i j，将所有的d i j列出来，可以得到下面的失真
测度矩阵
d11 d12
——信道容量 ➢ 固定H(X)，改变H(Y/X) 得I(X;Y)最小值
——率失真函数
4.1 失真测度与平均失真
在允许一定失真的前提下，从提高传输效率的角度出发， 可以对信源信息量事先进行压缩再予传输，这章要讨论的 问题就是给定一个失真度，求出在平均失真小于给定值的
条件下，信源所能压缩的最低程度，即率失真函数R(D)。
从而， D1 ... Dk ... DN D
D(N) D
4.2 信息率失真函数R(D)
4.2.1 率失真函数的定义
给定信源，即信源概率分布q (x) 一定，给定失真测度矩阵
[d]=[dij]，寻找信道，记它的转移概率矩阵为 P [ p( y j xi )]
，要求满足
D
q(xi )p( y j xi )di j D （4-11）