限失真信源编码

18
D允许试验信道
D = ∑ p( xi ) p ( y j / xi )d ( xi , y j )
i, j
若p(xi)和d(xi，yj)已定，则可给出满足 已定，
D≤D
条件的所有转移概率分布p 它们构成了一个信道集合P 条件的所有转移概率分布pij，它们构成了一个信道集合PD
P = p( y j / xi ) : D ≤ D D 称为D 称为D允许试验信道。
{
}
19
把所有D失真许可的试验信道组成一个集合，用符 号PD表示，即： PD={P (yj /xi)：
D
≤ D}
信源给定，且又具体定义了失真函数以后，总希望 在满足一定失真的情况下，使信源传输给收信者的信息 传输率R尽可能地小。即在满足保真度准则下，寻找信 源必须传输给收信者的信息率R的下限值-------------这个 下限值与D有关。 从接收端来看，就是在满足保真度准则下，寻找再 现信源消息所必须获得的最低平均信息量。 而接收端获得的平均信息量可用平均互信息I(X;Y) 来表示，这就变成了在满足保真度准则的条件下，寻找 平均互信息I(X;Y)的最小值。
第七章 限失真信源编码
3
图像压缩
8K
10K
14K
44
在实际问题中，信号有一定的失真是可以容忍的。 但是当失真大于某一限度后，信息质量将被严重 损伤，甚至丧失其实用价值。要规定失真限度， 必须先有一个定量的失真测度。为此可引入失真 函数。
5
7.1.1 失真函数
X={xi}，xi∈{a1,…an} X={ 信源编码器 失真函数d(xi，yj) Y={yj}，yj∈{b1,…bm} ，
1 L DL = ∑E[d ( xil , y jl )] L l =1 1 L = ∑Dl L l =1
13 13
我们已经知道I（X；Y）在固定信源概率分布 的条件下是I（X；Y）的下凸函数，因此变更p （bj / ai ） 就可求得I（X；Y） 的极小值。但是 只要X和Y相互统计独立，即p（bj / ai）= p（bj ），这个极小值就 =0，这样一来求极小值问题 就没有意义了。所以引入一个失真函数，计算 在一定失真度的情况下信息率的极小值。
26
讨论
何时Dmin=0? 只有当失真矩阵中每行至少有一个零元素。
27
(2) D的上届。 D的上届 的上届。
R(Dmax)=0
Dmax和R(Dmax)
选择所有满足R(D)＝0中D的最小值，定义为 ＝ 中 的最小值 定义为R(D) 的最小值， 选择所有满足 定义域的上限D 定义域的上限 max，即
16
这里假设X是信源，Y是信宿，那么X和Y之间 必有信道。 实际这里X指的是原始的未失真信源，而Y是 指失真以后的信源。 因此，从X到Y之间实际上是失真算法，所以 这里的转移概率p(yj/xi)是指一种失真算法，
17
信源固定(给定P(a))，单个符号失真度固定时( 给定d(xi,yj)) ，选择不同试验信道，相当于不同的 编码方法，所得的平均失真度是不同的。 有些试验信道满足 D ≤ D，而有些试验信道 D＞D。 凡满足保真度准则----平均失真度 D ≤ D的试 验信通称为---D失真许可的试验信道。
n
n
Dm = ax
j =1,2,L,m
min
∑p d
i =1
i ij
31
例 设输入输出符号表为X 设输入输出符号表为 X＝ Y∈{0， 1}，输入概率 分布p )={1 分布p(x)={1/3，2/3}，失真矩阵为
d (a1 , b1 ) d(a1 , b2 ) 0 1 d= = 1 0 d (a2 , b1 ) d (a2 , b2 )
xi = y j 0 d(xi ,y j ) = α α > 0 xi ≠ y j
称为单个符号的失真度（或失真函数）。表示 离散信源发出一个符号xi而在接收端再现为yi所引 起的误差和失真。
d (x, y) : 表示源字母符号 x 与码字母符号 y 之间的失真。
6
失真矩阵
单个符号的失真度的全体构成的矩阵 称为失真矩阵， 称为失真矩阵，是n×m 阶矩阵。
r r d (x1, y1 ), r r d (x2 , y1 ), [dN ] = rM r d (xr N , y1 ),
例7-2
r r r r d (x1 , y2 ) ... d (x1, ysN ) r r r r d (x2 , y2 ) ... d (x2 , ysN ) M M M r r r r d (xr N , y2 ) ... d ( xr N , ysN )
10
7.1.3 平均失真
单个符号间的平均失真度： D = E[d ] = ∑∑ p(xi y j )d ( xi , y j )
i j
= ∑∑ p( xi ) p( y j | xi )d ( xi , y j ).
i j
信源
试验信 道特性
单个符号的 失真函数
p(yj/xi )在此实质上代表编码方式。
d (a1, b1) d (a1, b2 ) L d (a1, bm ) d(a , b ) d(a , b ) L d(a , b ) 2 2 2 m d= 2 1 M M M d(an , b1) d (an , b2 ) L d(an , bm )
语音处理中，常用失真度量： Itakura-Saito 距离 图像处理中，常用失真度量： 平方误差失真
R(D) = m I ( X ;Y ) in
P D
R(D)-------信息率失真函数或简称率失真函数 R(D)-------信息率失真函数或简称率失真函数。 率失真函数。 单位是奈特／信源符号 或 比特／信源符号
21
寻找平均互信息I（X；Y）的最小值。而PD是所有 满足保真度准则的试验信道集合，因而可以在D失真许 可的试验信道集合PD中寻找一个信道。 p（bj / aj ） ， 使I(U;V) 取极小值。 由于平均互信息I（X；Y）是。 p（bj / aj ）的上 凸函数，所以在PD集合中，极小值存在。这个最小值就
Pij ∈PD i =1 j =1
n
m
p(bj / ai ) p(bj )
p(ai)，i＝1，2，…，n 是信源符号概率分布； 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。 是接收端收到符号概率分布。
15 15
x ∈{a1, a2,Lan}
X
信源编码器
y ∈{b1, b2,Lbn}
Y
假想信道 p(yj/xi) 信源符号编码概率 信道转移概率 ⇒
将信源编码器看作信道， 将信源编码器看作信道，信源编码器输出的信息率 R对应到信道 ， 即为接收端 需要获得的有关 的信息 对应到信道， 即为接收端Y需要获得的有关 需要获得的有关X的信息 对应到信道 量，也就是互信息I(X;Y)。 也就是互信息 。
7
[d(x , y )] ，
i j
常见失真函数： 1. 汉明失真： 0， if x = y, d (x, y) = ， if x ≠ y. 1
2. 平方误差失真： d (x, y) = y − x） （ .
2
例7-1
8
7.1.2 失真函数——序列失真函数 失真函数——
r r 设x = ( x1, x2 ,..., xN )与y = ( y1, y2 ,..., yN )分别为长度为N的源字 r r 和码字, x与y之间的矢量失真函数为 1 N r r d (x, y) = ∑d (xi , yi ). N i =1
20
信息率失真函数R(D) 信息率失真函数R(D) I [p(xi)， p(yj/xi)]
当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函 一定时，互信息I是关于p 数，存在极小值(2.2节）。 存在极小值( 在上述允许信道P 在上述允许信道PD中， 可以寻找一种信道pij， 使 可以寻找一种信道p 给定的信源p 经过此信道传输后，互信息I 给定的信源p(xi)经过此信道传输后，互信息I(X；Y) 达到最小。 达到最小。
23
24
R(D)的物理意义
由互信息的关系式 可理解为互信息是信源熵H(X)与在噪声干扰下消失的信息量 H(X/Y)之差。 信息在存储和传输时需要去掉冗余，即对信源的原始信息在 允许的失真限度内可进行压缩。由于这种压缩损失了一定的 信息，造成一定的失真，把这种失真等效成由噪声而造成的 信息损失，看成一个等效噪声信道（试验信道）。
图7-3
25
7.2 信息率失真函数R(D) 信息率失真函数R(D)
1.
R(D)函数的定义域 R(D)函数的定义域 ⑴ D的下届 Dmin和 Dmin和R(Dmin) Dmin＝ Dmin＝0
R(Dmin ) = R(0) = H( X )
对于连续信源
R(Dmin ) = R(0) = Hc (x) = ∞
保真度准则体现了限失真信源编码中的“限” 。
14 14
7.2 信息率失真函数R(D) 信息率失真函数R(D)
信源编码器的目的是使编码后所需的信 息传输率R尽量小， 息传输率R尽量小，
R
D D
给定失真的限制值D， 给定失真的限制值 ，使 D ≤ D，找最小 ， ，找最小R， R(D)，定义为信息率失真函数。 ，定义为信息率失真函数。
——矢量（序列） 矢量（序列） 矢量 失真矩阵
99
7.1.3 平均失真
由于xi和yj都是随机变量，所以失真函 由于xi和yj都是随机变量，所以失真函 数d（ xi，yj）也是随机变量。 d（ xi，yj） xi，yj）也是随机变量。 xi，yj） 只能表示两个特定的具体符号xi，yj之间的 只能表示两个特定的具体符号xi，yj之间的 失真，为了能在平均的意义上表示信道每 传递一个符号所引起的失真的大小，定义 平均失真度 为失真函数的数学期望，即d xi，yj）在 为失真函数的数学期望，即d（ xi，yj）在 X和Y的联合概率空间p（XY）中的统计平 的联合概率空间p XY）中的统计平 均值。
ij j i j j
Dmax = min D = min ∑ ∑ pi pijdij
pij pij i =1 j =1
n m
= min ∑ ∑ pi p jdij = min ∑ p j ∑ pidij
pj i =1 j =1 pj j =1 i =1
n m
m
n
需满足条件
∑p
j =1
m
j
=1
30
从上式观察可得： j=1 从上式观察可得：在j=1，…，m中，可找 到 ∑ pi dij值最小的j，当该j对应的pj＝1，而 值最小的j 当该j对应的p i =1 其余p 为零时， 上式右边达到最小， 其余 pj 为零时 ， 上式右边达到最小 ， 这时 上式可简化成
是在 D≤ D的条件下，信源必须传输的最小平均信息量 ,即：R(D)。 • 率失真函数给出了熵压缩编码可能达到的最小熵率与 失真的关系，其逆函数称为失真率函数，表示一定信 息速率下所可能达到的最小的平均失真。
22
对于离散无记忆信源，R(D)函数可写成 对于离散无记忆信源，R(D)函数可写成
R(D) = min ∑∑ p(ai ) p(bj / ai ) log
Dmax = m D in
R( D)=0
当R（D）为0，意味着不需要传输任何信息。显然D越 大甚至无限大都能满足这样的情况，这里选取所有能满 足R（D）=0中的D的最小值。 因此可以得到R(D)的定义域为 的定义域为 因此可以得到
D∈[0, Dmax ]
28Leabharlann Baidu
29
Dmax=?
R(D)＝ 就是I R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出 这时试验信道输入与输出 ），所以条件概率 是互相独立的 全损信道），所以条件概率p 是互相独立的（全损信道），所以条件概率p(yj/xi) 无关。 p 与xi无关。即 = p( y / x ) = p( y ) = p
11 11
平均失真度 D 是对给定信源分布p（ai） 经过某种转移概率分布为p（bj / ai）的 有失真信源编码器后产生失真的总体量 度。 注意：序列失真和平均失真的区别。
12
对于连续随机变量同样可以定义平均失真
D=∫
∞
−∞ −∞
∫
∞
pxy (x, y)d (x, y)dxdy
对于L长序列编码情况， 对于 长序列编码情况，平均失真为 长序列编码情况