信息论基础-第七章

p ( y / x ） j i R ( D ) min I ( X ; Y ) min p ( x ) p ( y / x ) log i j i P P P P ijD ijD p ( y ) i 1 j1 j
。 应当注意，在研究R(D)时，我们引用的条件概率 p( yj / xi ) 并没有实际信道的含义，只是为了求平均互信息的 最小值而引用的、假想的可变试验信道。实际上这些信 道反应的仅是不同的有失真信源编码，或称信源压缩。 所以改变试验信道求最小值，实质上是选择一种编码方 式式信息

j 1
k2
i 1` j 1 n

m
p ( xi1 ) p ( y
j1

N
n N 1 m i 1

j 1
N 1
N 1 k 1
p ( x i N ) p ( y jN / x i N )
i 1` j 1

m
p ( x i N ) p ( y jN / x i N ) d ( x i N , y jN )
n jN

i 1
nN
m
N
N
j 1 k 1
p ( x i k ) p ( y j 2 / x i 2 ) d ( x i 2 , y j 2 ) ...


N 1
m
N
) / x i 1 ) d ( x i 1 , y j1 ) ...
j 1 k 1 N
n N 1 m i 1
4
信息论与编码-限失真信源编码
在限失真信源编码里，一个重要的问题就是在一定程度 的允许失真限度内，能把信源信息压缩到什么程度，即 最少用多少比特数才能描述信源。 这个问题已经被香农解决。香农在1948年的经典论文中 已经提到了这个问题，在1959年，香农又在他的一篇论 文“保真度准则下的离散信源编码定理”里讨论了这个 问题。研究这个问题并做出较大贡献的还有前苏联的柯 尔莫郭洛夫（Kolmogorov）以及伯格（T. Berger）等。
N N P { p ( y / x ) : D ( N ) ND ; i 1 , 2 , , n ; j 1 , 2 , , m } D ji
4）信息率失真函数R(D) 这个最小的互信息就称为信息率失真函数R(D)，简称为率失真函数。
23
信息论与编码-限失真信源编码
nm 离散信源

i 1 N k 1
nN
m
N
j 1
p ( xi ) p ( y j / xi )d ( xi , y j )

i 1
nN
m
N
j 1
p ( x i ) p ( y j / x i ) d ( x i k , y j k ); 当 信 源 与 信 道 是 无 记 忆 时 ， 有
D (N )
22
信息论与编码-限失真信源编码
对于离散无记忆信道，有
我们的目的，就是要在上述允许信道PD 中，寻找到一个信道P(Y/X)，使 得从输入端传送过来的信息量最少，即I(X;Y)最小。 对于离散无记忆信源的N次扩展信源和离散无记忆N次扩展信道，相应的 D失真许可信道为：
P { p ( y / x ) : D D ; i 1 , 2 , , n ; j 1 , 2 , , m } D j i
9
信息论与编码-限失真信源编码
y 0 x i j d (, x ) ; 它 是 一 个 非 负 函 数 iy j x y a a 0 i j
由于输入符号有n个，输出符号有m个，所以d(xi , y j ) m 共有 n 个，写成矩阵形式，就是
(x ,y ) d (x ,y ) d 1 1 1 m d d ( x , y ) d ( x , y ) n m n 1
5
信息论与编码-限失真信源编码
信息率失真理论是矢量化、数模转换、频带 压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容， 包括信源的失真度和信息率失真函数的定义与性 质，离散信源和连续信源的信息率失真函数计算， 在此基础上论述保真度准则下的信源编码定理— —即香农第三编码定理。
6
信息论与编码-限失真信源编码
信息论与编码-限失真信源编码
第七章 限失真信源编码
1
信息论与编码-限失真信源编码
第五章我们讨论了无失真信源编码。但是， 在很多场合，特别是对于连续信源，因为其绝对 熵为无限大，若要求无失真地对其进行传输，则 要求信道的信息传输率也为无限大，这是不现实 的。因此也就不可能实现完全无失真传输。 另一方面，从无失真信源编码定理来考虑， 由于要求码字包含的信息量大于等于信源的熵， 所以对于连续信源，要用无限多个比特才能完全 无失真地来描述。
13
信息论与编码-限失真信源编码
平均失真是符号失真函数在信源空间和信宿空间 平均的结果，是描述某一信源在某一信道传输时 失真的大小，是从整体上描述系统的失真情况。
14
信息论与编码-限失真信源编码
三、信源符号序列的失真 从上面的单符号失真函数，可以得到信源符号 序列的失真函数和平均失真度。由于序列时相 当于是一个由单符号随机变量组成的随机矢量， 仿照单符号时的情况，对单符号离散无记忆信 源的L次扩展信源，在信道中的传递作用相当 于单符号离散无记忆信道的L次扩展信道，输 出也是一个随机变量序列，可得：
15
信息论与编码-限失真信源编码
定义7.1 设发送序列xi=xi xi …xi ,接收序列为 1 2 N, yi=yj yj …yj 定义序列失真度为： 1 2 N, d(xi,yj)=d(xi xi …xi , yj yj …yj ) 1 2 N 1 2 N =d(xi , yj )+d(xi , yj )+…+d(xi , yj ) 1 1 2 2 N N =∑ d(xi , yj ) (k=1 to N) k k 也就是说信源序列的失真度等于序列对应单 个符号失真度之和，写成矩阵形式rNxsN
d被称为失真矩阵。
10
信息论与编码-限失真信源编码
{ 0 ,1 } ,编码器的输出符号 例4-1-1 设信源符号 X Y { 0 , 1 ,2 } ，规定失真函数为：
d(0,0)=d(1,1)=0;d(0,1)=d(1,0)=1;d(0,2)=d(1,2)=0.5 求失真矩阵d. 解：由失真矩阵定义：
n m n m X , Y i 1 j 1 i 1 j 1
D p ( x , y ) d ( x , y ) p ( x , y ) d ( x y ） p ( x ) p ( y / x ) d ( x , y ) i j i j i j i i j
d ( 0 , 0 )d ( 0 , 1 )d ( 0 , 2 ) 010 . 5 d d ( 1 , 0 ) d ( 1 , 1 ) d ( 1 , 2 ) 1 0 0 . 5
11
信息论与编码-限失真信源编码
失真函数 d(xi , y j ) 的函数形式可以根据需要适当选 取，如平方代价函数、绝对代价函数、均匀代价 函数等： 2 d ( x , y ) ( x y ) i j i j 平方失真： (x yj i,y j)x i 绝对失真： d ( x x y 相对失真： d i,y j) i j /x i 0 , x y i j d ( x , y ) ( x , y ) 误码(汉明)失真： i j i j 1 , 其它

12
信息论与编码-限失真信源编码
也可以按其它的标准，如引起的损失、风险、主观感觉 上的差别等来定义失真函数。 二、平均失真 由于信源X和信宿Y都是随机变量，所以符号失真度 函数也是一个随机变量，传输时引起的平均失真应该是 符号失真度函数 d(xi , y j )在信源概率空间和信宿概率空间 求平均，即：
21
信息论与编码-限失真信源编码
2）限失真编码的研究方法 将有失真信源编码器视作有干扰的信道，用分 析信道传输的方法来研究限失真编码问题。 3）D允许信道 满足 D D 的所有转移概率Pij构成了一类假想 信道，称为D允许信道（或D失真许可的试验 信道），对于模拟信道记为 P { p ( y / x ) : D D } D

k 1
D k ; 这 里 D k 是 指 信 源 的 第 k 个 分 量 的 平 均 失 真 度 ， 而 信 源 的 平 均 失 真 18 度。
信息论与编码-限失真信源编码
平均每个符号的平均失真度为
1 1 D D ( N ) p ()( xp yx )(, d x ) N i j| i iy j N N i 1 J 1
20
信息论与编码-限失真信源编码
7.2信息率失真函数
在信源给定，并且也定义了具体的失真函数之后，我们 总是希望在满足一定的失真限度要求的情况下，使信源 最后输出的信息率R尽可能地小。也就是说，要在满足保 真度准则下（ D D ），寻找信源输出信息率R的下限值。 1)信息压缩问题 对于给定的信源，在满足给定失真 D D 的前提下使编 码后的信息率（I(X；Y)）最小。
2
信息论与编码-限失真信源编码
第16讲 7.1 失真测度

3
信息论与编码-限失真信源编码
即使对于离散信源，由于处理的信息量越来越大， 使得信息的存储和传输成本很高，而且在很多场合，过 高的信息率也没有必要，例如：由于人耳能够接收的带 宽和分辨率是有限的，因此对数字音频传输的时候，就 允许有一定的失真，并且对欣赏没有影响。又如对于数 字电视，由于人的视觉系统的分辨率有限，并且对低频 比较敏感，对高频不太敏感，因此也可以损失部分高频 分量，当然要在一定的限度内。等等这些，都决定了限 失真信源编码的重要性。
16
信息论与编码-限失真信源编码
故对L长的信源序列，其平均失真度为
D ( N ) E [( d xy , j) ] p ( x yd )( xy , j) i i j i
i 1j 1
N N n m
17
信息论与编码-限失真信源编码
D ( N ) E ( d ( xi , y j ))
N N n m
当信源与信道无记忆时，
D( N ) Dk
k 1
N
，而
1 DN N
D
k 1
NБайду номын сангаас
k
19
信息论与编码-限失真信源编码
如果满足平稳条件：
1N 1 D D D D N k N N N k 1
若平均失真度不大于我们所允许的失真D，即 D D我们称此为保真度准则。
nN m
N

i 1 N
nN
m
N
N
j 1 k 1
[ p ( xi k ) p ( y
jk
/ x i k ) ] d ( x i k , y jk )
k 1
N

i 1 nN i 1
j 1 k 1
N
p ( x i k ) p ( y j k / x i k ) d ( x i 1 , y j1 ) p ( x i N ) p ( y jN / x i N ) d ( x i N , y p ( x i k ) p ( y jk / x i k )

8
信息论与编码-限失真信源编码
7.1.1、失真函数（定量地描述信息失真程度） 设某信源输出的随机变量为X，其值集合为 X { x , x , , x } ，经过编码后输出为 1 2 n Y { y , y , , y } ，设 x i 对应 y j ，如果 1 2 m xi y j i 1 , 2 , , n ; j 1 , 2 , , m 则认为没有失真。当 xi y j 时，就产生了失真， 失真的大小，用失真函数来衡量。单个符号的 失真函数(失真度)的定义为
在实际中，信号有一定的失真是可以容忍的， 但当失真大于某一限度后，信息质量将被严 重损伤，甚至丧失其实用价值，因此，要规 定失真限度，必须对其有一个定量的失真测 度
X P(Yj/xi) Y
信道的数学模型
7
信息论与编码-限失真信源编码
转移矩阵描述 P=(P(yj/xi))nxm P矩阵为一个n×m矩阵，其每行元素之和等于1。 从这个角度看编码器可以看作一个广义的信道， X为信道的输入，Y是信道的输出。与无失真编码 不同，这是从输入到输出是一个多对一的映射，它 是不可逆的，信源符号与码元符号之间的差异就是 编码时引入的失真。