第4章 信息率失真函数

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第四章 信息率失真函数

无失真信源编码和有噪信道编码告诉我们:只要信道的信息传输速率 R 小于信道容量 C ,总能找到一种编码方法,使得在该信道上的信息传输的差错概率 P e 任意小;反之,若信道的信息传输速率大于信道容量,则不可能使信息传输差错概率任意小。但是,无失真的编码并非总是必要的。无失真的编码并非总是可能的。在实际信息传输系统中,失真是不可避免的,有时甚至是必须的。

香农首先定义了信息率失真函数R(D),并论述了关于这个函数的基本定理。定理指出:在允许一定失真度D 的情况下,信源输出的信息传输率可压缩到R(D)值,这就从理论上给出了信息传输率与允许失真之间的关系,奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。

本章主要介绍信息率失真理论的基本内容,侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质;然后讨论离散信源和连续信源的信息率失真函数计算;在这基础上论述保真度准则下的信源编码定理。

1 失真测度

1.1 失真度

从直观感觉可知,若允许失真越大,信息传输率可 越小;若允许失真越小,信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。

离散无记忆信源U ,信源变量U ={u1,u2,…ur},概率分布为P(u)=[P(u1),P(u2),…P(ur)] 。 信源符号通过信道传输到某接收端,接收端的接收变量V = {v1,v2,…vs} 。 对应于每一对(u,v),我们指定一个非负的函数:

称为单个符号的失真度(或失真函数)。

通常较小的d 值代表较小的失真,而d(ui,vj)=0表示没有失真。

若信源变量U 有r 个符号,接收变量V 有s 个符号,则d(ui,vj)就有r ×s 个,它可以排列成矩阵形式,即:

它为失真矩阵D ,是 r ×s 阶矩阵。

须强调: 这里假设U 是信源,V 是信宿,那么U 和V 之间必有信道。实际这里U 指的是原始的未失真信源,而V 是指失真以后的信源。因此,从U 到V 之间实际上是失真算法,所以这里的转移概率p(vj/ui)是指一种失真算法,有时又把p(vj/ui) 称为试验信道的转移概率,如图所示:

j i j i v u d j i ≠=⎩⎨⎧>=)0(0),(α⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(...),(),(:...::),(...),(),(),(...),(),(212221212111s r r r s s v u d v u d v u d v u d v u d v u d v u d v u d v u d D

1.2 几种信源失真度

1.2.1 离散对称信源失真度

信源变量U ={u1,u2,…ur} ,接收变量V = {v1,v2,…vs}。定义单个符号失真度:

这种失真称为汉明失真。汉明失真矩阵是一方阵,对角线上的元素为零,即:

对二元对称信源(s =r =2),信源U ={0,1},接收变量V ={0,1}。在汉明失真定义下,失真矩阵为:

1.2.2 删除信源失真度

信源变量U ={u1,u2,…ur} ,接收变量V = {v1,v2,…vs} (s = r+1) 。定义其单个符号失真度为:

其中接收符号vs 作为一个删除符号。

在这种情况下,意味着若把信源符号再现为删除符号vs 时,其失真程度要比再现为其他接收符号的失真程度少一半。

若二元删除信源s =2,r =3, U ={0,1},V ={0,1 ,2} 。失真度为:

则:

⎪⎩⎪⎨⎧≠==j i j

i j i v u v u v u d 10),(r r D ⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0...11:...::1...011...10⎥⎦⎤⎢⎣⎡=0110D s j j

i j i v u d j i =≠=⎪⎩⎪⎨⎧= 2/110),

(

1.2.3 对称信源失真度

信源变量U ={u1,u2,…ur} ,接收变量V = {v1,v2,…vs} 。失真度定义为:

若信源符号代表信源输出信号的幅度值,这就是一种以方差表示的失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重,严重程度用平方来表示。 当 r =3时, U ={0,1,2},V ={0,1,2} ,则失真矩阵为:

1.2.4 结论

上述三个例子说明了具体失真度的定义。一般情况下根据实际信源的失真,可以定义不同的失真和误差的度量。另外还可以按其他标准,如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(u,v)。

1.3 平均失真度

信源 U 和信宿 V 都是随机变量,故单个符号失真度d(ui,vj) 也是随机变量。显然,规定了单个符号失真度d(ui,vj) 后,传输一个符号引起的平均失真,即信源平均失真度:

在离散情况下,信源U ={u1,u2,…ur} ,其概率分布P(u)=[P(u1),P(u2),…P(ur)] ,信宿V = {v1,v2,…vs} 。

若已知试验信道的传递概率为P(vj/ui)时,则平均失其度为: 若平均失真度D

̅不大于我们所允许的失真D ,即:D ̅≤D ,称此为保真度准则。 信源固定(给定P(u)),单个符号失真度固定时(给定d(ui,vj)) ,选择不同试验信道,相当

于不同的编码方法,所得的平均失真度是不同的。有些试验信道满足D

̅≤D ,而有些试验信道D ̅>D 。凡满足保真度准则----平均失真度D ̅≤D 的试验信通称为---D 失真许可的试验信道。 2 信息率失真函数及其性质

2.1 信息率失真函数的定义

信源给定,且又具体定义了失真函数以后,总希望在满足一定失真的情况下,使信源传输给收信者的信息传输率R 尽可能地小。即在满足保真度准则下,寻找信源必须传输给收信者的信息率R 的下限值-------------这个下限值与D 有关。

⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=02111210

D 2

)(),(i j j i u v v u d -=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=014101410D )]

,([)],([v u d E v u d E D j i ==)

,()/()(),()(11j i r i s j i j i UV v u d u v P u P v u d uv P D ∑∑∑====

相关文档
最新文档