限失真信源编码定理的实用意义

青岛农业大学本科生课程论文论文题目限失真信源编码定理的实用意义学生专业班级信息与计算科学09级2班学生姓名（学号） 20094047 指导教师吴慧完成时间 2012年6月24日2012 年 6 月 24 日课程论文任务书学生姓名：指导教师：吴慧论文题目：限失真信源编码定理的实用意义论文内容：保真度准则下的信源编码定理及其逆定理是限失真信源压缩的理论基础。

本文以此为依据举例说明了限失真的信源编码及R（D）的实用意义。

在允许一定失真度的情况下，将信源的R(D)函数作为衡量各种压缩编码方法性能优劣的一种尺度。

并结合香农第三定理分析现实生活中存在的问题，然后以此为依据关注限失真信源编码在现实生活中的发展。

资料、数据、技术水平等方面的要求：需要查阅资料，了解一些关于限失真信源编码定理方面的知识，以及其在现实生活中的应用与发展。

需要熟练掌握平均失真度、信息传输率等的运算。

在公式的应用和计算方面要准确，切忌由于马虎大意，造成结果错误，以致得出错误的结论。

发出任务书日期 2012年6月5日完成论文日期 2012年6月24日教研室意见（签字）院长意见（签字）限失真信源编码定理的实用意义摘要：限失真信源编码定理应用于社会生活的各个方面，本文通过举例阐明了如何进行有失真的信源编码和R(D)的实用意义。

接着判定这种压缩方法是否为最佳，及信源输出信息率是否还可以进一步压缩。

最后概括地分析了该理论存在的两大问题。

关键词：传输速率信源序列率失真函数Practical significance to limited distortion source coding theoremZhaocuicuiDirected by WuhuiAbstract:Limited distortion source coding theorem is applied to various aspects of social life, this paper illustrates how to have the distortion of source coding and the practical significance of R(D).Then to distinguish whether the compression method is the best and whether the source output information rate still can be further compressed.Finally it analyzes the existence of the theory of the two big problems.Key words:transmission rate Source sequences Rate-distortion function1引言保真度准则下的信源编码定理及其逆定理是限失真信源压缩的理论基础。

本文以此为依据举例说明了限失真的信源编码及R （D ）的实用意义。

在允许一定失真度的情况下，将信源的R(D)函数作为衡量各种压缩编码方法性能优劣的一种尺度。

并结合香农第三定理分析现实生活中存在的问题，然后以此为依据关注限失真信源编码在现实生活中的发展。

2限失真信源编码的应用及意义2.1相关理论知识由香农第二定理知，无论哪种信道，只要信息传输率R 小于信道容量C ，总能找到一种编码方法，使得在信道上能以任意小的错误概率，以任意接近C 的传输率来传送信息。

实际信道中，信源输出的信息传输率一般都会超过信道容量C ，因此也就不可能实现完全无失真地传输信源的信息[1]。

保真度准则下的信源编码定理及其逆定理是有失真信源压缩的理论基础。

这两个定理证实了允许失真D 确定后，总存在一种编码方法，使编码的信息传输率R ’大于R （D ）且任意接近于R(D)，而平均失真度小于允许失真D 。

反之，若R ’<R （D ）,那么编码平均的失真度将大于D [2]。

如果用二元码符号来进行编码的话，在允许一定量失真D 的情况下，平均每个信源符号所需二元码符号的下限值就是R(D)。

可见，从香农第三定理可知，R （D ）确实是允许失真度为D 的情况下信源信息压缩的下限值。

比较香农第一定理和第三定理可知，当信源肯定后，无失真信源压缩的极限值是信源熵H(S)；而有失真信源压缩的极限值是信息率失真函数R(D).在给定某D 后，一般R(D)< H(S). 2.2举例说明限失真信源的编码方法及R(D)的实用意义。

设某二元无记忆信源⎥⎦⎤⎢⎣⎡)(u P U =⎥⎥⎦⎤⎢⎢⎣⎡212110 此信源的熵为H(U)=1(比特/信源符号)。

根据香农第一定理可知，若对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，不能小于任一个二元符号。

此时，信源输出的信息率R=H=1 (比特/信源符号).若假设此信源在再现时允许失真存在，并定义失真函数为汉明失真，即d(u i ,v j )= ⎝⎛=≠j i j i v u v u 10现在设想这样一种有失真的信源压缩分组编码方案，就是把过去讨论的重复码反过来运用。

我们把信源U 的输出符号序列每N 个（取N=3）符号分成一组，用矢量U 表示。

因为信源符号0，1是等概率分布的，所以U 序列的不同形式共有23=8种，并且都是等概率分布[3]。

为了进行压缩，不是传输所有8种不同的信源序列U ，而只传输其中两个序列。

即把这8个不同的U 序列，都映射成两种V 序列来传输（V 序列仍是长为N=3的二元序列）。

所采用的映射方法是把u 1=（000），u 2=（001）， u 3=（010） u 4=（100）映射成v 1=（000）来传输；而把u 5=（111） u 6=（110） u 7=（101） u 8=（011）映射成v 2=(111)来传输。

一般这种映射关系写成V=f(U).假设信道是无噪无损二元信道。

对信道而言，这时输入端只有M ’=2个不同的消息，完全可以用码C=(0,1)来传输序列V.把v 1变成码字0，把v 2变成码字1.由此可见，通过这种简单编码方法，把原来传输的三个二元信源符号压缩成一个二元符号。

因此，这种编码后信源的信息传输率为R ’=NM 'log =31(比特/信源符号)从接收端来看当收到码字0或1时，就译成对应的信源序列v 1和v 2，这v 1和v 2就是再现的信源序列U 。

这种编译码方法可用图1直观表示。

U −−→−)(U f V −→−）（码字0.1=C −−−→−实际信道Y −−→−译码Λu ⎪⎪⎭⎪⎪⎬⎫====100u 010u 001u 000u 4321−→−v 1=000−→−0 0−→−000 ⎪⎪⎭⎪⎪⎬⎫====011u 101u 110u 111u 8765−→−v 2=111−→− 1 1−→−111该再现的信源序列ΛU 与实际发送的信源序列U 之间存在着失真。

这种失真是进行信源压缩编码后人为引起的，如图2所示↓U 000, 101， 100, 110, 011, 111, 001,……编码 V↓ 000 ，111， 000， 111，111， 111, 000……信道 C↓ 0， 1， 0， 1， 1， 1， 0……译码 Y↓ 0， 1， 0， 1， 1， 1， 0…… ΛU 000， 111， 000， 111，111，111，000…… 从图2中可以看出，接收序列U 与发送序列U 有很大差异。

根据这编码方法，可看成一种特殊的实验信道，其P （v j |u i ）=⎩⎨⎧≠=∈)(0)(,1i j i j j u f v u f v C v根据式-D N =N 1-D (N)=N1∑∑==N Nr i s j 11P(a i ) P(βj |a i )d(a i, βj )计算得d(C)=N1)](,[)(u f u d u P U∑又根据式d(u,v)=d(a i,βj )=∑=Nl jl il v u d 1),(得d(u 1=000,v 1=000)= d(u 5=111,v 2=111)=0d(u 2=001,v 1=000)= d(u 3=010,v 1=000)= d(u 4=100,v 1=000)= d(u 6=110,v 2=111) = d(u 7=101,v 2=111)= d(u 8=011,v 2=111)=1 所以求得这种简单压缩编码的平均失真度为d(C)=31 P(u))](,[u f u d U∑= 31⨯81[0+1+1+1+0+1+1+1]=41其中，P(u)=∏=31)(l l u P =21⨯ 21⨯21=81可见，经这种编码方法压缩后信源的信息传输率R ’=1/3(比特/信源符号)。

而产生的平均失真等于1/4.现在的问题是对于等概率分布的二元信源U 来说，在允许平均失真等于1/4的情况下，这种压缩方法是否是最佳的呢？信源输出信息率是否还可以进一步压缩呢？根据香农第三定理的含义，若允许失真D=1/4时，总可找到一种压缩编码，使信源输出信息率压缩到极限值R(1/4).根据式R （D ）=⎩⎨⎧>≤≤-w D wD D H w H 00)()(得R （41）=1-H(41)≈0.189(比特/信源符号) 显然，R （41）<R ’。

所以，在允许失真为1/4时，对等概率分布的二元信源来说，前述简单的压缩方法并不是最佳的方法，即信源还可以进一步压缩。

3结论由上例分析可知，在允许一定失真度的情况下，信源的R(D)函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。

但香农第三定理只给出了一个存在定理，至于如何寻找这种最佳压缩编码方法，定理中并没有给出。

在实际应用中，该理论主要存在着两大类问题。

第一类问题是符合实际信源的R(D)函数的计算相当困难。

第一，需要对实际信源的统计特性有确切的数学描述。

第二，需要对符合主客观实际的失真给予正确的度量，否则不能求得符号主客观实际的R(D)函数。

例如，通常采用均方误差来表示信源的平均失真度。

但对于图像信源来说，均方误差较小的编码方法，反而人们视觉感觉失真较大。

所以，人们仍采用主观观察来评价编码方法的好坏。

因此，如何定义符号主观和客观实际情况的失真测度就是件较困难的事。

第三，即使对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，而率失真函数R(D)的计算仍然还是较困难的。

第二类问题是即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值R(D)。

目前，这两个方面的工作都有了很大的进展。

尤其是对实际信源的各种压缩方法，如对语音信号,电视和电影图像信号和遥感图像等信源的各种压缩方法有了较大进展。