第6章 限失真信源编码

第6章 限失真信源编码一、例题：【例6.1】 二元对称信源，信源{0,1}U =，接收变量{0,1}V =，在汉明失真定义下，失真函数为：(0,0)(1,1)0d d ==，(0,1)(1,0)1d d ==其失真矩阵为0110⎡⎤=⎢⎥⎣⎦D 容易看出：对于离散对称信源，其汉明失真矩阵D 为一个方阵，且对角线上的元素为零，即：0111101111011110⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦D【例6.2】 信源U ＝{0,1,2}，接收变量V ＝{0,1,2},失真函数为2(,)()i j i j d u v u v =-，求失真矩阵。

由失真定义得：d (0,0)＝d (1,1)＝d (2,2)＝0d (0,1)＝d (1,0)＝d (1,2)＝d (2,1)＝1 d (0,2)＝d (2,0)＝4所以失真矩阵D 为14101414⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦D【例 6.3】 离散无记忆信源输出二维随机序列12()U U =U ，其中(1,2)i U i =取自符号集{0,1}，通过信道传输到信宿，接收N 维随机序列12()V V =V ，其中(1,2)i V i =取自符号集{0,1}，定义失真函数(0,0)(1,1)0(0,1)(1,0)1d d d d ====求符号序列的失真矩阵。

解： 由N 维信源序列的失真函数的定义得11(,)(,)(,),kk NN N i j i j k d d d uv Nαβ===∈∈∑u v u U v V所以[][]1(00,00)(0,0)(0,0)0211(00,01)(0,0)(0,1)22N N d d d d d d =+==+=类似计算其他元素值，得到信源序列的失真矩阵为110122110122111022111022N⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦D【例6.4】 设信源符号有8种，而且等概率，即1()8i P u =。

失真函数定义为0(,)1i j i jd u v i j =⎧=⎨≠⎩假如允许失真度12D =，即只要求收到的符号平均有一半是正确的。

我们可以设想这样的方案：方案一：对于1234,,,u u u u 这四个信源符号照原样发送，而对于5678,,,u u u u 都以4u 发送。

如图6.1(a )所示。

方案二：对于1234,,,u u u u 这四个符号照原样发送，而对于5678,,,u u u u 分别以1234,,,u u u u 发送。

如图6.1(b )所示。

1u 1u 2u 2u 3u 3u 4u 4u 5u 6u 7u 8u 1u 1u 2u 2u 3u 3u 4u 4u 5u 6u 7u 8u(a ) 方案一 (b ) 方案二图6.1 例6.4有失真信源编码方案如果进行无失真编码，即无失真传送这个信源，编码信息率为2log 83=比特/信源符号。

在上述要求下，试问需要多少信息率？方案一编码后需要的信息率为12341115(,,,),,,1.5498888R H u u u u H ⎛⎫'=== ⎪⎝⎭比特/信源符号 方案二编码后需要的信息率为()12341111,,,,,,24444R H u u u u H ⎛⎫'=== ⎪⎝⎭比特/信源符号 可见，限失真信源编码需要的信息率小于信源熵()H U ，而且不同的编码方案可能得到不同的信息率R '。

【例6.5】 设二元对称信源{0,1}U =，其概率分布[]()P u ωω=，21≤ω。

而接收变量{0,1}V =，设汉明失真矩阵为110D ⎡⎤=⎢⎥⎣⎦计算这个信源的m in D 和m in ()R D 。

解： 因为最小允许失真度min 1()m in (,)0riijji D P u d u v===∑并能找到满足该最小失真的试验信道，且是一个无损无噪的试验信道，信道矩阵为1001⎡⎤=⎢⎥⎣⎦P 因此{}(|)(0)m in(;)()()j i DP v u B R I U V H U H ω∈===【例6.6】 设二元对称信源{}0,1U =，其概率分布[]()P u ωω=，21≤ω。

而接收变量{}0,1V =，采用汉明失真测度，计算m ax D 和max ()R D 。

解： 可计算出最大允许失真度为[][]m ax m in ()m in()(,)m in (0)(0,0)(1)(1,0);(0)(0,1)(1)(1,1)m in (1);VVUD d v P u d u v P d P d P d P d ωωω'===++=-=∑∑ 要达到最大允许失真度的试验信道，唯一确定为0101⎡⎤=⎢⎥⎣⎦P 即这个试验信道能正确传送信源符号1u =，而传送0u =时，接收信号一定为1v =。

那么，凡发送符号0u =时，一定都错了。

而0u =出现的概率为ω，所以信道平均失真为ω。

在这种试验信道条件下，可计算得max ()()(;)0R D R I U V ω===【例 6.7】 某二元对称信源()⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡75.025.010U u P ，采用汉明失真。

假设允许失真度1.0D =，试分析信息源所能压缩的理论极限值为多少？分析：在保真度准则下信息源所能压缩的理论极限值，就是()D R 函数。

解：该二元对称信源的率失真函数为()()()469.0811.00.1H 25.0H D R -=-==0.342比特/信源符号【例6.8】 设某二元无记忆信源111()22U P u ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦若假设此信源再现时允许失真存在，并定义失真函数为汉明失真。

经过有失真信源编码后，得到的发送码字通过无噪无损广义信道传输，经译码后到达信宿，信宿得到的接收序列为ˆU。

如图6.2所示。

（1）计算图6.2所示的有失真编码方案的信息传输率R '和平均失真D ； （2）图6.2所示的有失真压缩编码是否为最佳方案？UV()f =V U 发送码字无噪无损广义信道接收码字ˆU译码12345678(000)(001)(010)(100)(110)(101)(011)(111)=⎫⎪==⎪⎪=⎭=⎫⎪==⎪⎪=⎭u u u u u u u u 1=v 2=0101(000)(111)图6.2 限失真压缩编码方法示例解：（1）图6.2中的有失真信源压缩编码方案为：将信源的输出每N （这里N = 3）个符号组成一组，用矢量U 表示。

因为信源符号0，1是等概率分布的，所以U 序列的不同形式共有823=种，并且都是等概率分布，为了进行压缩，不是传输所有8种不同的信源序列U ，而是只传输其中的两种。

所采用的映射方法将12(000),(001)==u u 3,(010),=u4(100)=u 映射成1(000)=v 来传输；而把5(110),=u 678(101),(011),(111)===u u u映射成2(111)=v 来传输，即8种不同的U 序列映射成2种V 序列来传输。

这时输入端只有2M '=个不同的消息，完全可以用0和1来传输，映射关系为1(000)0=→v ，2(111)1=→v 。

由此可见，通过这种编码方法，把原来传输的三个二元信源符号压缩成一个二元符号。

因此编码后的信息率为log 13M R N''==（比特/信源符号）从接收端来看，当收到码字0或1时，就译成对应的信源序列1v 和2v 。

1v 和2v 就是再现的信源序列ˆU，它与实际发送的信源序列U 之间存在着失真。

这失真是进行信源压缩编码后人为引起的，接收序列ˆU与发送序列U 之间有很大差异，如图6.3所示。

发送码字U(000)(001)(010)(011)(100)(101)(110)(111)(000)(000)(000)(111)(000)(111)(111)(111)0001011100010111(000)(000)(000)(111)(000)(111)(111)(111)图6.3 信源编码引起的失真这种简单压缩编码的平均失真为()[]1111(),01111110384Ud C E d N==⨯+++++++=⎡⎤⎣⎦∑u v可见，图7.2所示的这种限失真编码方法压缩后信息率1/3R '=（比特/信源符号），而产生的平均失真等于1/4。

（2）现在的问题是对于等概率分布的二元信源U 而言，在允许平均失真等于1/4的情况下，这种压缩方法是否是最佳的呢？信源输出信息率是否还可以进一步压缩呢？根据香农第三定理的含义，若允许失真度D = 1/4时，总可以找到一种压缩方法，使信源输出信息率压缩到极限值14R⎛⎫⎪⎝⎭，可以求得1110.18944R H⎛⎫⎛⎫=-≈⎪ ⎪⎝⎭⎝⎭（比特/信源符号）显然，14R R⎛⎫'<⎪⎝⎭。

所以，在允许失真度为1/4时，对等概率分布的二元信源来说，上例中的压缩方法并不是最佳方法，即信源还可以进一步压缩。

二、讨论题：1、如何理解信息率失真函数？2、如何理解限失真信源编码定理?三、思考题：1、限失真信源编码是否有实际意义？2、失真函数有哪些常见的定义方法？3、什么是保真度准则？4、信息率失真函数有哪些性质？。