信息率失真函数.doc

第四章信息率失真函数（第九讲）（2课时）主要内容：（1）平均失真和信息率失真函数（2）离散信源和连续信源的R（D）计算重点：失真函数、平均失真、信息率失真函数R（D）、信息率失真函数的计算。

难点：信息率失真函数R（D）、信息率失真函数的计算。

作业：4、lo说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。

另外，注意，解题方法。

多加一些内容丰富知识和理解。

§4-1引言（一）引入限失真的必要性：失真在传输中是不可避免的；接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的；即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D,及其相应的信源最小信息率R（D）.对限失真信源，应该传送的最小信息率是R（D）,而不是无失真情况下的信源爛H（U）. 显然H（U）2R（D）.当且仅当D=0时，等号成立；为了定量度量D,必须建立信源的客观失真度量，并与D建立定量关系；R（D）函数是限失真信源信息处理的理论基础；（二）R（D）函数的定义信源与信宿联合空间上失真测度的定义：d （见叩:t/xV^/r[0,oo）其屮：u*U（单消息信源空I'可）v y eV （单消息信宿空间）则有万=Y工〃（吧称7为统计平均失真，它在信号空I'可屮可以看作一类“距离”，它有性质1〉= 0,当比=Vj2〉min 〃（吧）=°3〉05〃(比/匕)<00对离散信源：i=j=l,2............. n , d(upj) = djj, 则有：d 」0,当；可(无失真) 厂］〉0,当iHj (有失真)若取冷为汉明距离，则有：Jo,当i = j (无失真) 厂［1,当iHj (有失真)对连续信源，失真可用二元函数d(u,v)表示。

推而广之，d(u,v)可表示任何用V 表达U 时所引进的失真，误差，损失，风险，甚至是 主观感觉上的差异等等。

进一步定义允许失真D 为平均失真的上界:D>d =工=工工〃£皿・••对离散• • • •在讨论信息率失真函数时，考虑到信源与信宿之I'可有一个无失真信道，称它为试验信 道，对离散信源可记为p 〃，对限失真信源这一试验信道集合可定义为：P D =\P ji -D>d = YLP ：P J^根据前面在互信息中已讨论过的性质:1(U\ I,p ；j\且互信息是门的上凸函数，其极限值存在且为信道容量：C = max/(卫: p< •这里，我们给出其对偶定义：R(D)= mi 1Y U # ) m"pQp2,_ DPj f P D陆 j i P D即互信息是◎的下凸函数。

其极限值存在且为信息率失真函数。

它还存在下列等效定义：D(R) = minD>d =工工门叽<P 泸 P Ri JP R = {© : /(t/；V) < R (给定速率)}称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大 失真Do 至此，我们已给定R(D)函数一个初步描述。

则有:d(u. v)= (w-仍 H= \u-v由定义，R(D)函数是在限定失真为最大允许失真为D时信源最小信息速率，它是通过改变试验信道/乙•特性(实际上是信源编码)來达到的。

所以R(D)是表示不同D值时对应的理论上最小信息速率值。

然而对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真R7D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。

特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。

例：若有一个离散、等概率单消息(或无记忆)二元信源：p(如(叮，且采用[0, 当u i = u .汉明距离作为失真度量标准：即尙= 业•若有一具体信源编码方案为：N个[1, 当均工Uj码元中允许错一个码元，实现时N个码元仅送N・1个，剩下一个不送，在接收端用随机方式决定(为掷碾币方式)。

此时，速率R'及平均失真D相应为：R W以符号”丄厶丄，N 2 2N.・. /?'(D) = 1-丄= l-2x —= 1-2DN 2N若已知这一类信源理论上的R(D)= H^-y- H(D：(后面将进一步给出计算)，则有阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。

§4-2 R(D)函数的性质讨论R(D)性质以前先简要介绍R(D)的定义域。

对离散：[0,%]对应R(D)值：7?(0)= max/? Q 尹H 0R(DQ = min R(D),即当7? t (出寸功直。

对连[D min,Dj/?(D m in) = H c(P)=0CR(DQ = min R(D),即当R t OH 寸R(D)函数性质可用下列定理总结：定理4 — 2—1：对离散、单个消息限定失真信源，其R(D)函数满足下列性质：(1)R(D)是D的下凸(U)函数；(2)R(D)是D的单调非增函数；(3)R(D)是D的连续函数；(4)/?(Z) = 0) = //(/?)；证明：(1)证明思路：根据R(D)函数定义，与下凸函数定义，只需证明：何D" = 0D+ (1 -&)/)”] < 刃?(D) + (1 -〃)/?(/)“)首先证玖已P^,再利用互信息对坨•的下凸性。

即：若用P；与磅表示达到R(DJ与R(D「时的条件分布,且磅=昭・+(1 -0)弓则有：万(圧)=工2>%广工2>砂+(1-&)空4・・• •J 丿I J〃工2>加力(1-&E工矿尸"O• •• •J f J= 0d( (40 飞“ D二&(1 P) 〃这里d(P^)<D\ d(P^<D u由存={厅:2(用)SZ/}可得马丘依再利用互信息对号,•的下凸性，有W min /(门;硝)"S；硝)"/(门；匕)+ (1-0"(门；巧)= 0R(DJ + Q — 0)R(D「(2)设 D 2 >D ｝则 Pg o P D[min/(A ;P,.)<min/(A ;^) R(D»R(DJ即R(D)是D 的单调非增函数。

(3)设 D l =D+8 当5T 0 DI D°由匕定义，有P L y P D o 同时，由于I(Pj ；Pj)是匕连续函数。

即当 5P.. TO,有+5匕•)T/S；©)的连续函数。

小毗；常,/?(0) = /(□；©)二 H(p)§4-3离散信源R(D)函数计算:/?(£))= m i/np^pPj fP D可见，求解R(D)实质上是求解互信息的条件极值，可采用拉氏乘子法求解。

但是，在 一般情况下只能求得用参量 (R(D)的斜率S)來描述的参量表达式，并借助计算机进行 迭代运算。

由信道容量C 与R(D)数学上对偶关系：C = max /(X ；y ) R(D) = min /(t/;V)PiP ji ePD其迭代运算与求信道容量迭代运算相仿的。

在正式讨论R(D)迭代运算前，这里，我们 先介绍特殊情况下的R(D)计算。

具有等概率、对称失真信源的R(D)计算：例1：有一个二元等概率平稳无记忆信源U,且失真函数为：/. R(D 、= min PEg ； P"+5PQ t R(D) = min 畑匕)即 R(D) T R(D) , R(D)是 D(4)当£) = 0 ,即无失真时，址o 片——对应I(piQj) EZpAiog^Pi~dr00、«;)= 1 1k°°°>试求其R(D)=?解：由：聞=工工卩时• •上式中，已知：Pj =片,D (允许失真)给定。

则P. -------- 对应。

这时，由概率归一性，可进一步假设：(A \-A 0、Pji~[o \-A 外0<^ A可见：<11 — ACO O 0代入上述公式，有D 二工工PiP£「 J= -[Ax0 + 0xoo + (l-A)xl] + i[0xoo+Ax0 + (l-A)xl]再将它代入转移概率公 2 2= |(1-A) + 1(1-A) = (1-A)式中：fl-D D 0 、 Pji_〔0 D 1 — pm q •产 得：(幻)=(字，。

三2)则： \-D H(V) = H(qj ) = H(——,D \-D2H(V/U) = H(PjJ = H(\- D D)R(D) = I(U;V)\D ^=[H(V)-H(V/U)]\D ^\-D\-D = H(—,A —)-H(l-D,D)=(1 - D) log 2-(l-D) log(l-D) + (l-D)log(l- D)= (l-£>)log2例2:若有一个,2元等概率、平稳无记忆信源且规定失真函数为:试求R(D)=? 解：(%) =1、n-l<■>(©) =( \A1-" n-l由门=丄，求得 n11-AA(斤—1丿< H-l丿=—2x1_£>log-―—-£>log£> + (l-D) log(l-£>) + £> log D 0 1Gj = n-\■1 n-i 0n-l 1 n-l ■Axl + /?x — xO = l- An(n-l) n1 ——1 2nqj=》PiPji =-|lxn +(A2-l)x-― \ = -q=^ p.p =-|lxn +(A2-l)x-― ]=- : n n-l n :n n-l nR(D) = W；V)|D鉀可H(幻)-H(©)]D参量i-AD二工工门叽• •f JR(D) = /Q ；V )|° 参厳=[H(乞) — //(£•)]血= log H + (l-D)10g(l-O) +(H-l)——log ——-n-1 n-\ =log n 一 H(D,\-D)-D log(n 一 1)1ft « = 2, 4, 8，有由上图可见 无失真D = 0时n = 8, R(0) = H(p) = 3bit , n = 4, R(0) = H(p) = 2bi , n = 2, R(0) = H(p) = ]bit , 有失真，比如0 = 0.2时n =压缩比：K, = °AOBn = 4,压缩比：K 4 = OCOD n = 2, 压缩比：K°= °EOF显然 ①K 2>K 4>K^进制〃越小，压缩比K 越大; ②Of, KT,但相对关系不变，允许失真D 越大，压缩比亦越大。