信息率失真函数的绘制

课程设计任务书2011—2012学年第一学期专业：通信工程学号：姓名：课程设计名称：信息论与编码课程设计设计题目：信息率失真函数的绘制完成期限：自年月日至年月日共周一．设计目的1、理解信息率失真函数的定义与物理意义；2、分析离散信源在误码失真下的信息率失真函数表达式；3、提高综合运用所学理论知识独立分析和解决问题的能力；4、使用相关软件进行曲线的绘制。

二．设计内容分析离散信源在误码失真下的信息率失真函数表达式，并绘制曲线图。

三．设计要求1、绘制曲线使用数据不能过少；2、分析曲线的特点。

四．设计条件计算机、MATLAB或其他语言环境五．参考资料[1]曹雪虹，张宗橙.信息论与编码.北京：清华大学出版社，2007.[2]王慧琴.数字图像处理.北京：北京邮电大学出版社，2007.指导教师（签字）：教研室主任（签字）：批准日期：年月日摘要研究信息率失真函数是为了解决在已知信源和允许失真率D 的条件下，使信源必须传送给信宿的信息率最小。

即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。

首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算。

通过使用MATLAB软件进行对信息率失真函数曲线的绘制，直观的理解了信息率失真函数R(D)与失真率D和P的函数关系。

关键字：信息率失真函数；失真率D；MATLAB目录1信息率失真函数 (1)1.1信息率失真函数的定义 (1)1.2信息率失真函数的物理意义 (2)2信息率失真函数表达式 (3)2.1信息率失真函数的定义域 (3)2.1.1失真率D的下界 (3)2.1.2失真率D的上界 (3)2.2参数p的影响 (3)2.3信息率失真函数表达式的推导 (4)3信息率失真函数的matlab实现 (6)3.1实验程序 (6)3.2实验结果 (7)3.3图像的分析 (7)总结 (8)参考文献 (9)1信息率失真函数1.1信息率失真函数的定义研究在限定失真下为了恢复信源符号所必需的信息率，简称率失真理论。

信源发出的符号传到信宿后，一般不能完全保持原样，而会产生失真。

要避免这种失真几乎是不可能，而且也无必要，因为信宿不管是人还是机器，灵敏度总是有限的，不可能觉察无穷微小的失真。

倘若在处理信源符号时允许一定限度的失真，可减小所必需的信息率，有利于传输和存储。

率失真理论就是用以计算不同类型的信源在各种失真限度下所需的最小信息率。

因此，这一理论是现代所有信息处理问题的理论基础。

香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。

定理指出：在允许一定失真度D 的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。

信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。

图1.1 信息率失真函数定义信源编码器的目的是使编码后所需的信息传输率R 尽量小，然而R 越小，引起的平均失真就越大。

给出一个失真的限制值D ，在满足平均失真D 的条n a a a x ,,21∈信源编码器（看做信道）}n b b b y ,,21∈XY假想信道件下，选择一种编码方法使信息率R 尽可能小。

信息率R 就是所需输出的有关信源X 的信息量。

将此问题对应到信道，即为接收端Y 需要获得的有关X 的信息量，也就是互信息I(X;Y)。

这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(bj /ai)就对应信道转移概率。

由于互信息取决于信源分布和信道转移概率分布，当p(ai)一定时，互信息I 是关于p(bj/ai) 的下凸函数，存在极小值。

因而在上述允许信道PD 中，可以寻找一种信道p(bj /ai)使给定的信源p(ai)经过此信道传输后，互信息I(X ；Y)达到最小。

该最小的互信息就称为信息率失真函数R(D)，限定失真为D 的条件下，信源输出的最小信息率。

即（1-1）在信源给定后，希望在满足一定失真的情况下，使信源传输给信宿的信息传输率R 尽可能地小。

从信宿来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最小平均信息量。

即在满足保真度准则条件下寻找平均互信息 I(X;Y)的最小值。

（1-2）1.2信息率失真函数的物理意义对于给定的信源，在满足保真度准则下，必须传送的最小信息量，它既反映了用户容忍程度,也反映了信息率允许压缩的最小值，R(D)越大,越难压缩，反之可压缩率就大.对于固定的信源分布，平均互信息量I(X;Y)是信道转移概率 p(bj/ai) 的下凸函数。

也就是说:存在一个信道使某一特定信源经过此信道传输时，信道的平均互信息达到极小值.);(min )()/(Y X I D R Di j P a b p ∈=(/)()min ()(/)log()ij D j i i j i p P i jj p b a R D p a p b a p b ∈=∑∑2信息率失真函数表达式2.1信息率失真函数的定义域率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D 的最小和最大取值问题，即[Dmin,Dmax]。

2.1.1失真率D 的下界由于平均失真度是非负实数d(xi,yj)的数学期望，因此也是非负实数，即D 的下界为0。

（2-1）Dmin ＝0，对应于无失真情况，相当于无噪信道，信道传输的信息量等于信源熵，即 R(D)=R(0)=H(X)允许平均失真度能否达到其下限值0，与单个符号的失真函数有关。

只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。

2.1.2失真率D 的上界由于I(X;Y)是非负函数，而R(D)是在约束条件下的I(X;Y)的最小值，所以R(D)也是一个非负函数，即R(D)≥0，它的下限值为零。

Dmax 是满足R(D)=0时所有平均失真度中的最小值。

（2-2） 2.2参数p 的影响R(D)不仅与D 有关，还与p 有关。

概率分布不同， R(D)曲线就不一样。

当p=0.25时，如果能容忍的误码率也是0.25，不用传送信息便可达到，即R=0，这就是R(Dmax) =0的含义。

∑==ni j i jib a d ap D 1m in ),(m in )(===D D D R 0)(m ax min 1,21min ()(,)ni i j j m i D p a d a b ===∑2.3信息率失真函数表达式的推导{}⎪⎩⎪⎨⎧≤==≥=∑∑∈)();(:min )(给定速率R V U I P P d P p d D R D ji R i jij ji i P P Rji （2-3） 称D(R)为失真信息率函数，是R(D)的逆函数，它是求在允许最大速率情况下的最大失真D 。

引用拉氏乘子法，并设S 与），n 21i (i =μ分别表示（n+1）个约束条件的待定参数，则有：)log 1()log 1(0]);([=--+++-=--∂∂∑∑i ij i i ji i j jji i i ji i ji d Sp p P p q P SD P p I P μμ求得ijSd i j ji eq P λ= （2-6）由归一化条件有 ∑∑==jSd i j iji ijeq P λ1求得∑=jSd ji ije q 1λ （2-7）再将（2-6）式两边同乘p i 并对i 求和，且设qj>0，则有∑∑==iSd i j i iji i j ijeq p P p q λ∴ 1=∑iSd i i ijep λ （2-8）代（2-7）入（2-8），得：11=∑∑ijijSd jSd j ii e eq p （2-9） 当信源给定p i =p i 0，选定S 与d ij 以后，它是一个求解m 个q j 的方程组，则可按下列顺序求解：（2-4）（2-5）)()(),1()2,1(S R S D P n i m j q ji i j →→−→−=−→−= λ最后求得参量方程如下：⎪⎪⎩⎪⎪⎨⎧⋅⋅==∑∑∑∑i j j Sd i j Sd i j i i j ij Sd i j i q eq e q p S R d e q p S D ij ij ij λλλlog )( )(∑+=ii i p S SD λlog (） （2-11）这就是用参量S[R(D)的斜率]表达的R(D)函数形式，又称为参量方程。

由公式（2-8），有：⎩⎨⎧=+=+1)exp()exp(1)exp()exp(2222121121221111Sd p Sd p Sd p Sd p λλλλ （2-12） 求得]1)[1(1]1[121S S e p e p +-=+=λλ 将它带入式（2-7），有⎪⎪⎩⎪⎪⎨⎧=+=+222221*********)exp()exp(1)exp()exp(λλSd q Sd q Sd q Sd q （2-13）求得（2-10）SSSSe pe p q e e p p q ---=---=1)1(1)1(21 （2-14）再将2121q q ，λλ带入（2-10）式D(S)中：)ex p()ex p()(12122111111111Sd d q p Sd d q p S D λλ+=)ex p()ex p(22222222121122Sd d q p Sd d q p λλ++S S e e +=1⇒ D D S -=1log （2-15）再将它带入R(S0，有：DD S DDS p p S SD S R D R -=-=-++==1log211loglog )1(log )()()(λλ)]1log()1(log [)]1log()1(log [D D D D p p p p --++--+-=综上所述：R(D)=-p*log2(p)-(1-p)*log2(1-p)+D.*log2(D)+(1-D).*log2(1-D ）（2-16）3信息率失真函数的matlab 实现3.1实验程序for p=0.1:0.1:0.5d=0.000001:0.0001:0.5;R1=-p*log2(p)-(1-p)*log2(1-p)+d.*log2(d)+(1-d).*log2(1-d); hold on ; plot(d,r); endhold off;figure;for i=2:6p=1/i;d=0.000001:0.0001:1-p;R2=-log(p)-d*log(i-1)+d.*log(d)+(1-d).*log(1-d);plot(d,r);hold on;endhold off;3.2实验结果图3.1 R(D)1图3.2 R(D)23.3图像的分析R(D)在定义域内是失真度D的U型下凸函数。