第四章信道率失真函数后续习题课

2018/10/13
Department of Communication China Ji Liang University
3
第四章 信息 率失真函数
• 问题：在允许一定程度的失真条件下，信
4.1.1 失真函数
源信息能够压缩到何种程度？至少需要多 少比特的信息率才能描述信源？
•香农信息率失真理论指出：
i=n i=n i=n 2n 2n 2n
a1 a2 an
a n+1
an
n 1 2n
a 2n
输出熵H(Y)为: 1 1 1+n n+1 H(Y)=H( ,... , ) log 2n log(n 1) 2n 2n 2n 2n
n+1 信息压缩了 log(n 1)，付出的代价：允许1/2的失真 2n
L
2018/10/13
Department of Communication China Ji Liang University
11
第四章 信息 率失真函数
4.1.3 信息率失真函数R(D)
X
输入
p( y j / xi )
信源编码器
输出
Y
X∈{x1, x2,…, xi,…, xn}
Y∈{y1,y2,…,yj,…,ym}
2018/10/13
Department of Communication China Ji Liang University
19
第四章 信息 率失真函数
4.1.4 信息率失真函数的性质
1. R(D)的定义域(D的取值范围)
（1）因为D是非负函数d(x,y)的数学期望，因此D 也是非负函数，其下界为0。此时，意味着不允 许失真，所以信道的信息率等于信源的熵，即
风险、主观感觉上的差别大小等因素人为规定的。
2018/10/13
Department of Communication China Ji Liang University
7
第四章 信息 率失真函数
4.1.1 失真函数
d(xi ,yj )=(xi -y j ) 2 d(xi ,yj )= xi -y j d(xi ,yj )= xi -y j / xi 0，xi yj d(xi ,yj )=(xi ,y j )= 1， 其他 0， i=j d(xi ,yj )= 1， 其他
假想信道
图4－2 将信源编码器看作信道
这样就可以用分析信道传输的方法来研究限失真信源编码问题。
2018/10/13
Department of Communication China Ji Liang University
12
第四章 信息 率失真函数
4.1.3 信息率失真函数R(D)
• 对于信息容量为C的信道传输信息传输率为R的信源时，如果
那么PD 称为D允许试验信道。
2018/10/13
Department of Communication China Ji Liang University
14
第四章 信息 率失真函数
• 信息率失真函数
4.1.3 信息率失真函数R(D)
• 在信源和失真度给定以后，PD是满足保真度准则
的试验信道集合，平均互信息I(X;Y)是信道传递概率 p(yj /xi)的下凸函数，所以在PD中一定可以找到某个试 验信道，使I(X;Y)达到最小，即
• 平均失真的意义
•
• 如果信源和失真度一定，
就只是信道统计特性的函数。 信道传递概率不同，平均失真度随之改变。
• 保真度准则
•人们所允许的失真指的都是平均意义上的失真。 •保真度准则：规定平均失真度 不能超过某一限定的值D，
即 ，则D就是允许失真的上界。该式称为保真度准则。
2018/10/13
Department of Communication China Ji Liang University
2018/10/13
Department of Communication China Ji Liang University
18
第四章 信息 率失真函数
4.1.3 信息率失真函数R(D)
a1 a2
是一个归并信道，pij =1或者0，H(Y/X)=0, I(X;Y)=H(Y)-H(Y/X)=H(Y) 输出概率分布为： p1 =p2 =...=p n-1 =1/(2n), p n = p(xi yn ) p(aia n ) p(ai )p(a n /ai )
R( D) R(0) H ( X )
6
第四章 信息 率失真函数
• 信源符号X取自{0，1},编码器输出符号取自{0,1,2}, 规定
失真函数为： d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5, 则失真矩阵为：
4.1.1 失真函数
d
0 1 0.5 1 0 0.5
失真函数是根据人们的实际需要和失真引起的损失、
第四章 信息 率失真函数
4.1 平均失真和信息率失真函数
4.1.1 失真函数 4.1.2 平均失真 4.1.3 信息率失真函数R(D) 4.1.4 信息率失真函数的性质
2018/10/13
Department of Communication China Ji Liang University
1
第四章 信息 率失真函数
在允许一定失真度D的情况下，信源 输出的信息率可压缩到R(D)。
R(D)是定义的信息率失真函数。
为了描述失真度D，我们先来引入失真函数。
2018/10/13
Department of Communication China Ji Liang University
4
第四章 信息 率失真函数
4.1.1 失真函数
4.1.3 信息率失真函数R(D)
药和行装等方面的准备，于今日晚上十一时准时向 对面山上的敌军发动进攻，希望各部队做好思想政 治工作，一定要取得这次战役的全面胜利。”
2018/10/13
Department of Communication China Ji Liang University
17
第四章 信息 率失真函数
8
几种常用的失真函数： （1）均方失真 （2）绝对失真 （3）相对失真 （4）误码失真 （5）汉明失真
2018/10/13
Department of Communication China Ji Liang University
第四章 信息 率失真函数
• 平均失真定义
•
4.1.2 平均失真
• d(xi , yj)只能表示两个特定的具体符号 xi和 yj之间
• 这样就将选择信源编码方法的问题转化为选择假想信道的问题，
2018/10/13
Department of Communication China Ji Liang University
13wk.baidu.com
第四章 信息 率失真函数
• 试验信道
4.1.3 信息率失真函数R(D)
平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi ) 和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以 求出满足保真度准则 下的所有转移概率分布 pij，构 成一个信道集合PD，
这个最小值R(D)称为信息率失真函数，简称率失真函数。
对无记忆离散信源，有：
2018/10/13
Department of Communication China Ji Liang University
15
第四章 信息 率失真函数
•应当注意：
4.1.3 信息率失真函数R(D)
在研究R(D)时，我们引用的条件概率 p( y / x)并 没有实际信道的含义，只是为了求平均互信息的最 小值而引用的、假想的可变试验信道。实际上这些 信道反应的仅是不同的有失真信源编码，或称信源 压缩。
•
4.1.1 失真函数
• 实际生活中，人们一般并不要求获得完全无失真的消
• •
息，通常只要求近似地再现原始消息，即允许一定的 失真存在。 例如打电话：即使语音信号有一些失真，接电话的人 也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的 “视觉暂留性”，实际上只要每秒放映24幅静态画面。 随着科学技术的发展，数字系统应用得越来越广泛， 这就需要传送、存储和处理大量的数据。为了提高传 输和处理效率，往往需要对数据压缩，这样也会带来 一定的信息损失。
真传送要求信息率R为无穷大； •实际信道带宽是有限的，所以信道容量受限制。要 想无失真传输，所需的信息率大大超过信道容量 R>>C。
2018/10/13
Department of Communication China Ji Liang University
2
第四章 信息 率失真函数
• 实际中允许一定程度的失真
的失真。 平均失真：平均失真为失真函数的数学期望，
2018/10/13
Department of Communication China Ji Liang University
9
第四章 信息 率失真函数
4.1.2 平均失真
是在平均意义上，从总体上对整个系统失真情况的描述。 它是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度 d(xi,yj)的函数 。当p(xi)，p(yj/xi )和d(xi,yj)给定后，平均失 真度就不是一个随机变量了，而是一个确定的量。
2018/10/13
Department of Communication China Ji Liang University
5
第四章 信息 率失真函数
• 失真矩阵
4.1.1 失真函数
• 失真度还可表示成矩阵的形式
• 称d 为失真矩阵。它是n×m阶矩阵。
• 如例题：4－1
2018/10/13
Department of Communication China Ji Liang University
•例题4－2：
4.1.3 信息率失真函数R(D)
设信源符号为A={a1 ,a 2 ,...,a 2n },各符号等概分布， 失真函数定义为汉明失真，试研究在一定编码条件 下的信息压缩程度。 1 1 解：信源熵为 H( ,..., ) log 2n(bit / 符号） 2n 2n 若允许一定失真，失真限度为D＝1/2,即 D D, 采用下面编码方法： a1 a1 ,a 2 a 2 ,...,a n a n , an 1 a n , an 2 a n ,..., a2 n a n 对应等效试验信道为下图所示：
4.1.1 失真函数
•
“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率R小于
信道容量C，总能找到一种编码，使在信道上能以任 意小的错误概率和任意接近于C的传输率来传送信息。 反之，若R>C，则传输总要失真。
•完全无失真传送不可实现：
•实际的信源常常是连续的，信息率无限大，要无失
R>C,就必须对信源压缩，使其压缩后信息传输率小于C，但同时 要保证压缩所引入的失真不超过预先规定的限度D，所以信息压 缩问题就是对于给定的信源，在满足保真度准则 下，使其 R值尽可能小。
• R 值就是所需要输出的有关信源X的信息量，对应到信道，即
符号转移概率p(yj /xi)对应信道转移概率。
为接收端Y需要获得的有关X的信息量，亦是互信息I（X；Y）。
X
输入
p( y j / xi )
信源编码器
输出
Y
X∈{a1, a2,…, ai,…, an}
Y∈{b1,b2,…,bj,…,bm}
• 定义失真函数：
0, d ( xi , y j ) , xi y j xi y j , 0
称d(xi,yj)为单个符号的失真函数。表示信源发出一个 符号xi，在接收端再现yj所引起的误差或失真。
2018/10/13
Department of Communication China Ji Liang University
16
第四章 信息 率失真函数
•例如： •司令员发布命令：“请各部队官兵做好武器、弹 •通信兵：“今晚十一点发动进攻，必夺胜利。”
结果是：取得了胜利。 说明：信源所需输出信息率是可以压缩的。
10
第四章 信息 率失真函数
4.1.2 平均失真
对于连续随机变量，定义平均失真为： D



px , y ( x, y )d ( x, y )dxdy
L
L长序列编码下，平均失真定义为： 1 1 DL E[d ( xil , y jl )] Dl L l 1 L l 1