第4章信息率失真函数

信源编码问题的研究 信息率R就是所需输出的有关信源X的信息量。将此问 题对应到信道，即为接收端Y需要获得的有关X的信息量， 也就是互信息I(X;Y)。这样，选择信源编码方法的问题 就变成了选择假想信道的问题，符号转移概率p(yj|xi)就 对应信道转移概率。
2021/2/22
19
4.1.3 信息率失真函数R(D)
1 L
dL(xi,yj)Ll1d(xil ,yjl )
其中d(xil，yjl)是信源输出xi中的第l个符号xil，经编码后 输出yj中的第l个符号yjl时的失真函数。
2021/2/22
12
4.1.2 平均失真
平均失真的定义
由于xi和yj都是随机变量，所以失真函数d(xi , yj)也是随 机变量，要分析整个信源的失真大小，就需要用其数学
1 i j d(ai,aj) 0 i j
即不发生差错时失真为0，出错失真为1。研究在一定编 码条件下信息压缩的程度。
2021/2/22
29
4.1.3 信息率失真函数R(D)
信息率失真函数举例 由信源概率分布可求出信源熵为：
H(1, 1, , 1)log2n 2n2n 2n
如果对信源进行不失真编码，平均每个符号至少需要 log2n个二进制码元。
2021/2/22
4
4.1平均失真和信息率失真函数
失真函数 平均失真 信息率失真函数R(D) 信息率失真函数的性质
2021/2/22
5
4.1.1 失真函数
失真函数的意义 在实际问题中，信号有一定的失真是可以容忍的。但是 当失真大于某一限度后，信息质量将被严重损伤，甚至 丧失其实用价值。要规定失真限度，必须先有一个定量 的失真测度。为此可引入失真函数。
2021/2/22
a 2n
31
4.1.3 信息率失真函数R(D)
信息率失真函数举例
按照上述关于失真函数的规定，平均失真为：
D i
j p(ai)p(aj|ai)d(ai,aj)1 2
DD1 2
由该信道模型图可以看出，它是一个确定信道，固有：
pij 1或 0， H(Y|X)0
I(X;Y)H(Y)H(Y|X)H(Y)
11
4.1.1 失真函数
符号序列的失真函数
失真函数的定义可以推广到符号序列的情况，如果假定 离散信源输出符号序列X=(X1,X2,…Xl,…,XL)，其中L长符 号序列样值xi=(xi1,xi2,…,xil,…,xiL)，经信源编码后，输出 符号序列Y=(Y1,Y2,…,Yl,…YL)，其中L长符号序列样值 yj=(yj1,yj2,…,yjl,…,yjL)，则失真函数定义为：
2021/2/22
6
4.1.1 失真函数
失真函数的定义
假如某一信源X，输出样值为xi，xi∈{a1,…,an}，经过有 失真的信源编码器，输出Y，样值为yj， yj ∈{b1,…,bm}。 如果xi＝yj，则认为没有失真；
如果xi≠yj，那么就产生了失真。
失真的大小，用一个量来表示，即失真函数d(xi, yj)，以 衡量用yj代替xi所引起的失真程度。一般失真函数定义 为：
研究信息率失真函数： 解决在已知信源和允许失真度D的条件下，使信源必须 传送给信宿的信息率最小。即用尽可能少的码符号尽快 地传送尽可能多的信源消息，以提高通信的有效性。
2021/2/22
28
4.1.3 信息率失真函数R(D)
信息率失真函数举例 例：设信源的符号表为A={al,a2,…,a2n}，概率分布为 p(ai)=1/2n,i=1,2,…,2n，失真函数规定为
第4章信息率失真函数
2021/2/22
1
第4章 信息率失真函数
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少信 息率，从分析失真函数、平均失真出发，求出信息率失 真函数R(D) 。
2021/2/22
3
第4章 信息率失真函数
平均失真和信息率失真函数 离散信源和连续信源的R(D)计算
信道容量C：
CmaxI(X;Y) p(xi )
1）假定信道固定的前提下，选择一种试验信源使信息 传输率最大。
2）它所反映的是信道传输信息的能力，是信道可靠传 送的最大信息传输率。
3）一旦找到了信道容量，它就与信源不再有关，而是 信道特性的参量，随信道特性的变化而变化。
4）不同的信道其信道容量不同。
2021/2/22
2021/2/22
17
4.1.3 信息率失真函数R(D)
信源编码问题的研究 信源编码器的目的是使编码后所需的信息传输率R尽量 小，然而R越小，引起的平均失真就越大。给出一个失 真的限制值D，在满足保真度准则的条件下，即：
DD 选择一种编码方法使信息率R尽可能小。
2021/2/22
18
4.1.3 信息率失真函数R(D)
d
1
0
0.5
2021/2/22
9
4.1.1 失真函数
失真函数的数值 值得注意的是，失真函数d(xi, yj)的数值是依据实际应用 情况，用yj代替xi所导致的失真大小。是人为决定的。 失真函数的形式可以根据需要任意选取。
2021/2/22
10
4.1.1 失真函数
常用的失真函数
均 方 失 真 ： d (x i,yj) (x i yj)2
2021/2/22
16
4.1.3 信息率失真函数R(D)
信源编码问题的研究
如图所示，信源X经过有失真的编码器输出Y，将这样的 编码器看作是存在干扰的假象信道，Y当作接收端的符 号。这样就可以用分析信道传输的方法来研究限失真信 源编码问题。
X
Y
信源编码器
xa1,a2, an
yb1,b2, bn
假想信道
26
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 信息率失真函数R(D)：
R(D)minI(X;Y) PD
1）假定信源给定的情况下，用户可以容忍的失真度内 再现信源消息所必须获得的最小平均信息量。
2）它反映的是信源可以压缩的程度，是在满足一定失 真度要求下信源可压缩的最低值。
信道输出概率分布为：
p1p2 pn11/(2n)
2021/2/22
pnpn1 p2n(n1)/(2n)
32
4.1.3 信息率失真函数R(D)
信息率失真函数举例
输出熵H(Y)为
H ( Y ) H (1 ,1 , ,1 ,1 n ) l o g 2 n n 1 l o g ( n 1 )
2 n 2 n2 n2 n
0, d(xi,yj)α,
xi yj α0,xi yj
2021/2/22
7
4.1.1 失真函数
失真矩阵 将所有的d(xi, yj)排列起来，用矩阵表示为
d(a1,b1) dd(a2,b1)
d(an,b1)
d(a1,b2) d(a2,b2)
d(an,b2)
d(a1,bm) d(a2,bm)
d(an,bm)
2021/2/22
24
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 平均互信息I(X;Y)： 信源的概率分布p(xi)的∩型函数； 信道转移概率p(yj|xi)的∪型函数。
2021/2/22
25
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较
D允许试验信道
由
nm
D p(ai)p(bj |ai)d(ai,bj)
i1 j1
可知平均失真由信源分布p(xi)、假想信道的转移概率
p(yj |xi)和失真函数d(xi,yj)决定。
若p(xi)和d(xi,yj)已知，则满足DD的所有转移概率
分布pij就构成了一个信道集合PD，则
P D p ( b j|a i ) : D D ， i 1 ,2 ,,n ;j 1 ,2 ,,m
2021/2/22
23
4.1.3 信息率失真函数R(D)
信息率失真函数R(D)的理解 1) 在信源给定后，我们希望在满足一定失真的情况下， 使信源必须传输给收信者的信息传输率R尽可能地小； 2) 若从接收端来着，就是在满足保真度准则下，寻找再 现信源消息所必须获得的最低平均信息量。即在满足保 真度准则的条件下寻找平均互信息I(X,Y)的最小值。
2 n
n 1个
压缩
由以上结果可知，经压缩编码以后，信源需要传输的信 息率由原来的log2n压缩到log2n-((n+1)/2n)log(n+1)。也 就是说，信息率压缩了log2n-((n+1)/2n)log(n+1)。这是
采用了上述压缩编码方法的结果，所付出的代价是容忍 了1/2的平均失真。
称为D允许试验信道。
2021/2/22
20
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，根据 前面所述，当p(xi)一定时，互信息I是关于p(yj|xi) 的U型 凸函数，存在极小值。因而在上述允许信道PD中，可以 寻找一种信道pij，使给定的信源p(xi)经过此信道传输后， 互信息I(X; Y)达到最小。该最小的互信息就称为信息率 失真函数R(D)，即：
期望或统计平均值表示，因此将失真函数的数学期望称 为平均失真，记为：
nm
nm
D p (a i,b j)d (a i,b j) p (a i)p (b j|a i)d (a i,b j)
i 1j 1
i 1j 1
2021/2/22
13
4.1.2 平均失真
平均失真的物理含义
平 均 失 真 D 是 对 给 定 信 源 分 布 p(ai)经 过 某 一 种 转 移 概 率