第4章信息率失真函数
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第4章信息率失真函数
2021/2/22
1
第4章 信息率失真函数
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少信 息率，从分析失真函数、平均失真出发，求出信息率失 真函数R(D) 。
2021/2/22
3
第4章 信息率失真函数
平均失真和信息率失真函数 离散信源和连续信源的R(D)计算
2021/2/22
6
4.1.1 失真函数
失真函数的定义
假如某一信源X，输出样值为xi，xi∈{a1,…,an}，经过有 失真的信源编码器，输出Y，样值为yj， yj ∈{b1,…,bm}。 如果xi＝yj，则认为没有失真；
如果xi≠yj，那么就产生了失真。
失真的大小，用一个量来表示，即失真函数d(xi, yj)，以 衡量用yj代替xi所引起的失真程度。一般失真函数定义 为：
信道输出概率分布为：
p1p2 pn11/(2n)
2021/2/22
pnpn1 p2n(n1)/(2n)
32
4.1.3 信息率失真函数R(D)
信息率失真函数举例
输出熵H(Y)为
H ( Y ) H (1 ,1 , ,1 ,1 n ) l o g 2 n n 1 l o g ( n 1 )
2 n 2 n2 n2 n
信源编码问题的研究 信息率R就是所需输出的有关信源X的信息量。将此问 题对应到信道，即为接收端Y需要获得的有关X的信息量， 也就是互信息I(X;Y)。这样，选择信源编码方法的问题 就变成了选择假想信道的问题，符号转移概率p(yj|xi)就 对应信道转移概率。
2021/2/22
19
4.1.3 信息率失真函数R(D)
2021/2/22
17
4.1.3 信息率失真函数R(D)
信源编码问题的研究 信源编码器的目的是使编码后所需的信息传输率R尽量 小，然而R越小，引起的平均失真就越大。给出一个失 真的限制值D，在满足保真度准则的条件下，即：
DD 选择一种编码方法使信息率R尽可能小。
2021/2/22
18
4.1.3 信息率失真函数R(D)
1 i j d(ai,aj) 0 i j
即不发生差错时失真为0，出错失真为1。研究在一定编 码条件下信息压缩的程度。
2021/2/22
29
4.1.3 信息率失真函数R(D)
信息率失真函数举例 由信源概率分布可求出信源熵为：
H(1, 1, , 1)log2n 2n2n 2n
如果对信源进行不失真编码，平均每个符号至少需要 log2n个二进制码元。
2021/2/22
4
4.1平均失真和信息率失真函数
失真函数 平均失真 信息率失真函数R(D) 信息率失真函数的性质
2021/2/22
5
4.1.1 失真函数
失真函数的意义 在实际问题中，信号有一定的失真是可以容忍的。但是 当失真大于某一限度后，信息质量将被严重损伤，甚至 丧失其实用价值。要规定失真限度，必须先有一个定量 的失真测度。为此可引入失真函数。
研究信息率失真函数： 解决在已知信源和允许失真度D的条件下，使信源必须 传送给信宿的信息率最小。即用尽可能少的码符号尽快 地传送尽可能多的信源消息，以提高通信的有效性。
2021/2/22
28
4.1.3 信息率失真函数R(D)
信息率失真函数举例 例：设信源的符号表为A={al,a2,…,a2n}，概率分布为 p(ai)=1/2n,i=1,2,…,2n，失真函数规定为
3）率失真函数一旦找到，就与求极值过程中选择的试 验信道不再有关，而只是信源特性的参量。
4）不同的信源其R(D)不同。
2021/2/22
27
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 研究信道容量： 充分利用已给信道，使传输的信息量最大，而发生错误 的概率任意小。
d
1
0
0.5
2021/2/22
9
4.1.1 失真函数
失真函数的数值 值得注意的是，失真函数d(xi, yj)的数值是依据实际应用 情况，用yj代替xi所导致的失真大小。是人为决定的。 失真函数的形式可以根据需要任意选取。
2021/2/22
10
4.1.1 失真函数
常用的失真函数
均 方 失 真 ： d (x i,yj) (x i yj)2
2021/2/22
a 2n
31
4.1.3 信息率失真函数R(D)
信息率失真函数举例
按照上述关于失真函数的规定，平均失真为：
D i
j p(ai)p(aj|ai)d(ai,aj)1 2
DD1 2
由该信道模型图可以看出，它是一个确定信道，固有：
pij 1或 0， H(Y|X)0
I(X;Y)H(Y)H(Y|X)H(Y)
R (D )m P ij iP n Di n1jm 1p(ai)p(bj|ai)logp(p b (jb |ja )i)
p(ai),i1,2, ,n是 信 源 符 号 的 概 率 分 布 p(bj|ai),i1,2, ,n;j1,2, ,m是 转 移 概 率 分 布 p(bj),j1,2, ,m是 接 收 端 收 到 符 号 的 概 率 分 布
11
4.1.1 失真函数
符号序列的失真函数
失真函数的定义可以推广到符号序列的情况，如果假定 离散信源输出符号序列X=(X1,X2,…Xl,…,XL)，其中L长符 号序列样值xi=(xi1,xi2,…,xil,…,xiL)，经信源编码后，输出 符号序列Y=(Y1,Y2,…,Yl,…YL)，其中L长符号序列样值 yj=(yj1,yj2,…,yjl,…,yjL)，则失真函数定义为：
期望或统计平均值表示，因此将失真函数的数学期望称 为平均失真，记为：
nm
nm
D p (a i,b j)d (a i,b j) p (a i)p (b j|a i)d (a i,b j)
i 1j 1
i 1j 1
2021/2/22
13
4.1.2 平均失真
平均失真的物理含义
平 均 失 真 D 是 对 给 定 信 源 分 布 p(ai)经 过 某 一 种 转 移 概 率
2 n
n 1个
压缩
由以上结果可知，经压缩编码以后，信源需要传输的信 息率由原来的log2n压缩到log2n-((n+1)/2n)log(n+1)。也 就是说，信息率压缩了log2n-((n+1)/2n)log(n+1)。这是
采用了上述压缩编码方法的结果，所付出的代价是容忍 了1/2的平均失真。
其 中 D l是 第 l个 符 号 的 平 均 失 真 。
2021/2/22
15
4.1.2 平均失真
失真函数与平均失真的区别 失真函数： 描述了某个信源符号通过传输后失真的大小。
平均失真： 描述某个信源在某一试验信道传输下的失真大小，它对 信源和信道进行了统计平均，是从总体上描述整个系统 的失真。
2021/2/22
30
4.1.3 信息率失真函数R(D)
信息率失真函数举例
现在假定允许有一定失真，假设失真限度为D=1/2。设 想采用下面的编码方案：
a1 a1,a2 a2, ,an an
an1 an,an2 an, 用信道模型图表示为：
a
a
1
2
a
a
1
2
an a n1
,a2n an
... ... ...
0, d(xi,yj)α,
xi yj α0,xi yj
2021/2/22
7
4.1.1 失真函数
失真矩阵 将所有的d(xi, yj)排列起来，用矩阵表示为
d(a1,b1) dd(a2,b1)
d(an,b1)
d(a1,b2) d(a2,b2)
d(an,b2)
d(a1,bm) d(a2,bm)
d(an,bm)
26
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 信息率失真函数R(D)：
R(D)minI(X;Y)Leabharlann BaiduPD
1）假定信源给定的情况下，用户可以容忍的失真度内 再现信源消息所必须获得的最小平均信息量。
2）它反映的是信源可以压缩的程度，是在满足一定失 真度要求下信源可压缩的最低值。
信道容量C：
CmaxI(X;Y) p(xi )
1）假定信道固定的前提下，选择一种试验信源使信息 传输率最大。
2）它所反映的是信道传输信息的能力，是信道可靠传 送的最大信息传输率。
3）一旦找到了信道容量，它就与信源不再有关，而是 信道特性的参量，随信道特性的变化而变化。
4）不同的信道其信道容量不同。
2021/2/22
2021/2/22
16
4.1.3 信息率失真函数R(D)
信源编码问题的研究
如图所示，信源X经过有失真的编码器输出Y，将这样的 编码器看作是存在干扰的假象信道，Y当作接收端的符 号。这样就可以用分析信道传输的方法来研究限失真信 源编码问题。
X
Y
信源编码器
xa1,a2, an
yb1,b2, bn
假想信道
绝 对 失 真 ： d (x i,y j) |x i y j|
相 对 失 真 ： d ( x i,y j) |x i y j|/|x i|
误 码 失 真 ： d (x i,yj)(x i yj) 0 1 ,, x i其 他 yj
注：前三种失真函数适用于连续信源，后一种适用于离
散信源。
2021/2/22
2021/2/22
23
4.1.3 信息率失真函数R(D)
信息率失真函数R(D)的理解 1) 在信源给定后，我们希望在满足一定失真的情况下， 使信源必须传输给收信者的信息传输率R尽可能地小； 2) 若从接收端来着，就是在满足保真度准则下，寻找再 现信源消息所必须获得的最低平均信息量。即在满足保 真度准则的条件下寻找平均互信息I(X,Y)的最小值。
分 布 为 p(bj|ai)的 有 失 真 信 源 编 码 器 后 产 生 失 真 的 总 体
度 量 。
p( y j | xi )
xi
信源编码器
yj
把它想象 成信道
2021/2/22
14
4.1.2 平均失真
消息序列的平均失真 对于L长消息序列的编码情况，其平均失真为：
1L
1L
DLLl1E[d(xil,yjl)]Ll1D l
1 L
dL(xi,yj)Ll1d(xil ,yjl )
其中d(xil，yjl)是信源输出xi中的第l个符号xil，经编码后 输出yj中的第l个符号yjl时的失真函数。
2021/2/22
12
4.1.2 平均失真
平均失真的定义
由于xi和yj都是随机变量，所以失真函数d(xi , yj)也是随 机变量，要分析整个信源的失真大小，就需要用其数学
R(D)minI(X;Y) PD
2021/2/22
21
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 在限定失真为D的条件下信源输出的最小信息速率。
R(D)minI(X;Y) PD
PD是所有满足保真度准则的试验信道集合。
2021/2/22
22
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 对于离散无记忆信道，
称d为失真矩阵。
2021/2/22
8
4.1.1 失真函数
失真函数举例 例：设信源符号序列为X={0,1}，接收端收到符号序列 为Y={0,1,2}，规定失真函数为
d 0, 0 d 1,1 0 d 0,1 d 1, 0 1 d 0, 2 d 1, 2 0.5
则其失真矩阵为：
0 1 0.5
D允许试验信道
由
nm
D p(ai)p(bj |ai)d(ai,bj)
i1 j1
可知平均失真由信源分布p(xi)、假想信道的转移概率
p(yj |xi)和失真函数d(xi,yj)决定。
若p(xi)和d(xi,yj)已知，则满足DD的所有转移概率
分布pij就构成了一个信道集合PD，则
P D p ( b j|a i ) : D D ， i 1 ,2 ,,n ;j 1 ,2 ,,m
2021/2/22
24
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 平均互信息I(X;Y)： 信源的概率分布p(xi)的∩型函数； 信道转移概率p(yj|xi)的∪型函数。
2021/2/22
25
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较
称为D允许试验信道。
2021/2/22
20
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，根据 前面所述，当p(xi)一定时，互信息I是关于p(yj|xi) 的U型 凸函数，存在极小值。因而在上述允许信道PD中，可以 寻找一种信道pij，使给定的信源p(xi)经过此信道传输后， 互信息I(X; Y)达到最小。该最小的互信息就称为信息率 失真函数R(D)，即：
2021/2/22
1
第4章 信息率失真函数
第4章 信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少信 息率，从分析失真函数、平均失真出发，求出信息率失 真函数R(D) 。
2021/2/22
3
第4章 信息率失真函数
平均失真和信息率失真函数 离散信源和连续信源的R(D)计算
2021/2/22
6
4.1.1 失真函数
失真函数的定义
假如某一信源X，输出样值为xi，xi∈{a1,…,an}，经过有 失真的信源编码器，输出Y，样值为yj， yj ∈{b1,…,bm}。 如果xi＝yj，则认为没有失真；
如果xi≠yj，那么就产生了失真。
失真的大小，用一个量来表示，即失真函数d(xi, yj)，以 衡量用yj代替xi所引起的失真程度。一般失真函数定义 为：
信道输出概率分布为：
p1p2 pn11/(2n)
2021/2/22
pnpn1 p2n(n1)/(2n)
32
4.1.3 信息率失真函数R(D)
信息率失真函数举例
输出熵H(Y)为
H ( Y ) H (1 ,1 , ,1 ,1 n ) l o g 2 n n 1 l o g ( n 1 )
2 n 2 n2 n2 n
信源编码问题的研究 信息率R就是所需输出的有关信源X的信息量。将此问 题对应到信道，即为接收端Y需要获得的有关X的信息量， 也就是互信息I(X;Y)。这样，选择信源编码方法的问题 就变成了选择假想信道的问题，符号转移概率p(yj|xi)就 对应信道转移概率。
2021/2/22
19
4.1.3 信息率失真函数R(D)
2021/2/22
17
4.1.3 信息率失真函数R(D)
信源编码问题的研究 信源编码器的目的是使编码后所需的信息传输率R尽量 小，然而R越小，引起的平均失真就越大。给出一个失 真的限制值D，在满足保真度准则的条件下，即：
DD 选择一种编码方法使信息率R尽可能小。
2021/2/22
18
4.1.3 信息率失真函数R(D)
1 i j d(ai,aj) 0 i j
即不发生差错时失真为0，出错失真为1。研究在一定编 码条件下信息压缩的程度。
2021/2/22
29
4.1.3 信息率失真函数R(D)
信息率失真函数举例 由信源概率分布可求出信源熵为：
H(1, 1, , 1)log2n 2n2n 2n
如果对信源进行不失真编码，平均每个符号至少需要 log2n个二进制码元。
2021/2/22
4
4.1平均失真和信息率失真函数
失真函数 平均失真 信息率失真函数R(D) 信息率失真函数的性质
2021/2/22
5
4.1.1 失真函数
失真函数的意义 在实际问题中，信号有一定的失真是可以容忍的。但是 当失真大于某一限度后，信息质量将被严重损伤，甚至 丧失其实用价值。要规定失真限度，必须先有一个定量 的失真测度。为此可引入失真函数。
研究信息率失真函数： 解决在已知信源和允许失真度D的条件下，使信源必须 传送给信宿的信息率最小。即用尽可能少的码符号尽快 地传送尽可能多的信源消息，以提高通信的有效性。
2021/2/22
28
4.1.3 信息率失真函数R(D)
信息率失真函数举例 例：设信源的符号表为A={al,a2,…,a2n}，概率分布为 p(ai)=1/2n,i=1,2,…,2n，失真函数规定为
3）率失真函数一旦找到，就与求极值过程中选择的试 验信道不再有关，而只是信源特性的参量。
4）不同的信源其R(D)不同。
2021/2/22
27
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 研究信道容量： 充分利用已给信道，使传输的信息量最大，而发生错误 的概率任意小。
d
1
0
0.5
2021/2/22
9
4.1.1 失真函数
失真函数的数值 值得注意的是，失真函数d(xi, yj)的数值是依据实际应用 情况，用yj代替xi所导致的失真大小。是人为决定的。 失真函数的形式可以根据需要任意选取。
2021/2/22
10
4.1.1 失真函数
常用的失真函数
均 方 失 真 ： d (x i,yj) (x i yj)2
2021/2/22
a 2n
31
4.1.3 信息率失真函数R(D)
信息率失真函数举例
按照上述关于失真函数的规定，平均失真为：
D i
j p(ai)p(aj|ai)d(ai,aj)1 2
DD1 2
由该信道模型图可以看出，它是一个确定信道，固有：
pij 1或 0， H(Y|X)0
I(X;Y)H(Y)H(Y|X)H(Y)
R (D )m P ij iP n Di n1jm 1p(ai)p(bj|ai)logp(p b (jb |ja )i)
p(ai),i1,2, ,n是 信 源 符 号 的 概 率 分 布 p(bj|ai),i1,2, ,n;j1,2, ,m是 转 移 概 率 分 布 p(bj),j1,2, ,m是 接 收 端 收 到 符 号 的 概 率 分 布
11
4.1.1 失真函数
符号序列的失真函数
失真函数的定义可以推广到符号序列的情况，如果假定 离散信源输出符号序列X=(X1,X2,…Xl,…,XL)，其中L长符 号序列样值xi=(xi1,xi2,…,xil,…,xiL)，经信源编码后，输出 符号序列Y=(Y1,Y2,…,Yl,…YL)，其中L长符号序列样值 yj=(yj1,yj2,…,yjl,…,yjL)，则失真函数定义为：
期望或统计平均值表示，因此将失真函数的数学期望称 为平均失真，记为：
nm
nm
D p (a i,b j)d (a i,b j) p (a i)p (b j|a i)d (a i,b j)
i 1j 1
i 1j 1
2021/2/22
13
4.1.2 平均失真
平均失真的物理含义
平 均 失 真 D 是 对 给 定 信 源 分 布 p(ai)经 过 某 一 种 转 移 概 率
2 n
n 1个
压缩
由以上结果可知，经压缩编码以后，信源需要传输的信 息率由原来的log2n压缩到log2n-((n+1)/2n)log(n+1)。也 就是说，信息率压缩了log2n-((n+1)/2n)log(n+1)。这是
采用了上述压缩编码方法的结果，所付出的代价是容忍 了1/2的平均失真。
其 中 D l是 第 l个 符 号 的 平 均 失 真 。
2021/2/22
15
4.1.2 平均失真
失真函数与平均失真的区别 失真函数： 描述了某个信源符号通过传输后失真的大小。
平均失真： 描述某个信源在某一试验信道传输下的失真大小，它对 信源和信道进行了统计平均，是从总体上描述整个系统 的失真。
2021/2/22
30
4.1.3 信息率失真函数R(D)
信息率失真函数举例
现在假定允许有一定失真，假设失真限度为D=1/2。设 想采用下面的编码方案：
a1 a1,a2 a2, ,an an
an1 an,an2 an, 用信道模型图表示为：
a
a
1
2
a
a
1
2
an a n1
,a2n an
... ... ...
0, d(xi,yj)α,
xi yj α0,xi yj
2021/2/22
7
4.1.1 失真函数
失真矩阵 将所有的d(xi, yj)排列起来，用矩阵表示为
d(a1,b1) dd(a2,b1)
d(an,b1)
d(a1,b2) d(a2,b2)
d(an,b2)
d(a1,bm) d(a2,bm)
d(an,bm)
26
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 信息率失真函数R(D)：
R(D)minI(X;Y)Leabharlann BaiduPD
1）假定信源给定的情况下，用户可以容忍的失真度内 再现信源消息所必须获得的最小平均信息量。
2）它反映的是信源可以压缩的程度，是在满足一定失 真度要求下信源可压缩的最低值。
信道容量C：
CmaxI(X;Y) p(xi )
1）假定信道固定的前提下，选择一种试验信源使信息 传输率最大。
2）它所反映的是信道传输信息的能力，是信道可靠传 送的最大信息传输率。
3）一旦找到了信道容量，它就与信源不再有关，而是 信道特性的参量，随信道特性的变化而变化。
4）不同的信道其信道容量不同。
2021/2/22
2021/2/22
16
4.1.3 信息率失真函数R(D)
信源编码问题的研究
如图所示，信源X经过有失真的编码器输出Y，将这样的 编码器看作是存在干扰的假象信道，Y当作接收端的符 号。这样就可以用分析信道传输的方法来研究限失真信 源编码问题。
X
Y
信源编码器
xa1,a2, an
yb1,b2, bn
假想信道
绝 对 失 真 ： d (x i,y j) |x i y j|
相 对 失 真 ： d ( x i,y j) |x i y j|/|x i|
误 码 失 真 ： d (x i,yj)(x i yj) 0 1 ,, x i其 他 yj
注：前三种失真函数适用于连续信源，后一种适用于离
散信源。
2021/2/22
2021/2/22
23
4.1.3 信息率失真函数R(D)
信息率失真函数R(D)的理解 1) 在信源给定后，我们希望在满足一定失真的情况下， 使信源必须传输给收信者的信息传输率R尽可能地小； 2) 若从接收端来着，就是在满足保真度准则下，寻找再 现信源消息所必须获得的最低平均信息量。即在满足保 真度准则的条件下寻找平均互信息I(X,Y)的最小值。
分 布 为 p(bj|ai)的 有 失 真 信 源 编 码 器 后 产 生 失 真 的 总 体
度 量 。
p( y j | xi )
xi
信源编码器
yj
把它想象 成信道
2021/2/22
14
4.1.2 平均失真
消息序列的平均失真 对于L长消息序列的编码情况，其平均失真为：
1L
1L
DLLl1E[d(xil,yjl)]Ll1D l
1 L
dL(xi,yj)Ll1d(xil ,yjl )
其中d(xil，yjl)是信源输出xi中的第l个符号xil，经编码后 输出yj中的第l个符号yjl时的失真函数。
2021/2/22
12
4.1.2 平均失真
平均失真的定义
由于xi和yj都是随机变量，所以失真函数d(xi , yj)也是随 机变量，要分析整个信源的失真大小，就需要用其数学
R(D)minI(X;Y) PD
2021/2/22
21
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 在限定失真为D的条件下信源输出的最小信息速率。
R(D)minI(X;Y) PD
PD是所有满足保真度准则的试验信道集合。
2021/2/22
22
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 对于离散无记忆信道，
称d为失真矩阵。
2021/2/22
8
4.1.1 失真函数
失真函数举例 例：设信源符号序列为X={0,1}，接收端收到符号序列 为Y={0,1,2}，规定失真函数为
d 0, 0 d 1,1 0 d 0,1 d 1, 0 1 d 0, 2 d 1, 2 0.5
则其失真矩阵为：
0 1 0.5
D允许试验信道
由
nm
D p(ai)p(bj |ai)d(ai,bj)
i1 j1
可知平均失真由信源分布p(xi)、假想信道的转移概率
p(yj |xi)和失真函数d(xi,yj)决定。
若p(xi)和d(xi,yj)已知，则满足DD的所有转移概率
分布pij就构成了一个信道集合PD，则
P D p ( b j|a i ) : D D ， i 1 ,2 ,,n ;j 1 ,2 ,,m
2021/2/22
24
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较 平均互信息I(X;Y)： 信源的概率分布p(xi)的∩型函数； 信道转移概率p(yj|xi)的∪型函数。
2021/2/22
25
4.1.3 信息率失真函数R(D)
信息率失真函数与平均互信息、信道容量的比较
称为D允许试验信道。
2021/2/22
20
4.1.3 信息率失真函数R(D)
信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，根据 前面所述，当p(xi)一定时，互信息I是关于p(yj|xi) 的U型 凸函数，存在极小值。因而在上述允许信道PD中，可以 寻找一种信道pij，使给定的信源p(xi)经过此信道传输后， 互信息I(X; Y)达到最小。该最小的互信息就称为信息率 失真函数R(D)，即：