信息率失真函数-思维导图
合集下载
平均失真和信息率失真函数
解：失真矩阵为
d 10
1 0
00..55
说明: (1) 最常用的失真函数
均方失真函数： 绝对失真函数： 相对失真函数：
d(xi,yj)=(xi-yj)2 d(xi,yj)= d(xi,yj)=
误码失真函数： d(xj,yj)=
xi y j xi y j / xi
如果xj≠yj，就产生了失真。失真的 大小，用一个量来表示，即失真
函数d(xi,yi),以衡量用yj代替xi所引 起的失真程度。
一般失真函数定义为
d
(
xi
,
y
j
)
0, a,
a0
xi y j xi y j
如何定义失真矩阵? 将所有的失真函数 d(xi,yj)，i=1,2,…,n；j＝1,2,…,m排
离散矢量信源符号失真函数定义为： 如果假定离散矢量信源符号为矢量序列X＝
{传符x1输号x2…后序x，列i…y接jx=收n[}y，端j1y其j收2…中到yNj矢N长]则量符失序号真列序函Y列=数{yx1定iy=2[…义xi1yx为ji…2…yxmi}N，]，其经中信N道长
式接d中收Nd端(x(收ikx,到yijk第,)是yj个信jN源)长输符出号N1第yji中个k的NN1长第d符k个(号x符xii中k号,的yjyk的第jk失k个)真符函号数x。ik，
p（x）＝{0.5，0.5}，
信道矩阵分别为:p'ij 00..2600..84,
p' 'ij
0.9 0.2
求: 互信息。
00..81
解：因为p(xiyj)＝p(xi)p(yj/xi)； 用p’ij代人得 p’（x1y1）=0.3，p’（x1y2）＝0.2， p’（x2y1）=0.1，p’（x2y2）＝0.4
ch04 信息率失真函数
P (Y X )
⎧0 xi = y j d ( xi , y j ) = ⎨ ⎩a xi ≠ y j
3
⎡ p ( y1 x1 ) p ( y2 x1 ) ... p ( ym x1 ) ⎤ ⎢ ⎥ ⎢ p ( y1 x2 ) p ( y2 x2 ) ... p ( ym x2 ) ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ p ( y1 xn ) p ( y2 xn ) ... p ( ym xn ) ⎦ ⎥ ⎣
⎡ d ( x1, y1 ) d ( x1, y2 ) ⎢d ( x , y ) d ( x , y ) 2 1 2 2 D= ⎢ ⎢ ⎢ ⎣d ( xn , y1 ) d ( xn , y2 )
d ( x1, ym ) ⎤ d ( x2 , ym )⎥ ⎥ ⎥ ⎥ d ( xn , ym )⎦
4
4.1 基本概念
i =1 j n
(
)
离散信源 连续信源
Dmin = ∑ p(xi )min d(xi , y j )
i=1 j
n
仅当失真矩阵每行均 有零元素时, Dmin= 0
R(Dmin ) = R(0) = H ( X )
R(Dmin ) = R(0) = H(x) =∞
12
4.1 基本概念
西华师范大学 物理与电子信息学院
失真函数d(αi,βj)
d(αi , β j ) = d(xi1 xi2
N k =1
xiN , yj1 yj2
= ∑d(xik , yjk )
D ≤ D ，D——允许失真的上界
7
平均失真度—— 单符号时的N倍
D( N ) = ND
8
4.1 基本概念
西华师范大学 物理与电子信息学院
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
信道率失真函数
5
4.1 平均失真和 信息率失真函数
6
• 在实际问题中，信号有一定的失真是可 以容忍的。但是当失真大于某一限度后， 信息质量将被严重损伤，甚至丧失其实 用价值。
• 要规定失真限度，必须先有一个定量的 失真测度。
• 为此引入失真函数。
7
4.1.1 失真函数
• 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经 信道传输后变成yj , yj ∈{b1, b2,…bm},如果:
dL ( xi ,
yj)
1 L
L l 1
d ( xil ,
y jl )
式中d ( xil , y jl )是当信源输出xi中第l个符号xil，经编码
后输出yj中的第l个符号y jl时的失真函数。 14
补充知识—数学期望
设离散型X的分布律为
若级数
P{X xk } pk , k 1, 2,....
的数学期望，记为E(X )。即
E(X )=
xf (x)dx
数学期望简称期望，又称均值。
16
4.1.2 平均失真
• xi和yj都是随机变量,所以失真函数d(xi,yj)也是随 机变量,限失真时的失真值只能用数学期望表示
• 将失真函数的数学期望称为平均失真：
nm
nm
D
p(ai,bj )d (ai,bj )
27
信息率失真函数
• 由互信息的关系式
I(X;Y)=H(Y)-H(Y|X)=H(X)-H(X|Y)
可理解为互信息是信源发出的信息量H(X)与噪声干扰条件下 消失的信息量H(Y|X)之差。应当注意，这里讨论的是有关信 源的问题，一般不考虑噪声的影响。信息在存储和传输时需 要去掉冗余，或者从某些需要出发认为可将一些次要成分去 掉，也就是说，对信源的原始信息在允许的失真限度内可以 进行压缩。由于这种压缩损失了一定的信息，造成一定的失 真，把这种失真等效成由噪声而造成的信息损失，看成一个 等效噪声信道(又称为试验信道)，因此信息率失真函数的物 理意义是：对于给定信源，在平均失真不超过失真限度D的 条件下，信息率允许压缩的最小值为R(D)。
4.1 平均失真和 信息率失真函数
6
• 在实际问题中，信号有一定的失真是可 以容忍的。但是当失真大于某一限度后， 信息质量将被严重损伤，甚至丧失其实 用价值。
• 要规定失真限度，必须先有一个定量的 失真测度。
• 为此引入失真函数。
7
4.1.1 失真函数
• 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经 信道传输后变成yj , yj ∈{b1, b2,…bm},如果:
dL ( xi ,
yj)
1 L
L l 1
d ( xil ,
y jl )
式中d ( xil , y jl )是当信源输出xi中第l个符号xil，经编码
后输出yj中的第l个符号y jl时的失真函数。 14
补充知识—数学期望
设离散型X的分布律为
若级数
P{X xk } pk , k 1, 2,....
的数学期望，记为E(X )。即
E(X )=
xf (x)dx
数学期望简称期望，又称均值。
16
4.1.2 平均失真
• xi和yj都是随机变量,所以失真函数d(xi,yj)也是随 机变量,限失真时的失真值只能用数学期望表示
• 将失真函数的数学期望称为平均失真：
nm
nm
D
p(ai,bj )d (ai,bj )
27
信息率失真函数
• 由互信息的关系式
I(X;Y)=H(Y)-H(Y|X)=H(X)-H(X|Y)
可理解为互信息是信源发出的信息量H(X)与噪声干扰条件下 消失的信息量H(Y|X)之差。应当注意，这里讨论的是有关信 源的问题，一般不考虑噪声的影响。信息在存储和传输时需 要去掉冗余，或者从某些需要出发认为可将一些次要成分去 掉，也就是说，对信源的原始信息在允许的失真限度内可以 进行压缩。由于这种压缩损失了一定的信息，造成一定的失 真，把这种失真等效成由噪声而造成的信息损失，看成一个 等效噪声信道(又称为试验信道)，因此信息率失真函数的物 理意义是：对于给定信源，在平均失真不超过失真限度D的 条件下，信息率允许压缩的最小值为R(D)。
信息论与编码2012—ch4 信息率失真函数2
n m
Sd ( xi , y j )
(4.6)
Sd ( xi , y j )
2013/8/27
D( S ) p( xi ) p( y j )d ( xi , y j )i e
i 1 j 1
(4.10)
12
4.2.1 离散信源率失真函数的参量表达式
第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲
当D相同时，信源越趋 于等概率分布， R(D) 就越大。由最大离散熵 定理，信源越趋于等概 率分布，其熵越大，即 不确定性越大，要去除 这不确定性所需的信息 传输率就越大，而R(D) 正是去除信源不确定性 所必须的信息传输率。
2013/8/27
28
4.2.2
二元及等概率离散信源的信息率失真函数
15
2013/8/27
4.2.2
二元及等概率离散信源的信息率失真函数
(1) 二元离散信源的率失真函数
设二元信源
计算率失真函数R(D)
2013/8/27 16
4.2.2
二元及等概率离散信源的信息率失真函数
先求出Dmax
2013/8/27
17
4.2.2
二元及等概率离散信源的信息率失真函数
第一步：求λi，由式(4.7)有
世界上那些最容易 的事情中，拖延时间 最不费力。
2013/8/27 1
第七章 信息率失真函数
4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信道容量与信息率失真函数的比较 4.5 限失真信源编码定理
2013/8/27
2
4.2 离散信源的信息率失真函数
Sd ( xi , y j )
(4.6)
Sd ( xi , y j )
2013/8/27
D( S ) p( xi ) p( y j )d ( xi , y j )i e
i 1 j 1
(4.10)
12
4.2.1 离散信源率失真函数的参量表达式
第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲
当D相同时，信源越趋 于等概率分布， R(D) 就越大。由最大离散熵 定理，信源越趋于等概 率分布，其熵越大，即 不确定性越大，要去除 这不确定性所需的信息 传输率就越大，而R(D) 正是去除信源不确定性 所必须的信息传输率。
2013/8/27
28
4.2.2
二元及等概率离散信源的信息率失真函数
15
2013/8/27
4.2.2
二元及等概率离散信源的信息率失真函数
(1) 二元离散信源的率失真函数
设二元信源
计算率失真函数R(D)
2013/8/27 16
4.2.2
二元及等概率离散信源的信息率失真函数
先求出Dmax
2013/8/27
17
4.2.2
二元及等概率离散信源的信息率失真函数
第一步：求λi，由式(4.7)有
世界上那些最容易 的事情中，拖延时间 最不费力。
2013/8/27 1
第七章 信息率失真函数
4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信道容量与信息率失真函数的比较 4.5 限失真信源编码定理
2013/8/27
2
4.2 离散信源的信息率失真函数
第四信息率失真函数优秀课件
一、失真函数
失真函数d(x,y)表征了接收消息y与发送消息x之间 的定量失真度。
即：d(x,y) ∣x=ai,y=aj＝dij 其中，失真函数dij是一个与失真情况相对应的非 负实数： 0 ，i＝j
dij＝ d , d＞0 i≠j 显然：i＝j时，收发之间无失真，失真函数dij＝0
i≠j时，意味着出现了失真，dij值的大小表 示这种失真的程度。
例4－1：设信源符号有2n种，且等概，失 真函数定义为：dij＝0（i＝j时），dij＝1 （i≠j时），允许平均失真D＝1/2，要传 送此信源，需要多少信息率？
课堂练习：
设信源具有100个以等概率出现的符号，并以 每秒发出1个符号的速率从信源输出，试求在 允许失真度D＝0. 1的条件下，传输这些符号 所需要的信息传输速率的大小。
若X集有N个符号，Y集有M个符号时，则联合集上 有N×M个不同i、j取值的失真函数。 失真函数dij的二种表示方式： （1）矩阵表示法 （2）连线表示法 平均失真度：失真函数的统计平均值（数学期望）D
数学式为： 两个L维矢量之间的失真函数为：
信源的平均失真度：
若平均失真度不大于所允许的失真，则称为保真度
{P(y/x)} ∈PD
• 与离散情况类似， 并设
得公式：（1）
（2）
（3）
（4）
常用方法：
（1）分别求出p(x)和g(x)的特征函数 （2）
则：
（3）
若q0(x)符合概率密度函数
的要求（非负性、归一性），就可得到R(D)函数的
参量表达式。
例4－2：设连续信源的变量x服从正态分布，即
定义失真函数且 求信息率失真函数R(D)。 解：
二、R(Dmax)＝0 Dmax是平均失真度的上界值，使平均互信息量等于 0时所允许的失真度。
信息率失真函数的基本概念
p(y2/x1) p(ym/xn)nm
， ， ， ， ， ， P Y (Y ) p ( y y 1 1 )
y 2 y j y m p (x 2 ) p (y j) p (y m )
2019/12/4
11
失真矩阵
要描述离散信源的所有失真情况，必须用矩阵来表 示：即失真矩阵，记作D
为均方式真，则其失真函数可写作： d(x,y)=(y-x)2
2019/12/4
16
平均失真
d(xi , yj )只能表示两个特定的具体符号xi和 y j之间
的失真，而对于信源整体压缩时，引起的失真测 度需要求平均失真。
平均失真：平均失真为失真函数的数学期望。可 以表示信源压缩传输时平均每个符号所引起的失 真的大小，是从总体上对整个信源压缩失真情况 的描述。
R(0)=H(X)=∞ 因为绝对熵为无穷大
因此，连续信源要进行无失真地压缩传输，需 要传递的信息量是无穷大，这就需要一个具有无 穷大信道容量的信道才能完成，而实际信道传输 容量有限，所以要实现连续信源的无失真传送是 不可能的，必须允许一定的失真，使R(D)变为有 限值，传送才有可能。
2019/12/4
而实际信道带宽是有限的，所以信道容量受限制。 因此无法满足无失真传输的条件，因此传输质量必 然受影响。
2019/12/4
4
有些失真没有必要完全消除（限失真信源编码）
实际生活中，人们一般并不要求获得完全无失真的消息，
通常只要求近似地再现原始消息，即允许一定的失真存 在。
打电话，即使语音信号有一些失真，接电话的人 也能听懂。
重点和难点：
率失真函数(离散信源，连续信源)的计算 保真度准则下的信源编码定理
计算信息率失真函数曲线
计算信息率失真函数曲线信息率失真函数是指在给定平均失真度量下最小化信源数据率的函数。
它可以用来表示编码方案的效率。
下面是一个简单的例子，展示如何计算信息率失真函数曲线。
假设我们有一个二元信源，产生两个符号0和1，它们的出现概率分别为0.4和0.6。
我们希望将这个信源编码成另一个二元序列，用尽量小的码长来表示。
例如，我们可以用一个3位码来表示每个符号，例如0表示为000，1表示为001。
在这种情况下，我们得到的平均码长为2.4位，因为0的概率是0.4，需要3位码，1的概率是0.6，也需要3位码，所以平均码长是(0.4*3+0.6*3)=2.4位。
但是我们发现，这种编码方案并不是最优的，因为它使用了相同的码长来表示两个不同的符号，而0的概率更小，可以使用较短的码来表示。
因此，我们需要找到一种更好的编码方案，使得平均码长更小。
为了找到最优的编码方案，我们可以考虑信息率失真函数，它定义了信源数据率和失真之间的关系。
对于离散的信源，信息率失真函数定义为：R(D) = min{H(X): D(X,Y) <= D}其中，H(X)是信源的熵，D(X,Y)是表示信源X和编码后的序列Y之间的平均失真度量，D是允许的最大失真度量。
在我们的例子中，信源的熵为H(X)=-0.4*log2(0.4)-0.6*log2(0.6)=0.97095。
我们可以使用汉明码来表示这个信源，因为它是一种具有最小平均码长的编码方案。
汉明码基于两个符号之间的汉明距离，即它们不同的位数。
对于我们的信源，我们可以使用一个长度为2的汉明码。
具体来说，我们将0表示为00，将1表示为11，这样编码后的序列长度为2，平均码长为2*0.4=0.8位。
为了计算信息率失真函数曲线，我们需要计算不同的允许失真度量对应的最小信源数据率。
例如，当允许的最大失真为0.01位时，最小的信源数据率是0.8位，即汉明码的平均码长。
对于其他失真度量，我们可以使用类似的方法计算相应的信源数据率。
4信息率失真函数-2
p( y j ) i j
12
R(D)的定义域例子
x2 x1 α 0 例 二元信源 ,[ D] = 0.4 0.6 0 α 求R( D )的定义域和值域。 解： 由定义：Dmin = 0 D1 = 0.4α D2 = 0.6α = = Dmax min( D1 , D2 ) 0.4α = 当D=Dmin 0= 时，R( D ) H ( X ， ) 无失真 当D ≥ Dmax时，R( D ) = 0
基础信息论
电子信息与通信学院 涂来 email: tulai@ 南一楼 东南角5楼
第4章 信息率失真函数
第4章 信息率失真函数
• 4.1 基本概念 • 4.2 离散信源的信息率失真函数 • 4.3 连续信源的信息率失真函数 • 4.4 保真度准则下的信源编码定理
3
第4章 信息率失真函数
∑
d12 d 22 dn2
d1 m d 2m = [ D] d ij d nm
11
D max
= min ∑ p( y j )∑ p( x i )d ( x i , y j ) min ∑ p( y j ) D j
p( y j ) j i p( y j ) j
D max = min E d ( x, y ) p ( y | x )∈ P0
由于，X和Y相互独立，故有：
D max = min ∑
p( y j ) j
p( xx n )
= min ∑
p( y j ) j
d11 p( y j ) p( x i )d ( x i , y j ) d 21 i p( y j ) D j d n1
信源分布 失真函数 已经给定 上式是用不同的概率分布 p( y j ) 对 Dj 求数学期望， 取数学期望当中最小的一个作为Dmax
12
R(D)的定义域例子
x2 x1 α 0 例 二元信源 ,[ D] = 0.4 0.6 0 α 求R( D )的定义域和值域。 解： 由定义：Dmin = 0 D1 = 0.4α D2 = 0.6α = = Dmax min( D1 , D2 ) 0.4α = 当D=Dmin 0= 时，R( D ) H ( X ， ) 无失真 当D ≥ Dmax时，R( D ) = 0
基础信息论
电子信息与通信学院 涂来 email: tulai@ 南一楼 东南角5楼
第4章 信息率失真函数
第4章 信息率失真函数
• 4.1 基本概念 • 4.2 离散信源的信息率失真函数 • 4.3 连续信源的信息率失真函数 • 4.4 保真度准则下的信源编码定理
3
第4章 信息率失真函数
∑
d12 d 22 dn2
d1 m d 2m = [ D] d ij d nm
11
D max
= min ∑ p( y j )∑ p( x i )d ( x i , y j ) min ∑ p( y j ) D j
p( y j ) j i p( y j ) j
D max = min E d ( x, y ) p ( y | x )∈ P0
由于，X和Y相互独立，故有：
D max = min ∑
p( y j ) j
p( xx n )
= min ∑
p( y j ) j
d11 p( y j ) p( x i )d ( x i , y j ) d 21 i p( y j ) D j d n1
信源分布 失真函数 已经给定 上式是用不同的概率分布 p( y j ) 对 Dj 求数学期望， 取数学期望当中最小的一个作为Dmax
率失真函数
d (u1 , v1 ) d (u1 , v 2 ) d (u , v ) d (u , v ) 2 1 2 2 D : : d (u r , v1 ) d (u r , v 2 )
... d (u1 , v s ) ... d (u 2 , v s ) ... : ... d (u r , v s )
UV i 1 j 1
保真度准则
若平均失真度D不大于我们所允许的失真D，即： DD 称此为保真度准则。
信源固定(给定P(u))，单个符号失真度固定时(给定 d(ui,vj)) ，选择不同试验信道，相当于不同的编码方法，所得 的平均失真度是不同的。有些试验信道满足D D，而有些试 验信道D＞D。 凡满足保真度准则，即平均失真度D D的试验信道统称 为“D失真许可的试验信道”。把所有D失真许可的试验信道 组成一个集合，用符号BD表示，即：
0 1 4 D 1 0 1 4 1 0
上述三个例子说明了具体失真度的定义。一般情况下根 据实际信源的失真，可以定义不同的失真和误差的度量。另 外还可以按其他标准，如引起的损失、风险、主观感觉上的 差别大小等来定义失真度d(u,v)。
平均失真度
失真度d(ui,vj)是随机变量。规定了单个符号失真度d(ui,vj) 后，传输一 个符号引起的平均失真，称为信源平均失真度：
i j i j js
除j=s以外所有的j和i 所有i
其中接收符号vs作为一个删除符号。
在这种情况下，意味着若把信源符号再现为删除符号vs 时，其失真程度要比再现为其他接收符号的失真程度少 一半。 若二元删除信源s ＝2，r＝3， U＝{0,1}，V＝{0,1 ,2} 。 失真度为：
信息率失真函数 (2)
定义为：
d E [ d ( xi , y j )]
P( x
XY
i
y j ) d ij
P( x )P( y
i
XY
j
| xi ) d ij
平均失真函数 d
假设X和Y都是n维矢量消息的集合，也可以定义两个矢量消息
之间的失真函数为：
1
d n ( x, y )
n
n
d (x
r 1
一定的限制
先把{P(yj|xi)}集合的各种可能值代入式
d
n
m
p( x , y
i 1
j 1
n
m
i 1
j 1
i
j
)d ( xi , y j )
＝ p ( xi ) p ( y j | xi )d ( xi , y j )
信源概率
转移概率
失真函数
求出各个 d
，再根据
d ，把{P(y
D j|xi)}分成两类:
D表示，PD是能使实际失真在允许失真度范围内
d 的一类用P
D
的那些假想试验信道的{P(yj|xi)}
d 的ห้องสมุดไป่ตู้类称为禁用集合
D
保真度〔失真度〕准那么：
假设平均失真函数不大于所允许的失真度D，
即
dD
d
N
DN
(维
信
源
矢
量
)
N
称为保真度准那么。
信息率失真函数R(D)
r
, yr )
其平均失真函数为：
1
d n E [ d n ( x , y )]
n
该式中
n
1
E
d E [ d ( xi , y j )]
P( x
XY
i
y j ) d ij
P( x )P( y
i
XY
j
| xi ) d ij
平均失真函数 d
假设X和Y都是n维矢量消息的集合，也可以定义两个矢量消息
之间的失真函数为：
1
d n ( x, y )
n
n
d (x
r 1
一定的限制
先把{P(yj|xi)}集合的各种可能值代入式
d
n
m
p( x , y
i 1
j 1
n
m
i 1
j 1
i
j
)d ( xi , y j )
＝ p ( xi ) p ( y j | xi )d ( xi , y j )
信源概率
转移概率
失真函数
求出各个 d
，再根据
d ，把{P(y
D j|xi)}分成两类:
D表示，PD是能使实际失真在允许失真度范围内
d 的一类用P
D
的那些假想试验信道的{P(yj|xi)}
d 的ห้องสมุดไป่ตู้类称为禁用集合
D
保真度〔失真度〕准那么：
假设平均失真函数不大于所允许的失真度D，
即
dD
d
N
DN
(维
信
源
矢
量
)
N
称为保真度准那么。
信息率失真函数R(D)
r
, yr )
其平均失真函数为：
1
d n E [ d n ( x , y )]
n
该式中
n
1
E
第10章 率失真函数
N ˆ j) P( x ˆ j / x k )] P ( x i ) 注意到 [ P( x k )PD ( x ˆ j / x i ) PD ( x ˆ j / x i ) k 1 PD ( x
N ˆ l ) log P( x ˆ l )] [ P( x ˆ j / x i ) l1 PD ( x N ˆ j) PD ( x ˆ l ) log P( x ˆ l )] [ P( x ˆ j ) l1 ˆ j / xi ) PD ( x PD ( x
i 1 j1
N
N
D限制下的条件极值
第10章 率失真函数
ˆ) 令 {I(X; X ˆ j / xi ) PD ( x ˆ l / x k )d ( x k , x ˆ l ) D] k [ PD ( x ˆ l / x k ) 1]} S[ P( x k )PD ( x
DD
第10章 率失真函数
4、测试信道 满足保真度准则的所有数据处理信道 离散信源的测试信道
ˆ / X ) {P ( X ˆ / X ) : D D} PD ( X
ˆ 1 / x1 ) PD ( x ˆ1 / x2) PD ( x P (x ˆ ˆ D 2 / x1 ) PD ( x 2 / x 2 ) ˆ PD (X / X) ... ... ˆ N / x1 ) PD ( x ˆ N / x2) PD ( x ˆ1 / xN) ... PD ( x ˆ 2 / xN) ... PD ( x ... ... ˆ N / x N ) ... PD ( x
p (1 p)2S S ˆ1 / x2 ) PD ( x 2 2S (1 p)(1 2 ) (1 p) p2S ˆ 2 / x2) PD ( x (1 p)(1 2 2S )
N ˆ l ) log P( x ˆ l )] [ P( x ˆ j / x i ) l1 PD ( x N ˆ j) PD ( x ˆ l ) log P( x ˆ l )] [ P( x ˆ j ) l1 ˆ j / xi ) PD ( x PD ( x
i 1 j1
N
N
D限制下的条件极值
第10章 率失真函数
ˆ) 令 {I(X; X ˆ j / xi ) PD ( x ˆ l / x k )d ( x k , x ˆ l ) D] k [ PD ( x ˆ l / x k ) 1]} S[ P( x k )PD ( x
DD
第10章 率失真函数
4、测试信道 满足保真度准则的所有数据处理信道 离散信源的测试信道
ˆ / X ) {P ( X ˆ / X ) : D D} PD ( X
ˆ 1 / x1 ) PD ( x ˆ1 / x2) PD ( x P (x ˆ ˆ D 2 / x1 ) PD ( x 2 / x 2 ) ˆ PD (X / X) ... ... ˆ N / x1 ) PD ( x ˆ N / x2) PD ( x ˆ1 / xN) ... PD ( x ˆ 2 / xN) ... PD ( x ... ... ˆ N / x N ) ... PD ( x
p (1 p)2S S ˆ1 / x2 ) PD ( x 2 2S (1 p)(1 2 ) (1 p) p2S ˆ 2 / x2) PD ( x (1 p)(1 2 2S )
信息论与编码(清华出版社)第4章信息率失真函数-Qtech
{
i = 1,2, L , n; j = 1,2, L , m
}
14
信息率失真函数R(D) 信息率失真函数
由于互信息取决于信源分布和信道转移概率分布， 根据2-2 由于互信息取决于信源分布和信道转移概率分布 ， 根据 节所述， 一定时， 是关于p(y 型凸函数， 节所述，当p(xi)一定时，互信息 是关于 j/xi) 的U型凸函数， 一定时 互信息I是关于 型凸函数 存在极小值。因而在上述允许信道P 存在极小值。因而在上述允许信道 D中，可以寻找一种信道 pij，使给定的信源 i)经过此信道传输后，互信息 ；Y)达 使给定的信源p(x 经过此信道传输后 互信息I(X； 达 经过此信道传输后， 到最小。该最小的互信息就称为信息率失真函数R(D)，即 到最小。该最小的互信息就称为信息率失真函数 ，
3
4.1 平均失真和信息率失真函数
4.1.1 4.1.2 4.1.3 4.1.4 失真函数 平均失真 信息率失真函数R(D) 信息率失真函数 信息率失真函数的性质
4
4.1 平均失真和信息率失真函数
在实际问题中， 在实际问题中，信号有一定的失真是可以容 忍的。但是当失真大于某一限度后， 忍的。但是当失真大于某一限度后，信息质量将 被严重损伤，甚至丧失其实用价值。要规定失真 被严重损伤，甚至丧失其实用价值。 限度，必须先有一个定量的失真测度。 限度，必须先有一个定量的失真测度。为此可引 入失真函数。 入失真函数。
如何减小失真，允许失真到什么程度； 如何减小失真，允许失真到什么程度； 在允许一定程度的失真条件下， 在允许一定程度的失真条件下，把信源信息压 缩到什么程度。 缩到什么程度。
2
第4章 在信源允许一定失真情况下 所需的最少信息率， 从分析失真函数、 所需的最少信息率 ， 从分析失真函数 、 平 均失真出发，求出信息率失真函数R（D） 。 均失真出发，求出信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源的R（D）计算 离散信源的 （ ）
第4章 信息率失真函数 《信息论与编码》经典PPT课件
失真矩阵
d(a1,b1) d(a1,bm )
d
d(an,b1) d(an,bm )
• 例：设信源符号序列为X={0,1},接收端收到符号
序列为Y= {0,1,2},规定失真函数为
失真矩阵
d(0,0)＝d(1,1)= 0 d(0,1)＝d(1,0)= 1 d(0,2)＝d(1,2)= 0.5
d
没有失真
0
• d(xi , y j ) 0
x ≠ y xi y ji
j
产生失真
失xi 真 yj 的大小,用一个量来表示,即失真函数d(xi,yj),
以衡量用yj代替xi所引起的失真程度。
• 失真函数定义为：
0
d(xi, yj )
xi y j
0 xi y j
4
失真函数
• 将所有的d(xi,yj)排列起来,用矩阵表示为:
• 如果对信源进行不失真编码,平均每个符号至少需 要log2n个二进制码元。
• 现在假定允许有一定失真,假设失真限度为D=1/2 设想采用下面的编码方案：
a1→a1， a2→a2， …an→an
an+1→an ,an+2→ an ,…a2n→ an
21
• 平均失真
D
i
j
p(ai
)
p(a j
|
ai
8
L长序列编码
• 如果假定离散信源输出符号序列X＝{X1X2… Xl… Xn},其中L长符号序列xi =[xi1xi2…xiL],经信源 编码后,输出符号序列Y={Y1Y2…Yl…Ym},其中L
长符号序列yj=[yj1yj2…yjN ],则失真函数定义为
1
dL (xi , y j ) L j d (xiL , y jL )
信息论与编码-第4章信息率失真函数PPT课件
将定义进行扩展，可得N次扩展的信源和信 宿符号序列 a i与b j之间的失真函数为
长江大学电信学院
X
19
4.1 基本概念
d(ai,bj)d(xi1xi2xiN,yj1yj2yjN) d(xi1,yj1)d(xi2,yj2)d(xiN,yjN)
N
d(xik,yjk) k1
对应的失真矩阵为
d(a1,b1)
长江大学电信学院
X
30
4.1 基本概念
说明在保真度准则条件下的信源编码比无失 真情况得到了压缩，同时R(D)是保真度条件下 对信源进行压缩的极限值，亦即信源信息率可 压缩的最低限度，它仅取决于信源特性和保真 度要求，与信道特性无关。
长江大学电信学院
X
31
4.1 基本概念
3. R(D)与C的比较
信道容量表示信道的最大传输能力，反映的 是信道本身的特性，应该与信源无关。但平均 互信息量与信源的特性有关，为排除信源特性 对信道容量的影响，在所有的信源中以那个能 够使平均互信息量达到最大的信源为参考，从 而使信道容量仅与信道特性有关，信道不同， C亦不同。
i 1 j 1
n
nm
m
N
p( xi1 ) p( xiN ) p( y j1 | xi1 ) p( y jN | xiN ) d xik , y jk
i1 1 iN 1 j1 1 jN 1
k 1
nm
p( xi1 ) p( y j1 | xi1 )d ( xi1 , y j1 )
i1 1 j1 1
长江大学电信学院
X
27
4.1 基本概念
I (X; Y)是p(yj|xi ) 的下凸函数，故总可以在 PD集合中找到某一试验信道，使R = I (X;Y)达 到最小值，亦即找到某一个I (X;Y)而使R达到 最小，这个最小值就是R(D)，称为信息率失真 函数，简称率失真函数，即
长江大学电信学院
X
19
4.1 基本概念
d(ai,bj)d(xi1xi2xiN,yj1yj2yjN) d(xi1,yj1)d(xi2,yj2)d(xiN,yjN)
N
d(xik,yjk) k1
对应的失真矩阵为
d(a1,b1)
长江大学电信学院
X
30
4.1 基本概念
说明在保真度准则条件下的信源编码比无失 真情况得到了压缩，同时R(D)是保真度条件下 对信源进行压缩的极限值，亦即信源信息率可 压缩的最低限度，它仅取决于信源特性和保真 度要求，与信道特性无关。
长江大学电信学院
X
31
4.1 基本概念
3. R(D)与C的比较
信道容量表示信道的最大传输能力，反映的 是信道本身的特性，应该与信源无关。但平均 互信息量与信源的特性有关，为排除信源特性 对信道容量的影响，在所有的信源中以那个能 够使平均互信息量达到最大的信源为参考，从 而使信道容量仅与信道特性有关，信道不同， C亦不同。
i 1 j 1
n
nm
m
N
p( xi1 ) p( xiN ) p( y j1 | xi1 ) p( y jN | xiN ) d xik , y jk
i1 1 iN 1 j1 1 jN 1
k 1
nm
p( xi1 ) p( y j1 | xi1 )d ( xi1 , y j1 )
i1 1 j1 1
长江大学电信学院
X
27
4.1 基本概念
I (X; Y)是p(yj|xi ) 的下凸函数，故总可以在 PD集合中找到某一试验信道，使R = I (X;Y)达 到最小值，亦即找到某一个I (X;Y)而使R达到 最小，这个最小值就是R(D)，称为信息率失真 函数，简称率失真函数，即