信息率失真函数及其性质
合集下载
第4章 信息率失真函数
原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
第8章 信息率失真理论(090318)
第8章信息率失真理论一般通信系统允许一定的失真存在。
根据信息率失真理论，由无失真信源编码改为限失真信源编码，从而降低信源编码对信息传输率的要求。
需要研究的问题是：对于给定的允许失真，用什么来描述限失真信源编码信息传输率的下限？一、离散信源的信息率失真函数由信息传输率R=I(X;Y)的凸函数性：信源固定时，信息传输率是信道转移概率分布的下凸函数。
因此，总能找到一种信道转移概率分布，使信息传输率最小。
当信道转移概率分布p(yj /xi)=p(yj)时，信息传输率R=0，显然，这个下限无意义。
(1)失真度设单符号信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)x (p )x (p )x (p x x x )X (P X n 21n 21L L 该符号经信道传输后对应一个m元信宿。
1、平均失真度定义非负函数d(x i ,y j )为失真度。
i=1,2, …,n ；j=1,2, …,m。
⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)y ,x (d ...)y ,x (d )y ,x (d ............)y ,x (d ...)y ,x (d )y ,x (d )y ,x (d ...)y ,x (d )y ,x (d ]D [m n 2n 1n m 22212m 12111称全部n×m个失真度组成的矩阵为失真矩阵：⎩⎨⎧≠>αα==j i ji j i y x ,0,y x 0)y ,x (d常用的失真度有：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡αααααα=0..................0...0]D [相应的失真矩阵当α=1时，称为汉明失真矩阵。
2)x y ()y ,x (d −=称为平方误差失真度。
由于将保真度准则作为约束条件，所找的信道转移概率分布只能来自实验信道集合，p(yj /xi)=p(yj)不一定是实验信道，信息传输率不总为0，故此时信息传输率的下限有意义。
特别地，当D =D min =0，即不允许任何失真时R(D )=H(X)根据R(D)的性质可知，当D =D max 时，R(D)=0n ,,2,1i )y (p )x /y (p 0)D (R j i j L ==→=如果D >D max ，同样R(D)=0∑∑===n 1i m1j j i j i )y (p max )y ,x (d )y (p )x (p min D j∑∑∑=====m 1j j j )y (p n 1i j i i m 1j j )y (p D )y (p min )y ,x (d )x (p )y (p min j j ∑==n1i j i i j )y ,x (d )x (p D 其中jjm1j j j D min D )y (p ≥∑=Q jjm1j j j )y (p max D min D )y (p min D j ==∴∑=n mn mSα例2:三元(三进制)等概率信源的失真矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110]D [求该信源的信息率失真函数R(D)及允许失真度D的取值范围，并求D =1/3时的R(D)及达到R(D)的实验信道P D (Y/X)。
信息论 第四章 信息率失真函数(1)
4.1 基 本 概 念
当i=j时，X与Y的取值一样，用Y来代表X就没有误差，所以 定义失真度为0； 当i≠j时，用Y代表X就有误差。
这种定义认为对所有不同的i和j引起的误差都一样，所以定 义失真度常数a。 失真矩阵的特点是对角线上的元素均为0，对角线以外的其 它元素都为常数a。
第四章 信息率 失真函数
第1章：概述
第2章：信源熵 第3章：信道容量
第4章：信息率失真函数
第5章：信源编码
第6章：信道编码 第7章：密码体制的安全性测度
§4.1 信息率失真函数
§4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数
§4.4 保真度准则下的信源编码定理
第四章 信息率 失真函数
基本概念
在前面几章的讨论中，其基本出发点都是如何保 证信息的无失真传输。 但在许多实际应用中，人们并不要求完全无失真 地恢复消息，而是只要满足一定的条件，近似地 恢复信源发出的消息就可以了。 然而，什么是允许的失真？如何对失真进行描 述？信源输出信息率被压缩的最大程度是多少？ 信息率失真理论回答了这些问题，其中香农的限 失真编码定理定量地描述了失真，研究了信息率 与失真的关系，论述了在限失真范围内的信源编 码问题，已成为量化、数据转换、频带压缩和数 据压缩等现代通信技术的理论基础。
1 2 N 1 2 N
4.1 基 本 概 念
i ai , ai , , ai , ai , ai , , ai a1 , a2 , , an
i1 , i2 , , iN =1, 2, , n，i=1, 2, , n N
信道的输出共有mN个不同的符号
j bi , bi , , bi , bi , bi , , bi b1 , b2 , , bm
[信息与通信]第10讲 信息率失真函数
![[信息与通信]第10讲 信息率失真函数](https://img.taocdn.com/s3/m/d018b36c3069a45177232f60ddccda38376be1de.png)
1 log 2e 2
2
D
1 2
R(D) log 2D
N
X
Y
反向加性高斯实验信道
1 2 D
2 2 D
R(D) 1 log 2
2D
R(D) 0
R(D)
2
D
2 D
S(D)
高斯信源的率失真函数
C
R(D)
I (X ;Y ) 的上凸函数 I (X ;Y ) 的下凸函数
I (X ;Y ) 的极大值
p(b 2
/
a) 1
(1
p)(1
e2S
)
p(b 1
/
a 2
)
(1 p) peS p(1 e2S )
p(b2
/
a2
)
(1 p) peS (1 p)(1 e2S
)
n
D(S)
m i p(ai ) p(bj )d (ai , bj )eSd (ai ,b j )
i1 j1
e S
1 eS
n
R(S) SD(S) p(ai ) ln i i 1
0
...
a
... ... ... ...
a
a
...
a
a 1
汉明失真
0 1 1
1
0
1
1
1
0
2 d(ai ,bj ) (bj ai )2 平方误差失真函数
平均失真度
失真函数d(ai，bj)是随机变量，失真函数的数 学期望称为平均失真度，记为
nm
D E[d(ai ,bj )]
作业：4.1 4.3 4.10 4.11
4.1 信息率失真函数
4.1.1 失真函数和平均失真度
ch4信息率失真函数
j
/
ai
)
p 1
(b
j
/
ai
)
(1
)
p
2
(b
j
/
ai
)
nm
D
p(ai ) p(bj / ai )d (ai ,bj )
i1 j1
D1 (1 )D2
满足保真 度准则
D' (1 )D'' D
I ( X ;Y ) R ( D ) R[D ' (1 ) D '' ]
由 I ( X ;Y ) 对 p(b j ai )的下凸性： I ( X ;Y ) I ( X ;Y1 ) (1 ) I ( X ;Y2 )
nm
D(S )
p(a ) p(b )eSd(ai ,bj )d (a , b )
ii
j
ij
4
i1 j 1
（4.2.5）
n
R(S)
m
p(a
)
p(b
)eSd (ai ,bj )
ln
i
p(b )eSd(ai ,bj ) j
ii
j
i1 j1
p(b ) j
n
SD(S ) p(a ) ln
n
1
Dm a x
min j
Dj
min j
i 1
p(ai )d (ai , bj )
n
2
i p (ai )e Sd (ai ,b j ) 1
i
i 1
3
1
i
m j 1
p(b j )eSd (ai ,bj )
p(bj )
4 p(bj ai ) p(bj )ieSd(ai ,bj )
信息率失真函数r(d)
信息率失真函数r(d)
信息率失真函数是信息论中对信源的提取率和失真之间关系的描述函数，用于量化信息传输过程中的信源失真。
信息传输中存在两个基本要素，即提取率和失真。
提取率指的是通过传输信道提取出的有效信息的比例，
而失真则是指提取出的信息与原始信息之间的差异。
信息率失真函数通常被用来评估压缩编码的性能。
在压缩编码中，为
了减小数据的传输量，我们会对数据进行压缩，并通过编码算法将其表示
为较短的二进制代码。
压缩过程中的失真表示为编码后恢复的数据与原始
数据之间的差异。
在设计压缩编码算法时，我们希望能够在提取率和失真之间达到一个
平衡。
提取率越高，我们能够从信道中提取出更多的有效信息；而失真越小，恢复的信息与原始信息的差距越小。
信息率失真函数可以帮助我们在
这两个方面之间进行权衡。
在信息论中，常用的信息率失真函数有均方误差函数和最大误差概率
函数。
均方误差函数衡量的是编码恢复的数据与原始数据之间的平方差的
期望，可以通过最小化均方误差来实现较低的失真。
而最大误差概率函数
则衡量的是编码恢复的数据与原始数据之间的最大差异的概率，可以通过
最小化最大误差概率来实现较低的失真。
总结来说，信息率失真函数是信息论中用于量化信源提取率和失真之
间关系的函数。
它可以帮助我们在设计压缩编码算法时找到提取率和失真
之间的平衡点，以达到较高的提取率和较低的失真。
第4章 信息率失真理论
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
③对D具有单调递减性
由R(D)对D具有的非负性、严格下凸性及R(Dmax) =0说明
信息率失真理论
当Dmin=0时，信息率失真函数R(D)的大致曲线 R(D) H(X)
Dmin
Dmax D
信息率失真理论
3、信息率失真函数的表达式
ˆ P( x j / x i ) i ˆ ln Sd( x i , x j ) 0 ˆ P( x j ) P( x i ) i 1,2,, n j 1,2,, n
i 令 ln i P( x i ) ˆ P( x j / x i ) ˆ Sd ( x i , x j ) ln ln i e ˆ P( x j )
信息率失真理论
第2个实验信道满足D2条件下R(D)的定义 ˆ ˆ P (X / X) {P(X / X) : D D }
D2 2
ˆ ˆ R (D 2 ) min I(X; X) I 2 (X; X) ˆ
PD2 ( X / X )
取一个新的实验信道
ˆ ˆ PD1 (X / X) (1 )PD2 (X / X) ˆ {P(X / X) : D D1 (1 )D 2 }
ˆ ... d( x1 , x n ) ˆ ... d( x 2 , x n ) ... ... ˆ ... d( x n , x n )
汉明失真矩阵
0 1 [ D] ... 1 1 0 ... 1 ... ... ... ... 1 1 ... 0
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
设第1个实验信道满足D1条件下R(D)的定义
信息论第四章失真率函数
【例4.8】 信源含两个消息{x1=0，x2=1},其概率分布为 失真测度 p为(XX汉)明 （x1Ha1mx2min,gδ）<失0.真5，测信度道，输求出率符失号真Y函=数{yR1=(D0，)。y2=1}，
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D （y1）+（1-D） (y2)
由上面方程组解出，
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个
极小值为率失真函数R(D)，即：
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D （y1）+（1-D） (y2)
由上面方程组解出，
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明（Hamming）失真测度
信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …,
信息率失真函数解读
D E[d (ui , v j )] E[d (u, v)]
在离散情况下，信源U＝{u1,u2,…ur} ，其概率分布P(u)＝ [P(u1),P(u2),…P(ur)] ，信宿V＝ {v1,v2,…vs} 。 若已知试验信道的传递概率为P(vj/ui)时，则平均失其度为：
D P(uv)d (u, v) P(ui ) P(v j / ui )d (ui , v j )
y
y
0
x
由于信源等概分布，失真函数具有对称，因此，存在着与失真 矩阵具有同样对称性的转移概率分布达到率失真R(D) ，该转 移概率矩阵可写为：
第四章
信息率失真函数
无失真信源编码和有噪信道编码告诉我们：只要信道的 信息传输速率小于信道容量，总能找到一种编码方法,使得 在该信道上的信息传输的差错概率任意小；反之，若信道 的信息传输速率大于信道容量，则不可能使信息传输差错 概率任意小。 但是，无失真的编码并非总是必要的。
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息 传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允 许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，侧重讨论离散 无记忆信源。 首先给出信源的失真度和信息率失真函数的定义与性质； 然后讨论离散信源和连续信源的信息率失真函数计算；在这基 础上论述保真度准则下的信源编码定理。
1 0 1 2 D 1 1 0 2
则
[例3] 对称信源(s = r) 。信源变量U＝{u1,u2,…ur} ，接收变 量V＝ {v1,v2,…vs} 。失真度定义为：
信息论基础——信息率失真函数
1/ 2 1/ 4
1/ 1/
2 4
0 3/8
1/8 3 / 16
31//186
这儿不是矩阵乘法, 而是输入概率第一行分别乘以信道矩阵
第一行中的元素。第二行乘以第二行。
有了联合概率，求统计平均：
D 0 0 1/ 811/ 8 0.5 3 / 81 3 /16 0 3 /16 0.5 23/ 32
写法不同而已。
这时, 信息从0变成1，失真为0，即传输过程中不失真。
失真函数本身没有绝对意义，其选择必须与实际的物理内容相符合。 比如确定信息被传成了等概率分布，已经失真的什么信息量都没了， 但依然可以把失真矩阵元全部定义为0。但是这个定义与实际不符合， 没有任何价值。
失真函数的绝对大小也没有意义，一个失真函数直接乘2也可以作为失真 函数。失真量两倍了，但是对物理实际的描述程度却没有任何改变。
在合理定义的失真函数下，对同一个信道： 信道的信息传输率较大，则平均失真较小。 而信息传输率较小，平均失真较大。
在实际情况中：允许有一定失真，平均失真不能超过D, 那么这个时候信息传输率就有个与D最小值R m in , 如果R小于 R m in 则失真就会超过限制D。显然这个R m in 与信道矩阵有关。
信道矩阵： 00
1 0
0 1
，失真矩阵： 10
1 0
1 1
1 0 0
1 1 0
失真函数具有一定任意性，一个信源传输后，定义不同的失真函数 其失真量也不一样。
信道矩阵为
0 0
1 0
0 1
1 0 0
重新定义失真矩阵为： 11
0 1
1 0
0 1 1
这个定义与分别给出所有矩阵元，
一次用函数给出所有矩阵元，d (x, y) (x 1 y)一样。
信息论与编码---第4章信息率失真函数
6
[D]称为信道 {X-P(Y/X)-Y} 的失真矩阵. 称为信道 失真矩阵.
长江大学电信学院
X
4.1 基本概念
常用的失真函数有 (1)
d ( xi , y j ) = a 0, i= j a > 0, i ≠ j
7
当i = j时,x和y的消息符号都是 i,说明收发 的消息符号都是x 时 和 的消息符号都是 之间没有失真,所以失真函数 之间没有失真,所以失真函数dij = 0;反之, ;反之, 当i ≠ j时,信宿收到的消息不是信源发出的符 时 而是y 出现了失真,所以失真函数d 号xi,而是 j,出现了失真,所以失真函数 ij 值的大小可以表示这种失真的程度. ≠0,而dij值的大小可以表示这种失真的程度. ,
长江大学电信学院
X
4.1 基本概念
d (a i , b j ) = d ( x i1 x i2 L x i N , y j1 y j2 L y j N ) = d ( x i1 , y j1 ) + d ( x i2 , y j2 ) + L + d ( x i N , y j N ) = ∑ d ( x i k , y jk )
长江大学电信学院
X
4.1 基本概念
2. 平均失真度的定义 若信源和信宿的消息集合分别为X:{x1, 若信源和信宿的消息集合分别为 x2, …, xn}和Y:{y1, y2, …, ym},其概率分别为 和 , p(xi)和p(yj) (i=1, 2, …, n ; j=1, 2, …, n ),信道 和 , 的转移概率为p(y ,失真函数为d 的转移概率为 j|xi),失真函数为 (xi,yj),则 , 称随机变量X和 的联合概率 的联合概率p(x 称随机变量 和Y的联合概率 i yj )对失真函数 对失真函数 的统计平均值为该通信系统的平均失真 d (xi, yj)的统计平均值为该通信系统的平均失真 的统计平均值为该通信系统的 度.
第四章：信息率失真函数
信息率失真函数
R( D)
p ( y j / xi )PD
min I ( X ;Y )
I ( X ; Y ) NR( D)
N N
对于离散无记忆信源的N次扩展信源和离散无记忆 信道的N次扩展信道：
RN ( D)
p (b j / ai )PD ( N )
min
信息率失真函数
在研究R(D)时，引用的条件概率p(y/x)并没有 实际信道的含义。只是为了求平均互信息的 最小值而引用的、假想的可变试验信道。实 际上这些信道反映的仅是不同的有失真信源 编码或信源压缩。所以改变试验信道求平均 互信息的最小值，实质上是选择一种编码方 式使信息传输率最小。
信息率失真函数的性质
基本概念
失真函数与平均失真度
失真函数 常用的失真函数 平均失真度 离散无记忆信道的N次扩展信道的平均失真
基本概念
失真函数
X {x1...xn} Y { y1... ym} P( yj / xi )
对任一 ( xi, yj ) 指定一个非负数d ( xi, yj ) 0 称 d ( xi, yj ) 为单个符号的失真度或失真函数。
p ( xi1 ) p( xiN ) p( y j1 / xi1 ) p( y jN / xiN ) d ( xik , y jk )
i1 1 n iN 1 j1 1 jN 1 k 1
n
m
m
N
p ( xi1 ) p( y j1 / xi1 )d ( xi1 , y j1 ) p( xi2 ) p( y j2 / xi2 ) d ( xi2 , y j2 )
i 1 j 1
n
m
p( xi ) p( y j / xi )d ( xi , y j )
信息论与编码(清华出版社)第4章信息率失真函数-Qtech
{
i = 1,2, L , n; j = 1,2, L , m
}
14
信息率失真函数R(D) 信息率失真函数
由于互信息取决于信源分布和信道转移概率分布， 根据2-2 由于互信息取决于信源分布和信道转移概率分布 ， 根据 节所述， 一定时， 是关于p(y 型凸函数， 节所述，当p(xi)一定时，互信息 是关于 j/xi) 的U型凸函数， 一定时 互信息I是关于 型凸函数 存在极小值。因而在上述允许信道P 存在极小值。因而在上述允许信道 D中，可以寻找一种信道 pij，使给定的信源 i)经过此信道传输后，互信息 ；Y)达 使给定的信源p(x 经过此信道传输后 互信息I(X； 达 经过此信道传输后， 到最小。该最小的互信息就称为信息率失真函数R(D)，即 到最小。该最小的互信息就称为信息率失真函数 ，
3
4.1 平均失真和信息率失真函数
4.1.1 4.1.2 4.1.3 4.1.4 失真函数 平均失真 信息率失真函数R(D) 信息率失真函数 信息率失真函数的性质
4
4.1 平均失真和信息率失真函数
在实际问题中， 在实际问题中，信号有一定的失真是可以容 忍的。但是当失真大于某一限度后， 忍的。但是当失真大于某一限度后，信息质量将 被严重损伤，甚至丧失其实用价值。要规定失真 被严重损伤，甚至丧失其实用价值。 限度，必须先有一个定量的失真测度。 限度，必须先有一个定量的失真测度。为此可引 入失真函数。 入失真函数。
如何减小失真，允许失真到什么程度； 如何减小失真，允许失真到什么程度； 在允许一定程度的失真条件下， 在允许一定程度的失真条件下，把信源信息压 缩到什么程度。 缩到什么程度。
2
第4章 在信源允许一定失真情况下 所需的最少信息率， 从分析失真函数、 所需的最少信息率 ， 从分析失真函数 、 平 均失真出发，求出信息率失真函数R（D） 。 均失真出发，求出信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源的R（D）计算 离散信源的 （ ）
信息率失真函数的定义
信源最小平均失真度Dmin
是非负函数d(xi , yj)的数学期望，也是一个非负 D 函数，显然其下限为 0。因此允许平均失真度 。因此允许平均失真度D的下 限也必然是0，这就是不允许有任何失真的情况。 – 允许平均失真度D能否达到其下限值0，与单个符号 的失真函数有关。 – 信源最小平均失真度 Dmin ：对于每一个xi，找出一个 yj与之对应，使d(xi , yj)最小，不同的xi对应的最小 d(xi , yj)也不同。这相当于在失真矩阵的每一行找出 一个最小的d(xi , yj) ，各行的最小d(xi , yj)值都不同。 对所有这些不同的最小值求数学期望，就是信源的 最小平均失真度。
（2）若设此信源的失真度为汉明失真。因为是二元信源， 输入是等概率分布，所以信源的信息率失真函数 R(D)=1R(D)=1-H(D) 比特/信源符号 Rt(D)=2.66*R(D) Rt(D)=2.66*R(D) 比特/秒 若当 Ct>=Rt(D ) Ct>=Rt(D) 则此信源在此信道中传输时不会引起错误，也就是不会因信 道而增加信源新的失真。总的信源的失真是信源压缩编码所 造成的允许失真D 所以有 2=2.66*[12=2.66*[1-H(D)] 2.66H(D)=0.66 H(D) ≈ 0.2481 故 D ≈ 0.0415 允许信源平均失真D ≈ 0.0415时，此信源就可以在次信道 中传输。
R ( D)
1 D I (U ;V ) = H (U ) − H (U | V ) = H ( ) − H ( ) 2 α
α
0, D >
α
2
2
A = − , ，失真 = 4.1设无记忆信源 p ( x ) 1 3, 1 3, 1 3 ，接收符号集 2 2 1 2 矩阵 D = 1 1 ，试求：Dmax 和 Dmin及达到 Dmax ， 时的转移概率矩 D min 2 1 阵。
信息率失真函数
d(a1,b1) ... d(a1,bm )
d
d (a2 , ...
b1)
... ...
d(a2, bm ) ...
d(an,b1) ... d(an,bm )
其中， 失真。d(ai,bj
)
表示当试验信道的输入为ai时，输出为bj所产生的
0
4
你现在学习的是第4页，课件共112页
9.1.2 失真测度
b 1 b 2 ... b n 1 b n
a 1 1 0 ... ... 0
a2
0
1
0
...
0
... ... ... ... ... ...
a n1
0
...
0
1
0
an
0
...
...
0
1
... ... ... ... ... 1
a 2 n 0 ... ... ... 1
你现在学习的是第22页，课件共112页
22
9.3.1码率的压缩
平满均足失要真求。D x,yp(x)p(y/x)d(x,y)2 1 n n 2 n 112 n n1 2算法
，
bj(j
1，，n)的概率分布为：
n1 1/2n ... 1/2n
(n1)/2n 所以
H (Y )n 1lo 2 n g n 1lo2 n g
2 n
2 n n 1
i1 j1
（9.4.4）
❖ 从（9.4.3）式可知，约束条件有n+1个，其中1个为平均失真约束， n个条件概率归一化约束，未知数pij有mn个。下面用拉格朗日乘 子法求有约束极值。
你现在学习的是第15页，课件共112页
第五章 信息率失真函数
H (Y ) H ( pq pq)
q
1-H(q)
0
0.5
1
p
0.5
1
q
I(X;Y)
H(p)
0
q不变时, I(X;Y)为上凸曲线。p=0.5时有最大值
p不变时, I(X;Y)为下凸曲线。q=0.5时有最小值
【注】
由于平均互信息量I(X;Y)是p(yj|xi)的下凸函数，
所以在PD集合（满足保真度准则的试验信道的集
失真度d D+；反之，若R<R(D)，则无论用什么编码方法，必有d >D，即译码平均
失真必大于允许失真。
信源编码器的目的：
使编码后所需的信息传输率R尽量小,给出一个失真的限
制值D，在满足保真度准则条件下，选择一种编码方法，
使信息率R尽可能小。
例1：
1
若已知这一类信源理论上的R(D)=H( )-H(D),
R( D )
min
{ P ( y j | x i )} PD
单位为bit/符号。
I ( X ; Y ) min I ( X ; Y )
dD
回顾：
平均互信息量的凸函数性
(1) I(X;Y) 是信源概率分布P(X) 的上凸函数
（最大值）——信道容量
(2) I(X;Y) 是信道转移概率P(Y/X) 的下凸函数
d K KD
min
p ( y| x ):d K KD
I ( X ;Y )
x——信源的一个输出序列；
y——信宿的一个接收序列；
d
K
——N维信源矢量的平均失真度。
min
p ( y| x ):d K KD
I ( pi ; Pji )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
D允许试验信道 若p(ui)和d(ui，vj)已定，则可将在满足失真限度条件下的与 某种转移概率分布pij相对应的某种信源编码方法看成一个假 想信道，而所有可能的编码方法就构成了一个信道的集合BD
2、信息率失真函数
B D p(vj / ui ) : D D
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
3.1 R(D)的定义域 (0, Dmax ) (1) Dmin和R(Dmin) 因为D是非负函数d(u，v)的数学期望，因此D是非负的，其下 界为0，即： Dmin ＝0 。此时，对应于无失真的情况，相当于 无噪声信道，所以信道的信息率等于信源的熵，即
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
将此问题对应到信道，即为接收端V需要获得的有关U的信 息量，也就是互信息I(U；V)。这样，选择信源编码方法的 问题就变成了选择假想信道的问题，符号转移概率p(vj/ui)就 对应信道转移概率。 平均失真由信源分布 p(ui)、假想信道的转移概率 p(vj/ui) 和失真函数 d(vj，ui) 共同决定。
p(v j / ui） p(v j )
再次强调，在研究R(D)时，我们引用的条件概率p(v|u) 并没有实际信道的含义，只是为了求平均互信息的最小 值而引用的、假想的可变试验信道。
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
实际上这些假想的信道所对应的仅仅是各种不同的有失真 的信源编码方法，或信源压缩方法。 所以，改变试验信道求最小值，实质上是选择某一种编码 方式使信息传输率为最小，也就是在保真度准则下，使信 源的压缩率最高。 信息率失真函数R(D)是信源在限定最大失真D条件下信源输 出的信息率的下界，是理论上的最佳值（最小值）。
信息论
7.2
信息率失真函数及其性质
1、试验信道（假想信道）
我们称此假想信道为试验信道。 试验信道 信宿
信源
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
保真度准则：若平均失真度不能大于所允许的最大失真限 度D，即
DD
我们称此不等式为保真度准则。 对于给定信源，定义了失真函数、满足一定的失真限度， 最终去选择一种编码方法，使得编码后信源输出的信息率 R尽可能地小。
电子信息工程学院
信息论
7.2
R(D)
信息率失真函数及其性质
R(D)>0 R(D)=0
3、信息率失真函数的性质
选择所有满足R(D)＝0中 D的最小值，定义为R(D) 定义域的上限Dmax，即 Dmax min D
R ( D ) 0
因此可以得到R(D)的定 义域为
D
Dmax
D 0, Dmax
R( D) min{I (U ;V )}
BD
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
对于离散无记忆信源，R(D)函数可写成
R( D) min I (U ;V ) min p(ui ) p(v j / ui ) log
P ij BD P ij BD i 1 j 1 r s
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
(2) Dmax和R(Dmax) 根据R(D)的定义，R(D)是在一定的约束条件下，平均互信息量 I(U；V)的最小值。当D大到一定程度，R(D)就达到其下界0， 我们定义这时的D为Dmax。 因此，最大失真度Dmax是平均失真度的上界。 R(D)和D的关系 曲线一般如下图所示。
信息论
7.2
信息率失真函数及其性质
1、试验信道（假想信道）
信源U经过有失真的信源编码器输出V，将这样的编码器看作 是存在干扰的假想信道，V当作接收端的符号。 这样，就可以用分析信道传输的方法来研究限失真的信源编 码问题。
信源 信源 编码 信道 编码 信道 干扰
电子信息工程学院
信道 译码
信源 译码
信宿
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
（3）Dmax的计算 当平均失真= Dmax时，R(D)已达到其下界0。当允许更大失真时， 即平均失真> Dmax时，R(D)仍只能继续是0。 由于当U和V统计独立时，平均互信息I(U；V)=0。 可见：当平 均失真≥Dmax时， R(D)＝0，意味着I(U；V)＝0，这时信道没 有传输任何信息，所以试验信道输入U与输出符号V是互相独立 的，条件概率p(v|u)与u无关，即：p(v|u)=p(v)， 或 pij p(v j / ui ) p(v j ) p j
R(Dmin)= R(0)=H(U)。
对于连续信源， R( Dmin ) R(0) Hc ( x)
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
3.1 R(D)的定义域 (0, Dmax ) 例：删除信源U取值于{0,1}，V取值于{0,1,2}，而失真矩阵为
信息论
7.2
信息率失真函数及其性质
1 0 0 P 0 1 0
3、信息率失真函数的性质
信道矩阵为
这是一个无噪无损信道，R(0)的最小值为H(U)，即信息传输 率至少为信源的信息熵,因此
R(0)
P v j |ui BD
I U ,V H U min
电子信息工程学院
0 1 1/ 2 D 1 0 1/ 2
允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中 每行至少有一个为0。 最小允许失真度为 Dmin P ui • mind ui , v j P(ui ) 0 0
i 1 j i 1 r r1, 2, ,r; j 1, 2, ,s
称为D允许试验信道(或D失真允许的试验信道)。
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
根据互信息的性质， I(U；V)取决于信源分布(假想信道的输 入符号概率分布)和假想信道(对应某种具体的信源编码方法) 的转移概率分布。 针对特定信源，信源概率分布p(ui)确定，所以， I(U；V)是 关于信道转移概率p(vj/ui)的平滑U型凹函数，存在极小值。 这个最小的互信息就定义为信息率失真函数R(D)，简称为率 失真函数，即
信息论
7.2
信息率失真函数及其性质
D允许试验信道 若p(ui)和d(ui，vj)已定，则可将在满足失真限度条件下的与 某种转移概率分布pij相对应的某种信源编码方法看成一个假 想信道，而所有可能的编码方法就构成了一个信道的集合BD
2、信息率失真函数
B D p(vj / ui ) : D D
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
3.1 R(D)的定义域 (0, Dmax ) (1) Dmin和R(Dmin) 因为D是非负函数d(u，v)的数学期望，因此D是非负的，其下 界为0，即： Dmin ＝0 。此时，对应于无失真的情况，相当于 无噪声信道，所以信道的信息率等于信源的熵，即
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
将此问题对应到信道，即为接收端V需要获得的有关U的信 息量，也就是互信息I(U；V)。这样，选择信源编码方法的 问题就变成了选择假想信道的问题，符号转移概率p(vj/ui)就 对应信道转移概率。 平均失真由信源分布 p(ui)、假想信道的转移概率 p(vj/ui) 和失真函数 d(vj，ui) 共同决定。
p(v j / ui） p(v j )
再次强调，在研究R(D)时，我们引用的条件概率p(v|u) 并没有实际信道的含义，只是为了求平均互信息的最小 值而引用的、假想的可变试验信道。
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
实际上这些假想的信道所对应的仅仅是各种不同的有失真 的信源编码方法，或信源压缩方法。 所以，改变试验信道求最小值，实质上是选择某一种编码 方式使信息传输率为最小，也就是在保真度准则下，使信 源的压缩率最高。 信息率失真函数R(D)是信源在限定最大失真D条件下信源输 出的信息率的下界，是理论上的最佳值（最小值）。
信息论
7.2
信息率失真函数及其性质
1、试验信道（假想信道）
我们称此假想信道为试验信道。 试验信道 信宿
信源
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
保真度准则：若平均失真度不能大于所允许的最大失真限 度D，即
DD
我们称此不等式为保真度准则。 对于给定信源，定义了失真函数、满足一定的失真限度， 最终去选择一种编码方法，使得编码后信源输出的信息率 R尽可能地小。
电子信息工程学院
信息论
7.2
R(D)
信息率失真函数及其性质
R(D)>0 R(D)=0
3、信息率失真函数的性质
选择所有满足R(D)＝0中 D的最小值，定义为R(D) 定义域的上限Dmax，即 Dmax min D
R ( D ) 0
因此可以得到R(D)的定 义域为
D
Dmax
D 0, Dmax
R( D) min{I (U ;V )}
BD
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
对于离散无记忆信源，R(D)函数可写成
R( D) min I (U ;V ) min p(ui ) p(v j / ui ) log
P ij BD P ij BD i 1 j 1 r s
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
(2) Dmax和R(Dmax) 根据R(D)的定义，R(D)是在一定的约束条件下，平均互信息量 I(U；V)的最小值。当D大到一定程度，R(D)就达到其下界0， 我们定义这时的D为Dmax。 因此，最大失真度Dmax是平均失真度的上界。 R(D)和D的关系 曲线一般如下图所示。
信息论
7.2
信息率失真函数及其性质
1、试验信道（假想信道）
信源U经过有失真的信源编码器输出V，将这样的编码器看作 是存在干扰的假想信道，V当作接收端的符号。 这样，就可以用分析信道传输的方法来研究限失真的信源编 码问题。
信源 信源 编码 信道 编码 信道 干扰
电子信息工程学院
信道 译码
信源 译码
信宿
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
（3）Dmax的计算 当平均失真= Dmax时，R(D)已达到其下界0。当允许更大失真时， 即平均失真> Dmax时，R(D)仍只能继续是0。 由于当U和V统计独立时，平均互信息I(U；V)=0。 可见：当平 均失真≥Dmax时， R(D)＝0，意味着I(U；V)＝0，这时信道没 有传输任何信息，所以试验信道输入U与输出符号V是互相独立 的，条件概率p(v|u)与u无关，即：p(v|u)=p(v)， 或 pij p(v j / ui ) p(v j ) p j
R(Dmin)= R(0)=H(U)。
对于连续信源， R( Dmin ) R(0) Hc ( x)
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
3、信息率失真函数的性质
3.1 R(D)的定义域 (0, Dmax ) 例：删除信源U取值于{0,1}，V取值于{0,1,2}，而失真矩阵为
信息论
7.2
信息率失真函数及其性质
1 0 0 P 0 1 0
3、信息率失真函数的性质
信道矩阵为
这是一个无噪无损信道，R(0)的最小值为H(U)，即信息传输 率至少为信源的信息熵,因此
R(0)
P v j |ui BD
I U ,V H U min
电子信息工程学院
0 1 1/ 2 D 1 0 1/ 2
允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中 每行至少有一个为0。 最小允许失真度为 Dmin P ui • mind ui , v j P(ui ) 0 0
i 1 j i 1 r r1, 2, ,r; j 1, 2, ,s
称为D允许试验信道(或D失真允许的试验信道)。
电子信息工程学院
信息论
7.2
信息率失真函数及其性质
2、信息率失真函数
根据互信息的性质， I(U；V)取决于信源分布(假想信道的输 入符号概率分布)和假想信道(对应某种具体的信源编码方法) 的转移概率分布。 针对特定信源，信源概率分布p(ui)确定，所以， I(U；V)是 关于信道转移概率p(vj/ui)的平滑U型凹函数，存在极小值。 这个最小的互信息就定义为信息率失真函数R(D)，简称为率 失真函数，即