4 信息率失真函数
合集下载
ch04 信息率失真函数
P (Y X )
⎧0 xi = y j d ( xi , y j ) = ⎨ ⎩a xi ≠ y j
3
⎡ p ( y1 x1 ) p ( y2 x1 ) ... p ( ym x1 ) ⎤ ⎢ ⎥ ⎢ p ( y1 x2 ) p ( y2 x2 ) ... p ( ym x2 ) ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ p ( y1 xn ) p ( y2 xn ) ... p ( ym xn ) ⎦ ⎥ ⎣
⎡ d ( x1, y1 ) d ( x1, y2 ) ⎢d ( x , y ) d ( x , y ) 2 1 2 2 D= ⎢ ⎢ ⎢ ⎣d ( xn , y1 ) d ( xn , y2 )
d ( x1, ym ) ⎤ d ( x2 , ym )⎥ ⎥ ⎥ ⎥ d ( xn , ym )⎦
4
4.1 基本概念
i =1 j n
(
)
离散信源 连续信源
Dmin = ∑ p(xi )min d(xi , y j )
i=1 j
n
仅当失真矩阵每行均 有零元素时, Dmin= 0
R(Dmin ) = R(0) = H ( X )
R(Dmin ) = R(0) = H(x) =∞
12
4.1 基本概念
西华师范大学 物理与电子信息学院
失真函数d(αi,βj)
d(αi , β j ) = d(xi1 xi2
N k =1
xiN , yj1 yj2
= ∑d(xik , yjk )
D ≤ D ，D——允许失真的上界
7
平均失真度—— 单符号时的N倍
D( N ) = ND
8
4.1 基本概念
西华师范大学 物理与电子信息学院
信息论第四章失真率函数
D
q( x ) p( y
i i j
j
xi ) d i j D
（4-11）
式中D是预先给定的失真度，上式称为保真度准则。
根据[定理2.2]，当信源q (x)一定时，平均互信息量I (X ; Y) 是信道转移概率函数 p(y∣x) 的∪型凸函数，这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值，定义这个 极小值为率失真函数R(D)，即：
d ii 0
d ij 1
i, j 1,2, , K
上述约定可以用矩阵表示为
0 1 1 1 0 1 d 1 1 0
式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi而信宿方判为 yj引起的失真度。 对于矢量传输情况，若信道的输入、输出均为N 长序列X = X1 X2 … XN ，Y = Y1 Y2 … YN ，定义失真测度为
RD min I X ; Y : D D
p( y x)
(4-12)
式(4-12)的意义在于，选择p(y∣x)即选择某种编码方法在满足 的 D D前提下，使I (X ; Y) 达到最小值R(D) ，这就是满足平 均失真 D D 条件下的信源信息量可压缩的最低程度。
4.2
N
k J
p( x
k 1 i 1 j 1
ki
, ykj )d ( xki , ykj ) （4-5）
（4-5）式表明了离散无记忆N次扩展信道的输入输出符号之 间平均失真等于单个符号xki,ykj之间失真统计值的总和。
若矢量信源是原离散无记忆信道的N次扩展，且矢 量信道也是原离散无记忆信道的N次扩展，则每个 Dk
第4章 信息率失真函数
原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
《信号处理原理》 第4章 信息失真率
d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明：失真函数d (xi, yj) 的数值是依据实际应 用情况，用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中，用y=2代替x=0和x=1所导致 的失真程度相同，用0.5表示；而用y=0代替x=1 所导致的失真程度要大，用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取，例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小，然而R越小，引起的平 均失真就越大。给出一个失真的限制值D，
在满足平均失真 D D的条件下，选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道，即为接收端Y需要 获得的有关X的信息量，也就是互信息 I(X;Y)。这样，选择信源编码方法的问题就 变成了选择假想信道的问题，符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ；输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m)；对于 图所示的系统，对应于每一对(xi, yj)(i = 1, 2, …,n；j=1, 2, …, m)，定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
第4章信息率失真函数
R( D) min p(ai ) p(b j / ai ) log
Pij PD i 1 j 1
n
m
p(b j / ai ) p(b j )
p(ai)，i＝1,2,…,n 是信源符号概率分布； p(bj/ai)，i＝1,2,…,n，j＝1,2,…,m 是转移概率分布； p(bj)，j＝1,2,…,m 是接收端收到符号概率分布。
如果选取对压缩更为有利的编码方案，则压缩的 效果可能更好。但一旦达到最小互信息这个极限 值，就是R(D)的值，或超过这个极限值，那么失 真就要超过失真限度，如果需要压缩的信息率更 大，则可容忍的平均失真就要更大。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
17
4.1.4 信息率失真函数的性质
1 L d L (x i , y j ) d ( xil , y jl ) L l 1
其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil
时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。
7
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
4.1.2
以R(D)也是一个非负函数，它的下限值为0。当 R(D)=0意
味着什么呢? 不需传输任何信息。显然D越大，直至无限大都能满足这
样的情况。
选择所有满足R(D)=0中D的最小值，定义为R(D)定义域 的上限Dmax，即 Dmax min D
R ( D ) 0
因此可以得到R(D)的定义域为
n
D 0, Dmax
第4章
信息率失真函数
本章主要讨论在信源允许一定失真情况下所需的最少
信息率，从分析失真函数、平均失真出发，求出信息 率失真函数R(D) 。 平均失真和信息率失真函数 离散信源和连续信源的R(D)计算
第4章信息率失真函数
4.1
第4章 信息率失真函数
定义: 信源序列的失真函数
N
基
d ( x, y) d (i , j ) d (ail , bjl )
本 概
l 1
x X, y Y;i X N , j Y N ;ail X ,bjl Y
念
信源序列失真函数等于信源序列中对应的
单符号失真函数之和。也可写成rN sN阶矩阵形 式。
Page 6
4..1.1
第4章 信息率失真函数
4.1 基本概念
失 4.1.1失真函数（失真度）
真
函 为什么引入失真函数？
数
在实际问题中，信号有一定的失真是可 以容忍的，但是当失真大于某一限度后，将 丧失其实用价值。
要规定失真限度，必须先有一个定量的 失真测度。为此可引入失真函数.
Page 7
4.1.1
i1 j1
Page 19
4.1.2
第4章 信息率失真函数
(3)均方失真函数
适用于连续 信源
平 均
d(a,b) (a b)2
(a X ,b Y 或 a,b R)
失
真 在均方失真函数下，平均失真度就是均方误差。
度
rs
离散信源的均方误差 D (a b)2 P(a,b) i1 j1
连续信源的均方误差D： (a b)2 P(a, b)dxdy
1.离散信源单个符号的失真函数
定义:设离散无记忆信源输出变量X {a1, a2,L , ar}，
失 真
概率分布为P(X ) [P(a1), P(a2),L , P(ar )],经过有失真的
函 数
信源编码器，输出的随机变量 Y {b1,b2,L ,bs}。
将所有的 d(ai ,bj ) 0 (ai X ,bj Y ) 排列起来，用
ch4信息率失真函数
j
/
ai
)
p 1
(b
j
/
ai
)
(1
)
p
2
(b
j
/
ai
)
nm
D
p(ai ) p(bj / ai )d (ai ,bj )
i1 j1
D1 (1 )D2
满足保真 度准则
D' (1 )D'' D
I ( X ;Y ) R ( D ) R[D ' (1 ) D '' ]
由 I ( X ;Y ) 对 p(b j ai )的下凸性： I ( X ;Y ) I ( X ;Y1 ) (1 ) I ( X ;Y2 )
nm
D(S )
p(a ) p(b )eSd(ai ,bj )d (a , b )
ii
j
ij
4
i1 j 1
（4.2.5）
n
R(S)
m
p(a
)
p(b
)eSd (ai ,bj )
ln
i
p(b )eSd(ai ,bj ) j
ii
j
i1 j1
p(b ) j
n
SD(S ) p(a ) ln
n
1
Dm a x
min j
Dj
min j
i 1
p(ai )d (ai , bj )
n
2
i p (ai )e Sd (ai ,b j ) 1
i
i 1
3
1
i
m j 1
p(b j )eSd (ai ,bj )
p(bj )
4 p(bj ai ) p(bj )ieSd(ai ,bj )
信息论基础与编码课件第四章 信息率失真函数
同样，可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到，若固定P(x)不变时，平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同，传递的信息量也不同。可以证明这样一个结论：P(x)一 定时，平均互信息量I(X;Y)是关于信道的转移概率的下凸函数， 即存在一极小值。
m × n个 p i j 的值，代入平均失真的公式中，可解出随S参数值变
化的D值，即
D (S ) p ip j id ij p ip ij ie S d ijd ij （4-16）
ij
ij
25
离散信源的R(D)函数及其计算(续)
信源的信息率失真函数R(D)为
R (S ) i
j
pi p j i e Sdij
源输出符号序列 X (X 1 ,X 2 , ,X L ) ，其中L长符号序列样
值 Y(Y 1,Y 2, ,Y L) ，经信源编码后，输出符号序
列 x i (x i1 ,x i2 , ,x iL )
，其中L长符号序列样
值 y i (y i1 ,y i2 , ,y iL )，则失真函数定义为：
1L
dL(xi,yj)Ll1d(xil,yjl)
其中d(xil，yjl)是信源输出L长符号样值 x i 中的第l个符号xil时，
编码输出L长符号样值 中的y i 第l个符号yjl的失真函数。
7
平均失真
定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y的 联合概率空间 P(XY ) 中的统计平均值
nm
D E [d (x i,y j)] p (x i)p (y j|x i)d (x i,y j) （4-4） i 1j 1
信息论第七讲率失真函数
率失真函数R(D)是连续单调函数
2019/4/4
15
4.4 率失真函数
例:求率失真函数
已知信源{x1=0，x2=1}，概率分布为（δ，1-δ),δ<0.5，信道输出 符号Y = {y1=0，y2=1}，失真测度为汉明（Hamming）失真测 度，求率失真函数R(D)。 (1)求出R(D)的定义域 Dmin = 0· δ+0· (1-δ) = 0 D max = min {1-δ, δ}=δ
2
由上面方程组解出，
(1 D) p( y1 ) Dp( y2 ) 1 Dp( y1 ) (1 D) p( y2 )
D
1 2D
p( y1 )
1 D p( y2 ) 1 2D
由P(X),P(Y)和P(X/Y)就可以求出相应的P(Y/X).
以一个特例说明存在这样的信道转移概率矩阵[P].
R D min I X ;Y : D D
p( y / x )
2019/4/4
12
4.4 率失真函数
(4)率失真函数的定义域
R(D)的值域 率失真函数的值域为 0 R（D） H（X）
R(D)
H（X）
Dma D的最小值Dmin 0 Dmin x 在给定的失真度矩阵中，对每一个xi，找一个最 小的 dij，然后对所有的i =1, 2, …,n 求统计平均值， 就是D的最小值，即
对于汉明失真度，平均失真度为：
2 2 i 1 j 1
0 1 d ij 1 0
(信道误码率）
D p( xi , y j )d i j p(0,1) p(1, 0) Pe
可知：0≤Pe≤D ≤δ 在R(D)的定义中，要求满足平均失真度小于等于D， 取等号则：
[工学]信息论基础 -率失真函数 -练习与思考
![[工学]信息论基础 -率失真函数 -练习与思考](https://img.taocdn.com/s3/m/c74b893279563c1ec4da712d.png)
信息率失真函数 R(D) 是假定信源给定的情况下，在用户 可以容忍的失真度内再现信源消息所必须获得的最小平 均信息量。它反映的是信源可压缩程度。率失真函数一 旦找到，就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
2019/5/12 我相信，每一份努力，都会换来一份收获！
第四章 信息率失真函数
当一个人感到有一种力 量推动他去翱翔时， 他 是决不应该爬行的。
－（美）海伦·凯勒
2019/5/12 我相信，每一份努力，都会换来一份收获！
1
第四章总结
第四章 信息率失真函数
失真度
设离散无记忆信源为
X p( xi
)
x1, p( x1
),
x2, , p(x2 ), ,
xn p( xn
)
信源符号通过信道传送到接收端Y
Y p( y
j
)
y1, p( y1
),
y2, , p( y2 ), ,
ym p( ym
)
信道的传递概率矩阵
p( y1 / x1)
p(Y
/
X
)
p(
y1
/
x2
)
p(
y1
/
xn
)
p( y2 / x1) p( y2 / x2 )
称 d(xi,yj) 为单个符号的失真度/失真函数。表示信 源发出一个符号 xi，在接收端再现 yj 所引起的误差 或失真。
2019/5/12 我相信，每一份努力，都会换来一份收获！
3
第四章 信息率失真函数
2019/5/12 我相信，每一份努力，都会换来一份收获！
第四章 信息率失真函数
当一个人感到有一种力 量推动他去翱翔时， 他 是决不应该爬行的。
－（美）海伦·凯勒
2019/5/12 我相信，每一份努力，都会换来一份收获！
1
第四章总结
第四章 信息率失真函数
失真度
设离散无记忆信源为
X p( xi
)
x1, p( x1
),
x2, , p(x2 ), ,
xn p( xn
)
信源符号通过信道传送到接收端Y
Y p( y
j
)
y1, p( y1
),
y2, , p( y2 ), ,
ym p( ym
)
信道的传递概率矩阵
p( y1 / x1)
p(Y
/
X
)
p(
y1
/
x2
)
p(
y1
/
xn
)
p( y2 / x1) p( y2 / x2 )
称 d(xi,yj) 为单个符号的失真度/失真函数。表示信 源发出一个符号 xi，在接收端再现 yj 所引起的误差 或失真。
2019/5/12 我相信，每一份努力，都会换来一份收获！
3
第四章 信息率失真函数
第四章 信息率失真函数
为什么要讨论信息率失真函数R(D) ？
失真在传输中是不可避免的。
连续信源输出的信息量为无穷大,不可能实现无失真信源编码. 接收者(信宿)无论是人还是机器设备，都有一定的分辨能力与 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以
灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的。
因此 D 取决于以下几个因素：
) i=1,2, ,n) 1）信源的统计特性，即 p(ai（
2）信道的统计特性，即 p(b j / ai ) 3）失真函数，即 d (ai , b j ) 一般情况下，人们所允许的失真指的都是平均意义 上的失真。如果规定其平均失真度 D不能超过某一限 定的值D，即D就是允许失真的上界。
称它为允许范围内的失真。
如果R>C，就必须对信源压缩，使得压缩后的R*<C，但同时要 求引入的失真不能超过规定的限度。 对于给定的信源，在允许失真的条件下信源熵所能压缩的理论 极限值就是率失真函数R(D) 。
综上所述，一般可以对信源输出的信息进行限失真
处理，降低信息率，提高传输效率。
在允许一定程度的失真条件下，能够把信息压缩到 什么程度？需要多少比特的信息率才能描述信源？ 本章主要讨论一定程度的失真情况下所需的最少的 信息率，即信息率失真函数R(D) 。 思路：从分析失真函数、平均失真出发求出信息率 失真函数R(D)。
失真函数的数值是依据实际应用情况，用bj代替ai所导致的失 真大小是人为决定的。上例中用b=2代替a=0和a=1所导致的失 真程度相同，均为0.5；而用b=0代替a=1所导致的失真程度要大 些，为1。
二、平均失真度
1. 离散随机变量平均失真度定义
失真函数的数学期望称为平均失真度。
n m n m
失真在传输中是不可避免的。
连续信源输出的信息量为无穷大,不可能实现无失真信源编码. 接收者(信宿)无论是人还是机器设备，都有一定的分辨能力与 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以
灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的。
因此 D 取决于以下几个因素：
) i=1,2, ,n) 1）信源的统计特性，即 p(ai（
2）信道的统计特性，即 p(b j / ai ) 3）失真函数，即 d (ai , b j ) 一般情况下，人们所允许的失真指的都是平均意义 上的失真。如果规定其平均失真度 D不能超过某一限 定的值D，即D就是允许失真的上界。
称它为允许范围内的失真。
如果R>C，就必须对信源压缩，使得压缩后的R*<C，但同时要 求引入的失真不能超过规定的限度。 对于给定的信源，在允许失真的条件下信源熵所能压缩的理论 极限值就是率失真函数R(D) 。
综上所述，一般可以对信源输出的信息进行限失真
处理，降低信息率，提高传输效率。
在允许一定程度的失真条件下，能够把信息压缩到 什么程度？需要多少比特的信息率才能描述信源？ 本章主要讨论一定程度的失真情况下所需的最少的 信息率，即信息率失真函数R(D) 。 思路：从分析失真函数、平均失真出发求出信息率 失真函数R(D)。
失真函数的数值是依据实际应用情况，用bj代替ai所导致的失 真大小是人为决定的。上例中用b=2代替a=0和a=1所导致的失 真程度相同，均为0.5；而用b=0代替a=1所导致的失真程度要大 些，为1。
二、平均失真度
1. 离散随机变量平均失真度定义
失真函数的数学期望称为平均失真度。
n m n m
信息论与编码---第4章信息率失真函数
6
[D]称为信道 {X-P(Y/X)-Y} 的失真矩阵. 称为信道 失真矩阵.
长江大学电信学院
X
4.1 基本概念
常用的失真函数有 (1)
d ( xi , y j ) = a 0, i= j a > 0, i ≠ j
7
当i = j时,x和y的消息符号都是 i,说明收发 的消息符号都是x 时 和 的消息符号都是 之间没有失真,所以失真函数 之间没有失真,所以失真函数dij = 0;反之, ;反之, 当i ≠ j时,信宿收到的消息不是信源发出的符 时 而是y 出现了失真,所以失真函数d 号xi,而是 j,出现了失真,所以失真函数 ij 值的大小可以表示这种失真的程度. ≠0,而dij值的大小可以表示这种失真的程度. ,
长江大学电信学院
X
4.1 基本概念
d (a i , b j ) = d ( x i1 x i2 L x i N , y j1 y j2 L y j N ) = d ( x i1 , y j1 ) + d ( x i2 , y j2 ) + L + d ( x i N , y j N ) = ∑ d ( x i k , y jk )
长江大学电信学院
X
4.1 基本概念
2. 平均失真度的定义 若信源和信宿的消息集合分别为X:{x1, 若信源和信宿的消息集合分别为 x2, …, xn}和Y:{y1, y2, …, ym},其概率分别为 和 , p(xi)和p(yj) (i=1, 2, …, n ; j=1, 2, …, n ),信道 和 , 的转移概率为p(y ,失真函数为d 的转移概率为 j|xi),失真函数为 (xi,yj),则 , 称随机变量X和 的联合概率 的联合概率p(x 称随机变量 和Y的联合概率 i yj )对失真函数 对失真函数 的统计平均值为该通信系统的平均失真 d (xi, yj)的统计平均值为该通信系统的平均失真 的统计平均值为该通信系统的 度.
信息论与编码(清华出版社)第4章信息率失真函数-Qtech
{
i = 1,2, L , n; j = 1,2, L , m
}
14
信息率失真函数R(D) 信息率失真函数
由于互信息取决于信源分布和信道转移概率分布， 根据2-2 由于互信息取决于信源分布和信道转移概率分布 ， 根据 节所述， 一定时， 是关于p(y 型凸函数， 节所述，当p(xi)一定时，互信息 是关于 j/xi) 的U型凸函数， 一定时 互信息I是关于 型凸函数 存在极小值。因而在上述允许信道P 存在极小值。因而在上述允许信道 D中，可以寻找一种信道 pij，使给定的信源 i)经过此信道传输后，互信息 ；Y)达 使给定的信源p(x 经过此信道传输后 互信息I(X； 达 经过此信道传输后， 到最小。该最小的互信息就称为信息率失真函数R(D)，即 到最小。该最小的互信息就称为信息率失真函数 ，
3
4.1 平均失真和信息率失真函数
4.1.1 4.1.2 4.1.3 4.1.4 失真函数 平均失真 信息率失真函数R(D) 信息率失真函数 信息率失真函数的性质
4
4.1 平均失真和信息率失真函数
在实际问题中， 在实际问题中，信号有一定的失真是可以容 忍的。但是当失真大于某一限度后， 忍的。但是当失真大于某一限度后，信息质量将 被严重损伤，甚至丧失其实用价值。要规定失真 被严重损伤，甚至丧失其实用价值。 限度，必须先有一个定量的失真测度。 限度，必须先有一个定量的失真测度。为此可引 入失真函数。 入失真函数。
如何减小失真，允许失真到什么程度； 如何减小失真，允许失真到什么程度； 在允许一定程度的失真条件下， 在允许一定程度的失真条件下，把信源信息压 缩到什么程度。 缩到什么程度。
2
第4章 在信源允许一定失真情况下 所需的最少信息率， 从分析失真函数、 所需的最少信息率 ， 从分析失真函数 、 平 均失真出发，求出信息率失真函数R（D） 。 均失真出发，求出信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源的R（D）计算 离散信源的 （ ）
[理学]信息论与编码原理_第4章_信息率失真函数
![[理学]信息论与编码原理_第4章_信息率失真函数](https://img.taocdn.com/s3/m/1e507070a2161479171128d5.png)
概
念 实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接 收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留 性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本 信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念 信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定 性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带 压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引 言
4.1 (3) 信息率失真理论
基
本 信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本 平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的 描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和 失真度 d(xi,yj) 的函数 。
h
第12页
念 实际生活中，人们一般并不要求获得完全无失真的消息，通常只
要求近似地再现原始消息，即允许一定的失真存在。
打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接 收信号的带宽和分辨率是有限的。
放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留 性”，实际上只要每秒放映 24 幅静态画面。
第11页
4.1.2 失真度与平均失真度
4.1 (1) 信息率与失真的关系
基
本 信道中固有的噪声和不可避免的干扰，使信源的消息通过
概
念 信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在的不确定 性就越大，获得的信息量就越小，信道传输消息的信息率
也越小。
24.11.2020
返回目录
信息率失真理论是量化（模数转换）、数模转换、频带 压缩和数据压缩的理论基础。
24.11.2020
h
第8页
4.1.1 引 言
4.1 (3) 信息率失真理论
基
本 信息率失真函数极小值问题
概
念 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数；
在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X)
nm
D p(xi)p(yj/xi)d(xi,yj) i1j1
24.11.2020
h
第19页
4.1.2 失真度与平均失真度
4.1 (4) 平均失真度
基
本 平均失真度的意义
概
念 D 是在平均意义上，从总体上对整个系统失真情况的 描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和 失真度 d(xi,yj) 的函数 。
h
第12页
第4章 率失真函数-2-no-anim
11
计算Dmax的值
令试验信道特性 p( y j | x i ) p( y j ) ，这时X和Y相互独立， 等效于通信中断，因此 I ( X , Y ) 0 ，即R(D)=0。 满足上式的试验信道有许多，这些试验信道对应的R都为0 令 P0 为满足上述独立要求的全体转移概率集合，相应地可求 出许多平均失真值。 从中选取最小的一个，就是这类平均失真值的下确界Dmax。
8
信源最大平均失真度Dmax
• 分析： • 必须传输的信息率R越小，容忍的失真D就越大。当R(D) 等于0时，对应的平均失真最大，也就是函数R(D)定义域 的上界值Dmax。
9
信源最大平均失真度Dmax
• 分析： • 必须传输的信息率R越小，容忍的失真D就越大。当R(D) 等于0时，对应的平均失真最大，也就是函数R(D)定义域 的上界值Dmax。 • 信息率失真函数是平均互信息的极小值： R( D ) min I ( X ;Y )
i 1 j
n
8
寻找最小平均失真度Dmin
• 方法：在失真矩阵的每一行找出一个最小的d(xi, yj) ，各 行的最小d(xi, yj)值都不同。对所有这些最小值求数学期 望，就是信源的最小平均失真度。
Dmin p( xi )min{d ( xi , y j )}
i 1 j
n
• 显然，只有当失真矩阵的每一行至少有一个0元素时，平 均失真度才能达到下限值0。此时，信源不允许任何失真 存在，信息率至少应等于信源输出的平均信息量（信源 熵），即R(0)=H(X)。
若其中最小Dj的分布选取为 p( y j ) 1 ，而 其他非最小Dj时的分布选取为 p( y j ) 0 ，此时数 学期望必然最小,有：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
失真矩阵[d]
... d (a1 , bm ) ... d (a2 , bm ) ... : ... d (an , bm )
[例1] 离散对称信源(n=m)。信源变量X＝{a1,a2,…an} ， 接收变量Y＝ {b1,b2,…bm}。单符号失真度：
0 d (ai , b j ) 1
4．1 失真测度
4.1.1 系统模型
信源发出的消息X通过有失真信源编码，再通 过理想无噪信道传输，接收信息经信源译码后的输 出为Y，由于信源编码是有失真的编码，则输出的 Y不是X的精确重现。为定量描述信息传输速率与 失真的关系，假定传输信道为理想无噪信道。
X 信源 信源 编码器 p (y/x) 无噪信道 试验信道 Y 信源 译码器 信宿
这里假设X是信源，Y是信宿，则X和Y间必有信道。
实际这里X指的是原始的未失真信源，而Y是指失
真以后的信源。 则从X到Y之间实际上是失真算法，所以转移概率 p(bj/ai)是指一种失真算法， 有时又把p(bj/ai)称为试验信道的转移概率，如图
所示。
X 原始信源 p (bj/ai) 试验信道 Y 失真信源
香农首先定义了信息率失真函数R(D)，并论述了关 于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输 出的信息传输率可压缩到R(D)值，这从理论上给出信 息传输率与允许失真的关系，奠定了信息率失真理论 基础。 信息率失真理论是进行量化、数模转换、频带压缩 和数据压缩的理论基础。
本章主要介绍信息率失真理论的基本内容， 侧重讨论离散无记忆信源。 首先给出信源的失真度和信息率失真函数的定 义与性质；然后讨论离散信源和连续信源的信息率 失真函数计算；在此基础上论述保真度准则下的信 源编码定理。
x
上式中第二项最小，所以令 p(b2 ) 1 ，p(b1 ) p(b3 ) 0 ，可得对应 Dmax 的试验信道转移概率矩阵为
0 1 0 p ( y | x 0 1 0 0 1 0
2、 R(D)是关于平均失真度D的下凸函数
0 设 D1 , D2 为任意两个平均失真， a 1 ，则有：
称为单符号失真度（或失真函数）。 通常较小的d值代表较小的失真，而d(ai,bj)＝0 表示没有失真。
若信源变量X有n个符号，接收变量Y有m个符号， 则d(xi,yj)就有n×m个，可排列成矩阵形式，即：
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 1 2 2 d : : d (an , b1 ) d (ar , b2 )
p(ai ) pb j / ai d ai , b j
若平均失真度D不大于允许的失真限定值D0，即： D D0，称为保真度准则。
信源固定(给定P(u))，单个符号失真度固定时(给 定d(ai,bj)) ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。有些试验信道满足 D D0，而有些不满足。
• 当失真度d确定，信源X给定，平均失真度D是试验 信道传递概率的函数，即D可表示为 D=f[p(y|x)] • 凡是满足保真度准则的信道，称为许可试验信道， 所有许可试验信道的集合用PD表示，即： PD：{P (y / x)；D D0}
寻找平均互信息I(X;Y)的最小值, 而PD是所有满足 保真度准则的试验信道集合，可在D失真许可的试验 信道集合PD中寻找信道P(bj /ai) ，使I(X;Y) 取极小值。 由于平均互信息I(X;Y)是P(bj /ai)的U型凸函数，所 以在PD集合中，极小值存在。就是在D D0的条件下 ，信源必须传输的最小平均信息量。即：
I (U ,V ) P(u i ) P(v j / u i ) log
i 1 j 1 r s
P (v j / u i )
其约束条件为:
P(v j / ui ) 0
P(u ) P(v
i 1 i
r
j
/ ui )
P (v
j 1 r s i 1 j 1
s
j
/ ui ) 1
ai b j
ai b j
称为汉明失真。汉明失真矩阵是一方阵，对角线上的元 素为零，即： 0 1 ... 1 1 0 ... 1 D : : ... : 1 1 ... 0 rr 对二元对称信源(n＝m＝2)，信源X＝{0,1}， 0 1 接收变量Y＝{0,1}。在汉明失真定义下， D 1 0 失真矩阵为：
• 所以信息传输率与信源编码所引起的失真(或误差) 是有关的。
首先讨论失真的测度。
试验信道的输入X，取值于符号集A={a1,a2,…an}， 信道输出为Y，取值于符号集B＝{b1,b2,…bm}。
对应于每一对(x,y)，定义非负函数：
0 d (ai , b j ) ( 0)
i j i j
另外，可将信源编码引起的失真视为由于信道 不理想造成，即将有失真信源编码器和接收译码器 之间过程看做有噪声的信道，这个假想的信道称为 试验信道。 则将有失真信源编码问题转化为无失真信源通 过有噪信道传输的问题，进而通过研究试验信道输 入输出间的互信息来研究限失真信源编码。
4.1.2 失真度和平均失真度 • 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。
[例2] 删除信源。信源变量X＝{a1,a2,…an} ，接收变量Y ＝ {b1,b2,…bm}(m = n+1) 。定义其单符号失真度为：
i j 0 d ( ai , b j ) 1 i j 除j=s以外所有的j和i 1 / 2 j s 所有i • 其中接收符号bs作为一个删除符号。
当 n＝3时， X＝{0,1,2}，Y＝{0,1,2} ，则失真矩阵为：
0 1 4 1 0 1 D 4 1 0
上述三个例子说明了具体失真度的定义。一般情 况下根据实际信源的失真，可以定义不同的失真和 误差的度量。另外还可以按其他标准，如引起的损 失、风险、主观感觉上的差别大小等来定义失真度 d(x,y)。
R(aD1 (1 a) D2 ) aR( D1 ) (1 a) R( D2 )
3 、 R(D) 是 ( Dmin , Dmax ) 区间上的连续和严格单调递减 函数。
由信息率失真函数的下凸性可知， R(D)在( Dmin , Dmax ) 上连续。又由R(D)函数的非增性且不为常数知，R(D) 是区间 ( Dmin , Dmax ) 上的严格单调递减函数。
• 意味着若把信源符号再现为删除符号vs时，其失真程 度要比再现为其他接收符号的失真程度少一半。
• 若二元删除信源n＝2, m＝3, X＝{0,1}, Y＝{0, 2 ,1}, 失真度为： 1 0 1 d(0,0)=d(1,1)=0 2 D 则 1 d(0,1)=d(1,0)=1 1 0 2 d(0,2)=d(1,2)=1/2
4.2.2 信息率失真函数的性质
1. R(D)的定义域 R(D)的定义域为
0 Dmin D Dmax
且：
Dmin p( x) mind ( x, y)
x y
Dmax min p( x)d ( x, y)
y x
• 允许失真度D的下限可以是零，即不允许任何失真的 情况。
Dmax min p( x)d ( x, y) min p(a1 ) 1 p(a2 ) 2 p(a3 ) 3 ,
y
p(a1 ) 2 p(a2 ) 1 p(a3 ) 2 , p(a1 ) 3 p(a2 ) 3 p(a3 ) 1
平均失真度
信源X和信宿Y都是随机变量，故单符号失真度d(ai,bj) 也是随机变量，设其概率为p(aibj)，规定单符号失真 度d(ai,bj) 后，传输一个符号引起平均失真，即单符号 平均失真，信源平均失真度：
p(ai b j )d ai , b j
i, j i, j
D E[d (ai , b j )] E[d ( x, y )]
p(a1 ) min(1, 2,3) p(a2 ) min(2,1,3) p(a3 ) min(3, 2,1)
x
令对应最小失真度 d (ai , b j ) 的 p(bj | ai ) 1 ，其它为 D “0”，可得对应 min 的试验信道转移概率矩阵为 1 0 0 p ( y | x) 0 1 0 0 0 1
[例] 设试验信道输入符号集 a1 , a2 , a3 ，各符号对应 概率分别为1/3,1/3,1/3，失真矩阵如下所示，求 Dmin 和Dmax 及相应的试验信道的转移概率矩阵。 1 2 3 d 2 1 3 3 2 1 Dmin p( x) mind ( x, y) 解： y
R( D)
P ( y / x )PD
min I ( X ;Y )
R(D)-------信息率失真函数或简称率失真函数。
单位是奈特／信源符号
或 比特／信源符号
• 率失真函数给出了熵压缩编码可能达到的最小熵率 与失真的关系，其逆函数D(R)称为失真率函数，表 示一定信息速率下所可能达到的最小的平均失真。
第四章
信息率失真函数
目录
• • • • • 4.1 失真测度 4.2 信息率失真函数及其性质 4.3 离散无记忆信源的信息率失真函数 4.4 连续无记忆信源的信息率失真函数 4.5 保真度准则下的信源编码定理
无失真信源编码和有噪信道编码告诉我们：只要 信道的信息传输速率小于信道容量，总能找到一种编 码方法，使得在该信道上的信息传输的差错概率任意 小；反之，若信道的信息传输速率大于信道容量，则 不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。
凡满足保真度准则----平均失真度D D0的试验信 通称为---D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用 符号PD表示，即： PD={P (y / x)： D D0}
... d (a1 , bm ) ... d (a2 , bm ) ... : ... d (an , bm )
[例1] 离散对称信源(n=m)。信源变量X＝{a1,a2,…an} ， 接收变量Y＝ {b1,b2,…bm}。单符号失真度：
0 d (ai , b j ) 1
4．1 失真测度
4.1.1 系统模型
信源发出的消息X通过有失真信源编码，再通 过理想无噪信道传输，接收信息经信源译码后的输 出为Y，由于信源编码是有失真的编码，则输出的 Y不是X的精确重现。为定量描述信息传输速率与 失真的关系，假定传输信道为理想无噪信道。
X 信源 信源 编码器 p (y/x) 无噪信道 试验信道 Y 信源 译码器 信宿
这里假设X是信源，Y是信宿，则X和Y间必有信道。
实际这里X指的是原始的未失真信源，而Y是指失
真以后的信源。 则从X到Y之间实际上是失真算法，所以转移概率 p(bj/ai)是指一种失真算法， 有时又把p(bj/ai)称为试验信道的转移概率，如图
所示。
X 原始信源 p (bj/ai) 试验信道 Y 失真信源
香农首先定义了信息率失真函数R(D)，并论述了关 于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输 出的信息传输率可压缩到R(D)值，这从理论上给出信 息传输率与允许失真的关系，奠定了信息率失真理论 基础。 信息率失真理论是进行量化、数模转换、频带压缩 和数据压缩的理论基础。
本章主要介绍信息率失真理论的基本内容， 侧重讨论离散无记忆信源。 首先给出信源的失真度和信息率失真函数的定 义与性质；然后讨论离散信源和连续信源的信息率 失真函数计算；在此基础上论述保真度准则下的信 源编码定理。
x
上式中第二项最小，所以令 p(b2 ) 1 ，p(b1 ) p(b3 ) 0 ，可得对应 Dmax 的试验信道转移概率矩阵为
0 1 0 p ( y | x 0 1 0 0 1 0
2、 R(D)是关于平均失真度D的下凸函数
0 设 D1 , D2 为任意两个平均失真， a 1 ，则有：
称为单符号失真度（或失真函数）。 通常较小的d值代表较小的失真，而d(ai,bj)＝0 表示没有失真。
若信源变量X有n个符号，接收变量Y有m个符号， 则d(xi,yj)就有n×m个，可排列成矩阵形式，即：
d (a1 , b1 ) d (a1 , b2 ) d (a , b ) d (a , b ) 2 1 2 2 d : : d (an , b1 ) d (ar , b2 )
p(ai ) pb j / ai d ai , b j
若平均失真度D不大于允许的失真限定值D0，即： D D0，称为保真度准则。
信源固定(给定P(u))，单个符号失真度固定时(给 定d(ai,bj)) ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。有些试验信道满足 D D0，而有些不满足。
• 当失真度d确定，信源X给定，平均失真度D是试验 信道传递概率的函数，即D可表示为 D=f[p(y|x)] • 凡是满足保真度准则的信道，称为许可试验信道， 所有许可试验信道的集合用PD表示，即： PD：{P (y / x)；D D0}
寻找平均互信息I(X;Y)的最小值, 而PD是所有满足 保真度准则的试验信道集合，可在D失真许可的试验 信道集合PD中寻找信道P(bj /ai) ，使I(X;Y) 取极小值。 由于平均互信息I(X;Y)是P(bj /ai)的U型凸函数，所 以在PD集合中，极小值存在。就是在D D0的条件下 ，信源必须传输的最小平均信息量。即：
I (U ,V ) P(u i ) P(v j / u i ) log
i 1 j 1 r s
P (v j / u i )
其约束条件为:
P(v j / ui ) 0
P(u ) P(v
i 1 i
r
j
/ ui )
P (v
j 1 r s i 1 j 1
s
j
/ ui ) 1
ai b j
ai b j
称为汉明失真。汉明失真矩阵是一方阵，对角线上的元 素为零，即： 0 1 ... 1 1 0 ... 1 D : : ... : 1 1 ... 0 rr 对二元对称信源(n＝m＝2)，信源X＝{0,1}， 0 1 接收变量Y＝{0,1}。在汉明失真定义下， D 1 0 失真矩阵为：
• 所以信息传输率与信源编码所引起的失真(或误差) 是有关的。
首先讨论失真的测度。
试验信道的输入X，取值于符号集A={a1,a2,…an}， 信道输出为Y，取值于符号集B＝{b1,b2,…bm}。
对应于每一对(x,y)，定义非负函数：
0 d (ai , b j ) ( 0)
i j i j
另外，可将信源编码引起的失真视为由于信道 不理想造成，即将有失真信源编码器和接收译码器 之间过程看做有噪声的信道，这个假想的信道称为 试验信道。 则将有失真信源编码问题转化为无失真信源通 过有噪信道传输的问题，进而通过研究试验信道输 入输出间的互信息来研究限失真信源编码。
4.1.2 失真度和平均失真度 • 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。
[例2] 删除信源。信源变量X＝{a1,a2,…an} ，接收变量Y ＝ {b1,b2,…bm}(m = n+1) 。定义其单符号失真度为：
i j 0 d ( ai , b j ) 1 i j 除j=s以外所有的j和i 1 / 2 j s 所有i • 其中接收符号bs作为一个删除符号。
当 n＝3时， X＝{0,1,2}，Y＝{0,1,2} ，则失真矩阵为：
0 1 4 1 0 1 D 4 1 0
上述三个例子说明了具体失真度的定义。一般情 况下根据实际信源的失真，可以定义不同的失真和 误差的度量。另外还可以按其他标准，如引起的损 失、风险、主观感觉上的差别大小等来定义失真度 d(x,y)。
R(aD1 (1 a) D2 ) aR( D1 ) (1 a) R( D2 )
3 、 R(D) 是 ( Dmin , Dmax ) 区间上的连续和严格单调递减 函数。
由信息率失真函数的下凸性可知， R(D)在( Dmin , Dmax ) 上连续。又由R(D)函数的非增性且不为常数知，R(D) 是区间 ( Dmin , Dmax ) 上的严格单调递减函数。
• 意味着若把信源符号再现为删除符号vs时，其失真程 度要比再现为其他接收符号的失真程度少一半。
• 若二元删除信源n＝2, m＝3, X＝{0,1}, Y＝{0, 2 ,1}, 失真度为： 1 0 1 d(0,0)=d(1,1)=0 2 D 则 1 d(0,1)=d(1,0)=1 1 0 2 d(0,2)=d(1,2)=1/2
4.2.2 信息率失真函数的性质
1. R(D)的定义域 R(D)的定义域为
0 Dmin D Dmax
且：
Dmin p( x) mind ( x, y)
x y
Dmax min p( x)d ( x, y)
y x
• 允许失真度D的下限可以是零，即不允许任何失真的 情况。
Dmax min p( x)d ( x, y) min p(a1 ) 1 p(a2 ) 2 p(a3 ) 3 ,
y
p(a1 ) 2 p(a2 ) 1 p(a3 ) 2 , p(a1 ) 3 p(a2 ) 3 p(a3 ) 1
平均失真度
信源X和信宿Y都是随机变量，故单符号失真度d(ai,bj) 也是随机变量，设其概率为p(aibj)，规定单符号失真 度d(ai,bj) 后，传输一个符号引起平均失真，即单符号 平均失真，信源平均失真度：
p(ai b j )d ai , b j
i, j i, j
D E[d (ai , b j )] E[d ( x, y )]
p(a1 ) min(1, 2,3) p(a2 ) min(2,1,3) p(a3 ) min(3, 2,1)
x
令对应最小失真度 d (ai , b j ) 的 p(bj | ai ) 1 ，其它为 D “0”，可得对应 min 的试验信道转移概率矩阵为 1 0 0 p ( y | x) 0 1 0 0 0 1
[例] 设试验信道输入符号集 a1 , a2 , a3 ，各符号对应 概率分别为1/3,1/3,1/3，失真矩阵如下所示，求 Dmin 和Dmax 及相应的试验信道的转移概率矩阵。 1 2 3 d 2 1 3 3 2 1 Dmin p( x) mind ( x, y) 解： y
R( D)
P ( y / x )PD
min I ( X ;Y )
R(D)-------信息率失真函数或简称率失真函数。
单位是奈特／信源符号
或 比特／信源符号
• 率失真函数给出了熵压缩编码可能达到的最小熵率 与失真的关系，其逆函数D(R)称为失真率函数，表 示一定信息速率下所可能达到的最小的平均失真。
第四章
信息率失真函数
目录
• • • • • 4.1 失真测度 4.2 信息率失真函数及其性质 4.3 离散无记忆信源的信息率失真函数 4.4 连续无记忆信源的信息率失真函数 4.5 保真度准则下的信源编码定理
无失真信源编码和有噪信道编码告诉我们：只要 信道的信息传输速率小于信道容量，总能找到一种编 码方法，使得在该信道上的信息传输的差错概率任意 小；反之，若信道的信息传输速率大于信道容量，则 不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。
凡满足保真度准则----平均失真度D D0的试验信 通称为---D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用 符号PD表示，即： PD={P (y / x)： D D0}