第4章 信息率失真函数
信息论基础与编码课件第四章 信息率失真函数

对于离散无记忆 信道,有
P D ' p ( y jx i ) : D D ', i 1 , 2 ,n . , j . 1 , 2 . ,m , ..
8
信息率失真函数(续)
给定信源和失真度后,在允许信道中,总能找到一个信道 P(Y/X),使得给定的信源经过此信道传输后,平均互信息量 I(X;Y)达到最小,这个最小的平均互信息称为信息率失真函数 R( D ),简称率失真函数:
最小值 ,即
m
n
Dmax min pj pidij
j1 i1
(4-10)
15
R(D)函数的定义域(续)
从上式观察可得:在j=1,…,m中,
可找到
n
p i d ij
值最小的j,当该j对应的pj=1,而其余
i1
pj为零 时,上式右边达到最小,这时上式可简化成
n
Dmax
min j1,2, ,m i1
信息率失真函数(续)
则平均互信息量为
I'(X ;Y)
ij
p'(xiyj)lo2p g (p x(ix |iy )j)0 .1b 2/i5 符 t 号
同样,可得Pij时的平均互信息为 I''(X;Y)0.37b9i/t符号
从此例我们可以看到,若固定P(x)不变时,平均互信息量随信
道的转移概率的变化而变化。这是因为信道受到干扰的作用 不同,传递的信息量也不同。可以证明这样一个结论:P(x)一 定时,平均互信息量I(X;Y)是关于信道的转移概率的下凸函数, 即存在一极小值。
19
R(D)函数的一般形式
根据率失真函数所具有的下凸性、连续性、严格单调下降性 可绘出率失真函数的典型曲线图
第4章 信息率失真函数

原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D),并论述了关于这个 函数的基本定理。 定理指出:在允许一定失真度D的情况下,信源输出的信 息传输率可压缩到R(D)值,这就从理论上给出了信息传输率与 允许失真之间的关系,奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容,重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质; 讨论离散信源和连续信源的信息率失真函数计算; 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0,即: D D0 称此为保真度准则。
信源固定(即给定了p(x)),单个符号失真度固定时(即 给定了d(ai,bj)) ,选择不同试验信道,相当于不同的编码方 法,所得的平均失真度是不同的。 有些试验信道满足D D0,而有些试验信道D>D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合,用符号PD表 示,则: PD={p (bj / ai): D D0}
则
0 1 D 1 0
1 2 1 2
[例3] 对称信源(s = r) 。信源X={a1,a2,…ar} ,接收Y= {b1,b2,…bs} 。若失真度定义为:
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值,这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重,其严重的程度用平方来表示。 当 r=3时, X={0,1,2},Y={0,1,2} ,则失真矩阵为:
《信号处理原理》 第4章 信息失真率

d(0,2)=d(1,2)=0.5
则得失真矩阵
d
0 1
1 0
0.5 0.5
4.1 平均失真和信息率失真函数
说明:失真函数d (xi, yj) 的数值是依据实际应 用情况,用 yj代替xi, 所导致的失真大小是人为决 定的。比如上例中,用y=2代替x=0和x=1所导致 的失真程度相同,用0.5表示;而用y=0代替x=1 所导致的失真程度要大,用1表示。失真函数d (xi, yj) 的函数形式可以根据需要任意选取,例如平方 代价函数、绝对代价函数、均匀代价函数等。
信源编码器的目的是使编码后所需的信 息传输率R尽量小,然而R越小,引起的平 均失真就越大。给出一个失真的限制值D,
在满足平均失真 D D的条件下,选择一种
编码方法使信息率R尽可能小。信息率R就 是所需输出的有关信源X的信息量。
16
4.1 平均失真和信息率失真函数
将此问题对应到信道,即为接收端Y需要 获得的有关X的信息量,也就是互信息 I(X;Y)。这样,选择信源编码方法的问题就 变成了选择假想信道的问题,符号转移概 率p(yj/xi)就对应信道转移概率。
输入符号集 X:{a1, a2, …, an}中有n种不同的符 号xi (i =1, 2, …, n) ;输出符号集Y:{b1, b2, …, bm}中有m种不同的符号yj (j =1, 2, …, m);对于 图所示的系统,对应于每一对(xi, yj)(i = 1, 2, …,n;j=1, 2, …, m),定义一个非负实值函数
平均失真D是对给定信源分布p(ai)经过某一种 转移概率分布为p(bj|ai)的有失真信源编码器后产 生失真的总体量度。
13
4.1 平均失真和信息率失真函数
第4章信息率失真函数

4.1
第4章 信息率失真函数
定义: 信源序列的失真函数
N
基
d ( x, y) d (i , j ) d (ail , bjl )
本 概
l 1
x X, y Y;i X N , j Y N ;ail X ,bjl Y
念
信源序列失真函数等于信源序列中对应的
单符号失真函数之和。也可写成rN sN阶矩阵形 式。
Page 6
4..1.1
第4章 信息率失真函数
4.1 基本概念
失 4.1.1失真函数(失真度)
真
函 为什么引入失真函数?
数
在实际问题中,信号有一定的失真是可 以容忍的,但是当失真大于某一限度后,将 丧失其实用价值。
要规定失真限度,必须先有一个定量的 失真测度。为此可引入失真函数.
Page 7
4.1.1
i1 j1
Page 19
4.1.2
第4章 信息率失真函数
(3)均方失真函数
适用于连续 信源
平 均
d(a,b) (a b)2
(a X ,b Y 或 a,b R)
失
真 在均方失真函数下,平均失真度就是均方误差。
度
rs
离散信源的均方误差 D (a b)2 P(a,b) i1 j1
连续信源的均方误差D: (a b)2 P(a, b)dxdy
1.离散信源单个符号的失真函数
定义:设离散无记忆信源输出变量X {a1, a2,L , ar},
失 真
概率分布为P(X ) [P(a1), P(a2),L , P(ar )],经过有失真的
函 数
信源编码器,输出的随机变量 Y {b1,b2,L ,bs}。
将所有的 d(ai ,bj ) 0 (ai X ,bj Y ) 排列起来,用
第4章 信息率失真函数 《信息论与编码》经典PPT课件

• 可见当p(x)一定时,I (X,Y)随p(yj|xi)而变。 • 因为p(x)分布一定时,信道受干扰不同所能传递的
信息量是不同的。
• 当p(x)一定时,I (X,Y)是关于p(yj|xi)的下凸函数。 • 因此当改变p(yj|xi)时,I (X,Y)有一极小值。
16
平均互信息
• 平均互信息I(X;Y):
适连信适离信于续源于散源
• 误码失真:
d(xi,yj)(xi yj)01,,
xi yj 其他
6
• 汉明失真矩阵
0 1 1
d
1
0
1
1
1
0
• 对于二元对称信源(m=n),X={0,1},Y={0,1},汉明 失真矩阵:
d
0 1
1 0
7
4.1.2 平均失真
• xi和yj都是随机变量,所以失真函数d(xi,yj)也是随 机变量,限失真时的失真值只能用数学期望表示
第4章
信息率失真函数
4.1.1 失真函数
• 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经 信道传输后变成yj , yj ∈{b1, b2,…bm},如果:
xi = yj
没有失真
0
• d(xi,yj) 0
x ≠ y xi yji
j
产生失真
失xi真yj 的大小,用一个量来表示,即失真函数d(xi,yj),
• 试验信道
D D 满足保真度准则 D>D
11
• 满足 D D 条件的所有转移概率分布pij ,构成 了一个信道集合
PD{p(bj|a) i D : D }
• D失真允许的试验信道:
– 满足保真度准则的试验信道。
第4章1、失真函数

P∈PD1
R( D1 ) = min I ( P) = I ( P1 ) R( D2 ) = min I ( P) = I ( P2 )
P∈PD 2
D ≤ D1
使 I ( P ) 达到最小,且
D ≤ D2
25 26
R(D)性质
θ 1 因为 d ( Pθ ) = ∑∑ Q(u ) Pθ (v | u )d (u , v)
16
寻找平均 互 信息量 I(U;V) 的 最 小 值 。 BD 是 所有满足保真度准则的试验信道集合,可以在 D失真 许可的试验信道 集合BD 中寻找某 一个信 道 p(vj|ui), 使 I(U;V) 取 最 小 值 。由于 平均 互 信息量I(u;v)是p (vj|u i)的U型凸函数,所以在BD 集合中,极小值存在。这个最小值就是在 D ≤ D 条件下,信源必须传输的最小平均信息量。 即
称R(D) 为信息率失真函数(或率失真 函数),其 单位为 奈特/信源符号或比特/信源 符号。 N维信源符号序列的信息率失真函数 RN(D):
RN ( D ) =
p ( y|s ): D ( N ) ≤ ND
min
{I (U ;V )
(4― 28)
R( D ) =
式中 : x ——信源的一个输出 序列; y—— 信宿的一个接收序列 ;
{
}
P V |U ( v | u ) = p (v ) Dmax = min ∑ p(v)∑ p (u )d (u , v) Dmax = min ∑ p(u )d (u, v)
v∈V v u u n
n
当失真矩阵D中每行至少有一个零元素时 Dmin=0
最大允许失真度
第4章 信息率失真理论

R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
③对D具有单调递减性
由R(D)对D具有的非负性、严格下凸性及R(Dmax) =0说明
信息率失真理论
当Dmin=0时,信息率失真函数R(D)的大致曲线 R(D) H(X)
Dmin
Dmax D
信息率失真理论
3、信息率失真函数的表达式
ˆ P( x j / x i ) i ˆ ln Sd( x i , x j ) 0 ˆ P( x j ) P( x i ) i 1,2,, n j 1,2,, n
i 令 ln i P( x i ) ˆ P( x j / x i ) ˆ Sd ( x i , x j ) ln ln i e ˆ P( x j )
信息率失真理论
第2个实验信道满足D2条件下R(D)的定义 ˆ ˆ P (X / X) {P(X / X) : D D }
D2 2
ˆ ˆ R (D 2 ) min I(X; X) I 2 (X; X) ˆ
PD2 ( X / X )
取一个新的实验信道
ˆ ˆ PD1 (X / X) (1 )PD2 (X / X) ˆ {P(X / X) : D D1 (1 )D 2 }
ˆ ... d( x1 , x n ) ˆ ... d( x 2 , x n ) ... ... ˆ ... d( x n , x n )
汉明失真矩阵
0 1 [ D] ... 1 1 0 ... 1 ... ... ... ... 1 1 ... 0
R[D1 (1 )D2 ] R(D1 ) (1 )R(D2 )
设第1个实验信道满足D1条件下R(D)的定义
第4章 率失真函数v1

x2 ... p( x2 ) ...
xn p( xn )
ym p( ym )
• 信源符号通过信道传送信宿
y2 ... p( y2 ) ...
• 定义失真函数:
• 对每一对(xi,yj),指定一个非负函数 • 表示信源发出符号
结论
宿近似地再现信源输出的信息,戒者说在保真度
准则下允许信决的问题
什么是允许的失
真?
如何对失真迚行
描述??
信源输出信息率 被压缩的最大程 度是多少?
信息率失真理论回答了这些问题,其中香农的限失真编码定 理定量地描述了失真,研究了信息率不失真的关系,论述了 在限失真范围内的信源编码问题,已成为量化、数据转换、 频带压缩和数据压缩等现代通信技术的理论基础。
3. 信息率失真理论是信号量化、模 数转换、频带压缩和数据压缩的理 论基础,在图像处理、数字通信等
领域得到广泛应用。
10
第4章 信息率失真函数
• 4.1 基本概念
• 4.1.1 引言 • 4.1.2 失真函数不平均失真度 • 4.1.3 信息率失真函数 • 4.1.4 信息率失真函数的性质
• 4.2 离散信源的信息率失真函数 • 4.3 连续信源的信息率失真函数 • 4.4 保真度准则下的信源编码定理
22
平均失真度的意义
• 是对给定信源分布 p( xi ) 在给定转移概率分布 p( y j | xi ) 的信道中传输时的失真的总体度量。在平均意义上衡量信
道每传递一个符号所引起的失真的大小。
• 它是信源统计特性p(xi) 、信道统计特性p(yj/xi)和失真 度d(xi,yj)的函数。当p(xi),p(yj/xi)和d(xi,yj)给定后, 平均失真度就丌是一个随机变量了,而是一个确定的量。 • 如果信源和失真度一定,就只是信道统计特性的函数。信 道传递概率丌同,平均失真度随乊改变。
信息论第四章失真率函数

(1) 根据式(4-14)和(4-18)可求出R(D)的定义域 Dmin = 0·δ+0·(1-δ) = 0 D max = min {1-δ, δ}=δ (2) 求R(D)的值域
ij
式中D是预先给定的失真度,上式称为保真度准则。
根据[定理2.2],当信源q (x)一定时,平均互信息量I (X ; Y) 是信道转移概率函数p(y∣x)的∪型凸函数,这意味着可以 关于p(y∣x)对平均互信息量I (X ; Y)求得极小值,定义这个
极小值为率失真函数R(D),即:
RD min I X ;Y : D D p(y x)
xi )
( xi
y j )( y j )
q(xi )
。
1-δ = D (y1)+(1-D) (y2)
由上面方程组解出,
(
y1
)
D
1 2D
(
y
2
)
1
1
D 2D
② 再算出
p( y1
x1 )
(x1 y1 ) ( y1 )
q(x1 )
(1
D)
D 1 2 D
(1 D)( D) (1 2D)
d d 21 d 22
d1J
d
2
J
(4-1)
d I 1 d I 2 d I J
【例4.1】 汉明(Hamming)失真测度
信源输出符号X = {x1, x2, …, xK},信道输出符号Y = {y1, y2, …,
第四章 信息率失真函数

D (N ) ND
例:设信源X取值于{0,1},失真函数数分别
为d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1.其N=3次
扩展信源的输入X=X1X2X3,经信道传导输 后,输出为Y=Y1Y2Y3,求失真矩阵[D(N)].
译码必定出错。
K L
log 2
m
H
(X
)
2
• 变长编码定理
– 若一离散无记忆信源的符号熵为H(X),对信源 符号进行m元变长编码,一定存在一种无失真
编码方法,其码字平均长度满足下列不等式
1 H(X) K H(X)
log 2 m
log 2 m
信道编码定理
• 信道编码定理:若有一离散无记忆平稳信道,其
那么在允许一定程度失真的条件下,能 够把信源信息压缩到什么程度,也就是,允 许一定程度失真的条件下,如何能快速的传 输信息,这就是本章所要讨论的问题。
1、失真函数
信源
信源 编码
信道 信道 编码
信道 译码
信源 译码
信宿
干扰
根据信道编码定理,我们可以把信道编码、信道和信道 解码等价成是一个没有任何干扰的广义信道,这样收信者收 到消息后,所产生的失真只是由信源编码带来的。我们也可
(N)
I
(X
;Y
)
RN (D) NR(D)
§4.1.3 率失真函数性质
R(D)
连续
H(X)
离散
D D Dmax D
1 定义域:0, Dmax
D=0 R(D)=H(X)
第四章 信道失真率函数

n n
N p(ai ) k 1 p( xik ) N p(b j | ai ) k 1 p( y jk | xik )
nN m N
i1 1 m
i N 1 j1 1
6
常用的失真函数
失真函数是根据人们的实际需要和失真引起的损失、风险、 主观感觉上的差别等因素人为规定的,可以有多种形式 平方误差失真函数 d ( xi , y j ) ( y j xi )2 适用于 d ( x , y ) | y x | 绝对误差失真函数 i j j i 连续信源 相对误差失真函数 d ( xi , y j ) | y j xi | | xi |
率失真函数的定义域 (D 的下界)
允许失真度 D 是平均失真度的上限,而 D 是非负函数 d ( xi , y j ) 的数学期望,因此 D 的下界至多为 0,对应于无失真的情况, 此时信息传输率应等于信源输出的信息熵,即 Dmin 0 时: 离散信源:R( Dmin ) R(0) H ( X ) 连续信源:R( Dmin ) lim R( D )
N
由于 N 次扩展信源和 N 次扩展信道都是无记忆的,因此:
p(ai ) p( xi1 xi2
N xiN ) k 1 p( xik )
p(b j | ai ) p( y j1 y j2
y jN | xi1 xi2
N xiN ) k 1 p( y jk | xik )
9
符号序列的 平均失真度
i 1, 2, j 1, 2,
,n ,m
上述非负的失真函数共有 n m 个,可以整体表示成失真矩阵 d ( x1 , ym ) d ( x1 , y1 ) d ( x1 , y2 ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 m D d ( x n , ym ) d ( xn , y1 ) d ( xn , y2 ) 由于信源发出的符号 X 和信宿收到(再现)的符号 Y 均是随机 变量,因此单个符号的失真函数 d ( xi, yj ) 也是随机变量(的一 次实现)
第四章 信息率失真函数

失真在传输中是不可避免的。
连续信源输出的信息量为无穷大,不可能实现无失真信源编码. 接收者(信宿)无论是人还是机器设备,都有一定的分辨能力与 即使信宿能分辨、能判别,但对通信质量的影响不大,也可以
灵敏度,超过分辨能力与灵敏度的信息传送过程是毫无意义的。
因此 D 取决于以下几个因素:
) i=1,2, ,n) 1)信源的统计特性,即 p(ai(
2)信道的统计特性,即 p(b j / ai ) 3)失真函数,即 d (ai , b j ) 一般情况下,人们所允许的失真指的都是平均意义 上的失真。如果规定其平均失真度 D不能超过某一限 定的值D,即D就是允许失真的上界。
称它为允许范围内的失真。
如果R>C,就必须对信源压缩,使得压缩后的R*<C,但同时要 求引入的失真不能超过规定的限度。 对于给定的信源,在允许失真的条件下信源熵所能压缩的理论 极限值就是率失真函数R(D) 。
综上所述,一般可以对信源输出的信息进行限失真
处理,降低信息率,提高传输效率。
在允许一定程度的失真条件下,能够把信息压缩到 什么程度?需要多少比特的信息率才能描述信源? 本章主要讨论一定程度的失真情况下所需的最少的 信息率,即信息率失真函数R(D) 。 思路:从分析失真函数、平均失真出发求出信息率 失真函数R(D)。
失真函数的数值是依据实际应用情况,用bj代替ai所导致的失 真大小是人为决定的。上例中用b=2代替a=0和a=1所导致的失 真程度相同,均为0.5;而用b=0代替a=1所导致的失真程度要大 些,为1。
二、平均失真度
1. 离散随机变量平均失真度定义
失真函数的数学期望称为平均失真度。
n m n m
第四章:信息率失真函数

信息率失真函数
R( D)
p ( y j / xi )PD
min I ( X ;Y )
I ( X ; Y ) NR( D)
N N
对于离散无记忆信源的N次扩展信源和离散无记忆 信道的N次扩展信道:
RN ( D)
p (b j / ai )PD ( N )
min
信息率失真函数
在研究R(D)时,引用的条件概率p(y/x)并没有 实际信道的含义。只是为了求平均互信息的 最小值而引用的、假想的可变试验信道。实 际上这些信道反映的仅是不同的有失真信源 编码或信源压缩。所以改变试验信道求平均 互信息的最小值,实质上是选择一种编码方 式使信息传输率最小。
信息率失真函数的性质
基本概念
失真函数与平均失真度
失真函数 常用的失真函数 平均失真度 离散无记忆信道的N次扩展信道的平均失真
基本概念
失真函数
X {x1...xn} Y { y1... ym} P( yj / xi )
对任一 ( xi, yj ) 指定一个非负数d ( xi, yj ) 0 称 d ( xi, yj ) 为单个符号的失真度或失真函数。
p ( xi1 ) p( xiN ) p( y j1 / xi1 ) p( y jN / xiN ) d ( xik , y jk )
i1 1 n iN 1 j1 1 jN 1 k 1
n
m
m
N
p ( xi1 ) p( y j1 / xi1 )d ( xi1 , y j1 ) p( xi2 ) p( y j2 / xi2 ) d ( xi2 , y j2 )
i 1 j 1
n
m
p( xi ) p( y j / xi )d ( xi , y j )
(优选)第四信息率失真函数

4.2 信息率失真函数R(D)的性质
一、当D=0时,R(0)=H(X)
通常Dmin=0;D=0时不允许有失真; 注意:D是否能达到0,与单个符号的失真函数有 关,只有当失真矩阵中每行至少有一个0元素时, D才能达到0值。
信源的平均失真度:
若平均失真度不大于所允许的失真,则称为保真度
准则。
二、信息率失真函数(率失真函数)
当某条件概率P(yj/xi)能使互信息I最小,此时的I就 称为在保真度准则下所必须具有的最小信息速率,
用R(D)表示。
数学式为:R(D)=minI(X;Y)=minI(X;Y)
Pji∈PD
d≤D
其中PD为满足失真条件的转移概率Pji的 Nhomakorabea合,D为
第四章 信息率失真函数
(优选)第四信息率失真函数
一、失真函数
失真函数d(x,y)表征了接收消息y与发送消息x之间 的定量失真度。
即:d(x,y) ∣x=ai,y=aj=dij 其中,失真函数dij是一个与失真情况相对应的非 负实数: 0 ,i=j
dij= d , d>0 i≠j 显然:i=j时,收发之间无失真,失真函数dij=0
{P(y/x)} ∈PD
• 与离散情况类似, 并设
得公式:(1)
(2)
(3)
(4)
常用方法:
(1)分别求出p(x)和g(x)的特征函数 (2)
则:
(3)
若q0(x)符合概率密度函数
的要求(非负性、归一性),就可得到R(D)函数的
参量表达式。
信息论与编码(清华出版社)第4章信息率失真函数-Qtech

{
i = 1,2, L , n; j = 1,2, L , m
}
14
信息率失真函数R(D) 信息率失真函数
由于互信息取决于信源分布和信道转移概率分布, 根据2-2 由于互信息取决于信源分布和信道转移概率分布 , 根据 节所述, 一定时, 是关于p(y 型凸函数, 节所述,当p(xi)一定时,互信息 是关于 j/xi) 的U型凸函数, 一定时 互信息I是关于 型凸函数 存在极小值。因而在上述允许信道P 存在极小值。因而在上述允许信道 D中,可以寻找一种信道 pij,使给定的信源 i)经过此信道传输后,互信息 ;Y)达 使给定的信源p(x 经过此信道传输后 互信息I(X; 达 经过此信道传输后, 到最小。该最小的互信息就称为信息率失真函数R(D),即 到最小。该最小的互信息就称为信息率失真函数 ,
3
4.1 平均失真和信息率失真函数
4.1.1 4.1.2 4.1.3 4.1.4 失真函数 平均失真 信息率失真函数R(D) 信息率失真函数 信息率失真函数的性质
4
4.1 平均失真和信息率失真函数
在实际问题中, 在实际问题中,信号有一定的失真是可以容 忍的。但是当失真大于某一限度后, 忍的。但是当失真大于某一限度后,信息质量将 被严重损伤,甚至丧失其实用价值。要规定失真 被严重损伤,甚至丧失其实用价值。 限度,必须先有一个定量的失真测度。 限度,必须先有一个定量的失真测度。为此可引 入失真函数。 入失真函数。
如何减小失真,允许失真到什么程度; 如何减小失真,允许失真到什么程度; 在允许一定程度的失真条件下, 在允许一定程度的失真条件下,把信源信息压 缩到什么程度。 缩到什么程度。
2
第4章 在信源允许一定失真情况下 所需的最少信息率, 从分析失真函数、 所需的最少信息率 , 从分析失真函数 、 平 均失真出发,求出信息率失真函数R(D) 。 均失真出发,求出信息率失真函数 4.1 平均失真和信息率失真函数 4.2 离散信源的R(D)计算 离散信源的 ( )
信息论与编码原理_第4章_信息率失真函数

性”,实际上只要每秒放映 24 幅静态画面。
有些失真没有必要完全消除。 既然允许一定的失真存在,对信息率的要求便可降低。
返回目录
2019/1/17
Department of Electronics and Information, NCUT
Song Peng
பைடு நூலகம்
第7页
4.1.1 引
言
信息率与允许失真之间的关
4.1 基 本 概 念
(3) 常用的失真函数
第一种:
i j 0 d ( xi , y j ) a a 0 i j 0 a D a a a a a 0 a a a 0 a 0 a a 0
特点:对角线上的元素均为 0,对角线以外的其它元素都为常数
2019/1/17
Department of Electronics and Information, NCUT
Song Peng
第14页
4.1.2 失真度与平均失真度
4.1 基 本 概 念
(2) 失真度
失真矩阵
失真度还可表示成矩阵的形式
d ( x1 , y1 ) d ( x1 , y2 ) d ( x1 , ym ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 m D d ( x , y ) d ( x , y ) d ( x , y ) n 1 n 2 n m
以定义失真度为 0;
当 i≠j 时,用 Y 代表 X 就有误差。 这种定义认为对所有不同的 i 和 j 引起的误差都一样,所以定义
失真度常数 a。
2019/1/17
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第四章 信息率失真函数
无失真信源编码和有噪信道编码告诉我们:只要信道的信息传输速率 R 小于信道容量 C ,总能找到一种编码方法,使得在该信道上的信息传输的差错概率 P e 任意小;反之,若信道的信息传输速率大于信道容量,则不可能使信息传输差错概率任意小。
但是,无失真的编码并非总是必要的。
无失真的编码并非总是可能的。
在实际信息传输系统中,失真是不可避免的,有时甚至是必须的。
香农首先定义了信息率失真函数R(D),并论述了关于这个函数的基本定理。
定理指出:在允许一定失真度D 的情况下,信源输出的信息传输率可压缩到R(D)值,这就从理论上给出了信息传输率与允许失真之间的关系,奠定了信息率失真理论的基础。
信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。
本章主要介绍信息率失真理论的基本内容,侧重讨论离散无记忆信源。
首先给出信源的失真度和信息率失真函数的定义与性质;然后讨论离散信源和连续信源的信息率失真函数计算;在这基础上论述保真度准则下的信源编码定理。
1 失真测度
1.1 失真度
从直观感觉可知,若允许失真越大,信息传输率可 越小;若允许失真越小,信息传输率需越大。
所以信息传输率与信源编码所引起的失真(或误差)是有关的。
离散无记忆信源U ,信源变量U ={u1,u2,…ur},概率分布为P(u)=[P(u1),P(u2),…P(ur)] 。
信源符号通过信道传输到某接收端,接收端的接收变量V = {v1,v2,…vs} 。
对应于每一对(u,v),我们指定一个非负的函数:
称为单个符号的失真度(或失真函数)。
通常较小的d 值代表较小的失真,而d(ui,vj)=0表示没有失真。
若信源变量U 有r 个符号,接收变量V 有s 个符号,则d(ui,vj)就有r ×s 个,它可以排列成矩阵形式,即:
它为失真矩阵D ,是 r ×s 阶矩阵。
须强调: 这里假设U 是信源,V 是信宿,那么U 和V 之间必有信道。
实际这里U 指的是原始的未失真信源,而V 是指失真以后的信源。
因此,从U 到V 之间实际上是失真算法,所以这里的转移概率p(vj/ui)是指一种失真算法,有时又把p(vj/ui) 称为试验信道的转移概率,如图所示:
j i j i v u d j i ≠=⎩⎨⎧>=)0(0),(α⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=),(...),(),(:...::),(...),(),(),(...),(),(212221212111s r r r s s v u d v u d v u d v u d v u d v u d v u d v u d v u d D
1.2 几种信源失真度
1.2.1 离散对称信源失真度
信源变量U ={u1,u2,…ur} ,接收变量V = {v1,v2,…vs}。
定义单个符号失真度:
这种失真称为汉明失真。
汉明失真矩阵是一方阵,对角线上的元素为零,即:
对二元对称信源(s =r =2),信源U ={0,1},接收变量V ={0,1}。
在汉明失真定义下,失真矩阵为:
1.2.2 删除信源失真度
信源变量U ={u1,u2,…ur} ,接收变量V = {v1,v2,…vs} (s = r+1) 。
定义其单个符号失真度为:
其中接收符号vs 作为一个删除符号。
在这种情况下,意味着若把信源符号再现为删除符号vs 时,其失真程度要比再现为其他接收符号的失真程度少一半。
若二元删除信源s =2,r =3, U ={0,1},V ={0,1 ,2} 。
失真度为:
则:
⎪⎩⎪⎨⎧≠==j i j
i j i v u v u v u d 10),(r r D ⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0...11:...::1...011...10⎥⎦⎤⎢⎣⎡=0110D s j j
i j i v u d j i =≠=⎪⎩⎪⎨⎧= 2/110),
(
1.2.3 对称信源失真度
信源变量U ={u1,u2,…ur} ,接收变量V = {v1,v2,…vs} 。
失真度定义为:
若信源符号代表信源输出信号的幅度值,这就是一种以方差表示的失真度。
它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重,严重程度用平方来表示。
当 r =3时, U ={0,1,2},V ={0,1,2} ,则失真矩阵为:
1.2.4 结论
上述三个例子说明了具体失真度的定义。
一般情况下根据实际信源的失真,可以定义不同的失真和误差的度量。
另外还可以按其他标准,如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(u,v)。
1.3 平均失真度
信源 U 和信宿 V 都是随机变量,故单个符号失真度d(ui,vj) 也是随机变量。
显然,规定了单个符号失真度d(ui,vj) 后,传输一个符号引起的平均失真,即信源平均失真度:
在离散情况下,信源U ={u1,u2,…ur} ,其概率分布P(u)=[P(u1),P(u2),…P(ur)] ,信宿V = {v1,v2,…vs} 。
若已知试验信道的传递概率为P(vj/ui)时,则平均失其度为: 若平均失真度D
̅不大于我们所允许的失真D ,即:D ̅≤D ,称此为保真度准则。
信源固定(给定P(u)),单个符号失真度固定时(给定d(ui,vj)) ,选择不同试验信道,相当
于不同的编码方法,所得的平均失真度是不同的。
有些试验信道满足D
̅≤D ,而有些试验信道D ̅>D 。
凡满足保真度准则----平均失真度D ̅≤D 的试验信通称为---D 失真许可的试验信道。
2 信息率失真函数及其性质
2.1 信息率失真函数的定义
信源给定,且又具体定义了失真函数以后,总希望在满足一定失真的情况下,使信源传输给收信者的信息传输率R 尽可能地小。
即在满足保真度准则下,寻找信源必须传输给收信者的信息率R 的下限值-------------这个下限值与D 有关。
⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=02111210
D 2
)(),(i j j i u v v u d -=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=014101410D )]
,([)],([v u d E v u d E D j i ==)
,()/()(),()(11j i r i s j i j i UV v u d u v P u P v u d uv P D ∑∑∑====
从接收端来看,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。
而接收端获得的平均信息量可用平均互信息I(U;V)来表示,这就变成了在满足保真度准则的条件下,寻找平均互信息I(U;V)的最小值。
在许可试验信道集合 P D 中,总可以找到某一试验信道,使信道信息传输速率 R=I(X;Y) 达到最小值,记为 R(D)。
R(D) 被称为信源的信息速率失真函数,简称率失真函数。
率失真函数 R(D) 给出了熵压缩编码可能达到的最小熵率与失真的关系,其逆函数称为失真率函数 D(R),表示一定信息速率下所可能达到的最小的平均失真。
2.2 信息率失真函数的性质
2.2.1 R(D)的定义域
R(D)的定义域为
且
允许失真度D 的下限可以是零,即不允许任何失真的情况。
2.2.2 R(D) 的值域
0≤R(D)≤H(X)
2.2.3 R(D) 是关于平均失真 D 的下凸函数
设 D 1,D 2 为任意两个平均失真,0≤a≤1,则有:
2.2.4 R(D) 是 (D min ,D max ) 区间上的连续和严格单调递减函数
由信息率失真函数的下凸性可知, R(D)在(D min ,D max )上连续。
又由R(D)函数的非增性且不为常数知, R(D)是区间(D min ,D max )上的严格单调递减函数。
min max
0D D D ≤≤
≤1212((1))()(1)()R aD a D aR D a R D +-≤+-
3离散无记忆信源的信息率失真函数
已知信源的概率分布函数和失真函数,就可求得信源的信息率失真函数。
原则上与信道容量一样,是在失真受约束条件下求函数的极小值,即求:
3.1.1等概率、对称失真信源的R(D) 计算
对于等概、对称失真的信源,存在一个与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)。
对于同一失真度D,n 越大,R(D) 越大,信源的可压缩性越小。
3.1.2离散无记忆信源的信息率失真函数的参量表述
原则上利用拉格朗日乘子法,可以求出来。
4连续无记忆信源的信息率失真函数(省略)
5保真度准则下的信源编码定理
即香农第三定理:
设R(D) 为一离散无记忆信源的信息率失真函数,并且有有限的失真测度D。
对于任意D≥0,ε>0,以及任意长的码长k,一定存在一种信源编码C,其码字个数为M ≥ 2k[R(D)+ε],使编码后码的平均失真度小于D。
即对于任何失真度D,只要码长k 足够长,总可以找到一种编码,使编码后每个信源符号的信息传输率满足R=logMk≥R(D)+ϵ,而码的平均失真度不大于给定的允许失真度。
R(D) 为给定D 前提下信源编码可能达到的下限,所以香农第三定理说明了达到此下限的最佳信源编码是存在的。