4.1 有关信息率失真函数的基本概念

R>C
则传输必失真。
实际上“消息完全无失真传送”的不可实现性
要做到无失真信源编码，要求H(X)<R<C；实际的信源常常是 连续信源，连续信源的绝对熵无穷大,要求信息率R也无限大， 要无失真传送，也就要求信道容量C必须为无穷大。
而实际信道带宽是有限的，所以信道容量受限制。因此无法 满足无失真传输的条件，因此传输质量必然受影响。
|
,
2020/6/23
10
单符号离散信源的失真函数
设离散无记忆信源为
X P( X
)
x1， p( x1 )，
x2， p(x2 )，
xi， p(xi )，
xn p(xn )
信源通过转移概率矩阵P（Y/X） 的信道传输的接收端Y
p( y1 / x1)
P
p(
y1 / x2
)
p( y1 / xn )
d(0,0)= d(1,1)=0；d(0,1)= d(1,0)=1；
d(0,2)= d(1,2)=0.5，
求失真矩阵：
解：
d (0,0) d (0,1) d (0,2)
D
d
(1,0)
d (1,1)
d
(1,2)
D
0 1
1 0
0.5 0.5
2020/6/23
14
以上离散无记忆信源的N次扩展信源的失真函数：若 发送和接收的消息分别为：
2020/6/23
4
有些失真没有必要完全消除（限失真信源编码）
实际生活中，人们一般并不要求获得完全无失真的消息，通 常只要求近似地再现原始消息，即允许一定的失真存在。
打电话，即使语音信号有一些失真，接电话的人也能听懂。 放电影：理论上需要无穷多幅静态画面，由于人眼的视觉
暂留性，实际上只需要每秒放映24幅静态画面。
p( y2 / x1) p( y2 / x2 )
p( y2 / x1)
接收端Y
p( ym / x1) p( ym / x2 )
p( ym / xn )nm
Y P(Y
)
y1， p( y1)，
y2， p(x2 Biblioteka ， y，j
p( y j )，
ym p( ym )
2020/6/23
11
信息率失真理论——信息率失真函数
香农定义了信息率失真函数R(D) 定理指出：
在允许一定失真度D的情况下，信源输出的信息率可以压缩到 R(D).
2020/6/23
5
信息率失真函数极小值问题
I(X;Y)是P（X）和P（Y/X）的二元函数。
在讨论信道容量时： 固定P（Y/X）, I(X;Y)是P（X）的函数。离散情况 下， I(X;Y)是 p(xi )的上凸函数，因此必有I(X;Y)的 极大值。
失真矩阵
要描述离散信源的所有失真情况，必须用矩阵来表 示：即失真矩阵，记作D
d (x1, y1) d (x1, y2 )
D
d (xn , y1) d (xn , y2 )
d
(
x1, ym
)
d11
d12
d (xn , ym ) dn1 dn2
d1m dnm nm
若一个信源没有正确的传输，所有符号的错误传输大
小都为α，则可写作对角线上为0，其余为α,则该单
符号离散信源的失真矩阵可以写作。
0
D
0 nm
2020/6/23
12
失真矩阵
若α=1，则失真函数称为汉明失真函数，失真矩阵称 为汉明失真矩阵，变为
0 1 D
1 1
1 0 nm
2020/6/23
13
例：已知单符号离散无记忆信源X={0,1}，Y={0,1，2}， 失真函数为
发送：ai (xi1xi2 xik xiN ), xik (x1, xn ) 接收：bj ( y j1 y j2 y jk y jN ), y jk ( y1, ym )
第4章 信息率失真函数
2020/6/23
1
信息率失真函数
主要内容：
限失真信源编码定理 信息率失真函数 保真度准则下的信源编码定理
教学基本要求：
掌握率失真函数的定义、性质、计算 掌握保真度准则下的信源编码定理
重点和难点：
率失真函数(离散信源，连续信源)的计算 保真度准则下的信源编码定理
d (xi ,
yj)
dij
0,当xi
0, xi
y
时
j
yj
其它表示收发误差的失真函数：
平方误差失真函数或均方失真函数
d(xi , y j ) ( y j xi )2, 绝对失真函数
d (xi , y j ) | y j xi |,
相对失真函数
d
( xi
,
y
j
)
|
yj |
xi
xi |
用来表示信源接收到的消息和发送的消息之间的误差。
具体地：每一对 xi , y j ，指定一个非负函数 d (xi , y j )
distortion 称为单个符号的失真度（失真函数），它表示信源
发出一个符号 xi，在接收端收到 y j 所引起的误差或
失真。
2020/6/23
9
失真函数
失真函数
信息率失真理论的应用：
信息率失真理论是量化、数模转换、频带压缩和数 据压缩的理论基础。
2020/6/23
7
4.1 主要内容
失真函数 平均失真 信息率失真函数 信息率失真函数的基本性质
2020/6/23
8
失真函数
由于信息率与失真有关，为了定量地描述信息率和 失真的关系，必须先规定失真的测度标准。即失真 函数，失真函数
在讨论信息速率时： 固定 p(xi ) ,I(X;Y)是 p( y j / xi ) 的下凸函数，因此必有 I(X;Y)的极小值。 但是若X和Y统计独立，即这样极小值就变成0，此时 极小值就没有意义了。 引入一个失真函数R(D)，计算在失真度D一定的情 况下，信息率R的极小值
2020/6/23
6
信息率与失真的关系
信道中固有的噪声和不可避免的干扰，使信源的 消息通过信道传输后造成误差和失真。
误差或失真越大，接收者收到消息后对信源存在 的不确定性就越大，获得的信息量就越少，信道 传输消息所需的信息率也越小。
描述失真度大小和信息速率关系的定理称为：保 真度准则下的信源编码定理，也叫信息率失真理 论。
2020/6/23
2
本章主要内容
4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源的R(D)的计算
2020/6/23
3
理论上“消息完全无失真传送”的可实现性
信道编码定理：无论何种信道，只要
H(X)=<信息速率R=<信道容量C
总能找到一种编码，使在信道上能以任意小的错误概率和无限 接近于C的传输速率来传送信息。反之，若