信息论与编码A有失真信源编码

d
0 1
1 0
0.5
0.5
.
5
5.1 信息率失真函数
均方失真： d（xi , yj ) (xi yj )2 绝对失真： d（xi , y j ) | xi y j | 相对失真： d（xi , y j ) | xi y j | | xi | 误码失真（适用于离散信源）：
适用于连续信源
无失真: xi=yj 有失真: xi≠yj
失真函数d(xi,yj)
0,
d (xi , y j ) 0,
xi y j xi y j
3
失真矩阵
5.1 信息率失真函数
d (a1, b1) d (a1, b2 ) L
d d (a2 , b1) d (a2 , b2 ) L
M
MO
d (an , b1) d (an , b2 ) L
i1 j1
平均失真 是对给定信源分布p(xi) 经过某一转移概率分布 为p(yj |xi) 的有失真信源编码器后产生失真的总体量度。
7
5.1 信息率失真函数
序列编码的失真
输入：X=(X1, X2,…,XL)，样值为: x=(x1, x2,…, xL) 输出：Y=(Y1, Y2,…,YL)，样值为: y=(y1, y2,…, yL) 失真函数定义为：
D D.
9
5.1 信息率失真函数
有失真信源编码器模型
X
Y
信源编码器
xi{a1,,an}
yj{b1,,bm}
假想信道
信源编码器 有干扰的假想信道 信息传输率R I(X;Y)
10
5.1 信息率失真函数
nm
D
p(ai ) p(bj | ai )d (ai , bj )
i1 j1
若p(ai)和d(ai,bj)已定，则平均失真由信道转移概率{p(bj|ai)} 完全确定，所有满足平均失真小于等于门限D的信道集合
信源熵H(X)=log(2n) bit/符号. 如果对信源进行无失真编码， 平均每个符号至少需要log(2n) 个二进制码元. 现讨论有失真编码. 假设失真度为D=1/2. 编码方案为:
a1a1, a2 a2, …,an an, an+1 an, …,a2n an 对应一个确定信道.
H(Y|X)=0, I(X; Y)=H(Y)H(Y|X)=H(Y). 信道输出Y的概率分布为:
PD p(bj | ai ) : D D,1 i n,1 j m
11
5.1 信息率失真函数
信息率失真函数 R(D) min I (X ,Y )
PD
信息率失真函数R(D)的物理意义： 对于给定信源，在平均失真不超过失真限度D的 情况下，信息率允许压缩的最小值为R(D) 。
离散无记忆信源的信息率失真函数
平均失真:
D
n i 1
m j 1
p(ai ) p(bj
| ai )d (ai ,bj )
1 2
（收到100个符号时，允许出错的符号个数50）
14
第5章 有失真信源编码
5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理
15
5.2 信息率失真函数的性质
R(D)
0
Dmax
j 1
n
m
min
p(bj |ai )
i 1
p(ai )
j 1
p(bj
| ai )d (ai , bj )
n
i 1
p(ai
)
mind j
(ai
,
b
j
)
17
5.2 信息率失真函数的性质
Dmax:
0,
d (xi , y j ) (xi , y j ) 1,
xi y j xi y j
6
平均失真：
5.1 信息率失真函数
nm
D E(d (xi , y j ))
p(xi , y j )d (xi , y j )
i1 j1
Hale Waihona Puke Baidunm
p(xi ) p( y j | xi )d (xi , y j )
信息论与编码
Information and Coding Theory
第5章 有失真信源编码
西南交通大学 信息科学与技术学院
1
第5章 有失真信源编码
5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理
2
5.1 信息率失真函数
编码器输入X：xi{a1, a2,…,an}. 编码器输出Y：yj{b1, b2,…,bm}.
R(D) min I ( X ,Y ) PD
min PD
p(ai ) p(bj
| ai ) log
p(bj | ai ) p(bj )
12
5.1 信息率失真函数
例. 设信源符号集为A={a1, a2,…, a2n}, 概率分布为: p(ai)=1/2n (i=1,2,…,2n) ，失真函数为: 1,i j d(ai , aj ) 0,i j
d (a1, bm )
d
(a2
,
bm
)
M
d
(an
,
bm
)
4
5.1 信息率失真函数
例5.1.1. 设信源符号X{0,1}, 编码器输出符号Y{0,1,2}, 规定失真函数为 d(0,0 )= d(1,1)=0
d(0,1 )= d(1,0)=1
d(0,2 )= d(1,2)=0.5 则失真矩阵为
D
R(D) min{I (X ,Y ), D D}
单调性
D1 D2 R(D1) R(D2 )
16
5.2 信息率失真函数的性质
R(D)的定义域: [Dmin, Dmax] 0 Dmin；R(Dmin)=H(X).
nm
Dmin
min p(bj |ai ) i1
p(ai ) p(bj | ai )d (ai , bj )
p(a1)= p(a2)=…= p(an-1)=1/2n, p(an)=(1+n)/2n I(X; Y)=H(Y) = log(2n) [(1+n)/2n]log(1+n).
13
5.1 信息率失真函数
例. 信源传输的信息率由log(2n)压缩到 H(Y)=log(2n) [(1+n)/2n]log(1+n).
dL (x,
y)
1 L
L l 1
d (xl ,
yl ).
序列编码的平均失真：
DL =
1 L
L l 1
E[d (xl ,
yl
)].
8
5.1 信息率失真函数
有失真信源编码器模型 信源编码目的 寻找一种编码方案，使编码后所需的信息传输率R尽量小。 问题 R越小，引起的平均失真就越大。 解决方法 给出一个失真限制值D,在满足平均失真小于D的条件下，寻 找一种编码案使得信息率R最小.