北邮,信息论课件chapter9资料

以得到（ 9．11）式。 证毕。
例9．1 设试验信道输入符号 {a1, a2 , a3}，概率分别为1/3，1/3，
1/3，失真矩阵如下所示，求Dmin和Dmax和相应的试验信道的转移
概率矩阵。
1 2 3
[d ] 2 1 3
3 2 1
解
Dmin
x
p(x) min d (x, y) y
p(a1) min(1,2,3) p(a2 ) min( 2,1,3) p(a3 ) min( 3,2,1)
信息。
或
R(D) min pijPD
ij
pi pij log
pij pi
（
pij
9．8）
i
9．2．2 R(D)的性质
1． R(D)的定义域为：
且 证：
0 Dmin D Dmax
Dmin
p(x) min d (x, y) y
x
Dm a x
min y
x
p(x)d (x, y)
（ 9．9） （ 9．10）
第9章 信息率失真函数
§9.1 概 述
➢ 当信源信息以超过信道容量的速率传输时，必然产生 差错或失真；
➢ 由于信道噪声的干扰，信息在传输过程中也会产生差 错或失真；
➢ 信宿的灵敏度和分辨力都是有限的，无需要求在传输 过程中信息绝对无失真；
➢ 允许信息有某些失真，这样可以降低信息传输速率， 从而降低通信成本；
=1 令对应最小 d (ai , bj）的 p(b j | ai ) 1 ,其它为0。可得对应Dmin 的转移 概率矩阵为：
1 0 0 0 1 0 0 0 1
Dm a x
min y
p(x)d (x, y)
x
min{[ p(a1) 1 p(a2 ) 2 p(a3 ) 3] ,[ p(a1) 2 p(a2 ) 1 p(a3) 2],
设x( x1 ,..,xN)，其中x i
取自符号集A；y ( y1,...,
yN )
，其
中 yi 取自符号集B；
序列失真测度定义为：
dN (x, y)
1 N
N
d (xi , yi )
i 1
3．平均失真
（9. 1.3）
单符号平均失真：
D d p(ai ,bj )d(ai ,bj )
i, j
[ p(a1) 3 p(a2 ) 3 p(a3) 1]}
= 5/3 上式中第2项最小，所以令 （p b2） 1 ，（p b1） （p b3） 0 的转移概率矩阵为：
Dmax
min
x，y
x，y
p( x)q( y)d ( x,
y)
min
y
q( y)
x
p(x)d(x, y)
由于 p(x), d(x, y) 已给定，而且对不同y， p(x)d(x, y)
也可能有不同的值。所以，求 min p(x)d(x, y) x ，并使对
应的q(y)=1，其余为0。这样就可y 使x 平均失真最小。所
（ 9．11）
1） 定义域下界：
D p(x) p( y | x)d(x, y) x，y
p(x) p( y | x) min d(x, y) ( d(x, y) min d(x, y))
x，y
y
y
p(x) min d(x, y) p(y | x)
x
y
y
p(x) min d (x, y) 0 ( d (x, y) 0) y x
数字数）的条件下，使平均失真限制到最小；或者在平均失真不大于 某个值的条件下，使编码速率限制到最小（限失真信源编码）； ➢ 从信息论的观点处理数据压缩的学科称为信息率失真理论，信息率失 真理论是数据压缩的基本理论。
9. 1. 1 系统模型
研究限失真编码的系统模型如图9. 1. 1所示。 l 信源发出的消息X通过有失真的信源编码，通过理想无噪声信道传输，
经译码器的输出为Y，由于编码有失真，所以Y不是X的精确复现。 l 可以把信源编码器和信源译码器之间看成一个有噪声的信
道，这个信道称做试验信道。 l 通过研究试验信道输入与输出之间的互信息来研究限失真信源编码。
信源
信源 编码器
无噪信道
信源 解码器
信宿
试验信道
图9. 1. 1 限失真编码的系统模型
设试验信道的输入X，符号集A={a1,…,an}；信道的输出 Y，符号集 B={b1,…,bm}。
➢ 对信源无失真压缩的极限是熵，如果再继续压缩就要 失真；
结论：失真是不可避免的，有时甚至是必要的。
➢ 从信源的输出抽取重要信息并压缩冗余信息的装置称数据压缩算法； ➢ 通过压缩所得到的编码序列不能完全恢复原来信源的信息，是有失真
信源编码； ➢ 总希望在不大于一定编码速率（即传送每信源符号所需的平均的二进
（9. 1. 1）
其中，d (ai , bj ) 0 。
如果规定d
(ai
,
bj
)
0 1
i j i j
...
0 1 ... 1
[d ] 1 0 ... ... 1 ... ... 1
1 ... 1
0
，那么失真矩阵变为汉明失真矩阵 （9. 1.2）
特点：对角线上元素全为零，其他元素都为1。
2．序列失真测度：
序列平均失真：
d
1 N
N
E[d (xi , yi )]
i 1
1 N
N
Di
i 1
（9. 1.4） （9. 1.5）
§9.2 离散信源信息率失真函数
9．2．1信息率失真函数
定义信息率失真函数为：
R(D) min I (X ;Y )
p( y|x)PD
（ 9．7）
其中PD为使平均失真不大于D的p(y|x)的集合。 即，R(D)就是在满足保真度准则下，X,Y的最小平均互
9. 1. 2 失真测度
1．单符号失真测度 d(x, y) ，x X , y Y 。
定义失真矩阵
d (a1, b1) ... d (a1, bm ) [d ] d (a2 , b1) ... d (a2 , bm )
... ... ... d (an , b1) ... d (an , bm )
对x的每一取值 ai ，令对应最小的 d (ai , bj ) 条件概率p(bj|ai)为1 ,
其余条件概率为零，就得到Dmin 。
2）定义域上界：
R(D)为平均互信息，所以R(D)≥0。在较大范围内 求极小值一定不大于在所含小范围内求的极小值，所
以D1>D2 => R(D1) ≤R(D2)，即R(D)是D的非增函数。 当XY独立时，R(D) ≤I(X;Y)=0，当D继续增加，R(D) 仍然为0。所以，Dmax是使R(D)=0的最小平均失真。当 x,y独立时，p(x,y)=p(x)q(y) ，有