信息论与编码 第四章

D≤ D
称这种对于失真的限制条件为保真度准则。 保真度准则指出，给定的失真限定值D是平均失真度 D 的上限值。
−
D≤D
允许失真
保真度准则
在实际中，D是通信系统的重要指标之一，实质上它就是 针对具体应用而给出的保真度要求，为了达到这个要求， 就应该使所设计系统的平均失真度 不大于D。 D
23:16
D = E[d (xi , y j )] = ∑∑ p(xi ) p( y j / xi )d (xi , y j )
i1 , , i N = 1, , n N i = 1,2, , n
X = X1 X 2
N
XN
bj = y j1 ...y jN y j1 , , y jN ∈{y1 ym}
j1 , j 2 , , jN = 1 m
j =1,2, , mN
Y = Y1Y2
N
YN
23:16
15
将单符号离散无记忆信道{X P(Y/X) Y}的失真 函数的定义进行扩展，可得N次扩展的信源和 信宿符号序列 ai与bj之间的失真函数为
k =1
bj = y j1 ...y jN
d (ai , bj ) = ∑d (xik , y jk )
k =1
平均失真度 N )为 D(
− n N mN
D( N ) = ∑∑ p(ai ) p(b j / ai )d (ai , b j )
i =1 j =1
m
=∑
i1 =1
n
iN =1 j1 =1
i =1 j =1
−
n
m
13
平均失真度取决于如下几个因素 （1）信源的统计特性p(xi) ； （2）信道统计特性p(yj/xi)； （3）失真函数d (xi , yj )。 这3个参量对平均失真度 D 都可产生影响。分析中可侧重于 某个参量的影响而暂时将其它参量固定不变。 在给定的信源X概率分布、失真函数d (xi , yj ) 条件下，通过 选择适当的信道，可使平均失真度 D 满足保真度准则D ≤ D
3
23:16
x
4
P(yi/xi)
Y
i=1,2,…,n; j=1,2, …,m
前面讨论的基本出发点是如何保证信息的无失真传输。
无失真信源编码定理 信道编码定理
许多实际应用并不要求完全无失真地恢复消息，而是 只要满足一定的条件，近似地恢复信源发出的消息。 什么是允许的失真？如何对失真进行描述？信源输出 信息率被压缩的最大程度是多少？ 信息率失真理论回答了这些问题，其中香农的限失真 编码定理定量地描述了失真，研究了信息率与失真的 关系，论述了在限失真范围内的信源编码问题。
固定 p( xi )，调整 p( y j / xi ) 使 D ≤ D
23:16
定义 凡是能满足保真度准则 D ≤ D 的信道，称之为D失 真许可的试验信道（Test Channel）。 符合上述定义的D失真许可的试验信道可以有若干个， 它们能够组成一个集合，表示为
21
PD = { p( y j / xi ) : D ≤ D}
D = ∑∑ P( xi ) P( y j / xi )d ( xi , y j )
i =1 j =1
n
m
∴
D ( N ) = ND
即：离散无记忆信源X的N次扩展信源XN=X1 X2 … XN 通过信道传输后的平均失真度 D (N )，是未扩展情况 的N倍。
23:16
18
Dk = D
D(N) = ND D(N) ≤ ND
0, i= j ⎧ d ( xi , y j ) = ⎨ ⎩大于零的其它数, i ≠ j
规定的合理性 (1)当i = j时，x和y的消息符号都是xi，说明收发之间没有失 真，所以失真函数dij = 0； (2)反之，当i ≠ j时，信宿收到的消息不是信源发出的符号xi， 而是xj，出现了失真，所以失真函数dij ≠0，而dij值的大 小可以表示这种失真的程度。 (3)失真函数d(x, y)能够表征接收消息y与发送消息x之间的 定量失真度。
d (a1 , bm N ) ⎤ d (a2 , bm N ) ⎥ ⎥ ⎥ ⎥ d (an N , bm N ) ⎥ ⎦
23:16
由信源和信道的无记忆性
p ( ai ) = Π p ( xik )
k =1 N N
ai = xi1
N
xiN
16
p (b j / ai ) = Π p ( y jk / xik )
d (ai , bj ) = d (xi1
N
xiN , y j1
y jN )
= d (xi1 , y j1 ) + + d (xiN , y jN ) = ∑d (xik , y jk )
k =1
d (a1 , b2 ) 对应的失真矩阵为 ⎡ d (a1 , b1 ) ⎢ d (a , b ) d (a , b ) 2 1 2 2 ⎢ [ D] = ⎢ ⎢ ⎢ d (a n N , b1 ) d (an N , b2 ) ⎣
23:16
x1 x2 xn
几类常用的失真函数
y1 y2 yn
⎡0 ⎢a [D ] = ⎢ ⎢ ... ⎢ ⎣a a 0 ... a ... ... ... ... a⎤ ⎥ a⎥ ... ⎥ ⎥ 0⎦
8
1
⎧0 i = j d ( xi , y j ) = ⎨ ⎩a i ≠ j
失真矩阵特点是：主对角线元素为0 其余元素都为a，表示在存在误差时，失真度为常数a
... d ( x1 , y m ) ⎤ ... d ( x 2 , y m ) ⎥ ⎥ ⎥ ... ... ⎥ ... d ( x n , y m ) ⎦
称为信道 X-P(Y/X)-Y 的失真矩阵。
23:16
7
失真函数的值可人为地规定 例如，若i=j时， yj＝xi； i ≠ j时，yj＝xj ≠ xi，则可规定
23:16
11
（1）失真函数d (xi , yj )是人为地规定的，给出其规定时应该 考虑解决问题的需要以及失真可能引起的损失、风险和主 观上感觉的差别等因素。 （2） d (xi , yj ) 是一个随机变量，它应该与 p(xiyj ) 有关，因 此有必要找出在统计平均意义上信道每传送一个符号所引 起失真的大小。
平均失真度
D = E[d (xi , y j )] = ∑∑ p( xi ) p( y j / xi )d (xi , y j )
i =1 j =1 − n m
物理含义是平均意义上信道每传送一个符号所引起的失真。 d (xi , yj ) 是一个随机量，但平均失真度为确定量。
23:16
12
定义 从平均意义上来说，信道每传送一个符号所引起的 平均失真，不能超过某一给定的限定值D，即要求
表示信源发出符号xi而经信道传输后再现成信道输 出符号集合中的yj所引起的误差或失真，称之为xi 和yj之间的失真函数。
⎡ d ( x1 , y1 ) d ( x1 , y 2 ) ⎢d ( x , y ) d ( x , y ) 2 1 2 2 ⎢ [ D] = ⎢ ... ... ⎢ ⎣d ( x n , y1 ) d ( x n , y 2 )
在保真度准则下求平均互信息的极小值问题。
23:16
14
N次扩展信道的情况
若信源X有n个不同的符号，则其N次扩展信源 XN=X1 X2 … XN有nN个不同的符号（用ai表示）。 若信宿Y有m个不同的符号，其N次扩展后接收符号集 YN=Y1Y2 … YN有m N个不同的符号（用bj表示）
ai = xi1 xiN xi1 , , xiN ∈{x1 xn}
23:16
a =1
⎧0 i = j d ( xi , y j ) = ⎨ ⎩1 i ≠ j
汉明失真矩阵
9
汉明失真函数
⎡0 ⎢1 [D] = ⎢ ⎢ ⎢ ⎣1
1 0 0
1⎤ ⎥ 1⎥ ⎥ ⎥ 0⎦
23:16
2
d ( xi , y j ) = ( y j − xi )
⎡ ( y1 − x1 ) 2 ⎢ ( y1 − x2 ) 2 [ D] = ⎢ ⎢ ⎢ 2 ⎢( y1 − xn ) ⎣ ( y2 − x1 ) 2 ( y2 − x2 ) 2 ( y2 − xn ) 2
23:16
1
第一章：概述 第二章：信源熵 第三章：信道容量
第四章：信息率失真函数
第五章：信源编码
23:16
2
§4.1 信息率失真函数 §4.2 离散信源的信息率失真函数 §4.3 连续信息的率失真函数 §4.4 保真度准则下的信源编码定理
23:16
§4.1 信息率失真函数 §4.1.1失真函数和平均失真度 §4.1.2 率失真函数定义 §4.1 .3 率失真函数性质
−
n
m
20
平均失真度取决于如下几个因素 （1）信源的统计特性p(xi) ； （2）信道统计特性p(yj/xi)； （3）失真函数d (xi , yj )。 在给定的信源X概率分布、失真函数d (xi , yj ) 条件下，通过 选择适当的信道，可使平均失真度 D 满足保真度准则D ≤ D
在保真度准则下求平均互信息的极小值问题。
R (D ) =
p(y
min
j
/ x i )∈ P D
I ( X ; Y ) （比特/符号）
23:16
22
N次无记忆扩展信源和信道：
PD ( N ) = { p(b j / ai ) : D ( N ) ≤ ND}
RN ( D) =
→ → P ( b j / ai )∈PD ( N )
min
I ( X ;Y )
N次扩展信道的保真度准则
23:16