信息率失真理论

定义
信源概率分布不变时，保真度准则下平均互信息 量的极小值，用R(D)表示
信息率失真理论
表示
ˆ) R (D) min I ( X ; X ˆ
PD ( X / X )
1、信息率失真函数
实验信道转移概率分布的n个约束条件
P
j1
n
D
ˆ j / xi ) 1 (x
i 1,2,, n
保真度准则的约束条件
ˆ j) Sd ( x i , x
ˆ j / x i ) log P( x i )PD ( x
i 1 j1 n n
n
n
ˆ j )2 i P( x
ˆ j) P( x
ˆ j / x i ) log i P( x i )PD ( x
i 1 j1 n n
ˆ j / x i )Sd( x i , x ˆ j) P( x i )PD ( x
ˆ l / x k ) 1]} k [ PD ( x
n ˆ l ) log P( x ˆl) { P( x ˆ j / x i ) k 1 PD ( x
l 1
n
ˆ l / x k ) log PD ( x ˆ l / x k )] P( x k )PD ( x
(1)由 i P( x i )2
i 1
S
2
ˆ j) Sd ( x i , x
1 求含S的 i
j 1,2
1p 2 (1 p)2 1
1p2S 2 (1 p) 1
1 1 p(1 2 S ) 1 2 (1 p)(1 2 S )
信息率失真理论
表示
ˆ j )] P( x i x ˆ j )d ( x i , x ˆ j) D E[d( x i , x
n n i 1 j1 b b
ˆ )] D E[d(x, x
3、保真度准则
a

a
ˆ )d(x, x ˆ )dxd x ˆ p(xx
定义
平均失真度不大于给定的允许失真D
ˆ j )2 (2)由 P( x
j1
2
ˆ j) Sd ( x i , x
ˆ j) 1 / i求含S的P( x
i 1,2
ˆ 1 ) P( x ˆ 2 )2S p(1 2S ) P( x
ˆ 1 ) 2 S P( x ˆ 2 ) (1 p)(1 2S ) P(x
D 1 D 1 D D log p log (1 p) log 1 D p 1 p
信息率失真理论
ˆ / x) {p(x ˆ / x) : D D} 连续信源的实验信道 p D (x
实验信道转移概率密度函数
信息率失真理论
二、单符号离散信源的信息率失真函数
信源固定时，与等效信源间的平均互信息量是数 据处理信道转移概率分布的严格下凸函数，总能 在实验信道中找到一种信道转移概率分布，使实 验信道中传输的平均互信息量在保真度准则下达 到最小
ˆ j )d ( x i , x ˆ j) D D P( x i x
i 1 j1 n n
信息率失真理论
ˆ )在 P ( x ˆ j / xi ) 1 I(X; X D
j1
n
i 1,2, , n 和D D限制下的
条件极值
n n ˆ ) S[ P( x )P ( x ˆ l / x k )d ( x k , x ˆ l ) D] 令 {I(X; X k D ˆ j / xi ) PD ( x k 1 l 1
p (1 p)2 S ˆ 1) P( x 1 2S
(1 p) p2S ˆ 2) P( x 1 2S
信息率失真理论
ˆ j / x i ) i P( x ˆ j )2 (3)含S的PD (x
p (1 p)2 S ˆ 1 / x1 ) PD ( x p(1 2 2S )
i 2
ˆ j) Sd ( x i , x
i 1,2, , n
j 1,2, , n
ˆ j / x i ) i P( x ˆ j )2 PD (x
ˆ j) Sd ( x i , x
i 1,2,, n
j 1,2,, n
乘P(xi)对i求和
1 i P( x i ) 2
表示
汉明失真度——常用于离散信源 0 i j ˆ j) d( x i , x 1 i j
信息率失真理论
全部n×n个失真度——失真矩阵
ˆ 1 ) d ( x1 , x ˆ 2) d ( x1 , x d ( x , x ˆ 1 ) d( x 2 , x ˆ 2) 2 [ D] ... ... ˆ 1 ) d( x n , x ˆ 2) d ( x n , x ˆ n ) ... d( x1 , x ˆ n ) ... d( x 2 , x ... ... ˆ n ) ... d( x n , x
n
ˆ j) Sd ( x i , x
i 1 n
1 求含S的 i
j 1,2, , n
i 1,2,, n
ˆ j) Sd ( x i , x
ˆ j) 1 / i求含S的P( x
ˆ j) Sd ( x i , x
ˆ j / x i ) i P( x ˆ j )2 (3)含S的PD ( x i 1,2, , n j 1,2, , n
n ˆ j) ˆ j / x k )] P ( x i ) 注意到 P( x [ P( x k )PD ( x ˆ j / xi ) ˆ j / x i ) k 1 PD ( x PD ( x
n ˆ l ) log P( x ˆ l )] P( x i ) log P( x ˆ j ) log eP( x i ) [ P( x ˆ j / x i ) l1 PD ( x
i 1 j1
SD P( x i ) log i
i 1
n
信息率失真理论
2、二进制信源的信息率失真函数
X x 1 x 2 二进制信源 P ( X ) p 1 p 1 其中p 2
0 1 失真矩阵[D] 1 0
信息率失真理论
ˆ j / x i )d ( x i , x ˆ j) (4)由含S的D D P( x i )PD ( x 求S
i 1 j1
2
2
(1 p) p2S S p (1 p)2S S Dp 2 (1 p) 2 2S 2S p(1 2 ) (1 p)(1 2 )
信息率失真理论
第4章 信息率失真理论
教学内容和要求
理解保真度准则，理解实验信道 掌握二进制信源、等概率信源的信息率失真函 数 了解N次扩展信源的信息率失真函数
掌握高斯信源的信息率失真函数
信息率失真理论
一、保真度准则和实验信道
1、失真度
定义
单符号信源发出的消息x i或x与单符号等效信源收到的 ˆ j或x ˆ 间的非负函数d( x i , x ˆ j )或d( x, x ˆ) 消息x
汉明失真矩阵
0 1 [ D] ... 1 1 0 ... 1 ... ... ... ... 1 1 ... 0
信息率失真理论
平方误差失真度——常用于连续信源
平方误差失真函数
ˆ ) (x x ˆ )2 d( x, x
2、平均失真度
定义
失真度的数学期望
信息率失真理论
信息率失真理论
n n ˆ l / x k ) log PD ( x ˆ l / x k )] [ P( x k )PD ( x ˆ j / x i ) k 1 l1 PD ( x
ˆ j / x i ) P( x i ) log e P( x i ) log PD ( x
n n ˆ l / x k )d ( x k , x ˆ l ) D]} {S[ P( x k )PD ( x ˆ j / xi ) PD ( x k 1 l 1
i 1 n ˆ j) Sd ( x i , x
j 1,2, , n
对j求和
ˆ j )2 1 i P( x
j1 n ˆ j) Sd ( x i , x
i 1,2,, n
信息率失真理论
信息率失真函数
(1)由 i P( x i )2
ˆ j )2 (2)由 P( x
j1
(1 2S ) S 2S 2 2S 1 2 1 2S
D D 2 S log 1 D 1 D
S
信息率失真理论
(5)R (D) SD P( x i )log i
i 1
2
1 1 SD p log (1 p) log S p(1 2 ) (1 p)(1 2 S )
log ˆ j / xi ) PD ( x ˆ j) P( x i ˆ j) Sd( x i , x 0 P( x i )
i 1,2,, n j 1,2, , n i 记 log i P( x i ) log ˆ j / xi ) PD ( x ˆ j) P( x log 2
ˆ j) SP( x i )d( x i , x
n ˆ l / x i ) 1]} i { i [ PD ( x ˆ j / xi ) PD ( x l 1
i 1,2,, n j 1,2,, n
信息率失真理论
ˆ j ) P( x i ) log PD ( x ˆ j / x i ) SP( x i )d( x i , x ˆ j ) i 0 P( x i ) log P( x i 1,2,, n j 1,2,, n
n n i 1 j1
ˆ j / x i )d ( x i , x ˆ j )求S (4)由含S的D D P( x i )PD ( x
信息率失真理论
ˆ j / x i ) log (5)R (D) P( x i )PD ( x
i 1 j1
n
n
ˆ j / xi ) PD ( x ˆ j) P( x
ˆ j) Sd ( x i , x
log i log
ˆ j / xi ) PD (x ˆ j) P( x
log[ i 2
ˆ j) Sd ( x i , x
]0
i 1,2,, n j 1,2,, n
信息率失真理论
ˆ j / xi ) PD ( x ˆ j) P( x
(1 p) p2S S ˆ 2 / x1 ) PD ( x 2 2S p(1 2 )
ˆ j) Sd ( x i , x
i 1,2
j 1,2
p (1 p)2S S ˆ1 / x2) PD ( x 2 2S (1 p)(1 2 )
(1 p) p2S ˆ 2 / x2) 源自文库D ( x (1 p)(1 2 2S )
信息率失真理论
表示
DD
4、实验信道
定义
满足保真度准则的所有数据处理信道
信息率失真理论
表示
ˆ / X) {P(X ˆ / X) : D D} 离散信源的实验信道 PD (X
全部n×n个实验信道转移概率——实验信道矩阵
ˆ 1 / x 1 ) PD ( x ˆ1 / x2) PD ( x P (x ˆ 2 / x 1 ) PD ( x ˆ 2 / x2) D ˆ PD (X / X) ... ... ˆ n / x 1 ) PD ( x ˆ n / x2) PD ( x ˆ 1 / xn ) ... PD ( x ˆ 2 / x n ) ... PD ( x ... ... ˆ n / x n ) ... PD ( x
k 1 l 1
n
n
信息率失真理论
ˆ l / x k )d ( x k , x ˆ l ) D] S[ P( x k )PD ( x
k 1 l 1 n
n
n
ˆ l / x k ) 1]} 0 k [ PD ( x
l 1
i 1,2, , n j 1,2, , n