42 离散无记忆信源RD的计算万方通信

第4章 信息率失真函数
2020/3/8
1
4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2020/3/8
2
4.2 离散无记忆信源R(D)的计算
参量表达式法求R(D)及P(Y/X)，具体推导略， 见p111页。
设有某一信源的信息率失真函数为R(D)，选择有 限的失真函数d，对于任意允许的平均失真度D， 当压缩后的信息率 R>R(D)
y2
]
2
代入得
R(D)

1

ln(
2
)
2D
ln
D
2020/3/8
10
结论：
若失真函数为均方失真，即d(x,y)=(x-y)2时,连续 信源的信息率失真函数 R(D) 1 ln(，Dm且ax)
2D
Dmax

min y
[
p(x)d (x, y)dx]
同理：当失真函数为绝对失真即d(x,y)=|x-y|时， 指数分布的连续信源，当概率密度函数为
min[ p(x)(x y)2 dx] y
myin[ x2 p(x)dx 2 y xp(x)dx y2 p(x)dx]
而（x ）2 p(x)dx 2，即 x2 p(x)dx 2 2

Dm a x

min[ y
2


2

2 y

min[ 2 0 y2 ] y
2
2020/3/8
9
上题的扩展：若连续信源服从（μ，σ2）的高斯 分布，则再求上题。
解：先求Dmax：
服从(0, 2 )的高斯分布的概率密度函数为：
p(x)
1
e
(
x) 2 2
2
2
Dm a x

min[ y
p(x)d (x, y)dx]
1时

2
（2） R(D) H ( p) H ( D)

2020/3/8
4
R(D)随D的变化曲线
H(p) Dmax=αp
2020/3/8
5
结论：

对于n元等概信源，有 p(xi ) 函数为对称失真时，

1 n
, 其中i
1,
n，当失真
即
0,i j时
dij ，i j
2020/3/8
7
例：求d(x,y)=(y-x)2的Dmax和信息率失 真函数R(D)。

解：连续信源的Dmax，
Dmax

min [ y
p(x)d (x, y)dx]
因为离散信源：
Dm ax

min Y
X
p( xi )dij
均方失真的连续信源的R(D)
R(D) 1 ln( Dmax ) Biblioteka Baidu直接当结论来应用 2D
p(x)


2
e|x|时，R(D)

ln
1
D
,
Dm a x

1

2020/3/8
11
4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4信道容量和信息率失真函数的比较
2020/3/8
12
4.4 信道容量和信息率失真函数的比较
相同点：二者都是求平均互信息的极值
2020/3/8
13
4.4 信道容量和信息率失真函数的比较
2、
（1）信道容量C一旦求出来，则与信源分布无关（只是 证明存在这样的满足信道容量的信源分布），只和信道 转移概率分布p(yj/xi)有关。即信道容量和信源特性无关， 反映信道特性。
（2）信息率失真函数R(D)一旦求出来，则与信道转移 概率分布无关（只是证明存在达到最小信息率的试验信 道），只和信源概率分布p(xi)有关。即信息率失真函数 和信道特性无关，反映信源特性。
2020/3/8
14
4.4 信道容量和信息率失真函数的比较
3、
（1）信道容量是通过信道编码增加信息冗余度 来提高通信的可靠性，是信息传输的理论基础。
（2）信息率失真函数是通过信源编码减少信息 冗余度来提高通信有效性，是信源压缩的理论基 础。
2020/3/8
15
保真度准则下的信源编码定理

p
1
x2
p，其中p

1 2
，失真矩阵为D

0


0
,
输出Y
0,1

解：（1）
Dm a x

min j
D
j
minp
j
1 p0

0


min(1 p) , p j

(1 p) ,当p

p ,当p
1时 2
不同点：
1、
（1）信道容量：选择某一信源分布的情况下，求 平均互信息的极大值。
依据：平均互信息I是信源概率分布p(xi)的严格上凸 函数。
（2）信息率失真函数：求选择某一试验信道（转 移概率分布）的情况下，依据保真度准则，求平均 互信息的极小值。
依据：平均互信息I是信道转移概率分布p(yj/xi)的严 格下凸函数。
例：已知离散无记忆信源
X P( X
)

x1

p
1
x2
p，其中p

1 ，失真矩阵为D 2

0
Dmax，率失真函数R(D)。
0
,
输出Y

0,1，求
2020/3/8
3
4.2 离散无记忆信源R(D)的计算

X P( X
)

x1
p(x)
1
e
x2 2 2
2
代入得
1 2 R(D) ln( )
2D ln
D
Dmax

min[ y
p(x)d(x, y)dx]
min[ p(x)(x y)2 dx] y
myin[ x2 p(x)dx 2 y xp(x)dx y2 p(x)dx]
2020/3/8
8
例：设某连续信源X服从高斯分布，均值μ=0， 方差σ2，失真函数为均方失真即d(x,y)=(y-x)2
求它的信息率失真函数R(D)和Dmax。
解： 是均方失真
R(D) 1 ln( Dmax ) 2D
因此，需求Dmax：服从(0, 2 )的高斯分布的概率密度函数为：
此时下式成立：
Dm a x

(1
1 )
n
D
D/
D
D
R(D) ln(n) ln
(1 ) ln(1 )
(n 1)


可直接当结论来应用
2020/3/8
6
4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较