4.2 离散无记忆信源R(D)的计算解析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
y
而 （x ）p( x)dx ，即 x p( x)dx
2 2 2
2
D
Dmax min[ 2 2 2 y y 2 ]
y
2
2018/10/12
10
结论：
若失真函数为均方失真，即d(x,y)=(x-y)2时,连续 1 D 信源的信息率失真函数 R( D) ln( max ) ，且
2、
（1）信道容量C一旦求出来，则与信源分布无关（只是 证明存在这样的满足信道容量的信源分布），只和信道 转移概率分布p(yj/xi)有关。即信道容量和信源特性无 关，反映信道特性。 （2）信息率失真函数R(D)一旦求出来，则与信道转移 概率分布无关（只是证明存在达到最小信息率的试验信 道），只和信源概率分布p(xi)有关。即信息率失真函数 和信道特性无关，反映信源特性。
Dmax min p( xi )d ij
Y X
因为离散信源：
均方失真的连续信源的R(D)
R( D)
1 Dmax ln( ) 2 D
可直接当结论来应用
2018/10/12
8
例：设某连续信源X服从高斯分布，均值μ=0， 方差σ2，失真函数为均方失真即d(x,y)=(y-x)2
求它的信息率失真函数R(D)和Dmax。
2 D
Dmax min[ p( x)d ( x, y)dx]
y
同理：当失真函数为绝对失真即d(x,y)=|x-y|时， 指数分布的连续信源，当概率密度函数为
p( x)
2
e | x|时， R( D) ln
1 1 , Dmax D
2018/10/12
11
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4信道容量和信息率失真函数的比较
2018/10/12
12
4.4 信道容量和信息率失真函数的比较
相同点：二者都是求平均互信息的极值 不同点：
1、
（1）信道容量：选择某一信源分布的情况下，求 平均互信息的极大值。
例：已知离散无记忆信源
x2 X x1 0 1 ，求 P( X ) p 1 p ，其中p 2 ，失真矩阵为D 0 , 输出Y 0,1 Dmax，率失真函数R( D)。
2018/10/12
3
4.2 离散无记忆信源R(D)的计算
i
1
0, i j时 即 d ij ，i j
此时下式成立：
1 Dmax (1 ) n
D / D D R( D) ln(n) ln (1 ) ln(1 ) (n 1) D
可直接当结论来应用
2018/10/12
6
4.1 基本概念
是均方失真 解： 1 Dmax R( D) ln( ) 2 D
因此，需求Dmax
2 服从 ( 0 , )的高斯分布的概率密度 函数为： ：
p( x)
1 e 2
y
x2 2 2
代入得
1 2 R ( D ) ln( ) 2 D ln
Dmax min[ p( x)d ( x, y )dx] min[ p( x)(x y ) 2 dx]
第4章 信息率失真函数
2018/10/12
1
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2018/10/12
2
4.2 离散无记忆信源R(D)的计算
源自文库
参量表达式法求R(D)及P(Y/X)，具体推导略， 见p111页。
j
1 (1 p ) , 当p 2 时 1 p , 当p 时 2
（2）
D R( D) H ( p) H ( )
2018/10/12
4
R(D)随D的变化曲线
H(p)
Dmax=αp
2018/10/12
5
结论：
对于n元等概信源，有 p( x ) n , 其中 i 1, n，当失真 函数为对称失真时，
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2018/10/12
7
例：求d(x,y)=(y-x)2的Dmax和信息率失真 函数R(D)。 min[ p( x)d ( x, y)dx] 解：连续信源的Dmax， D
max y
X x1 x2 0 1 ，其中 p ，失真矩阵为 D , 输出Y 0,1 P( X ) p 1 p 2 0
Dj 解：（1） Dmax min j 0 min p 1 p j 0 min(1 p ) , p
依据：平均互信息I是信源概率分布p(xi)的严格上 凸函数。
（2）信息率失真函数：求选择某一试验信道（转 移概率分布）的情况下，依据保真度准则，求平均 互信息的极小值。
依据：平均互信息I是信道转移概率分布p(yj/xi)的 严格下凸函数。
13
2018/10/12
4.4 信道容量和信息率失真函数的比较
y ( x )2 2 2
Dmax min[ p( x)d ( x, y )dx] min[ p( x)(x y ) dx]
2 y
代入得
1 2 R ( D ) ln( ) 2 D ln
2
min[ x 2 p( x)dx 2 y xp( x)dx y 2 p( x)dx]
y
min[ x 2 p( x)dx 2 y xp( x)dx y 2 p( x)dx]
y
D
min[ 2 0 y 2 ]
y
2
2018/10/12 9
上题的扩展：若连续信源服从（μ，σ2）的高 斯分布，则再求上题。
解：先求Dmax：
服从(0, 2 )的高斯分布的概率密度 函数为： p ( x) 1 e 2
而 （x ）p( x)dx ，即 x p( x)dx
2 2 2
2
D
Dmax min[ 2 2 2 y y 2 ]
y
2
2018/10/12
10
结论：
若失真函数为均方失真，即d(x,y)=(x-y)2时,连续 1 D 信源的信息率失真函数 R( D) ln( max ) ，且
2、
（1）信道容量C一旦求出来，则与信源分布无关（只是 证明存在这样的满足信道容量的信源分布），只和信道 转移概率分布p(yj/xi)有关。即信道容量和信源特性无 关，反映信道特性。 （2）信息率失真函数R(D)一旦求出来，则与信道转移 概率分布无关（只是证明存在达到最小信息率的试验信 道），只和信源概率分布p(xi)有关。即信息率失真函数 和信道特性无关，反映信源特性。
Dmax min p( xi )d ij
Y X
因为离散信源：
均方失真的连续信源的R(D)
R( D)
1 Dmax ln( ) 2 D
可直接当结论来应用
2018/10/12
8
例：设某连续信源X服从高斯分布，均值μ=0， 方差σ2，失真函数为均方失真即d(x,y)=(y-x)2
求它的信息率失真函数R(D)和Dmax。
2 D
Dmax min[ p( x)d ( x, y)dx]
y
同理：当失真函数为绝对失真即d(x,y)=|x-y|时， 指数分布的连续信源，当概率密度函数为
p( x)
2
e | x|时， R( D) ln
1 1 , Dmax D
2018/10/12
11
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4信道容量和信息率失真函数的比较
2018/10/12
12
4.4 信道容量和信息率失真函数的比较
相同点：二者都是求平均互信息的极值 不同点：
1、
（1）信道容量：选择某一信源分布的情况下，求 平均互信息的极大值。
例：已知离散无记忆信源
x2 X x1 0 1 ，求 P( X ) p 1 p ，其中p 2 ，失真矩阵为D 0 , 输出Y 0,1 Dmax，率失真函数R( D)。
2018/10/12
3
4.2 离散无记忆信源R(D)的计算
i
1
0, i j时 即 d ij ，i j
此时下式成立：
1 Dmax (1 ) n
D / D D R( D) ln(n) ln (1 ) ln(1 ) (n 1) D
可直接当结论来应用
2018/10/12
6
4.1 基本概念
是均方失真 解： 1 Dmax R( D) ln( ) 2 D
因此，需求Dmax
2 服从 ( 0 , )的高斯分布的概率密度 函数为： ：
p( x)
1 e 2
y
x2 2 2
代入得
1 2 R ( D ) ln( ) 2 D ln
Dmax min[ p( x)d ( x, y )dx] min[ p( x)(x y ) 2 dx]
第4章 信息率失真函数
2018/10/12
1
4.1 基本概念
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2018/10/12
2
4.2 离散无记忆信源R(D)的计算
源自文库
参量表达式法求R(D)及P(Y/X)，具体推导略， 见p111页。
j
1 (1 p ) , 当p 2 时 1 p , 当p 时 2
（2）
D R( D) H ( p) H ( )
2018/10/12
4
R(D)随D的变化曲线
H(p)
Dmax=αp
2018/10/12
5
结论：
对于n元等概信源，有 p( x ) n , 其中 i 1, n，当失真 函数为对称失真时，
4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源R(D)的计算 4.4 信道容量和信息率失真函数的比较
2018/10/12
7
例：求d(x,y)=(y-x)2的Dmax和信息率失真 函数R(D)。 min[ p( x)d ( x, y)dx] 解：连续信源的Dmax， D
max y
X x1 x2 0 1 ，其中 p ，失真矩阵为 D , 输出Y 0,1 P( X ) p 1 p 2 0
Dj 解：（1） Dmax min j 0 min p 1 p j 0 min(1 p ) , p
依据：平均互信息I是信源概率分布p(xi)的严格上 凸函数。
（2）信息率失真函数：求选择某一试验信道（转 移概率分布）的情况下，依据保真度准则，求平均 互信息的极小值。
依据：平均互信息I是信道转移概率分布p(yj/xi)的 严格下凸函数。
13
2018/10/12
4.4 信道容量和信息率失真函数的比较
y ( x )2 2 2
Dmax min[ p( x)d ( x, y )dx] min[ p( x)(x y ) dx]
2 y
代入得
1 2 R ( D ) ln( ) 2 D ln
2
min[ x 2 p( x)dx 2 y xp( x)dx y 2 p( x)dx]
y
min[ x 2 p( x)dx 2 y xp( x)dx y 2 p( x)dx]
y
D
min[ 2 0 y 2 ]
y
2
2018/10/12 9
上题的扩展：若连续信源服从（μ，σ2）的高 斯分布，则再求上题。
解：先求Dmax：
服从(0, 2 )的高斯分布的概率密度 函数为： p ( x) 1 e 2