信息论与编码2012—ch4信息率失真函数2分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
( p( y j ) 0, j 1, 2, , m)
(4.7)
18
i 1
4.2.2 二元及等概率离散信源的信息率失真函数
第二步:求p(yj),由式(4.8)有
m
1 i p( y j )eSd (xi , y j )
j 1
(4.8)
2019/5/26
19
4.2.2 二元及等概率离散信源的信息率失真函数
(1) 二元离散信源的率失真函数
设二元信源
计算率失真函数R(D)
2019/5/26
16
4.2.2 二元及等概率离散信源的信息率失真函数
先求出Dmax
2019/5/26
17
4.2.2 二元及等概率离散信源的信息率失真函数
第一步:求λi,由式(4.7)有
n
2019/5/26
i p(xi )eSd (xi ,y j ) 1
世界上那些最容易 的事情中,拖延时间 最不费力。
2019/5/26
1
第七章 信息率失真函数
4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信道容量与信息率失真函数的比较 4.5 限失真信源编码定理
2019/5/26
2
4.2 离散信源的信息率失真函数
对离散信源,求R(D)与求C类似,是一个在有约束条件下求平均互信 息极值问题,只是约束条件不同;
(3) 参量S的说明
可以证明S就是R(D)函数 的斜率 。
斜率S必然负值;S是D 的递增函数,D从0变到 Dmax,S将逐渐增加;
当D=0时(R(D)的斜率): S的最小值趋于负无穷。
n
2019/5/26
R(S) SD(S) p(xi ) ln i
(4.11)
14
i 1
4.2.1 离散信源率失真函数的参量表达式
C是求平均互信息的条件极大值, R(D)是求平均互信息的条件极小值。
4.2.1 离散信源信息率失真函数的参量表达式 4.2.2 二元及等概率离散信源的信息率失真函数
2019/5/26
3
4.2.1 离散信源率失真函数的参量表达式
(1) 求极小值方法
用拉格朗日乘数法原则上可以求出最小值,但是要得到 它的显式一般是很困难的,通常只能求出信息率失真函 数的参量表达式。
第三步:求p(yj/xi),由式(4.6)有
p( y j / xi ) p( y j )ieSd (xi ,yj )
(4.6)
2019/5/26
20
4.2.2 二元及等概率离散信源的信息率失真函数
第四步:求D(S),将上述结果代入式(4.10)有
2019/5/26
nm
D(S)
p(xi ) p( y j )d (xi , y j )ieSd (xi , yj )
已知信源概率分布函数p(xi)和失真度d(xi , yj),在满足保
真度准则
的条件下,在试验信道集合PD当中选
择p(yj /xi),使平均互信息
2019/5/26
4
4.2.1 离散信源率失真函数的参量表达式
(2) 离散信源的信息率失真函数
已知平均互信息在(4.2)的(n+1)个条件限制下求I(X;Y)的 极值,引入拉格朗日乘数S和μi(i=1,2,…,n),构造一个 新函数
(4.6)
n
D
m p(xi ) p( y j / xi )d (xi , y j )
i1 j1
m
p( y j / xiΒιβλιοθήκη Baidu) 1
j 1
i 1, 2,
,n
(4.2)
2019/5/26
11
4.2.1 离散信源率失真函数的参量表达式
第五步:求R(S)
I(X ;Y )
i1 j1
(4.10)
21
4.2.2 二元及等概率离散信源的信息率失真函数
第五步:求R(S),将上述结果代入式(4.11)有
2019/5/26
n
R(S) SD(S) p(xi ) ln i i 1
当D=Dmax时:S达到最 大;这个最大值也是某 一个负值,最大是0。
当D>Dmax时:在 D=Dmax处,除某些特 例外,S将从某一个负 值跳到0,S在此点不 连续。在D的定义域[0, Dmax]内,除某些特例 外,S将是D的连续函 数。
2019/5/26
15
4.2.2 二元及等概率离散信源的信息率失真函数
y j ) i
0
(4.5)
8
4.2.1 离散信源率失真函数的参量表达式
第一步:求λi
p( y j / xi ) p( y j )ieSd (xi ,yj )
(4.6)
2019/5/26
9
4.2.1 离散信源率失真函数的参量表达式
第二步:求p(yj)
第三步:求p(yj/xi)
将解出的λi和p(yj)代入式(4.6),可求得mn个以S为参 量的p(yj/xi)。
n i1
m
p(xi ) p( y j
j 1
/ xi ) ln
p( y j / xi ) p( yj )
(4.1)
将这mn个p(yj /xi)代入(4.1)得到以S为参量的率失真函数 R(S)。
p( y j / xi ) p( y j )ieSd (xi ,yj )
(4.6)
2019/5/26
2019/5/26
5
4.2.1 离散信源率失真函数的参量表达式
2019/5/26
6
4.2.1 离散信源率失真函数的参量表达式
2019/5/26
7
4.2.1 离散信源率失真函数的参量表达式
2019/5/26
p(xi ) ln
p( y j / xi ) p( yj )
Sp(xi )d(xi ,
nm
D(S)
p(xi ) p( y j )d (xi , y j )ieSd (xi , yj )
i1 j1
(4.10) 12
4.2.1 离散信源率失真函数的参量表达式
第六步:选择使p(yj)非负的所有S,得到D和R值,可以画出R(D)曲
线,如下图。
2019/5/26
13
4.2.1 离散信源率失真函数的参量表达式
2019/5/26
p( y j / xi ) p( y j )ieSd (xi ,yj )
(4.6)
10
4.2.1 离散信源率失真函数的参量表达式
第四步:求D(S) 将这mn个p(yj /xi)代入(4.2)得到以S为参量的允许平均 失真函数D(S)。
p( y j / xi ) p( y j )ieSd (xi ,yj )