信息论PPT
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
本章主要内容
6.1 失真测度 6.1.1 失真函数 6.1.2 平均失真 6.1.3 保真度准则
6.2 信息率失真函数 6.2.1 信息率失真函数的定义 6.2.2 R(D)函数的性质 6.2.3 R(D)函数的计算
6.3 限失真信源编码定理
6.1 失真测度
一个典型的信息传输系统如图 6.1 所示。编码包含信源编码和信道编 码两大类，而信源编码又分为限失真信源编码和无失真信源编码。
计算 RD函数。
6.3 限失真信源编码定理
图 6.8 有失真压缩编码方法示例
信A 源
限
无
失
失
真 B 真C
信
信
源
源
编
编
码
码
信 道
D
编
码
信道
无
限
E
信 道 译
码
F
失 真 信 源 译
G
失 真 信 源 译
H信 宿
码
码
图 6.1 典型的信息传输系统
6.1.1 失真函数
6.1.2 平均失真
6.1.3 保真度准则
6.2 信息率失真函数
6.2.1 信息率失真函数的定义
6.2.2 R(D)函数的性质
【例 6.5】 设二元对称信源U {0,1}，其概率分布 P(u) ，
1 。而接收变量V {0,1}，设汉明失真矩阵为
2
D
0 1
1 0
计算这个信源的 Dmin 和 R(Dmin ) 。
【例 6.6】 设二元对称信源U 0,1 ，其概率分布
P(u) ， 1 。而接收变量V 0,1 ，采用
2 汉明失真测度，计算 Dmax 和 R(Dmax ) 。
2． R(D) 函数是允许失真度 D 的下凸函数
在允许失真度 D 的定义域， R(D) 是允许失真度 D 的下凸函数。即对
于任意 （ 0， 1）和任意失真度 D 、 D ( Dmax ) ，有
R( D D) R(D) R(D)
wk.baidu.com
（6.27）
6.2.3 R(D)函数的计算
应用拉格朗子乘子法，原则上可以求解 RD 函数。但是，由于在一般
情况下很难得到显函数表达式，只能得到用参量来描述的参量表达式。原则 上采用参量表达式方法可以求解，但是在实际计算中非常复杂，许多情况下 往往难以求得精确的解。所以目前常采用迭代逐级逼近的方法在计算机上来
6.1 失真测度 6.1.1 失真函数 6.1.2 平均失真 6.1.3 保真度准则
6.2 信息率失真函数 6.2.1 信息率失真函数的定义 6.2.2 R(D)函数的性质 6.2.3 R(D)函数的计算
6.3 限失真信源编码定理
6.1 失真测度
一个典型的信息传输系统如图 6.1 所示。编码包含信源编码和信道编 码两大类，而信源编码又分为限失真信源编码和无失真信源编码。
计算 RD函数。
6.3 限失真信源编码定理
图 6.8 有失真压缩编码方法示例
信A 源
限
无
失
失
真 B 真C
信
信
源
源
编
编
码
码
信 道
D
编
码
信道
无
限
E
信 道 译
码
F
失 真 信 源 译
G
失 真 信 源 译
H信 宿
码
码
图 6.1 典型的信息传输系统
6.1.1 失真函数
6.1.2 平均失真
6.1.3 保真度准则
6.2 信息率失真函数
6.2.1 信息率失真函数的定义
6.2.2 R(D)函数的性质
【例 6.5】 设二元对称信源U {0,1}，其概率分布 P(u) ，
1 。而接收变量V {0,1}，设汉明失真矩阵为
2
D
0 1
1 0
计算这个信源的 Dmin 和 R(Dmin ) 。
【例 6.6】 设二元对称信源U 0,1 ，其概率分布
P(u) ， 1 。而接收变量V 0,1 ，采用
2 汉明失真测度，计算 Dmax 和 R(Dmax ) 。
2． R(D) 函数是允许失真度 D 的下凸函数
在允许失真度 D 的定义域， R(D) 是允许失真度 D 的下凸函数。即对
于任意 （ 0， 1）和任意失真度 D 、 D ( Dmax ) ，有
R( D D) R(D) R(D)
wk.baidu.com
（6.27）
6.2.3 R(D)函数的计算
应用拉格朗子乘子法，原则上可以求解 RD 函数。但是，由于在一般
情况下很难得到显函数表达式，只能得到用参量来描述的参量表达式。原则 上采用参量表达式方法可以求解，但是在实际计算中非常复杂，许多情况下 往往难以求得精确的解。所以目前常采用迭代逐级逼近的方法在计算机上来