第七章_保真度准则下的信源编码
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
V
min[ P(0)d (0,0) P(1)d (1,0); P(0)d (0,1) P(1)d (1,1)]
min[(1 ), ]
V
U
要达到最大允许失真，唯一确定
0 1 P 0 1
此时，可计算得信息传输率
I (U ;V ) 0
一般情况下，当 0 D Dmax 时，
信源 试验信道
信宿
我们称此信道为试验信道。 现在我们要研究在给定允许失真的条件下，是否可以设计一种信 源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设信源变量为 U {u1, u2 ,...ur }，其概率分布为 P(u) [P(u1 )...P(ur )] 接受端变量为 V {v1 , v2 ,...vs }， 对于每一对(u,v)，我们指定一个非负的函数
Q(v ) V U Q(v ) V
可以这样选 Q ( v ) ，当 d ' (v ) 最小时，取Q ( v )等于1，则：
Dmax min d ' (v) min P(u)d (u, v)
V V U
R( D) 0, 而当 Dmin D Dmax 时 当D Dmax 时，
H (U ) R( D) 0
d (ui , v j ) 0
称为单个符号的失真度（或称失真函数）
7.1 失真度和平均失真度
失真函数用来表征信源发出一个符号 ui ，而在接收端再 现成符号 v j 所引起的误差或失真。d越小表示失真越小， 等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式：
d (u1 , v1 ) d (u1 , v2 ) ... d (u1 , vs ) d (u , v ) d (u , v ) ... d (u , v ) 2 1 2 2 2 s D ... d ( u , v ) d ( u , v ) ... d ( u , v ) r 1 r 2 r s
d (C ) 1 N
P(U )d [u, f (u)]
U
1 1 1 [0 1 1 1 0 1 1 1] 3 8 4
信息率为1/3，而平均失真为1/4，根据香农第三定理， 若允许失真D=1/4时，总可以找到一种编码，使信息输出 率达到极限R(1/4)
1 1 R ( ) 1 H ( ) 0.189 4 4
1 0 D 0 1
Βιβλιοθήκη Baidu
7.1 失真度和平均失真度
例2：删除信源
s r 1
0 i j d (ui , v j ) 1 i j (除j=s以外的所有i和所有j） 1/ 2 j s(所有i )
对于二元删除信源r=2,s=3
0 1/ 2 1 D 1 1/ 2 0
u5 111 u6 110 v2 111 1 u7 101 u8 011
7.6 有失真信源编码定理的实用意义
这种编码方法，可以看成是一种特殊的试验信道
1 v j C , v j f (ui ) P(v j / ui ) v j f (ui ) 0
0 1 1/ 2 D 1 0 1/ 2
Dmin P(ui )0 0
i 1 r
7.2 信息率失真函数及其性质
满足最小失真度的试验信道是一个无噪无损信道：
1 0 0 P 0 1 0
(2) Dmax和R( Dmax )
因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只 能为0，此时，发送与接收统计独立，即：
7.1 失真度和平均失真度
1、失真度 信源 信源 编码 信道 编码
信道
信道 译码
信源 译码
信宿
干扰 根据信道编码定理，我们可以把信道编码、信道和信道解 码等价成是一个没有任何干扰的广义信道，这样收信者收到 消息后，所产生的失真只是由信源编码带来的。我们也可以 把信源编码和信源译码等价成一个信道。
7.1 失真度和平均失真度
P( v / u ) Q ( v )
失真度函数变为：
D P(u)Q(v)d (u, v)
U ,V
7.2 信息率失真函数及其性质
所以， Dmax 就是在R(D)=0的情况下，求 D 的最小值
Dmax min P(u)Q(v)d (u, v)
Q(v ) U ,V
上式可改写为
Dmax min Q(v) P(u)d (u, v) min Q(v)d ' (v)
第7章 保真度准则下的信源编码
7.1 失真度和平均失真度
7.2 信息率失真函数及其性质
7.3 二元信源和离散对称信源的R(D)函数
7.4 保真度准则下的信源编码定理 7.5 联合有失真信源信道编码定理 7.6 有失真信源编码定理的实用意义
7.1 失真度和平均失真度
在实际生活中，人们不一定要求完全无失真的恢复消息， 也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压 缩到什么程度，也就是，允许一定程度失真的条件下，如何 能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据 压缩的理论基础。
7.5 联合有失真信源信道编码定理
定理7.3 （信息－传输定理）离散无记忆信源的S的信息率 失真函数为R(D)，离散无记忆信道的信道容量C，若满足
C R( D )
则信源输出的信源序列能在此信道输出端重现，其失真小 于等于D。 定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每 秒钟输出1/Ts个信源符号，离散无记忆信道的信道容量C，每 秒输出 1/Tc个信源符号，若满足
我们称它为失真矩阵。
7.1 失真度和平均失真度
例1：
0 当ui vj d (ui , v j ) 1 当ui vj
0 1 ... 1 1 0 ... 1 D ... 1 1 ... 0
这种失真成为汉明失真
失真矩阵为：
在二元情况下：
7.2 信息率失真函数及其性质
2)、 R(D)函数的单调递减性和连续性 R(D)
0
Dmin
Dmax
D
7.3 二元信源和离散对称信源的R(D)函数
1、二元对称信源的R(D)函数 1 设二元信源U={0,1}，其分布概率 P(u) [,1 ] ， 2 而接收变量v={0,1}，设汉明失真矩阵为：
7.1 失真度和平均失真度
例3：对称信源r=s，定义失真度为：
d (ui , v j ) (v j ui )2
当r=s=3时， U 0 1 2 失真矩阵为：
0 1 4 D 1 0 1 4 1 0
V 0 1 2
7.1 失真度和平均失真度
2、平均失真度
0 1 D 1 0
因而最小失真度 Dmin 0 。并能找到满足该最小失真的试 验信道，且是一个无噪无损信道，其信道矩阵为：
1 0 P 0 1
R(0) I (U ;V ) H ()
7.3 二元信源和离散对称信源的R(D)函数
Dmax min P(u)d (u, v )
7.6 有失真信源编码定理的实用意义
香农第三定理是一个存在定理，至于如何寻找这种最佳 编码方法并没有给出，在实际应用中，存在一下两方面的 问题： 1、符合实际信源的R(D)函数的计算相当困难。 1）需要对实际信源的统计特性有确切的描述 2）需要对符合主客观实际的失真给予正确的描述 3）即使满足了前两条，R(D)的计算也比较困难
例： 0.4
D 0.2
R( D) H (0.4) H (0.2) 0.249
7.3 二元信源和离散对称信源的R(D)函数
对于离散对称信源，在汉明失真条件下：
1 log r D log( r 1) H ( D ) 0 D 1 r R( D ) 1 0 D 1 r
C R( D ) TC TS
则信源输出的信源序列能在此信道输出端重现，其失真小 于等于D。
7.5 联合有失真信源信道编码定理
定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每 秒钟输出1/ Ts 个信源符号，离散无记忆信道的信道容量C，每 秒输出 1/ TC个信源符号，若满足
C R( D ) TC TS
7.4 保真度准则下的信源编码定理
定理7.1 保真度准则下的信源编码定理 设R(D)为一离散无记忆信源的信息率失真函数，并且有有 限的失真测度。对于任意的 D 0, 0, 0 ，以及任意足够长 的码长n，则一定存在一种信源编码C，其码字个数为
M e{n[ R ( D ) ]}
定理7.2（信源编码逆定理）不存在平均失真度D，而平均 R' R( D)的任何信源编码。即对任意码长n的信源码 信息传输率 )] C，若码字个数 M 2n[ R ( D，一定 d(C)>D 该定理告诉我们：如果编码后平均每个信源符号的信息传 输率R’小于信息率失真函数R(D)，就不能在保真度准则下 再现信源的消息。
DD
凡满足保真度准则的这些试验信道称为D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号 BD 表示。
7.2 信息率失真函数及其性质
1、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则 下寻找平均互信息的最小值。也就是在 BD 中找一个信道，使 平均互信息取极小值。这个最小值就是在 D D 的条件下， 信源必须传输的最小平均信息量。
而编码后的平均失真度 d (C ) D 如果用二元编码，则： 该定理称为香农第三定理。它告诉我们，对于任何失真度 D，只要码长足够长，总可以找到一种编码C，使编码后的 log M 每个信源符号的信息传输率 R' R( D )
n
M 2{n[ R ( D ) ]}
7.4 保真度准则下的信源编码定理
U ,V
D E[d ] p(u, v)d (u, v)
P(u 0, v 1) P(u 1, v 0) PE
7.3 二元信源和离散对称信源的R(D)函数
可以计算得：二元信源得信息率失真函数为 R( D) H () H ( D) 在汉明失真条件下，
H () H ( D) 0 D R( D ) 0 D
R( D) min{I (U ;V )}
BD
改变试验信道求平均互信息的最小值，实质上是选择一种 编码方式使信息传输率为最小。
7.2 信息率失真函数及其性质
2、信息率失真函数的性质
1)、R(D)的定义域是(0, Dmax ) (1)、 Dmin 和 R( Dmin ) 允许失真度D的最小值为0，即不允许有失真，这要求失真 矩阵中每行至少有一个为0。 R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵 例：
D E[d (ui , v j )]
若已知试验信道的传递概率，则平均失真度为：
D P(u, v)d (u, v) P(ui ) P(v j / ui )d (ui , v j )
U ,V i 1 j 1 r s
若平均失真度 D 不大于我们所允许的失真D，我们称此为 保真度准则。
则信源输出的信源序列能在此信道输出端重现，其失真小 于等于D。
7.6 有失真信源编码定理的实用意义
例：
1 U 0 P(u) 1/ 2 1/ 2
要对此信源进行无失真编码，每个信源符号必须用一个二元 符号来表示，信源的信息输出率为R=H=1。若允许失真存在， 并定义失真函数为汉明失真，即
0 ui v j d (u, v ) 1 ui v j
可以设想这样一种信源编码：
7.6 有失真信源编码定理的实用意义
u1 000 u2 001 v1 000 0 u3 010 u4 100
0 000
无噪无损 信道传输
1 111
min[ P(0)d (0,0) P(1)d (1,0); P(0)d (0,1) P(1)d (1,1)]
min[(1 ), ]
V
U
要达到最大允许失真，唯一确定
0 1 P 0 1
此时，可计算得信息传输率
I (U ;V ) 0
一般情况下，当 0 D Dmax 时，
信源 试验信道
信宿
我们称此信道为试验信道。 现在我们要研究在给定允许失真的条件下，是否可以设计一种信 源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设信源变量为 U {u1, u2 ,...ur }，其概率分布为 P(u) [P(u1 )...P(ur )] 接受端变量为 V {v1 , v2 ,...vs }， 对于每一对(u,v)，我们指定一个非负的函数
Q(v ) V U Q(v ) V
可以这样选 Q ( v ) ，当 d ' (v ) 最小时，取Q ( v )等于1，则：
Dmax min d ' (v) min P(u)d (u, v)
V V U
R( D) 0, 而当 Dmin D Dmax 时 当D Dmax 时，
H (U ) R( D) 0
d (ui , v j ) 0
称为单个符号的失真度（或称失真函数）
7.1 失真度和平均失真度
失真函数用来表征信源发出一个符号 ui ，而在接收端再 现成符号 v j 所引起的误差或失真。d越小表示失真越小， 等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式：
d (u1 , v1 ) d (u1 , v2 ) ... d (u1 , vs ) d (u , v ) d (u , v ) ... d (u , v ) 2 1 2 2 2 s D ... d ( u , v ) d ( u , v ) ... d ( u , v ) r 1 r 2 r s
d (C ) 1 N
P(U )d [u, f (u)]
U
1 1 1 [0 1 1 1 0 1 1 1] 3 8 4
信息率为1/3，而平均失真为1/4，根据香农第三定理， 若允许失真D=1/4时，总可以找到一种编码，使信息输出 率达到极限R(1/4)
1 1 R ( ) 1 H ( ) 0.189 4 4
1 0 D 0 1
Βιβλιοθήκη Baidu
7.1 失真度和平均失真度
例2：删除信源
s r 1
0 i j d (ui , v j ) 1 i j (除j=s以外的所有i和所有j） 1/ 2 j s(所有i )
对于二元删除信源r=2,s=3
0 1/ 2 1 D 1 1/ 2 0
u5 111 u6 110 v2 111 1 u7 101 u8 011
7.6 有失真信源编码定理的实用意义
这种编码方法，可以看成是一种特殊的试验信道
1 v j C , v j f (ui ) P(v j / ui ) v j f (ui ) 0
0 1 1/ 2 D 1 0 1/ 2
Dmin P(ui )0 0
i 1 r
7.2 信息率失真函数及其性质
满足最小失真度的试验信道是一个无噪无损信道：
1 0 0 P 0 1 0
(2) Dmax和R( Dmax )
因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只 能为0，此时，发送与接收统计独立，即：
7.1 失真度和平均失真度
1、失真度 信源 信源 编码 信道 编码
信道
信道 译码
信源 译码
信宿
干扰 根据信道编码定理，我们可以把信道编码、信道和信道解 码等价成是一个没有任何干扰的广义信道，这样收信者收到 消息后，所产生的失真只是由信源编码带来的。我们也可以 把信源编码和信源译码等价成一个信道。
7.1 失真度和平均失真度
P( v / u ) Q ( v )
失真度函数变为：
D P(u)Q(v)d (u, v)
U ,V
7.2 信息率失真函数及其性质
所以， Dmax 就是在R(D)=0的情况下，求 D 的最小值
Dmax min P(u)Q(v)d (u, v)
Q(v ) U ,V
上式可改写为
Dmax min Q(v) P(u)d (u, v) min Q(v)d ' (v)
第7章 保真度准则下的信源编码
7.1 失真度和平均失真度
7.2 信息率失真函数及其性质
7.3 二元信源和离散对称信源的R(D)函数
7.4 保真度准则下的信源编码定理 7.5 联合有失真信源信道编码定理 7.6 有失真信源编码定理的实用意义
7.1 失真度和平均失真度
在实际生活中，人们不一定要求完全无失真的恢复消息， 也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压 缩到什么程度，也就是，允许一定程度失真的条件下，如何 能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据 压缩的理论基础。
7.5 联合有失真信源信道编码定理
定理7.3 （信息－传输定理）离散无记忆信源的S的信息率 失真函数为R(D)，离散无记忆信道的信道容量C，若满足
C R( D )
则信源输出的信源序列能在此信道输出端重现，其失真小 于等于D。 定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每 秒钟输出1/Ts个信源符号，离散无记忆信道的信道容量C，每 秒输出 1/Tc个信源符号，若满足
我们称它为失真矩阵。
7.1 失真度和平均失真度
例1：
0 当ui vj d (ui , v j ) 1 当ui vj
0 1 ... 1 1 0 ... 1 D ... 1 1 ... 0
这种失真成为汉明失真
失真矩阵为：
在二元情况下：
7.2 信息率失真函数及其性质
2)、 R(D)函数的单调递减性和连续性 R(D)
0
Dmin
Dmax
D
7.3 二元信源和离散对称信源的R(D)函数
1、二元对称信源的R(D)函数 1 设二元信源U={0,1}，其分布概率 P(u) [,1 ] ， 2 而接收变量v={0,1}，设汉明失真矩阵为：
7.1 失真度和平均失真度
例3：对称信源r=s，定义失真度为：
d (ui , v j ) (v j ui )2
当r=s=3时， U 0 1 2 失真矩阵为：
0 1 4 D 1 0 1 4 1 0
V 0 1 2
7.1 失真度和平均失真度
2、平均失真度
0 1 D 1 0
因而最小失真度 Dmin 0 。并能找到满足该最小失真的试 验信道，且是一个无噪无损信道，其信道矩阵为：
1 0 P 0 1
R(0) I (U ;V ) H ()
7.3 二元信源和离散对称信源的R(D)函数
Dmax min P(u)d (u, v )
7.6 有失真信源编码定理的实用意义
香农第三定理是一个存在定理，至于如何寻找这种最佳 编码方法并没有给出，在实际应用中，存在一下两方面的 问题： 1、符合实际信源的R(D)函数的计算相当困难。 1）需要对实际信源的统计特性有确切的描述 2）需要对符合主客观实际的失真给予正确的描述 3）即使满足了前两条，R(D)的计算也比较困难
例： 0.4
D 0.2
R( D) H (0.4) H (0.2) 0.249
7.3 二元信源和离散对称信源的R(D)函数
对于离散对称信源，在汉明失真条件下：
1 log r D log( r 1) H ( D ) 0 D 1 r R( D ) 1 0 D 1 r
C R( D ) TC TS
则信源输出的信源序列能在此信道输出端重现，其失真小 于等于D。
7.5 联合有失真信源信道编码定理
定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每 秒钟输出1/ Ts 个信源符号，离散无记忆信道的信道容量C，每 秒输出 1/ TC个信源符号，若满足
C R( D ) TC TS
7.4 保真度准则下的信源编码定理
定理7.1 保真度准则下的信源编码定理 设R(D)为一离散无记忆信源的信息率失真函数，并且有有 限的失真测度。对于任意的 D 0, 0, 0 ，以及任意足够长 的码长n，则一定存在一种信源编码C，其码字个数为
M e{n[ R ( D ) ]}
定理7.2（信源编码逆定理）不存在平均失真度D，而平均 R' R( D)的任何信源编码。即对任意码长n的信源码 信息传输率 )] C，若码字个数 M 2n[ R ( D，一定 d(C)>D 该定理告诉我们：如果编码后平均每个信源符号的信息传 输率R’小于信息率失真函数R(D)，就不能在保真度准则下 再现信源的消息。
DD
凡满足保真度准则的这些试验信道称为D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号 BD 表示。
7.2 信息率失真函数及其性质
1、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则 下寻找平均互信息的最小值。也就是在 BD 中找一个信道，使 平均互信息取极小值。这个最小值就是在 D D 的条件下， 信源必须传输的最小平均信息量。
而编码后的平均失真度 d (C ) D 如果用二元编码，则： 该定理称为香农第三定理。它告诉我们，对于任何失真度 D，只要码长足够长，总可以找到一种编码C，使编码后的 log M 每个信源符号的信息传输率 R' R( D )
n
M 2{n[ R ( D ) ]}
7.4 保真度准则下的信源编码定理
U ,V
D E[d ] p(u, v)d (u, v)
P(u 0, v 1) P(u 1, v 0) PE
7.3 二元信源和离散对称信源的R(D)函数
可以计算得：二元信源得信息率失真函数为 R( D) H () H ( D) 在汉明失真条件下，
H () H ( D) 0 D R( D ) 0 D
R( D) min{I (U ;V )}
BD
改变试验信道求平均互信息的最小值，实质上是选择一种 编码方式使信息传输率为最小。
7.2 信息率失真函数及其性质
2、信息率失真函数的性质
1)、R(D)的定义域是(0, Dmax ) (1)、 Dmin 和 R( Dmin ) 允许失真度D的最小值为0，即不允许有失真，这要求失真 矩阵中每行至少有一个为0。 R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵 例：
D E[d (ui , v j )]
若已知试验信道的传递概率，则平均失真度为：
D P(u, v)d (u, v) P(ui ) P(v j / ui )d (ui , v j )
U ,V i 1 j 1 r s
若平均失真度 D 不大于我们所允许的失真D，我们称此为 保真度准则。
则信源输出的信源序列能在此信道输出端重现，其失真小 于等于D。
7.6 有失真信源编码定理的实用意义
例：
1 U 0 P(u) 1/ 2 1/ 2
要对此信源进行无失真编码，每个信源符号必须用一个二元 符号来表示，信源的信息输出率为R=H=1。若允许失真存在， 并定义失真函数为汉明失真，即
0 ui v j d (u, v ) 1 ui v j
可以设想这样一种信源编码：
7.6 有失真信源编码定理的实用意义
u1 000 u2 001 v1 000 0 u3 010 u4 100
0 000
无噪无损 信道传输
1 111