第5章限失真讲义信源编码
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解：由失真函数和失真矩阵可得出：
D
0 1
1 0
0.5 0.5
第5章 限失真信源编码
2.误差失真函数 误差失真函数有两种，一种是：
d (xi , y j ) | xi y j |
称为绝对值误差失真函数。之所以取绝对值，是为了保证失真函数为非负。负的失 真函数违反数据处理定理，不可以使用。由于绝对值处理麻烦，因而应用很少。
D≤ D
(5-4)
第5章 限失真信源编码
这时， D 就是允许失真的上界，是由设计要求决定的，式（5-4）就称为保真度 准则，人为地定义出一个对系统平均失真度的技术要求。
显然，式 (5-3) 中，凡是 D 值小于等于 D 值的所有信道（用信道统计特性 p( y j | xi ) 表示），都是满足平均失真度要求的信道，
第5章限失真信源编 码
引言
第5章 限失真信源编码
在上一章，讨论了离散信源的无失真信源编码，这种编码是无失真的保熵 编码，但是无失真的保墒编码并非是必须的，有时候也不可能实现。 案例一：
在传送语音信号时，由于人耳接受的带宽和分辨率是有限的，因此可以把 频谱范围从20HZ~20KHZ的与音信号去掉低端和高端的频率，看成带宽只有 300HZ~400HZ的信号。这样虽然会有一些失真，但是这些失真是允许的。 案例二:
经过信道传输后接收端的离散变量 Y 的概率空间为：
Y P(Y
)
y1
p( y1
)
y2 p(y2 )
yn p( yn )
对于每一对 (xi , y j ) ，指定一个非负的函数 d(xi , y j ) ≥ 0, i 1, 2 ,, m ; j 1 , 2 ,, n ， 称 d (xi , y j ) 为单位符号的失真度或失真函数，用它来表示信源发出一个符号 xi ，而在接收端再
其中一个最差的信道就是传信率 R I (X;Y ) 最小，但仍是能满足平均失真度要 求的信道，而更差的信道必然不能满足平均失真度的要求。可见，把保真度准则作 为约束条件，再求信道传信率 R 的最小值，就是一个不为零的有实际意义的值了。 要找出一个最差但仍能满足平均失真度要求的信道，是为了用最低的代价满足通信 的失真要求。
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（5-3）， D 就只与信道特性有关，把所有满足保真度 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ，即：
真函数有： 1.汉明失真函数
d(xi ,
yj
)
0 1百度文库
xi xi
yj yj
(5-2)
在离散对称信道(m=n)中，定义单个符号的失真度为汉明失真，它表示当再现的接收符号 与发送的信源符号相同时，就不存在失真的错误，所以失真度 d(xi , y j ) 0 。当再现的接收符 号与发送符号不同时，就有失真存在，而且认为发送符号与再现符号不同时所引起的失真都相
d (x1, y1 ) d (x2 , y2 ) d (x1, yn )
D
d (x2 ,
y1)
d(x2, y2 )
d
(
x
2
,
y
n
)
d (xm , y1 )
d(xm , y2 )
d(xm , yn )
(5-1)
D 称为失真矩阵，它是一个 m n 阶矩阵。 失真函数是根据人们的实际需要和失真引起的损失、风险大小等人为规定的。常用的失
现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真，而 d(xi , y j ) 0 表示没
有失真。由于信源 X 有 m 个符号，信道传输 Y 有 n 个符号，所以 d (xi , y j ) 有 m n 个，这 m n
个非负的函数可以排列成矩阵形式，即：
第5章 限失真信源编码
同，所以失真度 d (xi , y j ), xi y j 为常数，通常取值为 1，这种失真称为汉明失真。
第5章 限失真信源编码
汉明失真矩阵 D 通常为方阵，且对角线上的元素为 0。即：
0 1 1 1
1 0 1 1
D
1 1 1 0
D 是 m m 阶方阵。
例 题：
设信道输入 X {0 , 1}，输出 Y {0 , 1, 2}，规定失真函数 d(0 , 0) d(1,1) 0 ， d(0 ,1) d(1, 0) 1， d(0 , 2) d(2 , 0) 0.5 ，求 D 。
D E[d (xi , y j )]
mn
p(xi y j )d(xi y j )
i1 j1
mn
p(xi ) p( y j | xi )d(xi y j )
i1 j1
(5-3)
它是在 X,Y 的联合概率空间求平均。
为了系统能满足使用要求，技术上往往要求平均失真度 D 不大于某个额定值 D ，即：
在传送活动图像时，由于人眼的视觉暂留特性，我们只需每秒钟传送25帧 的静止图像,人们看到的就是连贯的活动图像。所以在实际生活中，通常总是要 求在保证一定质量的前提下，在信宿近似地再现信源输出的信息。因此，实际 的信息传输率可以降低。 案例三:
音乐信号可以由CD格式压缩为MP3格式，其容量仅为原始信源信息量的 11%，而音质却没有明显的下降。而VS1格式居然可以把语音信号压缩到原来 的1%~2%，其可懂度没有明显下降。
另一种是：
d(xi , y j ) （xi y j）2
称为平方误差失真函数。也有一个对应的失真矩阵，矩阵中的非零元素表示发送 xi ， 接收 y j 所引起的失真。取平方主要也是为了保证失真函数为负数。
第5章 限失真信源编码
5.1.2 平均失真度
由于 X,Y 都是随机变量，故单个符号失真度 d (xi , y j ) 也是随机变量，显然，规定了 单个符号失真度 d (xi , y j ) 之后，传输一个符号引起的平均失真，即信源的平均失真度为：
由上述案例可知：实际应用上，其实允许一定的失真存在，于是对信息速 率的要求就可以降低，问题是可以降低到什么程度呢？这就需要对信息率失真 函数进行理论研究。
5.1失真测度
第5章 限失真信源编码
5.1.1 失真函数
设离散信源 X 为：
X P(
X
)
x1 p( x1
)
x2 p(x2 )
xm p(xm )
D
0 1
1 0
0.5 0.5
第5章 限失真信源编码
2.误差失真函数 误差失真函数有两种，一种是：
d (xi , y j ) | xi y j |
称为绝对值误差失真函数。之所以取绝对值，是为了保证失真函数为非负。负的失 真函数违反数据处理定理，不可以使用。由于绝对值处理麻烦，因而应用很少。
D≤ D
(5-4)
第5章 限失真信源编码
这时， D 就是允许失真的上界，是由设计要求决定的，式（5-4）就称为保真度 准则，人为地定义出一个对系统平均失真度的技术要求。
显然，式 (5-3) 中，凡是 D 值小于等于 D 值的所有信道（用信道统计特性 p( y j | xi ) 表示），都是满足平均失真度要求的信道，
第5章限失真信源编 码
引言
第5章 限失真信源编码
在上一章，讨论了离散信源的无失真信源编码，这种编码是无失真的保熵 编码，但是无失真的保墒编码并非是必须的，有时候也不可能实现。 案例一：
在传送语音信号时，由于人耳接受的带宽和分辨率是有限的，因此可以把 频谱范围从20HZ~20KHZ的与音信号去掉低端和高端的频率，看成带宽只有 300HZ~400HZ的信号。这样虽然会有一些失真，但是这些失真是允许的。 案例二:
经过信道传输后接收端的离散变量 Y 的概率空间为：
Y P(Y
)
y1
p( y1
)
y2 p(y2 )
yn p( yn )
对于每一对 (xi , y j ) ，指定一个非负的函数 d(xi , y j ) ≥ 0, i 1, 2 ,, m ; j 1 , 2 ,, n ， 称 d (xi , y j ) 为单位符号的失真度或失真函数，用它来表示信源发出一个符号 xi ，而在接收端再
其中一个最差的信道就是传信率 R I (X;Y ) 最小，但仍是能满足平均失真度要 求的信道，而更差的信道必然不能满足平均失真度的要求。可见，把保真度准则作 为约束条件，再求信道传信率 R 的最小值，就是一个不为零的有实际意义的值了。 要找出一个最差但仍能满足平均失真度要求的信道，是为了用最低的代价满足通信 的失真要求。
5.2 信息率失真函数
第5章 限失真信源编码
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（5-3）， D 就只与信道特性有关，把所有满足保真度 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ，即：
真函数有： 1.汉明失真函数
d(xi ,
yj
)
0 1百度文库
xi xi
yj yj
(5-2)
在离散对称信道(m=n)中，定义单个符号的失真度为汉明失真，它表示当再现的接收符号 与发送的信源符号相同时，就不存在失真的错误，所以失真度 d(xi , y j ) 0 。当再现的接收符 号与发送符号不同时，就有失真存在，而且认为发送符号与再现符号不同时所引起的失真都相
d (x1, y1 ) d (x2 , y2 ) d (x1, yn )
D
d (x2 ,
y1)
d(x2, y2 )
d
(
x
2
,
y
n
)
d (xm , y1 )
d(xm , y2 )
d(xm , yn )
(5-1)
D 称为失真矩阵，它是一个 m n 阶矩阵。 失真函数是根据人们的实际需要和失真引起的损失、风险大小等人为规定的。常用的失
现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真，而 d(xi , y j ) 0 表示没
有失真。由于信源 X 有 m 个符号，信道传输 Y 有 n 个符号，所以 d (xi , y j ) 有 m n 个，这 m n
个非负的函数可以排列成矩阵形式，即：
第5章 限失真信源编码
同，所以失真度 d (xi , y j ), xi y j 为常数，通常取值为 1，这种失真称为汉明失真。
第5章 限失真信源编码
汉明失真矩阵 D 通常为方阵，且对角线上的元素为 0。即：
0 1 1 1
1 0 1 1
D
1 1 1 0
D 是 m m 阶方阵。
例 题：
设信道输入 X {0 , 1}，输出 Y {0 , 1, 2}，规定失真函数 d(0 , 0) d(1,1) 0 ， d(0 ,1) d(1, 0) 1， d(0 , 2) d(2 , 0) 0.5 ，求 D 。
D E[d (xi , y j )]
mn
p(xi y j )d(xi y j )
i1 j1
mn
p(xi ) p( y j | xi )d(xi y j )
i1 j1
(5-3)
它是在 X,Y 的联合概率空间求平均。
为了系统能满足使用要求，技术上往往要求平均失真度 D 不大于某个额定值 D ，即：
在传送活动图像时，由于人眼的视觉暂留特性，我们只需每秒钟传送25帧 的静止图像,人们看到的就是连贯的活动图像。所以在实际生活中，通常总是要 求在保证一定质量的前提下，在信宿近似地再现信源输出的信息。因此，实际 的信息传输率可以降低。 案例三:
音乐信号可以由CD格式压缩为MP3格式，其容量仅为原始信源信息量的 11%，而音质却没有明显的下降。而VS1格式居然可以把语音信号压缩到原来 的1%~2%，其可懂度没有明显下降。
另一种是：
d(xi , y j ) （xi y j）2
称为平方误差失真函数。也有一个对应的失真矩阵，矩阵中的非零元素表示发送 xi ， 接收 y j 所引起的失真。取平方主要也是为了保证失真函数为负数。
第5章 限失真信源编码
5.1.2 平均失真度
由于 X,Y 都是随机变量，故单个符号失真度 d (xi , y j ) 也是随机变量，显然，规定了 单个符号失真度 d (xi , y j ) 之后，传输一个符号引起的平均失真，即信源的平均失真度为：
由上述案例可知：实际应用上，其实允许一定的失真存在，于是对信息速 率的要求就可以降低，问题是可以降低到什么程度呢？这就需要对信息率失真 函数进行理论研究。
5.1失真测度
第5章 限失真信源编码
5.1.1 失真函数
设离散信源 X 为：
X P(
X
)
x1 p( x1
)
x2 p(x2 )
xm p(xm )