信息率失真函数1029PPT

电视电话
128
112
5.2 M
56 K
在允许一定程度失真的条件下，怎样用尽可能少的码符号来 表达信源的信息，也就是信源熵所能压缩的极限或者说编码 后信息传输率压缩的极限值是多少？ 保真度准则下的离散信源编码定理：在允许一定失真度 D 的情 况下，信源输出的信息传输率可压缩到极限值 —— 信息率失 真函数 R ( D )
符号序列的失真度
若信源是单符号离散无记忆信源的 N 次扩展，其限失真编码 可视为 N 长随机序列 X X 1 X 2 X N 经由单符号离散无记忆信 道的 N 次扩散信道，再现为 N 长的随机序列 Y Y1Y2 YN
信道输入：ai ( xi1 xi2 信道输出：b j ( y j1 y j2
1
失真函数
由于本章学习内容只涉及信源编码问题，因此可பைடு நூலகம்把从信源 编码器到信源译码器之间的所有部件合在一起等效为一个有 噪声的试验信道
信源
X
信 源 编码器
无损无噪信道
信 源 译码器
Y
信宿
试验信道
信道输入 : x2 X x1 PX p( x1 ) p( x2 ) 信道输出： y2 Y y1 PY p( y1 ) p( y2 )
0 i j 误码失真函数 d ( xi , y j ) 适用于离散信源 i j 平方失真和绝对失真只与 ( yj xi ) 有关，而不是分别与 xi , yj 有 关，在数学处理上比较方便；相对失真与主观特性比较匹配， 因为主观感觉往往与客观量的相对数成正比，但其数学处理 比较困难 误码失真函数表明，只要发送符号与接收符号不同，由此引 4 起的失真都相同(为常数 )。若常数值为 1，则称为汉明失真
D( N ) E[d (ai , b j )] p(ai ) p(b j | ai )d (ai , b j )
i 1, 2, j 1, 2,
,n ,m
上述非负的失真函数共有 n m 个，可以整体表示成失真矩阵 d ( x1 , ym ) d ( x1 , y1 ) d ( x1 , y2 ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 m D d ( x n , ym ) d ( xn , y1 ) d ( xn , y2 ) 由于信源发出的符号 X 和信宿收到(再现)的符号 Y 均是随机 变量，因此单个符号的失真函数 d ( xi, yj ) 也是随机变量 (的一 次实现)
平均失真度
由于单个符号的失真函数 d ( xi , yj ) 是随机变量(的一次实现)， 它只能表示两个特定的具体符号 xi , yj 之间的失真，无法从整 体上描述信道平均每传递一个符号所引起失真大小 定义平均失真度为失真函数的数学期望，即 d ( xi , yj ) 在 X 和 Y 的联合概率空间 P( XY ) 中的统计平均值
引入限失真的必要性(续)
如果允许信息有某些失真，就可以大大降低信息传输速率， 从而降低通信成本
应用种类 HDTV 普通电视 会议电视 象素数/行 1920 720 352 行数/帧 1080 480 288 信息传输率(码率)bps 压缩前 1.18 G 167 M 36.5 M 压缩后 20～25 M 4～8 M 1.5～2 M
D E[d ( xi , y j )] p( xi ) p( y j | xi )d ( xi , y j )
i 1 j 1 n m
平均失真度 D 与信源统计特性 p( xi ) 、信道统计特性 p( y j | xi ) 和规定的失真度 d ( xi , y j ) 有关；如果信源和失真度给定以后， D 就只是信道统计特性的函数 如果规定平均失真度不超过某一允许失真的上界 D(最大允许 平均失真度，简称允许平均失真度)，则称： 满足保真度准则的 限定条件下，求信 D D 5 息传输率的最小值 为保真度准则
2
失真函数(续)
对每一对 ( xi , yj )，指定一个非负的函数
d ( xi , y j ) 0 无失真 d ( xi , y j ) 0 有失真 称为单个符号的 失真度 或 失真函数 ，表示离散信源发出一个 符号 xi 而在接收端再现成 yj 所引起的误差和失真。
d ( xi , y j ) 0
xiN ) y jN )
i 1, 2, j 1, 2,
, nN , mN
N 长输入符号序列 a i 与 N 长输出符号序列 b j 间的失真函数：
d (ai , b j ) d ( xi1 xi2
xiN , y j1 y j2
y jN ) d ( xik , y jk )
k 1
N
由于 N 次扩展信源和 N 次扩展信道都是无记忆的，因此：
p(ai ) p( xi1 xi2
N xiN ) k 1 p( xik )
p(b j | ai ) p( y j1 y j2
y jN | xi1 xi2
N xiN ) k 1 p( y jk | xik )
6
符号序列的 平均失真度
3
常用的失真函数
失真函数是根据人们的实际需要和失真引起的损失、风险、 主观感觉上的差别等因素人为规定的，可以有多种形式 平方误差失真函数 d ( xi , y j ) ( y j xi )2 适用于 d ( x , y ) | y x | 绝对误差失真函数 i j j i 连续信源 相对误差失真函数 d ( xi , y j ) | y j xi | | xi |
xn p( x n )
ym p( y m )
信道转移概率矩阵：PY | X
n m
p( y1 | x1 ) p( y2 | x1 ) p( y | x ) p( y | x ) 1 2 2 2 p( y1 | xn ) p( y2 | xn )
p( ym | x1 ) p( y m | x 2 ) p( y m | x n )