第九章率失真函数-Xidian

则d(ui,vj)就有r×s个,它可以排列成矩阵形式，即：
d (u1, v1 ) d (u1, v2 ) ... d (u1, vs )
D d (u2 , v1 ) d (u2 , v2 ) ... d (u2 , vs )
:
: ... :
d (ur , v1 ) d (ur , v2 ) ... d (ur , vs )
0 1 ... 1 D 1 0 ... 1
: : ... : 1 1 ... 0 rr
D
0 1
1 0
• 对二元对称信源(s＝r＝2)，信源U＝{0,1}，接收变Leabharlann BaiduV＝{0,1}。在
汉明失真定义下，失真矩阵为：
[例2] 删除信源。信源变量U＝{u1,u2,…ur} ，接收变量V＝ {v1,v2,…vs} (s = r+1) 。定义其单个符号失真度为：
若信源符号代表信源输出信号的幅度值，这就是一种以方 差表示的失真度。它意味着幅度差值大的要比幅度差值小的所 引起的失真更为严重，严重程度用平方来表示。
当 r＝3时， U＝{0,1,2}，V＝{0,1,2} ，则失真矩阵为：
0 1 4 D 1 0 1
4 1 0
上述三个例子说明了具体失真度的定义。一般情况下根 据实际信源的失真，可以定义不同的失真和误差的度量。另 外还可以按其他标准，如引起的损失、风险、主观感觉上的 差别大小等来定义失真度d(u,v)。
第九章 率失真函数
无失真信源编码和有噪信道编码告诉我们：只要信道的 信息传输速率小于信道容量，总能找到一种编码方法,使得 在该信道上的信息传输的差错概率任意小；反之，若信道 的信息传输速率大于信道容量，则不可能使信息传输差错 概率任意小。
但是，无失真的编码并非总是必要的。
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。
有些试验信道满足D D，而有些试验信道D＞D。
凡满足保真度准则----平均失真度D D的试验信通称为--D失真许可的试验信道。
把所有D失真许可的试验信道组成一个集合，用符号BD表 示，即：
BD={P (vj / ui)： D D}
信息率失真函数及其性质
一、信息率失真函数的定义
信源给定，且又具体定义了失真函数以后，总希望在满足 一定失真的情况下，使信源传输给收信者的信息传输率R尽可 能地小。即在满足保真度准则下，寻找信源必须传输给收信者 的信息率R的下限值-------------这个下限值与D有关。
二、 平均失真度
信源 U 和信宿 V 都是随机变量，故单个符号失真度d(ui,vj) 也是随机变 量。显然，规定了单个符号失真度d(ui,vj) 后，传输一个符号引起的平 均失真，即信源平均失真度：
D E[d(ui ,v j )] E[d(u,v)]
在离散情况下，信源U＝{u1,u2,…ur} ，其概率分布P(u)＝ [P(u1),P(u2),…P(ur)] ，信宿V＝ {v1,v2,…vs} 。 若已知试验信道的传递概率为P(vj/ui)时，则平均失其度为：
rs
D P(uv)d (u, v)
P(ui )P(v j / ui )d (ui , v j )
UV
i1 j1
若平均失真度D不大于我们所允许的失真D，即：
D D
称此为保真度准则。
信源固定(给定P(u))，单个符号失真度固定时(给定 d(ui,vj)) ，选择不同试验信道，相当于不同的编码方法，所得 的平均失真度是不同的。
信源符号通过信道传输到某接收端，接收端的 接收变量V＝ {v1,v2,…vs} 。
对应于每一对(u,v)，我们指定一个非负的函数：
0 i j
d(ui , v j ) ( 0)i j
称为单个符号的失真度(或失真函数)。 通常较小的d值代表较小的失真，而d(ui,vj)＝0
表示没有失真。
若信源变量U有r个符号，接收变量V有s个符号，
失真度为：
d(0,0)=d(1,2)=0 d(0,2)=d(1,0)=1 d(0,1)=d(1,1)=1/2
则
0 D
1
1
2 1
1
0
2
[例3] 对称信源(s = r) 。信源变量U＝{u1,u2,…ur} ，接收变 量V＝ {v1,v2,…vs} 。失真度定义为：
d(ui ,v j ) (v j ui )2
定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。
信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。
本章主要介绍信息率失真理论的基本内容，侧重讨论离散 无记忆信源。
首先给出信源的失真度和信息率失真函数的定义与性质； 然后讨论离散信源和连续信源的信息率失真函数计算；在这基 础上论述保真度准则下的信源编码定理。
0 d (ui , v j ) 1
1/ 2
i j i j js
除j=s以外所有的j和i 所有i
其中接收符号vs作为一个删除符号。
在这种情况下，意味着若把信源符号再现为删除符号vs 时，其失真程度要比再现为其他接收符号的失真程度少
一半。
若二元删除信源s ＝2，r＝3， U＝{0,1}，V＝{0,1 ,2} 。
失真测度
一、失真度 从直观感觉可知，若允许失真越大，信息传输率可
越小；若允许失真越小，信息传输率需越大。 所以信息传输率与信源编码所引起的失真(或误差)
是有关的。
首先讨论失真的测度。
离散无记忆信源U，信源变量U＝{u1,u2,…ur}， 概率分布为P(u)＝[P(u1),P(u2),…P(ur)] 。
示。
U
p (vj/ui)
V
信道
原始信源
试验信道
失真信源
[例1] 离散对称信源(r=s)。信源变量U＝{u1,u2,…ur} ，接收变 量V＝ {v1,v2,…vs}。定义单个符号失真度：
d
(ui
,
v
j
)
0 1
ui v j ui v j
这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的
元素为零，即：
它为失真矩阵D，是 r×s 阶矩阵。
须强调: 这里假设U是信源，V是信宿，那么U和V之间必 有信道。
实际这里U指的是原始的未失真信源，而V是指失真以后 的信源。
因此，从U到V之间实际上是失真算法，所以这里的转移
概率p(vj/ui)是指一种失真算法，
有时又把p(vj/ui) 称为试验信道的转移概率，如图所