第七章：信息率失真函数与限失真信源编码

✓ 不同的p(v|u)有不同的 D
R(D)
✓ 对我们有意义的：具有最小的 D 的
p(v|u)
R(D)>0
✓ 利用该p(v|u)求得使R(Dmax)=0时的 Dmax
✓ R=0时，U,V统计独立p(v|u)只是v的 函数,则有： p(v|u)＝P(v)
R(D)=0
D Dmax
§7.3:率失真函数－5
]
• 失真函数：均方误差失真，即： d (u, v) (u v)2
–求解步骤：
• 计算平均失真度 D • 当 D ≤D，求互信息 • 求互信息的下限值得到包含有D和σ2 的R(D)表达式 • 讨论D和σ2 比值不同时R(D)的取值
–验证：找到满足R(D)的试验信道，验证其正确性 –结果分析：R(D)曲线分析
• 允许一定的失真度下，能将信源信息压缩到什么程 度？（最少需要多少比特才能在收端描述信源？）
• 一定的信息传输率R下，可能达到的最小的平均失 真是多少？
– 相关问题
• 失真如何度量？ • 率失真函数如何计算？
§7.1:概述－6
• 方法：
– 抽象：将与讨论重点关系小的部分抽象
• 因为涉及信源编码，对信道进行抽象
最好地利用C
消息 压缩冗余度
信 源
最佳分布 无噪无损信道
编 码
R=C;PE=0,
限：平均码长最小值Hr(S) 每个码符号平均能够携带的最大信息量
§7.1:概述－2
• 有噪信道编码定理回顾：
– 只要R<C，总可以找到一种信道编码方法，使在信道 上能够以尽可能小的PE传输信息。
增加冗余度，最好地匹配信 道特性
• P(u)=[ω，1－ ω]， ω≤1/2
• 汉明失真矩阵
0 1
D
1
0
§7.3:率失真函数－8
–求解步骤：
• 由Dmin=0，找到满足最小失真的试验信道p(v|u),得到R(0) • 由汉明失真矩阵和失真度定义，计算最大允许的失真度
Dmax • 由Dmax，找到满足最大失真的试验信道p,并得到R(Dmax)
Dmax min p(u) p(v)d (u, v)
U ,V
min p(v) p(u)d(u,v)
p(v) V
U
min p(v)d '(v) min p(u)d(u, v)
p(v) V
VU
例： 二元信源 计算 Dmax 。
U P(U
)
u1 0.4
u2 0.6
,
D
0
0
§7.3:率失真函数－6
– R(D)的性质：
一般情况下:
• 凸状性 • 单调递减性 • 连续性
Dmin=0,R(Dmin)=H(U) (有条件) 当D ≥Dmax时，R(D)=0; 而当Dmin<D<Dmax时，
H(U)>R(D)>0.
§7.3:率失真函数－3
Dmin min
p(ui ) p(v j | ui )d (ui , v j )
– N维信源符号序列信源平均失真度
DN
1 N
D(N)
– 信源、信道均无记忆时：
N
N
D(N)
Dl
DN
1 N
Dl
l 1
l 1
序列中第l个分量 的平均失真度
– 信源平稳时： p(uil ) p(ui ), p(v jl | uii ) p(v j | ui )
Dl D D(N) ND DN D
• 在一般条件下当0<D<Dmax时，计算平均失真度 D
• 选取一个信道，使 D ＝D，求互信息 • 求互信息的下限值得到R(D)
–验证：找到满足R(D)的试验信道，验证其正确性
–结果分析：R(D)曲线分析
R(D)
H () H (D) 0 D 0 D
§7.3:率失真函数－9
§7.3:率失真函数－10
等概信源的信息率失真函数。
信源输出符号集 ，输出符号集 为
V
U
v1,uv12,,u..2.,,.v.r.,u，r 失真，函等数概定分义布
0 i j d (ui , vj ) 1 i j i, j 1, 2,..., r
R(D) log r D log(r 1) H (D)
n
而码的平均失真度d(C)≤D。
– 在允许失真D的条件下，信源最小的、可达的 信息传输率是信源的R(D)。
R(D)
1 2
log
2
D
K
0K K K
D D
2 2
§7.3:率失真函数－12
R(D)(比特/自由度）
当D＝ σ2时， R(D)＝0。即：
如果允许失真等于信源的方差，则只需
1.4
用均值m来表示信源输出，而不需要传
送信源的任何实际输出。
1.2
当D＝0时，R(D) ∞。即：
1.0
在连续信源情况下，要毫无失真地传送
RN
(D)
D
min {I
( N )ND
(U
,V
)}
§7.3:率失真函数－2
• 率失真函数的进一步解释
– 单位：比特/信源符号（同互信息）
– 离散无记忆信源：RN(D)=NR(D) – P(v|u)无实际信道含义，只代表不同编码方法
– 求R(D)就是在D条件下，选择一种编码方法，使R最 小。
– 定义域：D∈ [0,Dmax]
§7.2:失真的度量－9
• 保真度准则
– 给定D，若 D ≤ D，则称此为保真度准则 – 对于序列信源，保真度准则为：D(N)≤ ND
§7.2:失真的度量－10
• 试验信道：
– P(v|u)不是实际的信道特性矩阵，在此相当于 不同的编码方法，编码方法不同，D 不同。
– 定义：所有 D ≤ D的试验信道构成D失真许可 的试验信道集合BD
• 信道编码→信道→信道译码
信道*
• 研究失真影响时，“信道*”可以忽略
– 根据信道编码定理 ： 信道*是一个没有干扰的 广义信道，信宿收到信息的失真只来自于信源 编码
§7.1:概述－7
• 方法：
– 虚拟：将讨论重点虚拟细化
• 将限失真信源的编译码过程虚拟
• 信源编码过程→信道* →信源译码过程
试验信道
§7.3:率失真函数－1
• 问题引出
– 度量了失真，进一步关心的问题是：
• 一定的失真D下，最小的信息传输率R是多少？ • 一定的失真D下，收端再现信源需要的最低的平均信息
量是多少？
• 定义：（信息）率失真函数R(D)
R(D) min {I (U,V )} p ( v|u )BD
对于N维序列信源：
消息
信
源
编
码
信 道
信道
编 码
R< C; PE=ε,
限：信息传输率最大值C 每个信道符号平均能够携带的最大信息量
§7.1:概述－3
• 存在问题
– 对于连续和模拟信源H(S)=∞
• 信道传输率R=H(S)/n（比特/码符号）
R= ∞
• 平均码长l=Hr(S)=H(S)/logr,
l= ∞,
–实际上，因为B有限，C一定有限，R<C
R(D) log r D log(r 1) H (D)
R(D)
3.0
2.0
r 8
1.0
r4
r2
0.0 0.2 0.4 0.6 0.8 D
§7.3:率失真函数－11
• 高斯信源的R(D)计算
– 已知条件：高斯信源U，其均值为m，方差为σ2，
接收变量V
• 概密函数： p(u)
1 2
exp[
(um)2 2 2
§7.4:限失真信源编码定理－1
• 限失真信源编码定理 • 限失真信源编码定理的证明 • 限失真信源编码定理的实用意义
§7.4:限失真信源编码定理－2
• 限失真信源编码定理
– 设R(D)为一离散无记忆平稳信源的信息率失真函 数，并且有有限的失真测度。对于任意D≥0，ε＞0， δ＞0以及任意足够长的码长n，则一定存在一种信 源编码C，其码字个数为: M= exp{n［R(D)+ε］} 而编码后码的平均失真度:
对于同一个D：
R(D)(比特/符 号）
1.0
信源分布越均匀， R(D)就越大，
0.8
ω＝0.5 ω＝0.3
信源压缩的可能性越小
0.6
ω＝0.2
反之，
ω＝0.1
0.4
若信源分布越不均匀，
0.2
即信源剩余度越大，
0.1
0.1 0.2 0.3 0.4 0.5 D
二进制对称信源的R(D)函 数
R(D)就越小， 压缩的可能性就越大。
ij
p(ui ) min p(vj | ui )d (ui , vj )
i
j
i
p(ui
)
mind j
(ui
,
v
j
)
7.3：删除信道
0 D
1
1 0
1
2 1
，求
2
Dmin
§7.3:率失真函数－4
• Dmax与R(Dmax)
✓ 定义当DDmax时，R(Dmax)=0
✓ 使R(Dmax)=0的p(v|u)不止一个
0.8
连续信源必须要求信道具有无限大的容
量。
0.6
当D＝0.25 σ2时,R(D)=1（比特/自由
0.4
度）。即：
0.2
0.0
0.2 0.4 0.6 0.8 1.0 1.2 D/ σ2 高斯信源在均方误差准则下的R(D)函数
允许均方误差小于或等于σ2/4时，连续 信号的每个样本值最少需要用一个二元 符号来传输。