第45章限失真信源编码

4.1.1失真函数 4.1.1失真函数
• 例设信源符号X∈｛0，1｝,编码器输出符号Y∈ ｛0,1,2｝,规定失真函数为d(0,0)＝d(1,1)＝ 0;d(0,1)＝d(1,0)=1;d(0,2)＝d(1,2)＝0.5,求失 真矩阵 解:由式得失真矩阵
0 1 0.5 d = 1 0 0.5
j =1,2,⋯, m
∑ pd
i =1
n
i ij
2.R(D)函数的下凸性和连续性
R(D)在定义域内是下凸的,连续的。
3.R(D)函数的单调递减性
R(D)的单调递减性可以作如下理解： 容许的失真度越大，所要求的信息率越小。
4.1.4信息率失真函数的性质 4.1.4信息率失真函数的性质
得出如下结论：
a1 → a1, a2 → a2, ⋯ , an → an, an + 1 → an + 1, an + 2 → an + 2, ⋯ , a2n → a2n,
D = ∑∑ p (ai ) p (aj / ai )d (ai, aj )
i =1 j =1 2n 2n 2n
等效试验信道
平均失真D为
=
i = n +1
一般的递推公式
P ( Sar ) = P ( S ) + p ( S ) Pr
序列的概率的公式
p ( Sar ) = p ( S ) p r
4.4.2算术编码 4.4.2算术编码
• 实用中，采用积累概率P(S)表示码字C(S)，符号概率 p(S)表示状态区间A(S)，则有 C ( Sr ) = C ( S ) + A( S ) Pr A( Sr ) = A( S ) pr • 实际编码过程: 先置两个存储器C和A，起始时可令
pn =
• 则输出熵H(Y)为 1 1 1+ n 1+ n H(Y) = H( ⋯ • ) = log2n − log(n +1) 2n 2n 2n 2n
2n
4.1.4信息率失真函数的性质 4.1.4信息率失真函数的性质
1.R(D)函数的定义域 R(D)的定义域为D∈［0，Dmax］
D max = min
4.2离散信源和连续信源的计算 4.2离散信源和连续信源的计算
• (4) 求s(s=logα)
D = ∑ pipijd 11 = p1 p11d 11 + p1 p12 d 12 + p 2 p 21d 21 + p 2 p 22 d 22
ij
1 a = [ a (1 − p − ap ) + a ( p − a (1 − p ))] = 2 1− a 1+ a a D D= ,a = 1+ a 1− D s = log a = log D − log(1 − D )
4.4.2算术编码 4.4.2算术编码
如果S后面接一个“1”，则其积累概率是 P(S1)=p(0000)+p(0001)+p(0010)+p(0011)+p(01 00)+ p(0101)+p(0110) =P(S)+p(0110) =P(S)+p(S)p0
上面两式可统一写作
p ( Sr ) = P ( S ) + p ( S ) Pr, r = 0,1
4.1.1失真函数 4.1.1失真函数
• 常用失真函数 d ( xi, yj ) = ( xi − yi ) 2 均方失真： 绝对失真： d ( xi, yj ) =| xi − yi | 相对失真： d ( xi, yj ) =| xi − yi | / | xi | 误码失真：
1 L d ( xi, yj ) = ∑ d ( xik , yjk ) L k =1
4.2离散信源和连续信源的计算 4.2离散信源和连续信源的计算
• (5)计算R(D)，将上面各式代入，
则有 R ( D ) = sD + ∑ pi log λ i
i
= D log D + (1 − D ) log(1 − D ) + H ( p )
(D)=H(p)-H(D)，p为参数
1 H ( p ) − H ( D ), 0 ≤ D ≤ p ≤ R( D) = 2 0, D≥ p
4.1平均失真和信息率失真函数 4.1平均失真和信息率失真函数
4.1.1失真函数 • 失真函数 定义:
0 d ( xi , yi ) = a a > 0
xi = yi xi ≠ yi
• 失真矩阵
d ( x1, y1) ⋯ d ( x1, ym ) d = ⋮ ⋮ ⋮ d ( xn, y1) ⋯ d ( xn, ym )
R( D) ≤ K < R( D) + ε
在失真限度内使信息率任意接近R(D)的编码方法存在。
4.4常用信源编码方法简介 4.4常用信源编码方法简介
4.4.1游程编码
• 游程长度 在二元序列中，只有两种符号，即“0”和“1”，这些符号可连续出现，连 “0”这一段称为“0”游程，连“1”这一段称为“1”游程。它们的长度分别称为 游程长度L(0)和L(1). 对于多元序列也存在相应的游程序列。例如m元序列中，可有m种游程。 连着出现符号ar的游程，其长度L(r)就是“r”游程长度。 • 设有多元信源序列(x1，x2，…，xm1， y，y，…，y， xm1+1， xm1+2，…xm2， y，y，…其中x是含有信息的代码，取值于m元 符号集A，可称为信息位；y是冗余位，它们可为全零，即使未曾传送在收端 也能恢复。这样的序列可用下列两个序列来代替： 111，…，100，…，000111，…，111000和 x1，x2，…，xm1，xm1+1， xm1+2，…xm2，… 前一个序列中，用“1”表示信息位，用“0”表示冗余位；后一个序列是取消 冗余位后留下的所有信息位。
4.3限失真信源编码定理 4.3限失真信源编码定理
• 限失真信源编码定理：
设离散无记忆信源X的信息率失真函数R(D)，则当 信息率R＞R(D)，只要信源序列长度L足够长，一定存在 一种编码方法，其译码失真小于或等于D+ε，ε为任意小 的正数；反之，若R＜R(D)，则无论采用什么样的编码 方法，其译码失真必大于D。 如果是二元信源，对于任意小的ε＞0，每一个信源 符号的平均码长满足如下公式
• R(D)是非负的实数，即R(D)≥0。其定义域为0～Dmax，其值为 0～H(X)。当D＞Dmax时,R(D)≡0。 • R(D)是关于D的下凸函数，因而也是关于D的连续函数。 • R(D)是关于D的严格递减函数。
4.2离散信源和连续信源的计算 4.2离散信源和连续信源的计算
某些特殊情况下R(D)的表示式为：
（1）当d ( x, y ) = ( x − y ) , p ( x ) =
2
1 x σ 2π exp( − 2 ) 2σ
1 λD
2
时, R ( D ) = log
σ
D
（2）当d ( x, y ) =| x − y |, p ( x ) =
λ
2
e − λ | x|时, R ( D ) = log
（3）当d ( x, y ) = σ ( x, y ), p ( x = 0) = p, p ( x = 1) = 1 − p时
求信息率失真函数R(D). λ i = λ ( xi ), pi = p ( xi ), ω j = p ( yi ), a = e s , i, j = 1, 2 解:简记 (1) 按下式解方程
∑ λ ( x ) p( x ) exp[sd ( x , y )] = 1,
i i i j i
j = 1,Biblioteka Baidu , m
1 1 a 1 ω1 = ( − )= [ p − a (1 − p )] 2 1 − a λ1 λ 2 1 − a 1 1 a 1 ω2 = ( − )= (1 − p − ap ) 2 1 − a λ 2 λ1 1 − a
• (3) 得转移概率分布
p − a(1 − p ) 1 − p − ap a p p 1 P= 2 1 − p − ap 1 − a p − a (1 − p) a 1− p 1− p
• 失真函数的定义的推广
0, d ( xi , yj ) = σ ( xi , yj ) = 1,
xi = yj 其他
4.1.2平均失真 4.1.2平均失真
• 平均失真
D = ∑∑ p ( xi ) p ( yj / xi )d ( xi, yj )
i =1 j =1
n
m
• 对于连续随机变量的平均失真
PD = { p ( y / x ) : D ≤ D}
• 对于离散无记忆信道
PD ={p(yj / xi): D≤ D} i =1,2,⋯, n; j =1,2,⋯, m
• 信息率失真函数R(D) R(D)
R ( D) = min I ( X ; Y )
PD
• 对于离散无记忆信源
p ( yj / xi ) R ( D) = min ∑∑ p ( xi ) p ( yj / xi ) log Pij∈PD p ( yj ) i =1 j =1
n m
4.1.3信息率失真函数 4.1.3信息率失真函数
• 例设信源的符号表为A=｛a1,a2,…,a2n｝,概率分布为p(ai) ＝1/2n，i＝1，2，…，2n，失真函数规定为
1 i ≠ j d ( ai , aj ) = 0 i = j
由信源概率分布可求出信源熵为 1 1 H ( ⋯ ) = log 2n比特 / 符号 2n 2n 设想采用下面的编码方案：
R( D) = H ( p) − H ( D)
率失真函数
4.2离散信源和连续信源的计算 4.2离散信源和连续信源的计算
• 例4.2.1设输入输出符号表为X=Y=｛0，1｝， 输入概率分布p(x)=｛p，1-p｝，0＜p≤1/2， 失真矩阵为
d ( x1, y1) d ( x1, y 2) 0 1 d = d ( x 2, y1) d ( x 2, y 2) 1 0
4.4.2算术编码 4.4.2算术编码
• 算术编码的基本思路
从全序列出发，将各信源序列的概率映射到［0，1］区间上，使每个序列对应这 区间内的一点，也就是一个二进制的小数。 r −1 • 积累概率 则
P r = ∑ pi
i =0
pr = P r + 1 − P r
信源的符号概率和积累概率
• 例如有一序列S=011，这种三个二元符号的序列可按自然二进数排列，000， 001，010，……，则S的积累概率为 P(S)=p(000)+p(001)+p (010) • 如果S后面接一个“0”，积累概率就成为 P(S0)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101) =p(000)+p(001)+p(010)=P(S)
∑ p(a ) p(a / a )d (a , a ) = 1 2
i j i i j
4.1.3信息率失真函数 4.1.3信息率失真函数
• 由该信道模型知，它是一个确定信道
pij = 1(或0), H (Y / X ) = 0
• 由互信息公式可得 I(X;Y)=H(Y)-H(Y/X)=H(Y) • 信道输出概率分布为 P1 = P 2 = ⋯ = P n − 1 = 1 2n • 所以概率分布为 1+ n
第4章限失真信源编码
• • • • • • • • • • • • • • 4.1平均失真和信息率失真函数 4.1.1失真函数 4.1.2平均失真 4.1.3信息率失真函数 4.1.4信息率失真函数的性质 4.2离散信源和连续信源的计算 4.3限失真信源编码定理 4.4常用信源编码方法简介 4.4.1游程编码 4.4.2算术编码 4.4.3矢量量化 4.4.4预测编码 4.4.5变换编码 习题
解得
1 1 1 p1λ 1 = p 2λ 2 = , λ1 = ,λ2 = 1+ a p (1 + a ) (1 − p )(1 + a )
4.2离散信源和连续信源的计算 4.2离散信源和连续信源的计算
• (2) 按下式解方程
解得
1 ∑ p( yj ) exp[ sd ( xi, yj )] = λ ( xi) , i = 1,⋯ , n j
D=∫
∞
−∞ −∞
∫
∞
pxy ( x, y ) d ( x, y ) dxdy
• 对于序列编码情况的平均失真
1 L 1 N DL = ∑ E[d ( xik , yjk )] = ∑ Dk L k =1 L k =1
4.1.3信息率失真函数 4.1.3信息率失真函数
• D允许信道（D允许的试验信道）