信息论与编码第5章习题解答

0 1 2 3 4 5 6
α α α β ? β β
0
?
β
1 2 3
? ?
其中 平均失真 由于
α + β + γ = 1 ， α , β , γ ∈ [0,1] 1 D = [ 2 β + 2 β + 12γ ] = β + 3γ 4 H ( X ) = 2 bit ˆ = 0) = H ( X | X ˆ= 1) = H ( X | X ˆ= 2) = H ( X | X ˆ = 3) = 0 H (X | X ˆ = 4) = H ( X | X ˆ= 5) = 1 bit H (X | X
D 3
于是
D 3 2 + ( 1 − D ) log( 1 − D ) + D log , 0 ≤ D < 3 4 R( D ) = 3 0 D≥ 4
5.2
X − 1 0 1 1 1 若某无记忆信源 = − , ，其失真矩阵为 = 1 1 1 ，接收符号 Xˆ p (x ) 2 2 3 3 3 1 2 D = 1 1 ，求信源的最大失真度和最小平均失真度。 2 1
2 2 σ ；1 比特量化的平均失真为 π − 2 σ 2 。与高斯随机变量的失真率函数 π π
D = σ 2 ⋅ 2 −2R 比较，试说明为什么有这样的差异？
ˆ ˆ> 0 ，于是量化误差为 ［解］ 由对称性，1 比特最佳量化的再生电平设为 ± x ，x
π (1) = 2, π (2) = 3, π (3) = 4, π ( 4) = 1 σ (1) = 2, σ ( 2) = 3, σ ( 3) = 4, σ (4) = 1 π (1) = 2, σ (1) = 2, π (1) = 4, σ (1) = 4,
β α P= α α
1 1 1 0
求 Dmin 和 Dmax 及信源的 R(D)。 ［解］
Dmin = ∑ p( x) ⋅ C x = ∑ p( x)min d( x ,x ˆ ) ˆ
x x ˆ ∈X
xwk.baidu.com
Dmax
=0 = min p( x ) d( x , x ˆ ) ˆ∑
x ∈X x
3 = 4
显然失真矩阵和信源分布满足如下置换对称 ① ② 和 ③
上式二边乘 p ( x) ，并对 x 求和得到
p * (x ˆ ) = p * ( x) ∑ λ ( x )p (x )e sd (x ,xˆ)
所以
x∈X
∑ λ ( x ) p (x )e
x∈X
sd (x ,x ˆ )
ˆ = 1 , ∀x ∈ Xˆ
−1
ˆ 其中 λ ( x) = ∑ p * ( x )e sd (x ,xˆ) ˆ x ∈Xˆ 设 u ( x ) = λ ( x ) ⋅ p( x) ，则对本题参数 u (0) + u(1) ⋅ e s = 1 u (0) ⋅ e 2s + u(1) = 1
ˆ p (x j | xi ) = 0 ，所以转移矩阵中 a1 = a 2 = a 3 = b1 = 0 ，从而转移概率矩阵为
α 0 0 0 0 α 0 0 P= 0 0 α 0 0 0 0 α
相应的转移概率图为：
β β 0 0
0 0 β β
γ γ γ γ
X
α
ˆ X
ˆ R( D) = min {H ( X ) − H ( X | X )}
α + β +γ =1 α + 3γ = D α , β ,γ ∈[ 0 ,1 ]
=
α + β +γ =1 α + 2 γ =D α , β ,γ ∈[ 0 ,1]
min {2 − β − 2γ }
当0 ≤ D ≤1时
α + β + γ = 1 β + 3γ = D α , β , γ ∈ [0,1]
所以
R( D ) =
β =D − 3 γ ≥0 α =1− D +2γ ≥0 γ ≥0
β = D − 3γ ≥ 0 α = 1 − β − γ = 1 − D + 2γ ≥ 0 γ ≥0 min {2 − D + γ }
= ( 2 − D ) bit
当1 ≤ D ≤ 3 ，
所以
D α + β + γ = 1 β = D − 3γ ≥ 0 γ ≤ 3 β + 3γ = 0 ⇒ α = 2γ − D + 1 ≥ 0 ⇒ D −1 γ ≥0 γ ≥ α , β , γ ∈ [ 0,1] 2 R( D ) = min {2 − D + γ }
ˆ = 6) = 2 bit H (X | X
所以 因此
ˆ = 0) = P ( X ˆ= 1) = P( X ˆ = 2) = P ( X ˆ= 3) = α P( X 4 ˆ = 4) = P ( X ˆ = 5) = β P( X 2 ˆ = 6) = γ P( X ˆ H (X | X ) = β + 2γ
所以由定理 ５．３．１，转移概率矩阵具有与失真矩阵相同的对称
α α β α α β α α
其中 β + 3α = 1 。设平均失真为 D，则
x,x ˆ
ˆ ˆ D = ∑ p (x ) p (x | x ) d ( x, x )
= 3α
因而 α = X 1 2 3 4
1 D , β = 1 − D 。相应的转移概率图为如下所示 3 ˆ= 1) = P( X ˆ= 2) ^ 由于 P( X X
π (2) = 3, σ ( 2) = 3, π (2) = 3, σ ( 2) = 3,
α α α β
π (3) = 1, σ ( 3) = 1, π (3) = 2, σ ( 3) = 2,
π ( 4) = 4 σ (4) = 4 π ( 4) = 1 σ (4) = 1
所以转移概率矩阵具有与失真矩阵相同的置换对称。
α a1 a 2 a 3 β b1 γ a α a a β b γ 3 2 1 P= 1 a a α a b β γ 2 3 1 1 a a a α b β γ 3 2 1 1 ˆ ˆ 由于对于使失真 d ( xi , x j ) = ∞ 的 ( xi , xi ) ，相应的转移概率必须为零，即
x ˆ x
= λ ( 0) ⋅ p * (1) ⋅ e 2s + 0.5 ⋅ λ (1) ⋅ p * (0) ⋅ e s Rs = s ⋅ Ds + 0.5 ⋅ [log λ ( 0) + log λ (1)]
其中参数 s < 0 。
5.7
x2 X x1 1 设信源 = ( p < ) ，其失真度为 Hamming 失真度，试问当允许 2 p (x ) p 1 − p 1 平均失真度 D = p 时，每个信源符号平均最少需要几个二进制符号表示？ 2
解出
由于 所以
1 − e−s 1 − e3 s 1 − e −2s u (1) = 1 − e 3s 1 p( x) = λ ( x ) u( x) u (0) = p * (0) + p * (1) e 2 s = p * (0) e s + p * (1) = 1 − e 3s 2(1 − e s ) 1 − e3 s 2(1 − e 2s )
β
1
α α
2 3
ˆ= 3) = P ( X ˆ= 4 ) = 1 = P( X 4 ˆ 所以 H ( X ) = 2bit ，
α
ˆ| X ) = P( X = i ) H ( X ˆ| X = i) H(X ∑
i =1
4
4
= − β log β − 3 ⋅ α log α
= −(1 − D ) log( 1 − D ) − D ⋅ log
《信息论与编码》第五章习题解答
5.1 X 0 一个四元对称信源 = 1 p (x ) 4 真矩阵为， 1 1 4 2 1 4 3 1 = {0, 1, 2, 3} ，其失 ，再生字符集为 Xˆ 4
0 1 D= 1 1
1 0 1 1
1 1 0 1
x ˆ ∈X x
= min{ ∞ , ∞ , ∞ , ∞,3}
=3 失真矩阵满足如下置换对称
π (0) = 2, π (1) = 3, π (2) = 0, π (3) = 1 ρ ( 0) = 2, ρ (1) = 3, ρ (2) = 0, ρ (3) = 1, ρ (4) = 5, ρ (5) = 4, ρ (6) = 6 π (0) = 1, π (1) = 0, π (2) = 3, π (3) = 2 ρ ( 0) = 1, ρ (1) = 0, ρ (2) = 3, ρ (3) = 2, ρ (4) = 4, ρ (5) = 5, ρ (6) = 6
0 1 ˆ d ( xi , x ) = 1 j 3 ∞
［解］
i= j i = 0,1且j = 4 i = 2,3且j = 5 j = 6, i为任意 其它
求率失真函数 R(D)。
Dmin = ∑ p( x)min d (x , x ˆ ) ˆ
x x ˆ ∈X
Dmax = min p( x ) d( x , x ˆ ) ˆ∑
解出：
p * ( 0) = p * (1) = λ ( 0) =
1 − 2e 2s + e 3s 2(1 − e 2 s )(1 − e s ) 1 − 2e s + e 3s 2(1 − e 2 s )(1 − e s )
2(1 − e s ) 1 − e 3s 2(1 − e 2 s ) λ (1) = 1 − e 3s 把 p * ( x ), p ( x), λ ( x) 代入率失真函数的参数表示式 Ds = ∑∑ λ ( x) ⋅ p( x) ⋅ p * ( x) ⋅ e sd (x ,xˆ) ⋅ d (x ,x ˆ )
β = D −3 γ ≥0 D −1 γ≥ 2
=
所以
(3 − D ) bit 2
( 2 − D) 0 ≤ D ≤ 1 R( D) = (3 − D) / 2 1 ≤ D ≤ 3 0 D>3
相应的率失真曲线为： R (D) 2 1 0 1 2 3 D
5.6
设某二元源
U u1 u2 0 2 = ，失真矩阵为 D = ，求 Dmin ， Dmax 和 p(u ) 0.5 0.5 1 0
［解］ 由于率失真函数为
1 H ( p) − H ( D) 0 ≤ D ≤ p < R( D ) = 2 0 其它
当D =
p 时，最低码率不能低于 2 p p R( D = ) = H ( p) − H bit/符号 2 2
5.8
令 X ~ N (0, σ 2 ) ，失真度量为平方误差失真函数。请证明最佳 1 化特量化的再生 点为 ±
R( D ) 。
［解］
Dmin = 0
Dmax = min
ˆ ˆ x ∈χ
ˆ ) ∑ p( x)d (x, x
x
= min{ 1,0.5}
=0.5 下面我们采用参数方程求解率失真函数。 根据定理 5.4.1，假设 p * ( x ˆ ) > 0, ∀x ˆ ∈ Xˆ 则
) q * (x ˆ | x) = λ ( x) p * ( x )e sd ( x , xˆ
［解］
Dmin = ∑ p( x) min d (x , x ˆ ) ˆ
x x∈X ˆ
Dmax
=1 = min
x ˆ ∈Xˆ
ˆ ) ∑ p( x)d (x, x
x
4 4 = min , 3 3 4 = 3
5.3
已知信源 X 取值范围为{0, 1}，再生字取值范围为{0, 1, 2}，设信源输入符号为等概 0 ∞ 1 分布，失真函数 D = ，求信源率失真函数。 ∞ 0 1
［解］ 见书上例题 5.3.3，其中失真矩阵满足置换对称
π (1) = 2, π ( 2) = 1, ρ (1) = 2, ρ ( 2) = 1, ρ (3) = 3
5.4 设信源为无记忆，等概分布，取值范围为{0,1,2,3}，再生字符表为{0, 1, 2, 3, 4, 5, 6}。 失真函数为