信息论与纠错编码(电子工业出版社)第四章率失真编码 参考答案

4.1 当率失真函数R （D ）取什么值的时候，表示不允许有任何失真。 解：当D=0时，表示不允许有任何失真，此时R （D ）= H （X ）， 即R max （（D ）= H （X ）

4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值是什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？

解：不允许失真时，信息率压缩极限值R （D ）= H （X ）；不允许失真时，信息率压缩极限值 R （D ）= 0

4.3 在例4.8中，当允许D= 0.5δ时，请问每个信源符号至少需要几个二进制符号来对其编码？

解：因为二元信源率失真函数：

⎪

⎭⎫

⎝⎛-=a D H p H D R )()(

其中a = 1（汉明失真）, 所以二元信源率失真函数为：

)()()(D H p H D R -=

当D= 2

P 时

[]symbol nat p p p p p p p p p H p H p R /21ln 212ln 2)1ln()1(ln 2)(2⎥⎦

⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-++--+-=⎪⎭⎫

⎝⎛-=⎪⎭⎫ ⎝⎛

4.4 给定信源分布⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡2

5.025.05.0x 321x x ，失真测度矩阵[d]=⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡011302120，求率失真

函数R （D ）。

解：定义域：

D min =0×0.5+0×0.25+0×0.25=0

D max =min{2×0.25+1×0.25,2×0.5+1×0.25,1×0.5+3×0.25}=0.75

值域：

R （D min ）= －0.5log0.5－0.25log0.25－0.25log0.25=0.45 R （D max ）= 0

4.5 给定二元信源⎥⎦⎤

⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡5.05.0x x 21, 失真测度矩阵为[d]=⎥⎦

⎤

⎢⎣⎡00αα,求率失真函数R(D)。

解：

002

1

021),(m in )(2

02121),()(m in m in min max =⨯+⨯=

==⨯+⨯=

==∑∑i

j i j

i i

j i i j

j y x d x p D a

a y x d x p D D

因为二元等概信源率失真函数：

⎪

⎭

⎫ ⎝⎛-=a D H n D R ln )(

其中n = 2, 所以率失真函数为：

⎥

⎦⎤

⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝

⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )(

4.6 给定二元信源⎥⎦⎤

⎢⎣⎡)(q X X =

⎥⎦⎤⎢⎣⎡αα-1x x 21, α<0.5，失真测度矩阵为[d]=⎥⎦

⎤

⎢⎣⎡00αα, 求率失真函

数R(D)。

解：

因为二元等概信源率失真函数： R(D)= H(α)－H(

α

D

)

= －[αlog α+(1－α)]+[α

D

log

α

D

+(1－

α

D

)log(1－

α

D

)]

4.7 给定二元信源⎥

⎦⎤

⎢

⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡5.05.0x x 21, 失真测度矩阵为[d]=⎥⎦

⎤

⎢⎣⎡00βα,求率失真函数R(D)。

解：

D min = 0.5×0+0.5×0=0 D max =min{0.5α，0.5β}

因为二元等概信源率失真函数：

其中n = 2, 所以率失真函数为：

⎥

⎦⎤

⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝

⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )(

4.8 等概信源错误!未找到引用源。，接收符号集错误!未找到引用源。，失真测度矩阵为

[d]=

12310122

1013210

错误!未找到引用源。，求R(D)的定义域和值域； 解： D min = 0

D max = 1/4×1+1/4×1+1/4×2+0=1 定义域：0

因为n 元等概信源率失真函数：

⎪

⎭⎫

⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n a D a D n D R 1ln 11ln ln )(

其中a = 1, n = 4, 所以率失真函数为：

⎪

⎭

⎫ ⎝⎛-=a D H n D R ln )(

()()D D D

D D R --++=1ln 13ln

4ln )(

值域：0

4.9 二元信源错误!未找到引用源。，其中p<0.5，信道输出符号集Y={y 0，y 1}，失真测度矩阵

为[d]=⎥

⎦⎤

⎢⎣⎡00αα，

求率失真函数R(D)。

解： D min = 0

D max = min{(1-p)×α，p ×α}=(1-p)×α 因为二元等概信源率失真函数： R(D)= H(α)－H(

α

D

)

= －[αlog α+(1－α)]+[

α

D

log

α

D

+(1－

α

D

)log(1－

α

D

)]

4.10 信源符号集X={0,1}，信道符号集Y={0,e,1}，信源等概分布q(0)=q(1)=0.5，失真测度矩阵[d]=⎥⎦

⎤

⎢

⎣⎡00α

ββα，式中α<0.5。 （1）求率失真函数R(D)；

（2）当α≥0.5，β=1时，证明R(D)=log2-H 2(D)。 解：（1） D min =0

D max =min{β/2,α , β/2}

因为二元等概信源率失真函数：

其中n = 2, 所以率失真函数为：

R(D)= log2- H 2[1-(D/β)] （2）当α≥1/2，β=1时，

D min ＝0，D max ＝min{β/2,α , β/2}= 1/2,⎩⎨

⎧>≤≤-=2

/10

2/10)

(2log )(2D D D H D R

4.11 二进制信道，信源分布错误!未找到引用源。，p<0.5，失真测度矩阵错误!未找到引用源。，式中错误!未找到引用源。，求率失真函数R(D)。 解：(1)由错误!未找到引用源。=1得 错误!未找到引用源。

(2)由错误!未找到引用源。得 错误!未找到引用源。

(3)由错误!未找到引用源。得

⎪

⎭

⎫ ⎝⎛-=a D H n D R ln )(