信息论与纠错编码(电子工业出版社)第四章率失真编码 参考答案

4.1 当率失真函数R （D ）取什么值的时候，表示不允许有任何失真。

解：当D=0时，表示不允许有任何失真，此时R （D ）= H （X ）， 即R max （（D ）= H （X ）4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值是什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？解：不允许失真时，信息率压缩极限值R （D ）= H （X ）；不允许失真时，信息率压缩极限值 R （D ）= 04.3 在例4.8中，当允许D= 0.5δ时，请问每个信源符号至少需要几个二进制符号来对其编码？解：因为二元信源率失真函数：⎪⎭⎫⎝⎛-=a D H p H D R )()(其中a = 1（汉明失真）, 所以二元信源率失真函数为：)()()(D H p H D R -=当D= 2P 时[]symbol nat p p p p p p p p p H p H p R /21ln 212ln 2)1ln()1(ln 2)(2⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-++--+-=⎪⎭⎫⎝⎛-=⎪⎭⎫ ⎝⎛4.4 给定信源分布⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡25.025.05.0x 321x x ，失真测度矩阵[d]=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡011302120，求率失真函数R （D ）。

解：定义域：D min =0×0.5+0×0.25+0×0.25=0D max =min{2×0.25+1×0.25,2×0.5+1×0.25,1×0.5+3×0.25}=0.75值域：R （D min ）= －0.5log0.5－0.25log0.25－0.25log0.25=0.45 R （D max ）= 04.5 给定二元信源⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡5.05.0x x 21, 失真测度矩阵为[d]=⎥⎦⎤⎢⎣⎡00αα,求率失真函数R(D)。

解：0021021),(m in )(202121),()(m in m in min max =⨯+⨯===⨯+⨯===∑∑ij i ji ij i i jj y x d x p D aa y x d x p D D因为二元等概信源率失真函数：⎪⎭⎫ ⎝⎛-=a D H n D R ln )(其中n = 2, 所以率失真函数为：⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )(4.6 给定二元信源⎥⎦⎤⎢⎣⎡)(q X X =⎥⎦⎤⎢⎣⎡αα-1x x 21, α<0.5，失真测度矩阵为[d]=⎥⎦⎤⎢⎣⎡00αα, 求率失真函数R(D)。

解：因为二元等概信源率失真函数： R(D)= H(α)－H(αD)= －[αlog α+(1－α)]+[αDlogαD+(1－αD)log(1－αD)]4.7 给定二元信源⎥⎦⎤⎢⎣⎡)(q X X = ⎥⎦⎤⎢⎣⎡5.05.0x x 21, 失真测度矩阵为[d]=⎥⎦⎤⎢⎣⎡00βα,求率失真函数R(D)。

解：D min = 0.5×0+0.5×0=0 D max =min{0.5α，0.5β}因为二元等概信源率失真函数：其中n = 2, 所以率失真函数为：⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )(4.8 等概信源错误!未找到引用源。

，接收符号集错误!未找到引用源。

，失真测度矩阵为[d]=123101221013210错误!未找到引用源。

，求R(D)的定义域和值域； 解： D min = 0D max = 1/4×1+1/4×1+1/4×2+0=1 定义域：0<D<1因为n 元等概信源率失真函数：⎪⎭⎫⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n a D a D n D R 1ln 11ln ln )(其中a = 1, n = 4, 所以率失真函数为：⎪⎭⎫ ⎝⎛-=a D H n D R ln )(()()D D DD D R --++=1ln 13ln4ln )(值域：0<R(D)<ln44.9 二元信源错误!未找到引用源。

，其中p<0.5，信道输出符号集Y={y 0，y 1}，失真测度矩阵为[d]=⎥⎦⎤⎢⎣⎡00αα，求率失真函数R(D)。

解： D min = 0D max = min{(1-p)×α，p ×α}=(1-p)×α 因为二元等概信源率失真函数： R(D)= H(α)－H(αD)= －[αlog α+(1－α)]+[αDlogαD+(1－αD)log(1－αD)]4.10 信源符号集X={0,1}，信道符号集Y={0,e,1}，信源等概分布q(0)=q(1)=0.5，失真测度矩阵[d]=⎥⎦⎤⎢⎣⎡00αββα，式中α<0.5。

（1）求率失真函数R(D)；（2）当α≥0.5，β=1时，证明R(D)=log2-H 2(D)。

解：（1） D min =0D max =min{β/2,α , β/2}因为二元等概信源率失真函数：其中n = 2, 所以率失真函数为：R(D)= log2- H 2[1-(D/β)] （2）当α≥1/2，β=1时，D min ＝0，D max ＝min{β/2,α , β/2}= 1/2,⎩⎨⎧>≤≤-=2/102/10)(2log )(2D D D H D R4.11 二进制信道，信源分布错误!未找到引用源。

，p<0.5，失真测度矩阵错误!未找到引用源。

，式中错误!未找到引用源。

，求率失真函数R(D)。

解：(1)由错误!未找到引用源。

=1得 错误!未找到引用源。

(2)由错误!未找到引用源。

得 错误!未找到引用源。

(3)由错误!未找到引用源。

得⎪⎭⎫ ⎝⎛-=a D H n D R ln )((4)由错误!未找到引用源。

得(5)由错误!未找到引用源。

得4.12 二进制信道，信源分布错误!未找到引用源。

，p<0.5，失真测度为汉明失真测度，问当允许平均失真测度D=0.5p 时，每个信源符号至少需要几个二进制符号表示。

解：因为二元信源率失真函数：4.13 二元等概率离散信源，失真测度函数定义为错误!未找到引用源。

，求率失真函数。

解：因为二元等概信源率失真函数：⎪⎭⎫⎝⎛-=a D H n D R ln )(其中n = 2, 所以率失真函数为：⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )(4.14 信元等概分布错误!未找到引用源。

，接收符号集错误!未找到引用源。

，失真测度矩阵为错误!未找到引用源。

（1）求R(D)的定义域和值域；（2）求R(D)函数，并画出求R(D)~D 曲线（取4~5个点）。

解：定义域：041041041041),(min )(430411********),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i ij i i j j y x d x p D y x d x p D D因为n 元等概信源率失真函数：⎪⎭⎫⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n a Da D n D R 1ln 11ln ln )(其中a = 1, n = 4, 所以率失真函数为：()()D D DD D R --++=1ln 13ln4ln )(值域：0<R(D)<ln4函数曲线：D其中symbolnat D R D symbolnat D R D symbolnat D R D symbolnat R D /0)(,43/12ln 214ln )(,21/316ln 214ln )(,41/4ln )0(,0==-==-====4.15信源等概分布⎥⎥⎦⎤⎢⎢⎣⎡≡⎥⎦⎤⎢⎣⎡r xr rx r x x q X 1...1 (211))(，接收符号集Y=}{,...2,1yr y y 失真测度为汉明失真测度。

(1)用参数法计算失真函数R(D);(2)求出达到R(D)的正向信道的信道转移概率p(y|x); (3)求出达到R(D)的反向信道的转移概率ø(x|y).解：根据1=)(i sd ii x q e ij∑λ得出：1)(11)(11)(1021102201=++⎢⎣⎡=++⎢⎣⎡=++⎢⎣⎡e e e re e e r e e e r r s s sr s sr s λλλλλλλλλ由上面的方程组可得：121====r λλλ由∑==Jj isdj ij e y w 11)(λ可得：1)()()(1)()()(1)()()(21021201=+++=+++=+++s r s s s r s s r s e y w e y w e y w e y w e y w e y w e y w e y w e y w由上面可得：)()()(21r y w y w y w === ，又因为∑=jjy w 1)(，所以ry w y w y w r 1)()()(21====由ijsd i j i j e y w x y p λ)()|(=可得：p= re ij sd ,所以[p]= ⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡r r e r e r e rre re r e r s s ss s s 111D=re r ed x q y w sI i Jj sd ij i i j ij)1()()(11-=∑∑==λ,s=1ln -r Dr R(D)=sD+1lnlog )(1-=∑=r DrD x q Ii i i λ 由)|()()()|()()()|(i j j i i j j j i j i x y p y w x q x y p y w y x p y x ===φ得反向信道转移概率为：[ø]=⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡r r e r e r e r r e re r e r s s ss s s 1114.16二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.005.00)(x q X ，信源输出速率v=2.5b/s,通过信息传输率R1=2b/s 的无噪无损信道传输，试问：(1)信源能否在此信道中进行无失真传输；(2)若此信道的失真测度定义为汉明失真测度，则平均失真多大时，可在该信道中传输。

解：(1) 根据无损无噪信道容量C=maxH(x),当信源等概率分布时H(x)最大，所以max[H(x)]=∑==-=-2112*)5.0log 5.0()(log )(i iix q x q ,即C=1b/s,因为R>C ，所以不可能实现无差错传输，即不可能在此信道中进行无失真传输(2) 由题意得d=⎥⎦⎤⎢⎣⎡0110,5.0,0max min ==D D由表达式1=)(i sdii x q e ij ∑λ可得下列方程组：1)(2121=+s e λλ 1)(2121=+λλs e 解得：se +==1221λλ 由∑==Jj isd jijeyw 11)(λ可得：21)()(21)()(2121ss ssey w e y w e e y w y w +=++=+21)()(21==⇒y w y w由ij sdi j i j e y w x y p λ)()|(=得：ss ssss e x y p e e x y p e e x y p e x y p +=+=+=+=11)|(,1)|(1)|(,11)|(11122111∑∑==+==21211)|()(i j ssij i j i e e d x y p x q D 由5.0,0,max min ==≥D D D D ，所以有max min D D D ≤≤4.17信源X={x1,x2,x3,x4},信宿Y={y1,y2,y3,y4,y5,y6,y7},信源等概率分布，失真测度矩阵为[d]=⎥⎥⎥⎥⎦⎤∞∞∞∞∞∞∞∞∞∞∞∞∞⎢⎢⎢⎢⎣⎡∞∞∞333310101010,证明率失真函数R(D)如题图4-1所示。