信息论与编码习题与答案第四章

4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。其失真函数ij d 与信道转移概率ij p 分别定义为

j i j i d ij =≠⎩⎨⎧=,0,1 ，j i j i p ij =≠⎩

⎨⎧-=,1,εε 试求失真矩阵d 和平均失真D 。

解：由题意得，

失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110d ，信道转移概率矩阵为P ⎥⎦

⎤⎢⎣⎡--=εεεε11)(i j 平均失真为ε

εεεε=⨯-+⨯+⨯+⨯-=

=∑0)1(211211210)1(21),()()(,j i d i j p i p D j

i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为

⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。

解：由题意，得 0min =D

则symbol bit X H R D R /24log )()0()(2min ====

这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为

⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=1000

010*********)j (i P ∑===30

3,2,1,0max ),()(min i j j i d i p D

，，14

1141041141141141141041min{⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯=

}04

1141141141141041141141⨯+⨯+⨯+⨯⨯+⨯+⨯+⨯， 43}43,43,43,43min{== 则0)(max =D R

此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=0001000100010001)(i j P

4-5 具有符号集{}10,u u U =的二元信源，信源发生概率为：2/10,1)(,)(10≤<-==p p u p p u p 。Z 信道如下图所示，接收符号集},{10v v V =，转移概率为：q u v q u v q -==1)(,1)(1100。发出符号与接收符号的失真：1),(),(,0),(),(10011100====v u d v u d v u d v u d 。

（1）计算平均失真D ；

（2）率失真函数R(D)的最大值是什么当q 为什么值时可达到该最大值此时平均失真D 是多大

（3）率失真函数R(D)的最小值是什么当q 为什么值时可达到该最小值此时平均失真D 是多大

（4）画出R(D)-D 的曲线。 0u 1u 0

v 1v 1

q q -1

解：由题意，知

失真矩阵为d ⎥⎦⎤⎢⎣⎡=0110,转移概率矩阵为⎥⎦

⎤⎢⎣⎡-=q q Q 101 p u p p u p -==1)(,)(10

（1） 平均失真)

1(0)1()1(1)1(1001)

,()()(,p q q p q p p p v u d u v q u p D j i i j j

i i -=⨯-⨯-+⨯⨯-+⨯⨯+⨯⨯==∑

（2） )

1(log )1(log )

()0()()(max 22min p p p p U H R D R D R ----==== 此时的平均失真0min ==D D ，则q=0

（3） minR(D)=0 此时),()(101,0max min j i

i i j v u d u p D ∑===

}0)1(1,1)1(0{min ⨯-+⨯⨯-+⨯=p p p p p p p =-=},1min{

此时输出符号概率1)(,0)(10==v p v p ，相应的的转移概率矩阵为

⎥⎦

⎤⎢⎣⎡=1010Q 而在给定的信道下，⎥⎦

⎤⎢⎣⎡-=q q Q 101 令 )]()([min );(min )(V U H U H V U I D R -===0

)](log ),()1log()1(log min[101

0j i j i j i v u q v u p p p p p ∑∑==+----=

)]

log()()1(log )1(log )1log()1(log min[pq q p pq q p p q p q p p p p p p -+-+---++----= 0

)]log()()1(log )1()1log()1(min[=-+-+---+---=pq q p pq q p p q p q p p 容易看出当 1=q 时，R(D)=0

此时的平均失真D=q(1-p)=1-p>p )2/10(≤

（4）

)(D R D )

(U H max D p

1

R(D)-D 曲线