第三章 多符号离散信源与信道

第三章 多符号离散信源与信道

3.1设X ＝X 1X 2…X N 是平稳离散有记忆信源，试证明：

H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N -1)。 (证明详见p161-p162)

3.2试证明：logr ≥H(X) ≥H(X 2/ X 1) ≥H(X 3/ X 1 X 2) ≥…≥H(X N / X 1 X 2…X N -1)。 证明:

)

/()/()/()(log )(log log )()/()/()/()(:

)

/( )

/(log )( )

/(log )( )/(log )( )/(log )/()()/()

/()/(:121213121212131222111

11

1221112

111111

221112

11111132112

111111321121111212211132----==----==-=---==--=-==--=------≥≥≥≥∴≥≥≥≥=-=-=-=⎥

⎦⎤

⎢⎣⎡-≤∴=∑∑∑∑∑∑∑∑∑∑∑N N N N k k r

i r

ik ik i i ik ik i i r i r

ik r

ik ik i i ik ik ik i i r

i r ik ik i i ik r

ik ik ik i i r

i r

ik ik i i ik r ik ik i i ik ik i k k ik i i ik ik i i ik X X X X H X X X H X X H X H r X H r r X H X X X X H X X X H X X H X H X X X X H a a a a p a a

a p a a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a p X X X X H a a a a p a a a a p

，即达到最大，又仅当输入均匀分布时重复应用上面式子可得条件概率的平稳性有由离散平稳有记忆信源

3.3试证明离散平稳信源的极限熵：

)/(lim 121-∞

→∞=N N n X X X X H H

(证明详见p165-p167)

3.4设随机变量序列(XYZ)是马氏链，且X ：{a 1, a 2,…, a r }，Y ：{b 1,b 2, …,bs},Z:{c 1,c 2, …,cL}。又设X 与Y 之间的转移概率为p(b j /a i )(i=1,2, …,r;j=1,2, …,s)；Y 与Z 之间的转移概率为p(c k /b j )(k=1,2,…,L;j=1,2, …,s)。试证明：X 与Z 之间的转移概率：

∑==s

j j k i j i k b c p a b p a c p 1

)/()/()/(

证明:

∑∑∑========∴=∴=================s

j j k i j i k j k i j k s

j i j k i j s

j i j k i s

j j k i k i k b Y c Z P a X b Y p a c p b c P a b c P Markov XYZ a X b Y c Z P a X b Y p a X b Y c Z p a X b Y c Z p a X c Z p a c p 11

1

1

)

/()/()/()/(),/()

,/()/( )

/,()/,( )

/()/(＝序列为

3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i ，j ＝1，2，…，r ，都有p ij (n 0)>0，则对每个j ＝1，2，…，r 都存在状态极限概率：

),,2,1()(lim r j p n p j ij n ==∞

→

(证明详见:p171~175)

3.6设某齐次马氏链的第一步转移概率矩阵为：

⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡p q p q p q 000210 2 1 0 试求：

(1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0”、“1”、“2”的极限概率。 解：

[][]⎪⎪⎪⎪

⎩⎪⎪⎪⎪⎨⎧-=--=

-=---=

-=--=⇒⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦

⎤⎢⎢

⎢⎣

⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==pq p pq q p p pq pq pq p q p pq q pq p q p i i p p p p p p p p q p q p q p p p p pq pq

q p pq

q p pq pq

q p q

p q p q p q

p q

p q

P P P T

11)1()0(11)1)(1()1(11)1()0()

2,1,0(0)(1)2()1()0()2()1()0(000)2()1()0()2(20

000

0)]2()[1(2

2

22

22

2

2＝由：

3.7设某信源在开始时的概率分布为P{X 0=0}=0.6;P{ X 0=1}=0.3; P{ X 0=2}=0.1。第一个单位时间的条件概率分布分别是：

P{ X 1=0/ X 0=0}=1/3; P{X 1=1/ X 0=0}=1/3; P{ X 1=2/ X 0=0}=1/3; P{ X 1=0/ X 0=1}=1/3; P{ X 1=1/ X 0=1}=1/3; P{ X 1=2/ X 0=1}=1/3; P{X 1=0/ X 0=2}=1/2; P{ X 1=1/ X 0=2}=1/2; P{ X 1=2/ X 0=2}=0.

后面发出的Xi 概率只与Xi-1有关，有P(Xi/Xi-1)=P(X 1/ X 0)(i ≥2)试画出该信源的香农线图，并计算信源的极限熵H ∞。 解：

[][]bit/symbl

439.1)2

1

log 2141(2)31log 3183(3)31log 3183(3 )

/(log )/()(41)(83)(8

3)()3,2,1(0)(1)()()()()()(02/12/13/13/13/13/13/13/1)()()()3,2,1)(()3,2,1,(0)2(023/13/13/19/218/718/79/218/73/102/12/13/13/13/13/13/13/102/12/13/13/13/13/13/13/1)]2([02/12/13/13/13/13/13/13/1210][2

1 0 3

1

32

13

2132132100=⨯⨯-⨯⨯-⨯⨯-=-=∴⎪⎪

⎪⎩⎪⎪⎪⎨⎧===⇒⎪⎪⎪⎪⎩

⎪⎪⎪⎪⎨⎧=>=++⎥⎥⎥⎦⎤

⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=∴=>==∴⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∙⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==∴⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=∑∑=∞i j i j i j i i T i S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p S p S p S p i S p j i n pij n P P P P ＝由存在极限概率信源具有各态经历性，，既有时二步转移概率均大于且一步转移概率为：有记忆信源：

由题意，此信源为一阶

香农线图如下：