信息论与编码课后习题答案1

第一章信息论与基础

1.1信息与消息的概念有何区别？

信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。

在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。

在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。

信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。

1.2 简述信息传输系统五个组成部分的作用。

信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。

信宿：信息传送过程中的接受者，亦即接受消息的人和物。

编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。

信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。

译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。

1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学

模型。

解：设该信源符号集合为X

23456789101112123456543213636363636363636363636X P ⎡⎤

⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦

⎣⎦

1.4 二阶马尔可夫信源的符号集X=｛0，1，2｝，Y=｛0，1，2｝，

已知符号下发出符号的概率为p(0|0)=1-2p, p(1|0)= p(2|0)=p, p(0|1)= p(2|1)=p, p(1|1)=1-2p, p(0|2)= p(1|2)=p, p(2|2)=1-2p,画出状态转移图并求平稳后各状态的概率分布。

解：根据符号转移概率

状态空间为

S={00（S 0），01（S 1），02 （S 2），10（S 3），11（S 4），12（S 5），20（S 6），21（S 7），22（S 8）} 可写出转移概率矩阵

120

0000120000012120

00

001200000

12121212p p p p p p p p p p p p P p p

p p

p

p p p

p

p p p

p

p

p -⎡⎤⎢⎥-⎢⎥⎢⎥

-⎢

⎥-⎢⎥⎢⎥=-⎢⎥-⎢⎥

⎢⎥-⎢⎥-⎢⎥⎢⎥-⎣

⎦

状态转移图（略）

由状态转移图列方程组，设各状态的转移概率分别为,0~8i p i =

00361

0362

3147541476258782588

1

(12)()()()(12)()()(12)()1i i p p p p p p p p p p p

p p p p p p p p p p p p p p p p p p p p p p p =⎧

=-++⎪⎪=++=⎪=++=⎪⎪=-++⎨⎪=++=⎪⎪=-++⎪⎪=∑⎩ 解得048123567123

3p p p p p p p p p p p -⎧===⎪⎪⎨

⎪======⎪⎩

1.5 设有一马尔可夫信源如题图1-1所示，

112233,,s xa s xa s xa ===

（1） 求平稳后各状态出现的概率; （2） 若在初始时刻L=0时处于状态s 1; （3） 求L=2时刻 x 2=a 1的概率;

（4） 求稳态下字母序列a 3,a 1,a 2,a 1,a 2出现的概率。

解：（1）求平稳后各状态出现的概率 转移概率矩阵为

01434121414100P ⎡⎤

⎢⎥=⎢⎥

⎢⎥⎣⎦

由P 列方程组

123

212

312

12312114431

441

p p p p p p p p p p p p ⎧=+⎪⎪

⎪=+⎪⎨

⎪=+⎪⎪

⎪++=⎩ 解得平稳分布为111613213513p p p ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ （2）若在初始时刻0l =时处于状态S 1，求2l =时刻，21x a =的概率

S

2

3

S

1

S

1l l =1

l =2

21011137

{}14248

p x a S s ⇒===⨯+⨯=

或由二步转移概率矩阵

(2)

711816163378161613044P P P ⎡⎤⎢⎥⎢⎥⎢

⎥=⋅=⎢⎥⎢⎥

⎢⎥⎢⎥⎣⎦

可得 （3）∵在L=0时处于状态S 1，∴在L=2时x 2=a 1有两种情况：

P 1=

314

⨯，P 2 = 1142⨯= 18 ∴所求概率P= P 1 +P 2= 78

（4）求稳态下字母序列31212a a a a a 出现的概率

51115

1

416

p =⨯⨯⨯⨯=

平稳分布P 3

转移概率