信息论与编码第一章答案

第一章信息论与基础
1.1信息与消息的概念有何区别？
信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。

一切物质都有可能成为信息的载体，信息充满着整个物质世界。

信息是物质和能量在空间和时间中分布的不均匀程度。

信息是表征事物的状态和运动形式。

在通信系统中其传输的形式是消息。

但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。

在通信系统中形式上传输的是消息,但实质上传输的是信息。

消息只是表达信息的工具，载荷信息的载体。

显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。

信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。

可见，信息与消息既有区别又有联系的。

1.2 简述信息传输系统五个组成部分的作用。

信源：产生消息和消息序列的源。

消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。

信源研究主要内容是消息的统计特性和信源产生信息的速率。

信宿：信息传送过程中的接受者，亦即接受消息的人和物。

编码器：将信源发出的消息变换成适于信道传送的信号的设备。

它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。

(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。

(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。

纠错编码器和调制器的组合又称为信道编码器。

信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。

信道除了传送信号外，还存储信号的作用。

译码器：编码的逆变换。

它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。

1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学
模型。

解：设该信源符号集合为X
23456789101112123456543213636363636363636363636X P ⎡⎤
⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦
⎣⎦
1.4 二阶马尔可夫信源的符号集X=｛0，1，2｝，Y=｛0，1，2｝，
已知符号下发出符号的概率为p(0|0)=1-2p, p(1|0)= p(2|0)=p, p(0|1)= p(2|1)=p, p(1|1)=1-2p, p(0|2)= p(1|2)=p, p(2|2)=1-2p,画出状态转移图并求平稳后各状态的概率分布。

解：根据符号转移概率
状态空间为
S={00（S 0），01（S 1），02 （S 2），10（S 3），11（S 4），12（S 5），20（S 6），21（S 7），22（S 8）} 可写出转移概率矩阵
120000012000001212000
001200000
12121212p p p p p p p p p p p p P p p
p p
p
p p p
p
p p p
p
p
p -⎡⎤⎢⎥-⎢⎥⎢⎥
-⎢
⎥-⎢⎥⎢⎥=-⎢⎥-⎢⎥
⎢⎥-⎢⎥-⎢⎥⎢⎥-⎣
⎦
状态转移图（略）
由状态转移图列方程组，设各状态的转移概率分别为,0~8i p i =
00361
0362
314754147
6258782588
1
(12)()()()(12)()()(12)()1i i p p p p p p p p p p p
p p p p p p p p p p p p p p p p p p p p p p p =⎧
=-++⎪⎪=++=⎪=++=⎪⎪=-++⎨⎪=++=⎪⎪=-++⎪⎪=∑⎩ 解得048123567123
3p p p p p p p p p p p -⎧===⎪⎪⎨⎪======⎪⎩
1.5 设有一马尔可夫信源如题图1-1所示，
112233,,s xa s xa s xa ===
（1） 求平稳后各状态出现的概率; （2） 若在初始时刻L=0时处于状态s 1; （3） 求L=2时刻 x 2=a 1的概率;
（4） 求稳态下字母序列a 3,a 1,a 2,a 1,a 2出现的概率。

解：（1）求平稳后各状态出现的概率 转移概率矩阵为
01434121414100P ⎡⎤
⎢⎥=⎢⎥⎢⎥⎣⎦
由P 列方程组
123
212
312
12312114431
441
p p p p p p p p p p p p ⎧=+⎪⎪
⎪=+⎪⎨
⎪=+⎪⎪
⎪++=⎩ 解得平稳分布为111613213513p p p ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩ （2）若在初始时刻0l =时处于状态S 1，求2l =时刻，21x a =的概率
S
2
3
S 1
S
1l l =1
l =2
21011137{}14248
p x a S s ⇒===
⨯+⨯= 或由二步转移概率矩阵 (2)
711816163378161613044P P P ⎡⎤⎢⎥⎢⎥⎢
⎥=⋅=⎢⎥⎢⎥
⎢⎥⎢⎥⎣⎦
可得 （3）∵在L=0时处于状态S 1，∴在L=2时x 2=a 1有两种情况：
P 1= 3
14⨯，P 2 =
1142⨯= 18 ∴所求概率P= P 1 +P 2= 78
（4）求稳态下字母序列31212a a a a a 出现的概率
51115
1
416
p =⨯⨯⨯⨯=平稳分布P 3
转移概率
1.6 有一个二院对称信道，p=0.06，设该信道以1000个符号/秒的速度传输输入符号，现有一消息序列共有9500个符号，并设消息中 q （0）=q （1）=0.5，问从信息传输的角度来考虑，10秒钟能否将消息无失真地传送完？
解：信源符号等概率分布，故信源熵为1
()12
H =bit ，9500个符号的信息量为
9500bit 。

又由二进制对称信道的信道矩阵0.940.06.0.60.94P ⎡⎤
=⎢⎥
⎣⎦
1
(0)(1)2
q q ==
，1()()12H Y H ==bit/符号
发送和接收符号的联合概率矩阵为0.470.030.030.47XY P ⎡⎤
=⎢⎥
⎣⎦
1
()()()log ()((0.94,0.06)2)2
X
Y
H Y X p x p y x p y x H ==
⨯∑∑=0.327 (;)()()10.3270.673I X Y H Y H Y X =-=-=bit/符号
10秒钟可以传送0.6731000106730⨯⨯=bit ，故无法在10秒内无失真地传送。

1.7 求二元删除信道的二次扩展信道。

解：二元删除信道的信道矩阵为1001p p
P p p -⎡⎤=⎢
⎥-⎣⎦
，设输入符号集合为X={0,1}，输出符号集合为Y={0,e,1}。

2{00,01,10,11}X =，2{00,0,01,0,,1,10,1,11}Y e e ee e e =
2
2
222
22
2(1)0(1)(1)0
0000(1)0(1)(1)000000(1)(1)0(1)00
(1)(1)
(1)
p p p p p p p p p p p p P p p p p p p p p p p p p ---⎡⎤⎢⎥---⎢
⎥=⎢⎥---⎢⎥---⎣⎦
1.8 设有一反馈通信系统如图1-2所示，信源为二元离散无记忆信源，信道为二元删除信道，反馈信道为无干扰信道。

译码器判断若收到为删除符号就通知发端重传原来的符号（0或1），若收到0或1，译码器就将它送给信宿，同时通知发端送下一个符号。

试求：
（1）每个信息符号被接收端接收所需的平均传送次数。

（2）信宿接收的符号的错误概率。

解：（1）∵此系统中有二元删除信道且其概率分布如图：
∴信息符号被接收端接收的概率为p ∴接收端接收所需的平均传送次数为
（2）∵信源发出信号是随机的，且此系统中有二元删除信道且译码器判断
若收到为删除符号就通知发端重传原来的符号（0或1） ∴信宿接收的符号错误概率为0。

P
e 1-p 1
P
1
1-p。