信息与编码复习总结

第一章

⏹信息是关于事物运动状态或存在方式的不确定性的描述。抽象的、非物理的，

是信息的哲学层表达。

⏹消息是指包含信息的语言、文字、符号、数据、图像等。消息是信息的载体。

是具体的、非物理的形式，是信息的数学层表达

⏹信号：运用声、光、电等物理量来运载信息。信号是载荷信息的实体，是具体

的、物理的形式，是信息的物理层表达

⏹信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。

⏹反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外

延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息。

⏹消息是信息的数学载体、信号是信息的物理载体

通信系统的模型

\

例题： 一个布袋中包含100个球，其中80个红球，20个白球。 （1）随机地抽取一个球观察颜色后放回布袋，则出现白球的概率多少？（2）随机抽取一个球，记录颜色后不放回布袋，接着再取一球记录颜色，试问如果第一个是红球，第二个分别是红球和白球的概率？（3）随机抽取一个球，记录颜色后不放回布袋，试问，取出两个球，先后是白球和红球的概率？

（1）解: 设 W i ={第i 次取出是白球}, i =1,2,……

2

.0100

20

)(==i W p {}n a a a X ,,,21 ∈{}

m b b b Y ,,,21 ∈1)(),|(),(),(0)1(≤≤j i i j j i b a p a b p b p a p ∑∑∑∑∑=========n

i m

j j

i

m

j i j

m

j j

n

i i b

a p a b

p b

p a p 11

1

1

11

)(1

)|(1

)(1

)()2(∑∑====m

j i j

i

n i j j i a p b

a p

b p b a p 1

1

)

()()

()()3()

|()()|()()()4(j i j i j i j i b a p b p a b p a p b a p ==)

|()()

()()(Y X )5(i j j j i j i a b p b p b p a p b a p ==相互独立时：

与当∑

==

=

n

i j i j i j j i j i b a p b a p b p b a p b a p 1

)

()

()

()()|()6(

2）解: 设 W i ={第i 次取出是白球}, i =1,2,……

R j ={第j 次取出是红球}， j =1,2,……

（3）解: 设 W i ={第i 次取出是白球}, i =1,2,……

R j ={第j 次取出是红球}， j =1,2,……

⏹

⏹ 1、信源编码的主要目的是提高__ 有效性____， 信道编码的主要目的是提高_可靠性_____。

⏹ 2、根据是否允许失真，信源编码可分为___无失真信源编码__和____限失真信

源编码___。

⏹ 3、如果从随机不确定性的角度来定义信息，信息反映的__不确定性_____消除量。

⏹ 4、简述信息、消息与信号3个名词

⏹ 5、给出通信系统的基本模型，并说明各组成部分的含义。

⏹ 6、简述通信系统的性能指标，并说明通过什么渠道优化这些性能指标。

有效性——信源编码 可靠性——信道编码 安全性——加密编码

798

.099

79

)|(12

==R R p 202

.099

20

)|(12

==R W p 16.099

80

*10020)|(*)()(12121==

=W R p W p R W p

第二章

● 按信源发出符号所对应的随机变量之间有无统计依赖关系，可

将离散信源分为_______和_______两大类。 习题2-1,习题2-2

⏹ 1、掷两粒骰子，当点数之和为5时，该消息包含的信息量是______bit 。 ⏹ 2、从大量统计资料知道，女性色盲发病率为0.5%，如果你问一位女士：“你是否是色盲？”她的回答可能是“是”，可能是“否”，问 （1）这两个回答中各含多少信息量？ （2）平均每个回答中含有多少信息量？ 解：

教材39页 2-2 , 2-5,2-7,2-15

sym bol

bit x I x p x I x p X H bit

x p x I x p bit x p x I x p N N Y Y N N N Y Y Y / 045.0)()()()()( 007.0995.0log )(log )(%

5.99)( 64.7005.0log )(log )(%5.0)(=+==-=-===-=-==

第二章复习

（1）信息是可以定量描述的，可以比较大小。由概率决定；

（2）对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；

（3）可通过对信源的观察、测量获得信息，以减少对信源的不确定度；

（4）考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降；

（5）通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：

H(X/Y)=H(X)-I(X;Y)

（6）信息通过系统传输，只会丢失信息，不会增加。丢失部分H(X/Y)是由噪声引起的。