信息理论与编码

信息理论与编码

第一讲

1、信息论与编码的关系（重要）

信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。

2、编码与通讯的关系

通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。

3、什么是摩尔斯码？

摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。

4、SOS的含义

这三个救急信号是摩尔斯码里的“———”，不是英文缩写。

5、信息论的发展简史

1917年频分复用（载波）；

1924年采样定理；模拟—数字信号

1932年摩尔斯电报系统；

1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞

生了。

6、什么是加密编码？举例说明。

7、编码需要解决通讯中的哪三个问题？

1)压缩数据；

2)检错和纠错；

3)通讯过程中的加密。

8.加密编码在信息通讯中的作用。举例说明（重要）

1）网上银行数字证书

2）二次世界大战美国人没有破译日本人的密码就会有更多人牺牲

IT时代信息的保密十分重要

1、什么是信息科学、信息论

信息科学是研究所有信息现象的一门学科，信息论研究通讯中的信息

传递、加密、压缩、纠错。

2、信息论和信息科学的关系、区别（重要）

信息论只要讲通讯里的信息处理问题（如信息传递、加密、收缩、纠错），范围窄；信息科学讲的是所有领域的信息处理问题，例如知识论等，范围广。信息论是信息科学中的一部分。

3、信息科学研究的范围和具体内容

信息科学研究通信中的信息和信息的获取、传递、认知、再生、施效、组织等所有信息现象。第三讲

1、信息的定义（重要）

维纳的信息定义——信息就是信息，不是物质也不是能量。

仙农的定义——用来减少随机不定性的东西。

我们自己的定义——信息是内容和载体的统一体，指代了内容的载体

就是信息。

2、信息的三要素以及它们之间的关系（重要）

信息三要素：载体、内容、指代；

内容：传输的信息，指代的原像；

载体：物质、场；

指代：编码

区别：同一载体可指代不同内容，同一内容也可指代不同载体。载体

是物质的，内容是精神的，内容通过指代到载体。

举例说明：红色可以指代颜色和危险不同的内容苹果在中文英文西班

牙文中都是不同的

3、成为载体的三个必要条件（重要）

必须是物质的、有两种以上可分辨状态、在时空位可排列和展开。

举例说明：文字、语言、手势、结绳、烽火、01码、盲文第四讲

1、什么是符号集、时空位？符号集中的符号与时空位的区别？举例

说明。（重要）符号集就是由符号组成的集合，例：英文26个字母、汉字、0到9阿拉伯数字；时空位就是通讯过程中的一个时空的点，其有不

同的可分辨状态。

这个时空点可填充不同符号，例：一排红绿灯中的某个灯、7位

ASCII码中的一位。时空位是指信息中一个时空的位置，即存放编码符号

集的位子。

2、什么是信息序列、信息流？

信息序列：指代了内容的时空位序列；

信息流：信息序列随时间变换，由时空位构成的指代了内容信息载体。

3、什么是信源、信宿以及信道？举例说明（重要）

信源——信息的产生和发送者，例：嘴；

信宿——信息接受者，例：耳朵；

信道——信源与信宿之间的信息传输媒介，例：空气。

信宿分为无能和万能（可以理解接受所有信宿）人不是无能因为他可

以接受声音等，她也不是万能，因为他不能接受红外线。

4、信息如何分类？

①语法信息、语义信息、语用信息；②自然信息、编码信息；③离散

信息、连续信息。

5、通讯中有哪三种编码？

信源编码、信道编码、加密编码。

6、信源编码与信道编码之间的关系、区别（重要）

信源编码就是在信源端对数据进行的压缩编码，目的是信源端压缩数据使数据变短；信道编码就是使得信息可以在信道上传输以及正确传输，目的是在信道上正确传递数据，加了检验位和纠错位使得数据变长。

7、什么是调制与解调？为什么要调制与解调？（重要）

调制就是将需要传输的信号加载到载波上去的过程；解调就是把信号从载波中取出的过程。原因：

1)因为天线发射无线电波必须满足无线电波的半波长和天线的尺寸近似相等，才能有效地

发射，必须把低频信号加载到高频信号上去；

2)可实现N个人和N个人之间的通讯。

1、什么是载体和内容信息量？

载体信息量：载体最大能承载的信息量；

内容信息量：内容包含的信息的多少。

2、物理量的一般定量方法的三个步骤（重要）

1)寻找一个单位，单位保证不变，容易获取以及测量，不能消失；

2)将待测量与单位比较，得到倍数关系；

3)用测量倍数和单位得到测量值。

举例速度单位30万公里/秒

3、信息的单位及换算关系

信息单位：

1)状态数（个）；

2)bit（以二为底的对数）；

3)det（以十为底）；

4)nat（e）。

换算关系：用N的单位为种，I的单位为位bit，换算公式为

I=log2N（bit）

4、什么是Hartley公式？其单位是？

1928年Hartley载体信息公式：I=log2N（bit），N为可分辨状态数。

5、如何来计算一张光盘的信息量？

光盘中有n个时空位，每个时空位有b种表示，则光盘的信息量为:

N=b（种），I=nlognb（bit）

6、如何提高一张光盘存储信息量？

光盘储存信息量的决定因素为:

1)时空位的密度——增加时空位的密度；

2)一个时空位上的可分辨物理状态数——提高一个时空位上的可分辨

物理状态数。可据以上两个因素提高光盘储存信息量。

第六讲

1、十个天干和十二个地支分别是什么？今年、明年是什么年？