信息论的由来发展

信息论的由来发展

科学技术的发展是人类正在进入一个新的时代，这个时代的主要特征之一就是对信息的需求和利用，因此有人称之为信息时代。而迄今为止，人们对信息都没有确切定义，但是它是一种人人皆知、不言自明的抽象概念。信息虽无确切定义，但是却有两个明显的特征：广泛性与抽象性，信息时组成客观世界并促进社会发展的最基本的三大要素之一（物质、能量和信息）。它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、再生、控制和利用。

信息论正是一门把信息作为研究对象，以揭示信息的本质特征和规律为基础，应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的科学。自从1948年贝尔研究所的香农发表了《通信的数学理论》一文，宣告了信息论作为一门独立的、全新的学科成立。自此以后，信息理论本身得到不断地发展和深化，尤其是在信息理论的指导下，信息技术也获得飞快发展。这又使信息的研究冲破了香农狭义信息的范畴，几乎渗透到自然科学与社会科学的所有领域，从而形成了一门具有划时代意义的新兴学科——信息科学。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。

上表记录了科学家们再信息科学发展中的重要贡献，反映了信息科学的发展历程。香农在论文《通讯的数学理论》中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，

通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。人类迈入21世纪的高度信息化时代以来，移动通信、互联网通信、多媒体技术、计算机技术、空间技术等信息技术出现了超越人们想象的、前所未有的发展速度，在这些领域中，只要涉及信息的存储、传输和处理就要用到香浓信息理论——无失真通信的传输速率极限（即香浓极限）、无失真和限失真新源编码理论（即数据压缩原理）和信道编码理论（即纠错码理论）等。如今信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。

何为信息

一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号。作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各种消息之和。信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。一切事物，包括自然界和人类社会，都在发出信息。我们每个人每时每刻都在接收信息。在人类社会中，信息往往以文字、图象、图形、语言、声音等形式出现。就本体论意义而言，信息是标志事物存在及其关系的属性。

信息一般具有如下一些特征：

1、可识别；

2、可转换；

3、可传递；

4、可加工处理；

5、可多次利用（无损耗性）；

6、在流通中扩充；

7、主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。

8、信息的能动性。

9、可共享性。这是信息与物质和能量的主要区别。

信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。

信息论学科的概述

信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。

信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。

信息论的研究对象

信源

产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随即发生。研究的主要问题是消息的统计特性和产生信息的速率。

编码器

编码是把消息变换成信号的措施，而译码就是编码的发变换。编码器输出的是适合信道传输的信号，信号携带着消息，它是消息的载荷者。其中，编码器分为信源编码器和信道编码器。

信源编码器：对信源输出进行变换，求得有效性

信道编码器：对信源编码输出变换，提高抗干扰性

调制器：将信道编码输出变成适合信道传输的方式

信道

通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道

干扰源

系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，这要是统计特性

信道的中心问题是研究信道的统计特性和传信能力，即信道容量

译码器

编码器的逆变换

中心问题是研究各种可实现的解调和译码的方法

信宿

信息的接收者,信源和信宿可处于不同地点和不同时刻

信息论研究的目的