信息论的由来发展

信息论的由来发展
科学技术的发展是人类正在进入一个新的时代，这个时代的主要特征之一就是对信息的需求和利用，因此有人称之为信息时代。

而迄今为止，人们对信息都没有确切定义，但是它是一种人人皆知、不言自明的抽象概念。

信息虽无确切定义，但是却有两个明显的特征：广泛性与抽象性，信息时组成客观世界并促进社会发展的最基本的三大要素之一（物质、能量和信息）。

它依附于物质和能量，但又不同于物质和能量。

没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。

信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。

人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、再生、控制和利用。

信息论正是一门把信息作为研究对象，以揭示信息的本质特征和规律为基础，应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的科学。

自从1948年贝尔研究所的香农发表了《通信的数学理论》一文，宣告了信息论作为一门独立的、全新的学科成立。

自此以后，信息理论本身得到不断地发展和深化，尤其是在信息理论的指导下，信息技术也获得飞快发展。

这又使信息的研究冲破了香农狭义信息的范畴，几乎渗透到自然科学与社会科学的所有领域，从而形成了一门具有划时代意义的新兴学科——信息科学。

信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。

它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。

上表记录了科学家们再信息科学发展中的重要贡献，反映了信息科学的发展历程。

香农在论文《通讯的数学理论》中系统地提出了关于信息的论述，创立了信息论。

维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。

1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。

20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。

研究重点是信息和信源编码问题。

到70年代，由于数字计算机的广泛应用，
通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。

人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。

人类迈入21世纪的高度信息化时代以来，移动通信、互联网通信、多媒体技术、计算机技术、空间技术等信息技术出现了超越人们想象的、前所未有的发展速度，在这些领域中，只要涉及信息的存储、传输和处理就要用到香浓信息理论——无失真通信的传输速率极限（即香浓极限）、无失真和限失真新源编码理论（即数据压缩原理）和信道编码理论（即纠错码理论）等。

如今信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。

何为信息
一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号。

作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各种消息之和。

信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。

一切事物，包括自然界和人类社会，都在发出信息。

我们每个人每时每刻都在接收信息。

在人类社会中，信息往往以文字、图象、图形、语言、声音等形式出现。

就本体论意义而言，信息是标志事物存在及其关系的属性。

信息一般具有如下一些特征：
1、可识别；
2、可转换；
3、可传递；
4、可加工处理；
5、可多次利用（无损耗性）；
6、在流通中扩充；
7、主客体二重性。

信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。

8、信息的能动性。

9、可共享性。

这是信息与物质和能量的主要区别。

信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。

信息可以控制和支配物质与能量的流动。

信息论学科的概述
信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。

信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。

随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。

信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。

它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。

信息科学在安全问题的研究中也有着重要应用。

信息论的研究对象
信源
产生消息的源，消息可以是文字，语言，图像。

可以离散，可以连续。

随即发生。

研究的主要问题是消息的统计特性和产生信息的速率。

编码器
编码是把消息变换成信号的措施，而译码就是编码的发变换。

编码器输出的是适合信道传输的信号，信号携带着消息，它是消息的载荷者。

其中，编码器分为信源编码器和信道编码器。

信源编码器：对信源输出进行变换，求得有效性
信道编码器：对信源编码输出变换，提高抗干扰性
调制器：将信道编码输出变成适合信道传输的方式
信道
通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道
干扰源
系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，这要是统计特性
信道的中心问题是研究信道的统计特性和传信能力，即信道容量
译码器
编码器的逆变换
中心问题是研究各种可实现的解调和译码的方法
信宿
信息的接收者,信源和信宿可处于不同地点和不同时刻
信息论研究的目的
研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性。

有效性。

保密性和认证性，以达到信息传输系统最优化。

可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地。

不失真地再现在接收端。

有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。

保密性，就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接受和理解。

认证性，就是接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。

信息论研究的内容
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。

它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

信息论的研究范围极为广阔。

一般把信息论分成三种不同类型：
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。

它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。

(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。

其中维纳和香农等人都是运用概率和统计数学的方法来研究准确或近似地再现信息的问题，都是为了使信息传送和接收最优化。

维纳研究的重点是在接收端。

研究一个信号如果在传输过程中被某些因素所干扰后，在接收端怎样把它恢复、再现，从干扰中提取出来。

在此基础上，创立了最佳线性滤波理论、统计检测和估计理论、噪声理论等。

而香农研究的对象则是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点放在编码。

他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。

为此发展了信息测度理论、信道容量理论和编码理论等。

(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

信息传输和信息压缩是信息论研究中的两大领域。

这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

最后介绍一下信息论中衡量信息的几个重要的概念：
信息量——信息论中量度信息多少的一个物理量。

它从量上反映具有确定概率的事件发生时所传递的信息。

信息熵(Entropy)：是信息论中用于度量信息量的一个概念。

一个系统越是有序，信息熵就越低；是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。

条件熵(Conditional entropy)：是信息论中信息熵的一种度量，它表示如果已经完全知道第二个随机变量 X 的前提下，随机变量 Y 的信息熵还有多少。

也就是基于 X 的 Y 的信息熵。

相对熵(KL-Divergence):表示实际信源比理想信源的缩减程度.
互信息(Mutual information)：它是指两个事件集合之间的相关性。

香农三大定理是信息论的基础理论。

香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。

香农第一定理是可变长无失真信源编码定理。

香农第二定理是有噪信道编码定理。

香农第三定理是保失真度准则下的有失真信源编码定理。

具体如下:
一:香农第一定理(可变长无失真信源编码定理)
设信源S的熵[shāng]H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。

二:香农第二定理（有噪信道编码定理）
设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找到M
(M<=2^(N(C-a))),a为任意小的正数)个码字,分别代表M个等可能性的消息,组成一
个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

三:香农第三定理（保失真度准则下的有失真信源编码定理）
设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于
任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一
种信源编码W,其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度
D'(W)<=D+a。

信息论的应用举例
---------信息论在网络集成教学中的应用
经过近半个世纪许多科学家的深入研究和发展，使得信息论已成为通信工程方面较为系统完整的理论基础。

虽然这些新的概念和方法总的来说还不成熟，但这种新思路、新方法给复杂系统的研究带来了希望。

人们运用信息观点和方法来解释物理学、光学、化学、生物学、心理学及社会管理学、经济学等领域中的问题，取得了扎实的进展。

我们下面以网络集成教学为例，看看信息论在其中的应用。

一、网络集成课程准备阶段的信息论应用
课程准备包括教学内容准备、教学环节准备、教学方法准备、教学评价准备等几个方面。

课程的准备实质是信息资源的处理，它是依赖人的理解能力的概念化的内容，学生通过阅读、聆听、感知等认知方法处理接收到的信息。

教师在课程准备阶段就要考虑到所要传递的信息的形式、性质、编码形式等因素。

网络集成教学内容包括网络设计与网络管理、网络标准与标准化、网络施工与测试及新产品开发等内容。

现在的教材都有一个普遍不足，就是滞后于现实网络的发展。

另外在当今这样一个信息时代，学生获取网络集成信息的渠道很广，所以时常出现学生掌握的某些网络知识深于教材、广于教材的现象，所以一味的按照教材准备课程会很被动。

（一）在教学内容准备上，根据信息论的理论，若某一事件产生的概率是P，此时的
信息量为：H=-log2p。

事件发生的概率越小，所含信息量越大[3]。

教学内容的准备是对小概率内容的编码，即对专业性、技术性强的知识点进行组合、构造，以便保证充足的信息量，并且安排适当的信息点密度。

（二）在教学环节准备上，根据信息编码的原理，建议采用哈夫曼编码。

哈夫曼编码是一种无损压缩编码，它的编码思想是对于出现概率高的信息，编码长度较短，即可以简单表示或不表示；对于出现概率低的内容（即独特的网络特征）应重点表示，以达到用最经济的成本实现最大的信息到达率。

（三）在教学方法准备上，根据信息传输原理中的香农公式C=Wlog（1+S/N），S/N是信噪比，C是教学效果，W是教学方法。

根据这个公式可知，要提高有效信息，就必须抑制噪声，减小干扰。

为了实现这个目标，应该对传递信息的信道加以甄选。

（四）在教学评价准备上，改革课程的评价方式，是课程改革的关键环节。

传统的网络集成课程考核形式较为单一，主要是闭卷笔试，不能全面反映出学生对网络集成的知识和技能的真正掌握情况，特别是技能方面的能力在闭卷笔试中往往是很难得体现出来的。

按照信息论原理对学生接收、掌握的信息量进行评价，主要运用概率理论。

具体的评价方法应该是多元化的，比如形成性考核、笔试、实训考核及论文考核等形式，综合运用这些评价方法可以有效地检测出学生对课程掌握的真实情况。

课程准备阶段是教学环节中关键阶段，不仅要针对教学内容、教学方法、教学方法进行准备，还应该针对不同的专业实际需要，针对不同的学生特点有重点的、分层次备课。

在学时安排、具体教学内容上要体现差异性，改变过去单纯追求网络集成课程体系自身的系统性和完整性情况。

二、网络集成课程课堂教学阶段的信息论应用
教学过程是一种教师与学生间以语言进行信息传递的过程，教学过程可以通过教师与学生语言序列的记录来表述。

在对教学过程中教师与学生的语言进行统计分析时，发现传统的讲授方法，存在信息量小、传输方式呆板、模式陈旧的缺点。

所以当今的课堂教学应注重转变传统教学模式，进行形式丰富、贴近实际的教学改革，以符合现代教育培养人才的标准。

新的标准不是以掌握理论知识和传统的课程体系来衡量，而是以分析问题解决问题的能力及实践动手能力的强弱为标准。

因而传统的教学方式已不能满足需要，教学改革成为必然。

根据信息论原理中的香农公式C=Wlog（1+S/N），教学效果C随着教学方法W改善，但是C与W的关系是非线性的，W→∞时，C→1.44，而不是∞[3]。

结论是改革教学方法，可以提高教学效果，但不可能无限提高教学效果。

我们应该一方面改革教学方法，另一方面通过完善教学大纲、充实教学内容等多种渠道来进一步提高教学水平。