信息论

信息论的发展及应用

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。现代信息论又是数学概率论与数理统计下年的一个分支学科。现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。作为信息论的奠基人克劳德·艾尔伍德·香农（Claude Elwood Shannon ），于1948 年和1949 年发表的两篇论文一起奠定了现代信息论的基础信息论的研究范围极为广阔。一般把信息论分成三种不同类型：

(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。

(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。

(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。

信息论发展：

1924年，Nyquist提出信息传输理论；

1928年，Hartley提出信息量关系；

1932年，Morse发明电报编码；

1946年，柯切尼柯夫提出信号检测理论；

1948年，Shannon提出信息论，他发表的论文：“A mathematical theory of communication ”同时维纳提出了最佳滤波理论，成为信息论的一个重要分支。

1959年，香农为各种信息源编码的研究奠定基础，发表论文：“Coding theorems for a discrete source with a fidelity criterion”，数据压缩理论与技术成为信息论的重要分支

六十年代，信道编码技术有较大的发展，信道编码成为信息论重要分支。

1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究、

七十年代，有关信息论的研究，从点对点的单用户通信推广到多用户系统的研究。密码学成为信息论的重要分支。

详细介绍；

现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。香农于1940 年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8 年的努力，1948

年，来自贝尔研究所的Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世，从此宣告了崭新的一门关于信息发面的学科——信息论的诞生。1949 年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息” 。信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学，它给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946 年的计算机和1947 年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。

自从香农十九世纪四十年代末两篇论文发表后，前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。在苏联以辛锌、柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型，对信息论的基本定理给出了更为普遍的结果，为信息论发展成数学的一个分支作出了贡献。而在美国有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性，维信息论转化为信息技术作出了贡献。20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入

一个消化、理解的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。从此信息论迈入第二个阶段。到70 年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。虽然1948 年香农就发明了信息论，但到90 年代才找到或者再发现能够逼近香农极限的turbo 码和LDPC 码；再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的，在实际系统中，这些条件可能不能满足，因而不可能达到香农所得出的一些结论或界限。；最后一个是局限是点对点通信的局限性，因为通信的构架存在网络结构和多用户的结构，所以对于网络和多用户的情形，香农并没有更深入的研究，虽然他在50 年代研究了two way channel，但并未得出有意义的结果，目前网络信息论或多用户信息论是一个比较活跃的领域。

信息论对现代社会产生了巨大的影响首先, 在理论研究方面, 信息论所处的地位已远远超出了当年所界定的“通信的数学理论”的范畴, 得到了不断的扩充和发展, 出现了语义信息、语法信息与语用信息等研究与信息的意义有关的学科, 以及面向智能研究的全信息理论。第二, 在技术应用方面, 信息论为现代通信理论和技术的发

展做出了不可磨灭的贡献, 信息科学与材料科学、能源科学一起已成为现代高新技术领域的三大关键技术, 信息产业已是当今社会中发展最快、效益最高、潜力最大、影响最广的最重要的支柱产业之一。第三, 在社会经济领域, 21 世纪人类社会将全面进入信息时代, 智力、技术和信息已成为现代社会经济生活中不可缺少的重要资源。第四, 在思维方式方面, 信息高速公路的开通和信息的快速传递将导致思维方式上的不断更新。互联网的开通大大加快了人们接受新思想、新信息的速度, 加快了人们思维方式的变革和更新, 促进了新的思维模式的形成, 将人们从静态思维转向动态思维, 从局域性思维转向全局性思维, 从封闭性思维转向开放性思维, 从单向性思维转向多向性思维。有利于全方位、多层次、多渠道地展开思维活动, 促进跳跃性、联想性、创造性的思维网络的形成。所有这些对人类的文明和社会的进步都将起到积极的促进作用。但都是退化的情形才成立的结论，更一般的情形，还有一些其他如中继信道等，还有待进一步研究。

参考文献：叶中行，《信息论基础》高等教育出版社