信息论

摘要

人类已经进入了“信息时代”，我们的社会日益转型为一个“信息社会”。本文主要探讨了信息论的概念及其应用和和发展。

关键词

信息论；应用；发展

信息论的应用与发展

引言

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

1 信息论

克劳德·香农（Claude Shannon）被称为“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学理论（英语：A Mathematical Theory of Communication）》（A Mathematical Theory of Communication）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义： H(x)=E[I(xi)]=E[log2 1/p(xi)]= -Σp(xi)log2

p(xi)(i=1,2,..n)

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻尔兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息（Mutual Information）是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

I(X,Y) = H(X) + H(Y) - H(X,Y)

其中 H(X,Y) 是联合熵（Joint Entropy），其定义为：

H(X,Y) = - ∑ p(x,y)logp(x,y) x,y

2 信息论的应用

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。

信息论有狭义和广义之分。狭义信息论即香农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、

图像识别、学习理论及其各种应用。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。广义信息论，人们也称它为信息科学。

信息和控制是信息科学的基础和核心。70年代以来，电视、数据通信、遥感和生物医学工程的发展，向信息科学提出大量的研究课题，如信息的压缩、增强、恢复等图像处理和传输技术，信息特征的抽取、分类和识别的模式、识别理论和方法，出现了实用的图像处理和模式识别系统。信息论被广泛应用在：编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论、数据加密。

3 信息论的近期发展

信息论近期发展的主要特点是向多学科结合方向发展，其重要的发展方向有如下几种：

3.1 信息论与密码学

通信中的安全与保密问题是通信编码问题的又一种表示形式，由shannon提出的保密系统模型仍然是近代密码学的基本模型，其中的血多度量性指标，如加密运算中的完全性、剩余度等指标与信息量密切相关。

3.2 算法信息论与分形数学

由于香农熵、柯尔莫各洛夫与豪斯道夫（Hausdorff)位数的等价

性在理论上已经得到证明，从而使信息论、计算机科学与分形理论都找到了它们的汇合点。人们发现香农熵、柯尔莫各洛夫复杂度与豪斯道夫维数都是某种事物复杂性的度量，它们在一定得条件下可以相互等价转化。由这三种度量分别产生了信息论、计算机程序复杂度与分形理论，在本质上有共同之处。它们的结合后所产生的新兴学科方向具有跨学科的特点，如算法信息论就是信息论与计算复杂性理论融合的新学科。

3.3 信息论在统计与智能计算中的应用

信息论与统计理论的结合已经有许多突出的成果出现。其主要特点是统计理论正在冲线性问题转向非线性问题，信息的度量可以作为研究非线性问题的工具，如果用交互信息来取代统计中的相关系数，更能发音二维随机变量的相互依赖程度。信息量的统计计算较为复杂，因此，在统计中一直没有得到大量的应用，但由于近期大批海量数据的出现（如金融、股票数据、生物数据等），是许多计算问题成为可能，因此信息量在统计中比较发挥更大的作用。

参考文献

[1]傅祖芸编著.信息论基础.北京:电子工业出版社,2007.

[2]王育民、梁传甲，《信息与编码理论》，西北电讯工程学院出版社，1986.3