信息论应用调研报告

信息论基础调研报告

一.信息论的起源：

信息论理论基础的建立，一般来说开始于1948年美国数学家香农在《贝尔系统电话杂志》发表题为“通信的数学理论”的长篇论文。这篇论文以概率论为工具，深刻阐释了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而创立了信息论。

信息论自诞生到现在不过60多年，在人类科学史上是相当短暂的。但它的发展对学术界以及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。

信息论是研究信息的传输、存储和处理的学科，亦称“信息论”为“通信的数学理论”。它主要研究在通信系统设计中如何实现信息传输的有效性和可靠性。

因此，信息论与通信技术、统计数学信号处理等密切相关。

二.信息技术的发展：

现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。

香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力，1948年，来自贝尔研究所的Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世，从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。

信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学，他给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。

20世纪50年代，包括香农在内的一些科学家做了大量的工作，发表了许多重要文章，将香农的科学论断进一步推广，同时信道编码理论有了较大的发展。20世纪60年代，信道编码技术已经成为信息论的又一重要分支。它把代数方法引入到纠错码的研究，使分组码技术达到了高峰，找到了可纠正多个错误的码，并提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破，提出了序列译码和维特比译码方法。

1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何

更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

三.信息论的相关技术的应用：

1.信息论在生物学中的应用：

生命体本身是一个复杂的信息传递、存储、处理、加工和控制的系统。理论上说，信息论应该和生物学有着密切关系。近几十年来，由于生物学的发展非常迅速，人们对生命现象的研究，已经从整体深入到细胞、亚细胞、分子水平和量子水平上，以揭示生命现象的本质。尤其是遗传信息方面的研究取得了重大进展和成效，从此确立了信息理论在生物学研究方面的重要作用和地位。特别是20世纪90年代以来，伴随着分子结构测定技术的突破和各种基因组测序计划的展开，生物学数据大量出现，如何分析这些数据，从中获得生物结构、功能的相关信息成为困扰生物学家的一个难题。生物信息学就是在此背景下发展起来的综合运用生物学、数学、统计学、物理学、化学、信息科学以及计算机科学等诸多学科的理论和方法的崭新和交叉学科。

目前，国际上公认的生物信息学的研究内容大致包括以下几个方面。

(1)生物信息的收集、储存、管理和提供。

(2)基因组序列信息的提取和分析。

(3)功能基因组相关信息分析。

(4)生物大分子结构模拟和药物设计。

(5)生物信息分析的技术与方法研究。

(6)应用与发展研究。

2．信息论在医学中的应用：

医学是研究人的生命活动的本质，研究疾病发生发展的规律，研究诊断和防治疾病，恢复和保护人的身体健康的科学。信息论在医学上的应用，大大促进了医学的现代化。

从信息论的观点看，有机体是不断接收与输出信息，以维持正常的生命活动。有机体中，信息熵标志着系统组织结构复杂的有序状态，由于新陈代谢的作用，有机体内部有序结构不断遭到破坏，这时熵增加，反之机体不断从外界接收信息——负熵，在机体内合成高度的有序结构，使熵降低。因此运用信息理论来分析生命系统，可以把生命系统看作是接收信息和传递信息的调节控制系统。

3．信息论在管理科学中的应用:

在现代化管理中，信息论已成为与系统论、控制论等相并列的现代科学的主要方法论之一。信息价值、信息量、信息反馈、信息时效性和真实性，信息处理和传递，以及信息论与信息科学是现代化管理的运动命脉。实际上，现代化管理与信息已融为一体，并形成一种特殊形态的信息运动形式，即管理系统信息流。在整个管理世界里，管理信息依据不同的分类方法，可以分为各种不同的类别，而在这繁多的种类中，总的可分为两大形式：管理自然信息和管理社会信息。管理自然信息指的是：管理系统以时间、效益形式呈现的自身形态、结构、运动过程与主体(主要是管理者)的同样以时间、效益形式呈现的自身形态、结构、运动过程相互作用而在人脑中留下的与该管理系统同态的响应。管理社会信息指的是：

一切经过管理者利用语言、文字、符号、图像等加工过的管理自然信息。管理方面的知识、情报、指令、告示、法律等等全都属于管理社会信息。

对于任何管理者来说，他将随时都会同时面临着这两种信息，并深刻地影响着自己的管理活动。由此可见，信息论在企业管理中拥有重要的应用价值和应用前景。

4．信息论在经济学中的应用

信息论在经济学领域中有着广泛的渗透，一方面，可以用经济学的观点来研究信息的一般问题，特别是信息的价值问题，另一方面，又可以用信息科学的观点和方法来重新认识和探讨经济活动的规律。

目前，在经济学领域活跃着一门新的学科：信息经济学(Economics of Information)。截至目前，信息经济学可概括为五大领域。

(1)不完全信息经济学。

(2)信息转换经济学。

(3)信息的经济研究。

(4)信息经济的研究。

(5)信息经济的社会学研究。

5.信息论在网络方面的应用：

对于任何形式的通信来说，只有当信息的发送方和接受方都能够理解编码机制的时候压缩数据通信才能够工作。例如，只有当接受方知道这篇文章需要用英语字符解释的时候这篇文章才有意义。同样，只有当接受方知道编码方法的时候他才能够理解压缩数据。一些压缩算法利用了这个特性，在压缩过程中对数据进行加密，例如利用密码加密，以保证只有得到授权的一方才能正确地得到数据。

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。

数据压缩可分成两种类型，一种叫做无损压缩，另一种叫做有损压缩。无损压缩是指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同；无损压缩用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。根据目前的技术水平，无损压缩算法一般可以把普通文件的数据压缩到原来的1/2～1/4。无失真的数据压缩方法有很多，主要有两类，一类是基于统计的方法，比如香农一法诺编码、哈夫曼编码和算术码等；还有一类是基于字典的方法．主要代表是Lz77和Lz78，以及改进的LzSS 和Lzw．另外有些算法不属于这两类，如游程编码和ACB方法等．应用哈夫曼算法进行文件的压缩和还原，在标准测试文集上检查其压缩的效率．

有损压缩是指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。有失真数据压缩的一个主要代表是用于静态图像压缩的JPEG标准。

应用JPEG算法思想进行灰度数字图像的压缩和还原，而JPEG数据压缩算法主要包含了三个相继的步骤：离散余弦变换(DCT)、系数量化和无失真压缩，这三个步骤一起组成了一个强大的压缩算法，它可以把一般的照片压缩到10％仍具有很高的品质．但实际的JPEG压缩步骤还应当包括更多。