信息论与编码

题目:信息论在密码学中的应用班级:电子132

姓名:魏溥江

学号:120133102071

信息论在密码学中的应用

摘要：本文简要介绍了信息论在一个十分重要的领域——密码学中的应用。首先介绍了信息论发展的三个阶段和简要的概念。对信息论基本理论及应用问题进行论述。给出了密码学的基本理论知识，并简单介绍了香农提出的密码体制数学模型及该模型的特点。

关键字：信息论；密码学；保密系统

1 信息论的发展简介

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

1.1 信息论发展的三个阶段

第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。

第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。

第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

1.2 Shannon信息论的建立和发展

1948年6月和10月，Shannon在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇论文中，他用概率测度和树立统计的方法系统地讨论了通信的基本问题，首先严格定义了信息的度量—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。

Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。

目前，在Shannon信息论方面，值得注意的研究动向是：信息概念的深化；网络信息理论和多重相关信源编码理论的发展和应用；通信网的一般信息理论研究；记录信道的信息理论研究；信息率失真理论的发展及其在数据压缩和图像处理中的应用；信息论在大规模集成电路中的应用等问题；这些领域都是与当前信息工程的前景—光通信、空间通信、计算机互联网、移动通信、多媒体通信、语音和图像的信息处理等密切相关的。

2 信息论的基本概念

Shannon 在1984年提出了信息熵公式：

)(log )()(21i n

i i x p x p x H ∑=-=

其中),...,2,1(n i x i =为可能出现的事件，)(i x p 为i x 出现的几率，所有可能出现的事件及其出现几率构成一个信(息）源。一个符号顺序可以看成一个信源。此时，顺序中的每种符号代表一个事件，该符号在整个顺序中所占的比例，即可看成事件出现的几率。)(x H 表示信源中平均每一事件所包含的信息量，称信源的信息嫡。它是)}({i x p 的函数，无量纲。若对数以2为底，常给以数量单位“比特”，以e 为底时，单位为“纳特”。近年来信息论研究表明，上式定义的信息嫡并不等于信源的信息含量，只不过代表其中一个方面。确切的说，信息熵)(x H 是对事件件出现的不肯定程度的量度，在一定程度上也可以说是对信源内消息多样性的量度，即表示消息多样性潜力。所以)(x H 又可称为潜在信息。

互信息是另一种有用的信息度量，它是指两个事件集合之间的相关性。两个事件X 和Y 的互信息定义为：

),()()(),(Y X H Y H X H Y X I -+=

其中),(Y X H 是联合熵，其定义为：

∑-=),(log ),(),(y x p y x p Y X H 。

信息论中的冗余度则不只是指重复，而意义更为广泛。定义为：

)()(1max x H x H R -

=

即信源的熵与该信源可能有的最大偏差。Gatlin 认为冗余度R 表示信源的信息存储能力，R 越大，存储能力越强。大R 常常对应较大的信息含量。但同样不能简单的认为R 越大，信息含量越大。比如只有一种符号的顺序R=1，而这种符号顺序的含量却为零。

3 密码学

3.1 密码学的发展简介

作为保障数据安全的一种方式，数据加密起源于公元前2000年。埃及人是最先使用特别的象形文字作为信息编码的人。随着时间的推移，巴比伦，希腊等都开始使用一些方法来保护他们的信息。对信息进行编码曾被凯撒大帝使用，它曾用于历次战争中。最广为人知的编码机是德国的Enigma ，在第二次世界大战中德国人利用它创建了加密信息。伺候，由于Alan Turing 和Ultra 以及他人的努力。终于对德国人的密码进行了破解。当初，计算机的研究就是为了破解德国人的密码，当时人们并没有想到计算机给今天带来的信息革命。随着计算机的发展，运算能力增强，过去的密码都变得十分简单了。于是人们又不断地研究出了新的数据加密方式，如私有密钥算法和公有密钥算法。可以说，是计算机推动了加密技术的发展。

密码学的发展可以分为两个阶段。第一个阶段是计算机出现之前的四千年这是古典密码学阶段，基本上靠人工对数据进行加密，传输和破译。第二阶段是计算机密码学阶段，包括两个方向：一个是公用秘钥密码（RSA ），另一个方向是传统方法的计算机密码体制——数