最佳变长编码方式的探究

最佳变长编码方式的探究

论文题目：最佳变长编码方式的探究

专业：通信工程

班级：14级通信工程

学号：1401120125

姓名：吴万强

指导教师：魏平俊

2016年12月

最佳变长编码方式的探究

吴万强

（郑州工业应用技术学院信息工程学院14级通信工程班河南郑州）

摘要：信源的编码方法提高了通信的有效性。信源的编码方法分为定长编码和变长编码，定长编码要实现无失真，需要的编码长度大，效率不高；变长编码的编码长度不需要很大就可以达到相当高的编码效率，而且可以实现无失真编码。香农编码、费诺编码和霍夫曼编码是常见的离散无记忆信源编码方法。

关键字：定长编码变长编码香农编码费诺编码霍夫曼编码

Abstract：Encoding method improves the effectiveness of the source of communication. Source coding method is divid ed into fixed-l ength coding and variabl e l ength coding, fixed-l ength coding to achieve distortion requires a large cod e l ength, the efficiency is not high; variabl e l ength cod e l ength coding can be achieved without requiring a high relatively high coding efficiency, and can achieve l ossl ess encoding. Shannon coding, Fenno coding and Huffman coding is a common discrete memoryl ess source coding methods.

Keyword：Fixed-l ength encoding Variabl e l ength coding Shannon coding Fenno coding Huffman coding

1 引言

人类社会的生存和发展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以揭示信息的本质特性和规律为基础，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。许多科学技术问题（如无线电通讯、电视、遥测、图像和声音识别等）都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、电话、传真、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随机过程或统计学的数学模型加以深入研究。

2 发展历程

信息论从诞生到今天，已有半个多世纪的历程，现已成为一门独立的理论学科。回顾它的发展历史，可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。

2.1 信息论形成的背景和基础

信息论是在长期的通信工程实践和理论研究的基础上发展起来的。电的通信系统（电信系统）已有170多年的历史了。法拉第(M．Faraday)于1820年—1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)发明了无线电通信。

随着工程技术的发展，有关理论问题的研究也逐步深入。1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来了。1928年哈特莱 (R．V．Hartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。他的工作对后来香农的思想是有影响的。

1936年阿姆斯特朗(E．H．Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处。根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。20世纪40年代初期，由于军事上的需要，维纳在研究防空火炮的控制问题时，提出了“平稳时间序列的外推，内插与平滑及其工程应用”的论文。他把随机过程和数理统计的观点引入通信和控制系统中来，揭示了信息传输和处理过程的统计本质。他还利用早在30年代初他本人提出的“广义谐波分析理论”对信息系统中的随机过程进行谱分析。这就使通信系统的理论研究面貌焕然一新，产生了质的飞跃。

2.2 Shannon信息论的建立和发展

1948年6月和10月，Shannon在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇论文中，他用概率测度和树立统计的方法系统地讨论了通信的基本问题，首先严格定义了信息的度量—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。

Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。

而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、网络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。

3 变长编码

在学过信息论与编码技术以后，对这方面内容已有了基础的了解。为了进行更深入的了解，在查阅了很多资料后，可知通信的根本问题是如何将信源输出的信息在接收端的信宿精确地或近似地复制出来，而这最重要的一步就是信源的编码，一个好的开端才能为以后的传输及接受、解码提供有利得条件。

首先要了解什么是信源编码。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域变换和数据压缩