信息论与编码答案傅祖芸

信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。

2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。

二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。

2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。

e、取pi二进制数的小数点后ki位即为该消息符号的二进制码字。

在香农编码中对于求解编码效率主要是依靠这个公式:r=h(x)/k,其中k??p(aik)ii?1nh（x）=??p(xi)logp(xi)i?1n对于求解信源熵主要依靠公式：，三、设计流程图1、统计信源熵：2、香农编码【篇二：信息论与编码论文(香农信息论对现代的影响)】txt>摘要：1948年香农在bell system technical journal上发表了《a mathematical theory of communication 》。

论文由香农和威沃共同署名。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。

这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。

此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。

今天这已司空见惯，但在当时是相当新鲜的。

他建立的信息理论框架和术语已经成为技术标准。

他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

关键词：香农、通信、编码abstract: in 1948, shannon bell system technical journal published a mathematical theory of communication. paper co-signed by the hong farmers. this ground-breaking paper is based on shannons observation of the communication that the fundamental problem of communication is the message of regeneration, at some point with another point to report theselected text should be reproduced exactly or approximately. this paper established the discipline of information theory,given the linear signal model of communication system, that information source, sender, channel, receiver, message places, this is a new idea. since then, the communication to consider the electromagnetic waves sent to the channel, by sending a stream of bits 1 and 0, one can transfer images, text, and so on. it has become commonplace today, but was very fresh. he established the theoretical framework and terminology of information technology has become the standard. his theory in communications engineer in immediate success, and stimulate the need for the information age of todays technology.keywords: shannon、communications、coding信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。

后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。

使得信息论到现在形成了一套比较完整的理论体系。

上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。

但是通信技术已经有了相当的发展。

从十九世纪中叶，电报就已经很普遍了。

电报所用的摩斯码（morse code），就是通信技术的一项杰作。

摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。

但是每个字母的码不是一样长的。

常用的字母e只有一个点。

而不常用的z有两划两点。

这样，在传送英语时，平均每个字母的码数就减少了。

事实上，摩斯码与现代理论指导下的编码相比，传送速度只差15%。

这在一百五十多年前，是相当了不起了。

除了用点，划来表示两个状态外，后来的电报也用极性相反的电流来代表这两个状态，从而使“点”和“划”都能用短的脉冲来表达，加快了传送速度。

爱迪生更发明了用四个不同的电流值来同时传输两路电报。

这和今天用的数字调幅（ask）很像，只是没有载波而已。

另一方面，电话在二十世纪初也迅速发展。

电话公司通过在不同载波上的调制，可以用一路电线传输多路电话。

在二次世界大战时，雷达和无线电在军事上广泛应用。

无线电受各种噪声的干扰很厉害，这也给通讯技术提出了新的课题。

各种不同的调制方式也纷纷问世。

于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？在这种情况下，香农（claude e shannon）在1948年发表了《通信的一个数学理论》，完整地解决了通讯速度上限的问题。

“信息论”（information science）从此诞生。

要建立信息理论，首先要能够度量信息。

信息是由信号传播的。

但是信息与信号有本质的区别。

所以如何度量一个信号源的信息量，就不是简单的问题。

从直觉上说，如果一个信号源发出不变的符号值（比如总是1），它是没有信息量的，因为它没有告诉别人任何东西，而且如果信号源发出的符号值是变化的但是可以预计的（比如圆周率的数字序列），那也是没有信息量的，因为我不需要接受任何东西，就可以把这些符号值重复出来。

而且，即使信号源发出的符号不是完全可确定的，它的信息量也和“确定”的程度有关。

例如，如果一个地方90%的时候是晴天，气象报告就没有多大用处。

而如果50%的时候是晴天其余时候下雨，人们就需要气象报告了。

从这点出发，香农就把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。

他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。

那么这样定义的信息量与我们通常所说的数据量，也就是需要多少比特来传送数据，有什么关系呢？（比特就是二进制数据的位数）。

为此，我们来看看一个含有固定符号数的序列（也就是信号或码字）。

由于每个符号值的出现是随机的，这样的序列就有很多可能性。

显然，每个可能的符号在序列中出现次数，对于所有可能序列的平均值正比于符号出现的几率。

我们把每个符号出现次数“正好”等于其次数平均值的序列叫做“典型序列”，而其他的就叫作“非典型序列”。

而数学上可以证明，当n趋于无穷大时，“非典型序列”出现的几率趋于零。

也就是说，我们只要注意“典型序列”就行了。

而典型序列的个数，就是它们出现概率的倒数（因为总概率为1）。

而码字所携带的数据量，就是它的个数以2为底的对数。

所以，这样的分析就得出了序列所含的数据量。

除以序列的长度，就得到每个符号所含的数据量。

而这个结果恰好就等于上面所说的信息量！至此，香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。

这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。

解决了信号源的数据量问题后，我们就可以来看信道了。

信道（channel）的作用是把信号从一地传到另一地。

在香农以前，那奎斯特已经证明了：信道每秒能传送的符号数是其频宽的一半。

但问题是，即使这些符号，也不是总能正确地到达目的地的。