信息论与编码答案傅祖芸

信息论与编码答案傅祖芸

【篇一：信息论与编码课程设计报告】

t>设计题目：统计信源熵与香农编码

专业班级学号学生姓名指导教师教师评分

2014年3月24日

目录

一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文

献 .......................................................... 6 附录：源程序.. (7)

一、设计任务与要求

1、统计信源熵

要求：统计任意文本文件中各字符（不区分大小写）数量，计算字

符概率，并计算信源熵。 2、香农编码

要求：任意输入消息概率，利用香农编码方法进行编码，并计算信

源熵和编码效率。

二、设计思路

1、统计信源熵：

统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中

的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个

公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)

i?1n

，

可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个

字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算

出信源熵。 2、香农编码：

香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同

时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：

i(xi)?ki?i(xi)?1,?i

具体步骤如下：

a、将信源消息符号按其出现的概率大小依次排列为：

p1?p2?......?pn b、确定满足下列不等式的整数码长ki

为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息

的累加概率：pi??p(ak)

k?1i?1

d、将累加概率pi变换成二进制数。

e、取pi二进制数的小数点后ki位即为该消息符号的二进制码字。

在香农编码中对于求解编码效率主要是依靠这个公式:r=h(x)/k,其中

k??p(aik)i

i?1n

h（x）=??p(xi)logp(xi)

i?1n

对于求解信源熵主要依靠公式：，

三、设计流程图

1、统计信源熵：

2、香农编码

【篇二：信息论与编码论文(香农信息论对现代的影响)】txt>摘要：1948年香农在bell system technical journal上发表了

《a mathematical theory of communication 》。论文由香农和威

沃共同署名。这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文

应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给

出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信

道中，通过发送1和0的比特流，人们可以传输图像、文字、声音

等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息

理论框架和术语已经成为技术标准。他的理论在通信工程师中立即

获得成功，并刺激了今天信息时代所需要的技术发展。

关键词：香农、通信、编码

abstract: in 1948, shannon bell system technical journal published a mathematical theory of communication. paper co-signed by the hong farmers. this ground-breaking paper is based on shannons observation of the communication that the fundamental problem of communication is the message of regeneration, at some point with another point to report the

selected text should be reproduced exactly or approximately. this paper established the discipline of information theory,

given the linear signal model of communication system, that information source, sender, channel, receiver, message places, this is a new idea. since then, the communication to consider the electromagnetic waves sent to the channel, by sending a stream of bits 1 and 0, one can transfer images, text, and so on. it has become commonplace today, but was very fresh. he established the theoretical framework and terminology of information technology has become the standard. his theory in communications engineer in immediate success, and stimulate the need for the information age of todays technology.

keywords: shannon、communications、coding

信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科

学家香农在他1948年的著名论文《通信的数学理论》所定义的，它

为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗

格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形

成了一套比较完整的理论体系。

上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁

褓之中。但是通信技术已经有了相当的发展。从十九世纪中叶，电

报就已经很普遍了。电报所用的摩斯码（morse code），就是通信

技术的一项杰作。摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母e只有一个点。而

不常用的z有两划两点。这样，在传送英语时，平均每个字母的码

数就减少了。事实上，摩斯码与现代理论指导下的编码相比，传送

速度只差15%。这在一百五十多年前，是相当了不起了。

除了用点，划来表示两个状态外，后来的电报也用极性相反的电流

来代表这两个状态，从而使“点”和“划”都能用短的脉冲来表达，加

快了传送速度。爱迪生更发明了用四个不同的电流值来同时传输两

路电报。这和今天用的数字调幅（ask）很像，只是没有载波而已。

另一方面，电话在二十世纪初也迅速发展。电话公司通过在不同载

波上的调制，可以用一路电线传输多路电话。

在二次世界大战时，雷达和无线电在军事上广泛应用。无线电受各

种噪声的干扰很厉害，这也给通讯技术提出了新的课题。各种不同

的调制方式也纷纷问世。于是就出现了这样一个问题：给定信道条件，有没有最好的调制方式，来达到最高的传送速率？