关于经典信息论的Case

关于经典信息论的Case 经典信息论的case首先是现代通信技术的理论基础，而以下就是经典信息论在现代通信技术的的基础作用的体现。

1.香农信息论是通信技术的理论基础

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了技术。香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应

的控制系统控制它。

在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，可以叫香农

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。

2.香农的信息论对传播学的影响

香农的单向传播行为的模式有助于奠定传播学的学术领域。比起任何其他的理论概念化工作来，它更适合于作为传播学的范式，即为传播行为中的主要组成部分提供了一个单一的、易于理解的明确说明。这些主要组成部分是：信源、讯息、信道、接受器。因此，对于传播行为iede传播研究可以确定出信源变量（诸如可信度），讯息变量（就像使用恐惧诉求）、信道变量（诸如大众媒体与人际信道）和接受者变量（如受众个体的可说服性）。传播研究中的因变量对效果进行测度，诸如接受者一方的认识变化、态度变化等。香农信息论的第三个要素，也就是在他信息的定义、测度以及他的传播模式之后，是他关于信道能力的命题。香农的命题论述了诸如带或不带噪音的信

道、信源的熵、信道能力和连续与不连续的信息等等概念之间的关系。而他关于信道能力的命题却几乎被传播学学者忽视，一个基本的原因是，人类传播学者对于信道能力不那么感兴趣。香农的信道能力的主要因变量与传播学者对于传播效果的基本兴趣不是十分吻合。

香农的理论对于正在崛起的传播学领域产生了巨大的影响。从历史的眼光看，信息论是传播研究发展的一个主要的刺激因素。它使得在此以前的模糊的信息概念变得在数学上可以操纵，将它从涉及认识和传播术语的各种学科的有冲突的要求中解放出来，并赋予传播和信息过程的研究以合法性。信息论对传播学理论影响尽管很强且持久，但并非完全是积极的。香农的传播模式在由传播学学者做了某些改变（诸如增加了反馈）之后，又将传播学学者引向对传播行为进行单向的概念化工作，引向注重对传播效果的确定。但是，因为传播学者就信息论所做的事情而批评香农的理论，这公平吗？“批评香农的模式不适合人类传播的复杂性，犹如因为一艘划艇不是一条鲸而去批评它一样”。

3.香农信息论最成功解决了哪些问题?

香农给出了信息熵（以下简称为“熵”）的定义：香农

H = - ∑ pilogpi

i

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。

互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

I(X,Y) = H(X) + H(Y) - H(X,Y)

其中H(X,Y) 是联合熵(Joint Entropy)，其定义为：

H(X,Y) = - ∑ p(x,y)logp(x,y)

x,y

互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。结语：这些就是我所搜集的经典信息论的case，通过这些我确实是认识到了经典信息论是一个很重要，很伟大的理论。他对我们现代的通信技术所起到的孵化作用是不可估量的，同时也对整个现代社会的发展产生了深远的影响。

11级信管班何剑峰20112594

2014年9月25日