《信息论的应用》

信息论的应用
13348108 吴泽焕13331138梁伟军
（中山大学信息科学与技术学院通信工程广州510006）
摘要：信息论是关于信息的本质和传送规律的科学理论，其主要特点是理论的成功应用。

而信息论不仅仅在通信领域起作用，还在所有与信息有关的领域都发挥着重要作用。

本文主要对信息论的一些原理做一个简单的综述。

同时，将香农的信息论原理与人的主观世界结合，对主观领域定量分析，并利用信息论解释人的认识过程和记忆、遗忘的原因，拓展信息论的应用领域。

关键词：信息论；学习和记忆；应用
Application of information theory Abstract:Information theory is a scientific theory about the essence and the
transmission of information, its main characteristic is the successful application. Whereas the theory not only plays an important role in the field of communication, but also plays an important role in other related fields. This article mainly makes a brief summary on the information theory. At the same time, we will combine Shannon's theory with human's subjective world to quantitatively analyse the subjective field,.and then use the information theory to explain the process of human's learning, as well as the cause of human forgetting, aiming to expand its application field.
Key words:Information theory; Learning and memory; Application
0引言
通过课上老师对信息论的总体介绍，我们对信息论有了初步的认识。

信息论在科学领域和日常生活中都有着非常重要的应用。

在当今信息社会中，信息是社会与社会生产力发展的动力与资源。

信息作为一种资源，如何开发、利用、共享是值得关注的问题。

作为通信工程专业的学生，一提起信息论的应用，我们首先想到了其在通信领域中的广泛应用。

但是，信息论的实际应用远不止于通信领域，它在其他领域中也发挥着不可忽视的作用。

据此，我们将信息论原理结合到学习生活当中，并利用信息论解释人的认识过程和记忆、遗忘的原因，拓展信息论的应用领域。

1理论简述与延伸
信息论是一门应用数理统计方法来研究信息的度量、传递和变换规律的科学。

狭义上说，它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律，以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

而广义的信息论还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。

随着信息时代的到来，信息论被提到了越来越重要的位置，也为很多领域研究的科学化提供了很大的帮助，其中就包括对人的认识和记忆的研究。

1.1 相关概念
人的学习和记忆过程都是在原有知识体系基础上搭建新的知识体系。

我们学习记忆的对象在信息论中称为信源，而将学习到的知识所表达的对象称为信宿。

信息论中引进统计学中的概率来对信息源的信息量进行描述。

1.2 信息量最优化原理
信息论中对通讯系统模型描述为：信源→信源编码→信道编码→信道→信道译码→信源译码→信宿。

对于人的认识过程同样可以做相同的类比。

大脑的信息传输模型如图1所示：
图1
大脑对信源的编码是指大脑使用已掌握的知识对信源进行推理与压缩，然后传递到大脑记忆体；译码是指大脑对知识进行推理与扩展后表达出去。

信息量最优化原理体现在：人的大脑处在外在因素与内在因素稳定的状态时，对信息量越小的知识越容易记住。

因为信息量越小表示主观概率越大，认识的对象就越熟悉，
因此需要记忆的的内容就越少，也就更容易记住。

外在环境因素在大脑的信息传输模型中影响着大脑的编码译码的速度和效率以及信息传输至大脑长期记忆体的速度等。

引入信息量最优化原理，即可利用信息论对主观领域定量分析，为建立认识过程的数学模型提供思路。

1.3 空间马尔可夫链知识结构
人在学习记忆过程对认识的编码就是在构成马尔可夫链，并且是空间网状结构。

设人们在一段时间内认识两个新知识点为X、Y，当不了解认识对象时，先面对哪一个的概率都一样，即可以认为X、Y之间独立统计:
H1(XY)=H(X)+H(Y)
由于实际上新知识点X、Y之间是存在关联的，根据信息熵可加性的公式以及条件熵与无条件熵的关系有：H2(XY)=H(X)+H(Y|X) 且H(Y|X)≤H(Y) 故有关系式：H2(XY)≤H1(XY)
利用马尔可夫链中正确的顺序学习，大脑有效地进行编码，信息量就会大大减少。

譬如我们想学习高频电路，就应该按照“电路基础→模拟电路→高频电路”的知识链顺序，如果先直接学习高频电路，再学习电路基础，就会因为非最优化选择导致信息量过于巨大，使人的大脑难以接受。

2信息论在学习和记忆中的应用
2.1 信息论在学习中的应用
链条马尔可夫链知识结构是最基本的认识方式，即把知识排序，知识点一环扣一环成单链条状。

譬如学习《信号与系统》对“连续系统的频域分析、连续系统的s域分析、连续系统的z域分析”三章内容按顺序学。

网状马尔可夫链知识结构更进了一步，指了解知识点之间关系后，对新知识组合然后对比、类比着进行学习，使多条知识链相互交织。

例如在学习中会发现傅里叶变换、拉普拉斯
变换、z变换有很多性质有类似，可以对比着学习。

空间马尔可夫链知识结构是在上面第二点基础上，寻找旧知识网与新知识网的融合。

这样知识的信息量将在理论上被有效的降低了。

2.2 信息论在记忆中的应用
2.2.1遗忘的原因
科学家证明有几种干扰的情况会造成遗忘，包括向前的干扰、向后的干扰、互相的干扰等，其本质就是新旧知识相互干扰。

如果用信息量最优化原理的逆否命题分析造成干扰原因：在一个稳定的条件下，大脑很难记住信息量大的知识。

其原因在于：大脑短暂存储体不稳定，因此其中的旧知识概率容易受到影响。

新的知识冲击短暂储存体内旧的知识体系，使旧知识概率分布发生变化，原先熟悉的知识(大概率事件)概率分布趋于平均，导致信息量俱增(信息嫡的上凸性)，大脑当然会对旧知识的记忆产生模糊，记忆模糊首先影响编码准确性导致误码率上升，同时影响了马尔可夫链知识结构，导致新知识信息量太大，于是就“越学越忘”。

了解了遗忘的原因，就可以利用上文的各种理论有效防止遗忘。

2.2.2增进记忆力方法
结合上文的理论，下面再通过分析著名的记忆方法概括最佳记忆原理。

此方法的基础是联想，具体分析步骤如下:
第一，先把数字编号1到20与一系列地名联系起来。

数字的作用主要是排序、分类，体现了最大距离编码准则、有噪信源编码原理。

但是数字属于抽象思维，而人天生就对形象思维的记忆力就好，因此要把数字与地名联系起来，利用不同数字、地点差异的特性先在大脑中安排好大概的码元，有效地防止大脑信道的反馈作用，减少遗忘。

第二，这些地名应当是你很熟悉的，是真实的而不是想象出来的。

越熟悉的事物信息量越小，越容易记住，即体现了信息量最优化原理。

在越熟悉的知识基础上建立新知识所形成的马尔可夫链知识结构信息熵也越小。

第三，赋予每个地名一个名词，学会快速地将新的词语和编好的地名联系起来，以及把不同地名联系起来。

新的名词本身就是已经压缩好的信源，代表一部分信息，体现了保真度准则下信源编码定理。

新的词语与地名联系就是建立空间马尔可夫链知识结构；而新的词语与地名联系也是利用最熟悉的码元对信源进行
编码，体现了无失真信源编码定理。

第四，通过各种不寻常的场景帮助记忆。

一般认为“不寻常”的事一定是小概率事件，那信息量会很大，这仿佛违背了信息量最优化原理。

那先请看两个例子：A) 我家的猫会说话；B )某地区某家的猫会说话。

这两个例子中, 明显我容易记住A ，某地区某家的人容易记住B。

这里可看出令我影响深刻的不寻常的事与我的关系最紧密(可编码的码元丰富)。

且不寻常的事会引起人主观因素发生变化，例如好奇、惊讶，使信息在大脑刷新了很多次，当然容易记住，因此并没有违背信息量最优化原理。

2.3 香农三大定理的应用
2.3.1无失真变长信源编码定理
人在认识过程中先组合知识点，再按霍夫曼编码原理用旧知识对新知识进行“编码”，对容易理解的知识给予简单的逻辑推理思考，对于复杂的知识给予复杂的类比推理，从而使信息尽可能多的传递至大脑。

例如：背英语单词时，没人愿意背字典，因信息量大且“编码”效率不高。

但是参考辅助参考书如《GRE词汇精选》时，我们会发现里面的单词已经赋予了词根词缀法、分拆联想记忆法、拼音发音记忆法等；例如背abacus 时, 书中用中文发音“爱拨个死”表示“很喜欢拨算盘”来帮助记忆“算盘”这个意思，这样我们背起来就轻松多了。

2.3.2最大距离编码准则与有噪信道编码原理
与最大距离编码准则的定义类似：对新知识编码时, 面对不同但类似的知识点尽可能采取差别大的码来编码。

例如: 学习形近单词babble 、bubble 、cobbler 三者时, 用三种区别很大的编码方法记忆，如下表所示：
可见利用“最大距离编码准则”大大减小误码率，提高记忆效率。

在此准
则基础上可分析有噪信道编码原理的意义：人在有噪声有损失的条件下学习时，可以利用各种有效学习方法降低的错误概率，提高学习效率。

2.3.3保真度准则下的信源编码定理
其定理可解释: 我们看书时经常需要跳读，略读，提取重点，目的在于尽可能的压缩知识量达到大脑接受范围。

而压缩的知识可以在大脑中进行解压，虽然存在失真，但是不影响整体的知识的把握。

例如: 背诵单词时，也许在短期内可以记住中文意思，但是写作文时仍需要查字典以明确正确的拼写与用法，这就是因为压缩后存在着失真。

3 结束语
随着近几年信息论研究的不断发展，信息论方法在各领域的应用已获得很大的成功，比如与之相关较近的通信、计算机、信号处理和自动控制等领域，除此之外，其延伸的方法还渗透到生物学、心理学、语言学、社会学和经济学等领域。

由此可见，信息论的应用范围十分广泛，涵盖科学领域以及我们生活的方方面面，能够为我们解决实际问题提供良好的、有效的方法。

本文提出了信息量最优化、空间马尔科夫链、信源编码等概念，着重讨论了信息论在我们在学习知识与记忆当中的应用。

通过对信息论方法原理的类比，我们把解决问题的相关思路应用到以上两者延伸领域当中，使得信息论方法的运用能更好地指导我们如何有效地学习知识和进行记忆。

而理论上的分析更需要实践的考验以及日后更深层次的研究。

参考文献
[1] 傅祖芸. 信息论一基础理论与应用[M] . 北京：电子工业出版社，2011.
[2] 沈世镒,吴忠华.信息论基础与应用[M].北京:高等教育出版社，2004.
[3] 朱雪龙. 应用信息论基础[M]. 北京：清华大学出版社， 2001.
[4] 周叶林. 科学研究中的信息论及其应用[J].今日南国,2009(5):201-202.
[5] 谢家安. 有效发挥大脑潜能[M]. 北京：科学出版社，2010.
[6] 迈克尔・J・A・豪. 实用记忆心理学[M].陕西人民出版社,1988.。