信息论的应用

１ 信息论在数据压缩理论中的应用
信息论之父香农在 １４ ９ ８年 发表 的论 文 《 通信 的数 学理 论》一文 中指 出，任何信息都有冗余 ，冗余大 小和 信息中每
长 上的，信 息能否被压缩 以及能在多大程度上被压缩与信息
的不确定性有直接的关系 ，人工智能技术将会对数据压缩 的
未 来产 生 重 大 影 响 。
法 ，它与部分分配预测模 型结合 ，开发 了压 缩效果近 乎完美
的压缩算法 。算数编码虽然可 以获得最 短的编码 长度 ，但 其
方法研究信 息的传输 、存储与 处理的科学 。其基本任 务是
为设计有效而可靠 的通信系统提供理 论依据 ，主要特点是理 论的成功应用 。文章主要介 绍信 息论在数据压缩、密码学、
本身的复杂性也使得算数编码 的任何具体实现在运行 时都慢
如蜗牛 ，导致难 以满足 日常应 用的需求 。此时 ，Ｌ Ｚ系列算法 的优越性很快就在数据压缩领域里体现 了出来 ， Ｚ系列算 法 Ｌ
统计及信号处理 中的应用 。
基 本解决 了通用数据压缩 中兼顾速度与压缩效果 的难题 。
数据压缩技术的不断完善是依靠在信息论这 门学科 的成
５２０ ： １－２０ ２．
［］沈世镒 ， ３ ３ 吴忠华． 息论基 础与 应用［ ． 信 Ｍ］北京： 高等教 育 出
版 社 ．０ ４ ２０．
【 ４ ］周荫 清． 息理论 基础 【 ． ： 京航 空航 天 大学 出版 信 Ｍ］ 北京 北
社 ．０ ６ ２０．
．
．
４ ．科研 计划项 目 （ Ｋ０ ８ ） Ｚ ７８
【 作者简介 】张姗姗 （９ １ ） ，河南博 爱人 ，宝鸡文理 学院数 学系助教 ，硕士 ，研 究方向为信 息安全 。 １８一 ，女
．．
４ ． ５．
３ 信息论在统计中的应用
信息论在统计 中的应用一般指信息量在统计 中的应用， 也有编码 定理 与码 结构在统计 中的应用等 问题 。由于统计学 研究 的问题 日趋复 杂，如统计模 型从线性到非线性 ，统计分 布从 单一 分布 到混合分布 ，因此信息量在统计 中的作用 日趋
压缩 、密码 学、统计及信 号处理 中的应用。 【 关键词 】信 息；信 息论 ；数据压缩 ；密码 学
【 中图分 类号】Ｇ２ １ ０ 【 文献标识码 】Ａ 【 文章编号 】１ ０—１５ （０ １０ 一 ０ ５ ０ ｏ ８ １ １ １）７ ｏ４ — ２ ２
信息是人类社会互通情报 的实践过程中产生的，在当今
所有 处理 过 程 无 非 是 信 源 编 码 ，变 换 ， 过 滤或 决策 过 程 ，其
在统计领 域里，统计计 算技 术近年来发展很快 ，它使许 多统计方法， 尤其是 Ｂ ｙ ｓ统计得到广泛的运用 。 ａ ｅ 计算 ａｅ Ｂｙ ｓ 方法有很多，其中一类 是直接应 用于后验 分布 以得 到后验均
式 并阻止其他人 得到它。密码术的研究和应用虽有很长的历 史 ，但在信 息论诞 生之前，它还没有系统的理论 ，直到香农
数据 压缩 的主要 目的是力求用最少的数据表示信源所 发
出的信 号，使信号 占用的存储空 间尽可能小 ，以达 到提 高信 息传输速度 的 目的。数据压缩在近代信息处理 问题 中有大量 的应用 ，无论在数据存 储或传送 中，通过数据压缩不仅可 以 大大： 资源利用 的成 本，而且把一些原来无实用意义 的技 省 术， 如多媒体技术 中的一 些问题， 到具有 实用 意义的标 准 。 达 数据压缩 作为信 息论研 究中的一项 内容 ，主要是有关数 据压缩 比和各种编码方 法的研 究，即按某种方法对源数据流 进行编码 ，使得经过编码 的数据 流比原数据流 占有较少 的空 间。其 中基于符号频率统计 的哈夫曼 编码 效率高，运算速度
得到 的估计序列是否收敛 。它 的特点与信道容量的递推渐近 算法相似 ，但应用更为广泛。Ｅ Ｍ算法实现简 单，数值计算稳 定 ，存储 量小，并具有 良好的全局收敛性。Ｅ Ｍ算法是一种求
参数极大似然估计 的迭代算法 ，在处理不完全数据 中有重要
应用 。
［ 曹雪 虹， 宗橙 ． 息论 与 编码 ［ ． ： 华 大学 出版 １ ］ 张 信 Ｍ】 北京 清
编码具有 良好 的压缩性 能，也 一直 占据 重要的地 位，还是不 断有基于哈夫曼编码 的改进算法提 出。 算 数编码 是一 种可 以成 功地逼 近信 息熵 极 限的编码 方
信息社会 中， 常把它作为人们认识世界 的向导与智 慧的源泉 ，
也是社会 与社会 生产 力发展 的动力与资源。信息作为一种资 源 ，如何开发 、利用 、共享 是人 们普遍关注的 问题 。信息是 信息 论中最基本最重要 的概念 。信 息论是应用近代数理统计
２１ ０ １年第 ７期 （ 总第 １ ３期 ） ４
大 众 科 技
ＤＡ ＺＨＯＮＧ ＫＥ Ｊ
Ｎｏ ７。 ０１ ． ２ １
（ ｕ ｕ ｔｅ ｏ１３ Ｃ ｍ ｌｉ ｌＮ ． ） ａｖ ｙ ４
信 息 论 的 应 用
张姗姗
（ 宝鸡文理学院，陕西 宝鸡 ７１１ ） ２０３
【 摘 要 】信 息论 是关于信息的本质和传送规律 的科 学理论 ，其 主要特 点是 理论的成功应用。文章主要介绍信 息论在数据
值或后验众数的估计，以及这种估计的渐进方 差或其近似 。 Ｅ Ｍ算法就 是一种迭代方法， 主要用来计算后验 分布 的众数或
极大似然估计。这种方法可 以广泛的应用于缺损数据 ，截尾
数据 ， 成群数据，带有讨厌参数 的数据等所谓 的不完全数据 。
Ｅ Ｍ算法 的最大优 点是简单和稳定 ， 主要 目的是提供一个简单 的迭代算法来计算极大似然估计 ， 问题 是如此建立 的 Ｅ Ｍ算法
发表 的保密通信 的信 息理 论一文，为密码学确立 了一系列的
基本原则与指标 ，如加密运算 中的完全 性、剩余度等指标 ，
它们与信息 的度量有着密 切相 关。之后才产生 了基于信息论 的密码学理论 ，所 以说信 息论与密 码学的关系十分密切。
近代 密码 学 由于数 据加 密标准 与公 钥体 制 的出现于 应 用 ，使近代密码学所涉及 的范 围有 了极 大的发展 ，尤其是在 网络认证方面得到广泛应用 ，但其 中的安全性 原理与测量 标 准仍未脱离香农保密系统所规 定的要求 ，多种加 密函数的构
社 ．０ ４ ２ ０．
信 息与统计相 结合的其他 典型问题还很 多，如假设检验
中的两类误差估 计问题，试验 设计 问题 ，信 息量在有效估计 中的应用问题等，这些问题 已使信 息论 与统计学想成相互推
动发展的局面。
【 ２ 】周叶林． 科学研 究 中的信 息论及其应 用卟今 日南国，０ ９ ２０ ，
实变 换也 是一种编码过程 。这些过程中的大部分的信息论基 础是信息率失真理论 。 譬如数字信 号处理 ，其技术可 以归结为 以快速 傅里叶变 换和数字滤波 器为核心 ，以逻 电路为基础 ，以大规模集 成电 路为手段，利用软硬件来实现各种模拟信号的数字处理，其 中要用到信息论中的信 号检测 、信号变换 、信号的调制和解 调 、信号的运算、信号的传输和信号 的交换等 。 现在，信息理论与技术 不仅直接应用于通信、计算机和 自动控制等领域，而且还广泛渗透到生物学、医学、语 言学、 社会学 、经济学和管理学等领域 ，与这些交叉学科 的发展 ， 是信息论的应用范围更加广泛。 【 参考文献】
重 要 ，在 许 多 问题 中 以信 息量 作 为它 们 的基 本 度 量 。
４ 信息论在信号处理中的应用
信号处理包括数据 、影象、语声或其他 的信号 的处理 ， 从信 息论 的观点看 ，信号则是观 察客观事物表达其相应信息 的技 术手 段，也就是特定信息的载体 。信息是通过信号来 表达 的，对信息 的加工和处理，也就是信 号的加工和处理 。
个 符号 的出现概 率或者说不确定性 有关 。香农把信 息中排
除了： 元余后的平均信息量称为信息熵 ，并给 出了计算信 息熵 的数 学表 达式，这为数据压缩奠定 了理论基础 。
２ 信息论在密码学中的应用
密码学 是研 究编 制密码和破译密码的技术科学 。从传统 意义上 来说，密码学是研究如何把信息转换成一种隐蔽 的方
快 ，实现方式灵活 ，使得其在数 据压 缩领域得到了广泛 的应
用 。不过 ，哈夫曼所得 的编码长度 只是对 信息熵计算结果的
一
种近似 ，还无法真正逼近信 息熵 的极限。所 以尽管哈夫曼
【 收稿 日期 】２ １ ４ ９ ０ 卜０ —１
造 ，如相关免疫 函数 的构造仍 以香农 的完善保密 性为基础 。