香农信息论在信息处理中的应用要点

–计算机文件压缩（compress, gzip）
– 较好的算法都能使各种文件压缩后所需的存储量只为原文件的 25%到50% ,其平 均值约为 30%左右。压缩所需的时间和存储器开销都不大。目前,各种压缩算法 已在计算机中得到广泛的应用。
信息论的应用
–模拟话路中数据传输速率的提高
– 最早的调解器其速率只有 300 bi t / s ,而信息论指出,标称带宽为 4 kHz,信噪比 为 25 dB 的话路信道的极限速率应在 25 kbi t / s左右。所以在以后的三十多年 中就开始了提高速率的长期的、 现在看来是极其成功的工作。1967 年速率为 4 800 bi t / s , 1971 年为 9 600 bi t / s , 1980 年开始进4 应用信息论基础入 14 .4 kbi t / s , 1985 年时利用多维网格编码调制的调解器Codex2680使速率 达到 19 .2 k bit / s ,非常接近于理论极限。
香农信息论
1948年，“信息论之父”香农发表了一 篇著名的论文《通信的数学理论》。论 文给出了信息传输问题的一系列重要结 果，建立了比较完整而系统的信息理论， 这就是香农信息论，也叫狭义信息论(简 称“信息论”)。
香农信息论体系结构
Shannon信息论 压缩理论 无失真编码 等长编码 定理 Shannon 1948 McMillan 1953 变长编码 定理 Shannon 1948 McMillan 1956 有失真编码 失真理论 Shannon Gallager Berger 传输理论 信道编码定理 网络信息理论
香农信息论在信息处理 中的应用
第一部分 香农信息论的简介 第二部分 信息论的应用
香农信息论的主要内容
（1）把信息定义为“用来消除不确定性的东西”，并 给出了其度量公式--熵和互信息； （2）建立了一些重要的性能界：信源输出的最大可能 的信息量，满足一定失真度的要求所必须传递的最小信 息量，信道上的最大可能通过能力等； （3）建立了一组重要的编码定理，从理论上指明了为 达到上述性能界限应当遵循的信息处理的方法和原则。 这不仅从定性方面而且也从定量方面深刻地揭示了信息 传递和处理的规律，使通信的研究从经验的阶段转变为 科学。
纠错码 编码调制理论
网络最佳码
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
压缩编码 JPEG MPEG
通信系统模型
信源
消息
编码器
信号
信道
信号加 噪声
译码器
消息
信宿
噪声
通信系统模型
– 可靠性 使信源发出的消息经过信道传输以后， 尽可能准确地、不失真地再现于接收端。 – 有效性 经济性好，即用尽可能短的时间和尽可 能少的设备来传送—定数量的信息。 – 保密性 隐蔽和保护通信系统中传送的消息，使 它只能被授权接收者获取，而不能被未授权者接 收和理解。 – 认证性 接收者能正确判断所接收的消息的正确 性，验证消息的完整性，而不是伪造的和被窜改 的。 – 有效性、可靠性、保密性和认证性四者构成现代 通信系统对信息传输的全面要求。
信息论在信息处理中的应用
–数据压缩：香农第一定理 –语音信号压缩（G.711, GSM）
• 长途电话网标准的语音编码速率已从 1972 年 CCIT T G .711 标准中的 64 k bit / s 降低到 1992年 CCI T T 标准中的 16 k bit / s。 • 在移动通信中 1988 年欧洲 GSM 标准中的语音编码速率为 13 .2 kbi t / s , 而 1989 年美国 CTIA 标准中的速率为 7 .95 kbit/ s。 • 对语音质量要求较低的军用通信,美国 NSA 标准的速率在 1975 年时已达到2 .4 kbi t / s。 • 目前,在实验室中已实现 600 bi t / s 的低速率语音编码,特别是按音素识别与合成 原理构造的声码器其速率可低于 100 bit / s ,已接近信息论指出的极限。
信息论的应用
–计算机网中数据传输可靠性的保证
– 目前普遍采用的解决办法是带自动重发请求的差错检测码。差错检测的方法从 最简单的奇偶检验到比较复杂的循环冗余检验都被采用 ,但较大的网一般都用循 环冗余检验。这种方法已被各种网络通信协议采用并成为标准。
信息论的应用
–计算机中的容错问题
• 如何保证存取的正确性已成为越来越突出的问题。特别是在外存中,由于存储量大,而 且存储体的表面难免有缺损,要保证绝对不发生差错已不可能,现在广泛采取的解决办 法是增加适当的检错纠错装置。例如 IBM4300, Cray-1 等大型机的内存都有较简 单的检错纠错措施。而在外存中,根据不同的情况和要求从较简单的 Fir e 码到 BCH 码以及 RS 码等都被广泛使用, 例如在 IBM360 的光盘存储器中就采用了 RS 码。
信息论的应用
–图象信号的压缩（JPEG, MPEG）
– 经过多年的研究,到 20 世纪 80 年代时图像压缩逐步进入建立标准的阶段。 – 1989 年 CCIT T 提出电视电话/ 会议电视的压缩标准 H .261, 其压缩比达到 25∶1到 48∶1 左右。 – 1991 年 CCIT T 与 ISO 联合提出的 “多灰度静止图像压缩编码” 标准 JPEG, 其压缩比为 24∶1。 – 对常规电视信号的压缩在 1991 年提出的国际标准 MPEG-1 中其平均压缩比可达 50∶1。
信息论的Βιβλιοθήκη Baidu用
–降低信息传输所需的功率
• • ,因为根据信息理论的分析,采用低码率的信道编码可以降低传送单位比特所需的能量 Eb与噪声功率谱密度 N0 之比。 现在利用不太复杂的信道编码就可以使同样误码率下所需的 Eb/ N0 比不采用信道编 码时低 6 dB 左右。其中一些好的方案(如用 RS 码作为外码、 卷积码作为内码的方案 )可以使误码率在 10- 5的情况下所需的 Eb/ N0降到 0 .2 dB,比不用信道编码时所需 的 10 .5 dB降低了近 10 dB。