第三章 信息论基础知识(Part2)

信息论基础知识
主要内容：
信源的数学模型 信源编码定理 信源编码算法 信道容量 通信的容限
第 1 页 2011-2-21

引言
一、信息论的研究范畴 信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。 狭义信息论：通信的数学理论，主要研究信息的度量方 法，各种信源、信道的描述和信源、信道的编码定理。 实用信息论：信息传输和处理问题，也就是狭义信息 论方法在调制解调、编码译码以及检测理论等领域的应用。 广义信息论，包括信息论在自然和社会中的新的应用， 如模式识别、机器翻译、自学习自组织系统、心理学、生物 学、经济学、社会学等一切与信息问题有关的领域。
第 2 页 2011-2-21

二、信息论回答的问题
通信信道中，信息能够可靠传 输的最高速率是多少？
噪声信道编码定理 噪声信道编码定理
信息进行压缩后，依然可以从已压 缩信息中以无差错或低差错恢复的 最低速率是多少？
香农信源编码理论 香农信源编码理论
最佳系统的复杂度是多少？
第 3 页
2011-2-21

三、香农的贡献
香农(Claude Elwood Shannon,1916～2001年)， 美国数学家，信息论的创始人。
创造性的采用概率论的方法来研究通信中的问题，并且对 信息给予了科学的定量描述，第一次提出了信息熵的概念。 1948年，《通信的数学理论》(A mathematical theory of communication ) 以及1949年，《噪声下的通信》标志了信息论的创立。 1949年，《保密通信的信息理论》，用信息论的观点对信息保密问题做了 全面的论述，奠定了密码学的基础。 1959年，《保真度准则下的离散信源编码定理》，它是数据压缩的数学基 础，为信源编码的研究奠定了基础。 1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研 究；
第 4 页 2011-2-21

四、信息论发展历史
1924年 奈奎斯特(Nyquist,H.)总结了信号带宽和信息速率之 间的关系。 1928年 哈特莱(Hartley,L.V.R)研究了通信系统传输信息的能 力，给出了信息度量的方法。 1936年 阿姆斯特朗(Armstrong)提出增大带宽可以使抗干扰 能力加强。 1948年 香农，《通信的数学理论》(A mathematical theory of communication )标志了信息论的创立； 1949年 香农，《保密通信的信息理论》，用信息论的观点对 信息保密问题做了全面的论述，奠定了密码学的基础。 1959年 香农，《无失真信源编码》，它是数据压缩的数学基 础，为信源编码的研究奠定了基础。 1972年 盖弗的广播信道研究论文，研究热点转向多用户。
第 5 页 2011-2-21

A1、信息论的应用（通信领域）
无失真信源编码的应用：文件和图像的压缩
1989年的电视电话/会议压缩标准H.261； 1991年的“多灰度静止图像压缩编码标准”JPEG； 随后的MPEG-1、MPEG-2以及目前的MPEG-4。
限失真信源编码的应用：语音信号压缩，根据香农定理语音 信号所需的编码速率可以远低于奈奎斯特采样定理所决定的 速率：
1972年长途电话网标准的编码速率为64kbit/s，到1995年则为6.3kbit/s； 1989年GSM标准的编码速率为13.2kbit/s，1994年降至5.6kbit/s； 在实验室目前已经实现600bit/s的低速率语音编码，特别是按音素识别与 合成原理构造的声码器其速率可低于100bit/s，这已经接近香农极限。
第 6 页
2011-2-21

有噪信道编码的应用：模拟话路中数据传输速率的提高 早期的调制解调器300bit/s； 随后速率逐步提高4800bit/s，9600bit/s，14.4kbits/s， 19.2kbits/s，28.8kbits/s，56kbits/s； 目前2Mkbits/s
第 7 页
2011-2-21

信源的数学模型
信源是产生消息的源，根据信源的不同情况可分为： 离散信源 消息集X 为离散集 合。 连续信源 时间离散 而空间连 续的信源。
波形信源 时间连续 的信源。
根据信源的统计特性，离散信源又分为两种： 无记忆信源 X的各时刻取值相互独立。 有记忆信源 X的各时刻取值互相有关联。
第 8 页 2011-2-21

一、离散无记忆信源
离散无记忆信源(Discrete Memoryless Source，简记为 DMS)是时间离散、幅度离散的随机过程。不同时刻的随机变 量是独立同分布的，且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间，即：
x2 " xN ⎤ ⎡X ⎤ ⎡ x1 ⎢ P( X ) ⎥ = ⎢ P( x ) P( x ) " P( x ) ⎥ ⎣ ⎦ ⎣ 1 N ⎦ 2
P(xi )：信源输出符号xi的先验概率; 满足：0 ≤ P(xi) ≤ 1，1 ≤ i ≤ N，
∑ P( x ) = 1
i =1 i
2011-2-21
N
第 9 页

二、离散信源的信息量 一个符号它所携带的信息量是和该符号出现的概 率有关，即概率可以表征其自信息量的大小。
1 I ( xi ) = log = − log P ( xi ) P( xi )
第 10 页
2011-2-21

三、信源的熵

自信息量的加权平均值为信源的平均信息量，即信源的熵

1

()()log ()

N

i i i H X P x P x ==−∑信源的熵具有以下两种物理含义：

1）表示信源输出前信源的平均不确定性。

2）表示信源输出后，每个符号所携带的平均信息量。

四、信息速率

信息速率：信源每秒钟发出的熵（bit/s ）

1

()()log ()

N

i i i R rH X r P x P x ===−∑r 为信源发出的消息速率，这里的消息可以为符号、码源、采样值等。