第三章 信息论基础知识(Part2)

信息论基础知识主要内容：信源的数学模型 信源编码定理 信源编码算法 信道容量 通信的容限第 1 页 2011-2-21引言一、信息论的研究范畴 信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。

狭义信息论：通信的数学理论，主要研究信息的度量方 法，各种信源、信道的描述和信源、信道的编码定理。

实用信息论：信息传输和处理问题，也就是狭义信息 论方法在调制解调、编码译码以及检测理论等领域的应用。

广义信息论，包括信息论在自然和社会中的新的应用， 如模式识别、机器翻译、自学习自组织系统、心理学、生物 学、经济学、社会学等一切与信息问题有关的领域。

第 2 页 2011-2-21二、信息论回答的问题通信信道中，信息能够可靠传 输的最高速率是多少？噪声信道编码定理 噪声信道编码定理信息进行压缩后，依然可以从已压 缩信息中以无差错或低差错恢复的 最低速率是多少？香农信源编码理论 香农信源编码理论最佳系统的复杂度是多少？第 3 页2011-2-21三、香农的贡献香农(Claude Elwood Shannon,1916～2001年)， 美国数学家，信息论的创始人。

创造性的采用概率论的方法来研究通信中的问题，并且对 信息给予了科学的定量描述，第一次提出了信息熵的概念。

1948年，《通信的数学理论》(A mathematical theory of communication ) 以及1949年，《噪声下的通信》标志了信息论的创立。

1949年，《保密通信的信息理论》，用信息论的观点对信息保密问题做了 全面的论述，奠定了密码学的基础。

1959年，《保真度准则下的离散信源编码定理》，它是数据压缩的数学基 础，为信源编码的研究奠定了基础。

1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研 究；第 4 页 2011-2-21四、信息论发展历史1924年 奈奎斯特(Nyquist,H.)总结了信号带宽和信息速率之 间的关系。

1928年 哈特莱(Hartley,L.V.R)研究了通信系统传输信息的能 力，给出了信息度量的方法。

1936年 阿姆斯特朗(Armstrong)提出增大带宽可以使抗干扰 能力加强。

1948年 香农，《通信的数学理论》(A mathematical theory of communication )标志了信息论的创立； 1949年 香农，《保密通信的信息理论》，用信息论的观点对 信息保密问题做了全面的论述，奠定了密码学的基础。

1959年 香农，《无失真信源编码》，它是数据压缩的数学基 础，为信源编码的研究奠定了基础。

1972年 盖弗的广播信道研究论文，研究热点转向多用户。

第 5 页 2011-2-21A1、信息论的应用（通信领域）无失真信源编码的应用：文件和图像的压缩1989年的电视电话/会议压缩标准H.261； 1991年的“多灰度静止图像压缩编码标准”JPEG； 随后的MPEG-1、MPEG-2以及目前的MPEG-4。

限失真信源编码的应用：语音信号压缩，根据香农定理语音 信号所需的编码速率可以远低于奈奎斯特采样定理所决定的 速率：1972年长途电话网标准的编码速率为64kbit/s，到1995年则为6.3kbit/s； 1989年GSM标准的编码速率为13.2kbit/s，1994年降至5.6kbit/s； 在实验室目前已经实现600bit/s的低速率语音编码，特别是按音素识别与 合成原理构造的声码器其速率可低于100bit/s，这已经接近香农极限。

第 6 页2011-2-21有噪信道编码的应用：模拟话路中数据传输速率的提高 早期的调制解调器300bit/s； 随后速率逐步提高4800bit/s，9600bit/s，14.4kbits/s， 19.2kbits/s，28.8kbits/s，56kbits/s； 目前2Mkbits/s第 7 页2011-2-21信源的数学模型信源是产生消息的源，根据信源的不同情况可分为： 离散信源 消息集X 为离散集 合。

连续信源 时间离散 而空间连 续的信源。

波形信源 时间连续 的信源。

根据信源的统计特性，离散信源又分为两种： 无记忆信源 X的各时刻取值相互独立。

有记忆信源 X的各时刻取值互相有关联。

第 8 页 2011-2-21一、离散无记忆信源离散无记忆信源(Discrete Memoryless Source，简记为 DMS)是时间离散、幅度离散的随机过程。

不同时刻的随机变 量是独立同分布的，且符号集中的符号数目是有限的或可数 的。

离散无记忆信源的数学模型为离散型的概率空间，即：x2 " xN ⎤ ⎡X ⎤ ⎡ x1 ⎢ P( X ) ⎥ = ⎢ P( x ) P( x ) " P( x ) ⎥ ⎣ ⎦ ⎣ 1 N ⎦ 2P(xi )：信源输出符号xi的先验概率; 满足：0 ≤ P(xi) ≤ 1，1 ≤ i ≤ N，∑ P( x ) = 1i =1 i2011-2-21N第 9 页二、离散信源的信息量 一个符号它所携带的信息量是和该符号出现的概 率有关，即概率可以表征其自信息量的大小。

1 I ( xi ) = log = − log P ( xi ) P( xi )第 10 页2011-2-21三、信源的熵自信息量的加权平均值为信源的平均信息量，即信源的熵1()()log ()Ni i i H X P x P x ==−∑信源的熵具有以下两种物理含义：1）表示信源输出前信源的平均不确定性。

2）表示信源输出后，每个符号所携带的平均信息量。

四、信息速率信息速率：信源每秒钟发出的熵（bit/s ）1()()log ()Ni i i R rH X r P x P x ===−∑r 为信源发出的消息速率，这里的消息可以为符号、码源、采样值等。

例1: 一个带宽为4000Hz 的信源以奈奎斯特速率抽样，设其抽样序列可表示为符号集为{-2，-1，0，1，2}的DMS ，相应的概率为{1/2，1/4，1/8，1/16，1/16}。

求信息速率。

解：信源的熵为111115()log 2log 4log82log16/248168H X bit Sample =+++×=根据奈奎斯特抽样定理，抽样速率为每秒8000次，则信息速率为：15()8000150008R rH X bps ==×=五、联合熵和条件熵1、两个随机变量(X ,Y )的联合熵定义为：(,)(,)log (,)i j i j i jH X Y P x y P x y =−∑∑2、随机变量X 对应于给定随机变量Y 的条件熵定义为：(|)(,)log (|)i j i j i jH X Y P x y P x y =−∑∑(,)()(|)H X Y H Y H X Y =+(,)()(|)H X Y H X H Y X =+3、二者的联系：六、互信息(;)()(|)()(|)I X Y H X H X Y H Y H Y X =−=−七、微分熵（连续信源熵）()()log ()X X h X f x f x dx+∞−∞=−∫两个离散随机变量X 和Y 的互信息量定义为：连续信源定义一个类似熵的量，称微分熵：微分熵不具有离散熵的直观意义。

信源编码定理信源编码定理（香农第一定理）：对于熵为H的信源，当信源速率为R时，只要R>H，就能以任意小的错误概率进行编码。

反之，如果R<H，则无论采用多么复杂的编译码器，错误概率都不能达到任意小。

信源的熵为H时进行无失真编码的理论极限。

低于此极限的无失真编码方法是不存在的，这是熵编码的理论基础。

该定理给出了信源编码的存在性，但是并没有给出编码的算法和如何达到预期的性能。

无记忆离散信道的容量定义为其中信道输入X 和输出Y 的互信息量。

为信源的概率分布。

如果传输速率R <C ，则以R 速率进行可靠通信是可能实现的。

反之，如果传输速率R >C ，则以R 速率进行可靠通信是不可能的。

速率R 和容量C 的单位都是比特/传输一次。

容量C 还可以用单位时间内传输的比特数来表示。

信道编码定理和信道容量()max (;)iP x C I X Y =(;)I X Y ()i P x 一、有噪信道编码定理1、香农公式：假设信道的带宽为B (Hz)，信道输出的信号功率为S (W)及输出加性带限高斯白噪声功率为N (W)，则信道的信道容量为(bit/s) 1log 2⎟⎠⎞⎜⎝⎛+=N S B C 信息论中著名的香农（Shannon ）公式。

当信号与作用在信道上的起伏噪声的平均功率给定时，在具有一定频带宽度B 的信道上，理论上单位时间内可能传输的信息量的极限数值。

二、香农公式2、香农公式的另一形式：若噪声单边功率谱密度为n 0，噪声功率N =n 0B ，则(bit/s) 1log 02⎟⎟⎠⎞⎜⎜⎝⎛+=B n S B Ca) 增大信号功率S 可以增加信道容量C 。

若信号功率S 趋于无穷大时，则信道容量C 也趋于无穷大20lim lim log 1S S S C B n B →∞→∞⎛⎞=+→∞⎜⎟⎝⎠b) 减小噪声功率谱密度n 0也可以增加信道容量C 。

若n 0趋于零，则C 趋于无穷大3、关于香农公式的几点讨论（1）在给定B、S/N的情况下，信道的极限传输能力为C，而且此时能够做到无差错传输（即差错率为零）。

（2）提高信道容量的方法:002000lim lim log 1n n S C B n B →→⎛⎞=+→∞⎜⎟⎝⎠当信道带宽B 趋于无穷大时，信道容量C 的极限值为20lim lim log 1B B S C B n B →∞→∞⎛⎞=+⎜⎟⎝⎠0200lim log 1B n B S S n S n B →∞⎛⎞=+⎜⎟⎝⎠2044.1log n S e n S ==c)增大信道带宽B 可以增加信道容量C ，但不能使信道容量C 无限制地增大。

（3）信道容量可以通过系统带宽与信噪比的互换而保持不变。

若增加信道带宽，可以适当降低信噪比，反之亦然。

当信道容量C 给定时，B 1，S 1/N 1和B 2，S 2/N 2分别表示互换前后的带宽和信噪比，则有⎟⎟⎠⎞⎜⎜⎝⎛+=⎟⎟⎠⎞⎜⎜⎝⎛+222211211log 1log N S B N S B （4）当信道传输的信息量不变时，信道带宽B、信噪比S/N及传输时间三者是可以互换的。

若信噪比不变，那么增加信道带宽可以换取传输时间的减少，反之亦然。

在传输图片时，每帧约个象素。

为了接收端能良好的重现，需要12个等级的亮度，假定所有的亮度等级等概出现，信道的信噪比为30dB ，求：1）若传送一张图片所需时间为3min ，则所需的信道带宽？2）若在带宽为3.4kHz 的线路上传输这种图片，试问传输一张图片所需的时间为多少？62.2510×例6：221()()log ()log 12 3.58bit/ni i i H X P x P x ====∑象素解：每个像素的平均信息量：662.25103.588.0710bitI =××=×每帧的平均信息量：648.0710 4.4810bit/s 180R ×==×传信率：4322 4.4810 4.4910Hz log (11000)log (1)R B S N×≥=≈×++信道带宽：实际系统要求R < C 平均传输功率b S E R =代入信道容量的公式有20log (1)b E r r n <+021rb E n r−>则通信的容限R r B =带宽效率20log (1)b E r r n =+0r →0ln 20.693 1.6dB b E n ==≈−1r <<对应着高带宽，功率受限情况。