连续信源的最大熵与最大熵条件解析

青岛农业大学

本科生课程论文

论文题目连续信源的最大熵与最大熵条件

学生专业班级信息与计算科学 0902

学生姓名（学号）

指导教师吴慧

完成时间 2012-6-25 2012 年 6 月 25 日

课程论文任务书

学生姓名指导教师吴慧

论文题目连续信源的最大熵与最大熵条件

论文内容（需明确列出研究的问题）：

1简述连续信源的基本概要。

2 定义了连续信源的差熵公式，分别介绍了满足均匀分布和高

斯分布的两种特殊信源。

3推导了连续信源的最大熵值及最大熵条件。

资料、数据、技术水平等方面的要求：

1概率论的均匀分布、高斯分布的相关知识。

2以及在这两种分布下的连续信源和高斯信源。

3在不同的约束条件下，求连续信源差熵的最大值一种是信源

的输出值受限，另一种是信源的输出平均功率受限。

4 詹森不等式以及数学分析的定积分和反常积分、不定积分等

数学公式。

发出任务书日期 2012-6-6 完成论文日期 2012-6-25 教研室意见（签字）

院长意见（签字）

连续信源的最大熵与最大熵条件

信息与计算科学

指导老师吴慧

摘要：本文简述了连续信源的基本概要并定义了连续信源的差熵公式，分别介绍了满足均匀分布和高斯分布的两种特殊信源，推导了连续信源的最大熵值及最大熵条件。

关键词：连续信源最大熵均匀分布高斯分布功率受限

The maximum entropy and maximum entropy condition

of consecutive letter of the source

Information and Computing Sciences Bian jiang

Tutor Wuhui

Abstract：: On the base of continuous source this eassy describes the basic outline and define differential entropy formula, introduced a uniform distribution and Gaussian distribution of the two special source, derivation of a continuous source of maximum entropy and maximum entropy conditions.

Keyword: Continuous source Maximum entropy Uniform distribution

Normal distribution Power is limited

引言：科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视，信息论方法也逐渐被广泛应用于各个领域。信息论一般指的是香农信息论，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。1948年C.E.Shannon为解决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。近年来，以不确定性信息为研究对象的信息论理论和方法在众多领域得到了广泛应用，并取得了许多重要的研究成果。迄今为止，较为成熟的研究成果有：E.T.Jaynes在1957年提出的最大熵原理的理论；S.K.Kullback在1959年首次提出后又为J.S.Shore等人在1980年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov在1956年提出的关于信息量度定义的三种方法——概率法，组合法，计算法；

A.N.Kolmogorov在1968年阐明并为J.Chaitin在1987年系统发展了的关于算

法信息的理论。这些成果大大丰富了信息理论的概念、方法和应用范围。

1连续信源及其差熵

在通信系统中，所传输的消息可分为离散消息和连续消息。对离散信源而言，

它们输的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用

联合概率分布来描述。而实际信源的输出常常时间、取值都连续的消息。信源输

出的消息是在时间上离散，而取值上连续的、随机的，这种信源称为连续信源。

例如遥控系统中有关电压、温度、压力等测得的连续数据。

基本连续信源的输出是取值连续的单个随机变量，即单符号的连续信源。基

本连续信源的数学模型为

错误！未找到引用源。=错误！未找到引用源。

(1-1)

并满足 错误！未找到引用源。

(1-2)

或者 错误！未找到引用源。=错误！未找到引用源。 (1-3)

满足 ⎰+∞

∞-=1)(dx x p (1-4)

连续信源的熵定义为 H(x)=-错误！未找到引用源。 连续信源的熵与离散信源的熵具有相同的形式，但其意义是不同的。对连

续信源而言，可以假设是一个不可数的无限多个幅度值的信源，需要无限多二进

制位数(比特)来表示，因而连续信源的不确定性应为无穷大。我们采用式1-4

来定义连续信源的熵，是因为实际问题中，常遇到的是熵的差值(如平均互信息

量)，这样可使实际熵中的无穷大量得以抵消。因此，连续信源的熵具有相对性，

有时又称为相对熵，或差熵。

2两种典型的连续信源

现在来计算两种常见的特殊连续信源的相对熵。

2．1均匀分布的连续信源

一维连续随机变量X 在[a,b]区间内均匀分布时，概率密度

函数为错误！未指定书签。错误！未指定书签。

)(x p =错误！未找到引用源。 (2-1)

则=)(x H 错误！未找到引用源。 (2-2)

当取对数以2为底时，单位为比特/自由度。