信息熵及其性质和应用
有关信息熵
有关信息熵（摘自互动维客：,更多内容请访问互动维客！）一、信息熵)是指信源（物理系统）某一事件发生时所包含的信息量，物理系统自信息I(xi)是一个随机变量，它不内不同事件发生时，其信息量不同，所以自信息I(xi能用来作为整个系统的信息的量度。
山农定义自信息的数学期望为信息熵，即信源的平均信息量:信息熵表征了信源整体的统计特征，是总体的平均不确定性的量度。
对某一特定的信源，其信息熵只有一个，因统计特性不同，其熵也不同。
例如，两个信源，其概率空间分别为：则信息熵为：可见，H(Y)>H(X),说明信源Y比信源X的平均不确定性要大，即在事件发生之前，分析信源Y，由于事件y1 ,y2 是等概率的，难以猜测哪一个事件会发生；而信源X，虽然也存在不确定性，但大致可以知道,x1出现的可能性要大。
正如两场足球赛，其中一场，双方势均力敌；而另一场双方实力悬殊很大。
当然,人们希望看第一场，因为胜负难卜，一旦赛完，人们获得信息量大。
也可以这样理解，信息熵H(X)表征了变量X的随机性。
如上例，变量Y取y1和y2是等概率的，所以其随机性大；而变量X取x1比x2的概率要大的多，这时变量X的随机性就小。
因此，熵反映了变量的随机性，也是表征随机变量统计特性的一个特征参数。
二、信息熵的基本性质1、对称性当概率空间中P(x1),)P(x2)…序任意互换时，熵函数的值不变，例如下面两个信源空间:其信息熵H(X)=H(Y)。
该性质说明，熵只与随机变量的总体结构有关，与信源总体的统计特性有关，同时也说明所定义的熵有其局限性，它不能描述事件本身的主观意义。
2、确定性如果信源的输出只有一个状态是必然的,即P(x1)=1, P(x2)=P(x3)=… =0,则信源的熵:这个性质表明，信源的输出虽有不同形态，但其中一种是必然的，这意味着其他状态不可能出现。
那么，这个信源是一个确知信源，其熵为零。
3、非负性即H(X)>0。
因为随机变量X的所有取值的概率分布为0<P(xi)<1。
信息熵及其性质和应用
信息熵及其性质和应用信息熵是信息论中最重要的概念之一，它被广泛应用于通信、隐私保护、压缩、分类和数据挖掘等领域。
信息熵是一个度量随机事件不确定性的量，它可以看做是事件发生概率的负对数，越不确定的事件其信息熵越大。
信息熵与概率密切相关。
对于一个样本空间Ω，若每个事件A的概率为p(A)，则该样本空间的信息熵H(Ω)为：H(Ω) = - ∑p(A)logp(A)其中logp(A)是以2为底的对数，这是信息论中常用的底数。
Log函数是一个单调递增函数，因此H(Ω)随p(A)的变化而变化。
当p(A)=1时，H(Ω)为0，表示该事件完全确定，不需要任何信息来描述；当p(A)接近0时，H(Ω)趋近于无穷大，表示该事件非常不确定，需要大量的信息来描述。
因此，信息熵是一个有效的度量随机事件的不确定性的量。
信息熵有几个重要的性质。
首先，它是非负的。
这是因为p(A)是一个概率，它的取值范围是0到1，因此logp(A)的取值范围是负无穷到0，-p(A)logp(A)必须是非负的。
其次，当且仅当p(A)相等时，信息熵的值最大。
这是因为对于任意一组概率{p1, p2, ..., pn}，它们的信息熵最大当且仅当这组概率相等。
第三，对于两个不同的事件A和B，它们的信息熵只有在它们不相关的情况下才能相加，即：H(A, B) = H(A) + H(B) (当A和B不相关时)这个性质被称为独立性原理，它用于说明当两个随机事件相互独立时，它们的信息熵是可以相加的。
信息熵具有广泛的应用。
通过计算信息熵，我们可以判断一个密码的安全性、评估一个数据压缩算法的效果、确定一个分类任务的复杂度、估算一个随机过程的性质等。
在通信中，我们可以利用信息熵来设计码字，最大程度地利用信道的带宽和容量，使得信息传输更加高效。
在隐私保护中，我们可以利用信息熵来衡量隐私的泄露程度，评估隐私保护算法的性能。
在机器学习中，我们可以利用信息熵来选择特征、评估模型及度量分类器的性能等。
熵和信息熵
熵和信息熵
熵是一个非常重要的物理量，在热力学、信息论、统计力学等领域都有广泛的应用。
在物理学中，熵通常表示系统的无序程度，也可以理解为能量的分散程度，随着系统的无序程度增加，熵也会随之增加。
在信息论中，熵则表征了信息的不确定性，也可以理解为信息的平均量，随着信息的不确定性增加，熵也会随之增加。
信息熵是信息论中的一个核心概念，它是对信息的不确定性的度量。
在离散的情况下，信息熵可以表示为：
H(X) = -Σ p(xi) log p(xi)
其中，p(xi)表示随机变量X取值为xi的概率，log表示以2为底的对数，Σ表示对所有可能取值的概率求和。
信息熵的单位通常是比特或者纳特。
信息熵具有以下几个性质：
1. 非负性：信息熵不可能为负数。
2. 最大熵原理：在概率分布未知的情况下，信息熵取最大值时对应的概率分布是平均分布，即所有可能取值的概率相等。
3. 信息熵与不确定性相关：当随机变量的取值越不确定，对应的信息熵就越大。
信息熵在信息论中有着广泛的应用，例如在数据压缩、信道编码、密码学等领域中。
通过研究信息熵，人们可以更好地理解信息的本质和特点，从而更好地利用信息。
- 1 -。
信息熵 标准
信息熵是衡量信息不确定性的一个重要指标，由克劳德·香农在1948年提出，是信息论的基础之一。
信息熵不仅在通信理论中有广泛应用，也对统计学、物理学、计算机科学等多个领域产生了深远影响。
一、信息熵的定义信息熵（Entropy），记作H(X)，是描述信息量的大小的一个度量。
它是随机变量不确定性的量化表示，其值越大，变量的不确定性就越高；反之，其值越小，变量的不确定性就越低。
对于一个离散随机变量X，其概率分布为P(X)，信息熵的数学表达式定义为：\[ H(X) = -\sum_{i=1}^{n} p(x_i) \log_b p(x_i) \]其中，\(p(x_i)\)代表事件\(x_i\)发生的概率，\(n\)是随机变量可能取值的数量，\(\log_b\)是以b为底的对数函数，常见的底数有2（此时单位是比特或bits）、e（纳特或nats）和10。
二、信息熵的直观理解信息熵可以被理解为信息的“不确定性”或“混乱程度”。
当一个系统完全有序时，我们可以准确预测它的状态，此时信息熵最低；反之，如果系统完全无序，我们无法预测其任何状态，此时信息熵最高。
例如，在一个完全公平的硬币投掷实验中，正面和反面出现的概率都是0.5，这时信息熵达到最大值，因为每次投掷的结果最不确定。
三、信息熵的性质1. 非负性：信息熵的值总是非负的，即\(H(X) \geq 0\)。
这是因为概率值在0和1之间，而对数函数在(0,1)区间内是负的，所以信息熵的定义中包含了一个负号。
2. 确定性事件的信息熵为0：如果某个事件发生的概率为1，那么这个事件的信息熵为0，因为这种情况下不存在不确定性。
3. 极值性：对于给定数量的n个可能的事件，当所有事件发生的概率相等时，信息熵达到最大值。
这表示在所有可能性均等时，系统的不确定性最大。
4. 可加性：如果两个随机事件X和Y相互独立，则它们的联合熵等于各自熵的和，即\(H(X,Y) = H(X) + H(Y)\)。
信息熵及其应用
色素C基因的信息熵如下表，由表可知，
无论是高等生物还是低等生物，其信息
熵都远大于平均信息熵 H4 1.5629
Human 1.9966
Chicken 1.9886
Yeast 1.9817
Rat
1.9699
Mouse 1.9599
Bovine 1.9582
D.melangaster
1.9529
LIMBACH,K.J. & WU, R. Isolation and characterization of two alleles of the chicken cytochrome c gene [J]. Nucl. Acid Res. 1983(11):8931-8941
信息熵及其应用
物质、能量和信息是构成客观世界的三大要素。 信息（information）是什么? 至今信息还没有一个公认的定义 一般定义：常常把消息中有意义的内容称为信息。
信息能否度量 ？
认识问题的过程：
当我们对一问题毫无了解时，对它的 认识是不确定的，在对问题的了解过程中， 通过各种途径获得信息，逐渐消除了不确 定性，获得的信息越多，消除的不确定性 也越多。我们可以用消除不确定性的多少 来度量信息量的大小。
当3种可能性概率相同时， 熵最大，因此每次实验提供 的最大信息熵为ln3。设至 少秤k次， k次实验提供的 信息熵最多为kln3,
有ln24=kln3可得k至少为3。
应用2：熵与参数估计的似然函数
设 X 的分布律为 P ( X x i ) p i ( ) i 1,2 , , m
~x1、 ~x 2、 、 ~x n 为来自总体的样本，将
有12枚外形相同的硬币，其 中一枚是假币（重量略有不 同），如何用没有砝码的天 平用最少次数找出假币？
信息熵及其性质和应用
2012 年 06 月 25 日课程论文任务书学生姓名指导教师吴慧论文题目信息熵及其性质和应用论文内容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。
文中介绍了信息熵的定义和性质及其应用。
使我们对信息熵有跟深入的了解。
资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。
文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。
内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。
参考文献的书写按论文中引用的先后顺序连续编码。
发出任务书日期 06月15日完成论文日期 06月25日教研室意见（签字）院长意见（签字）信息熵及其性质和应用信息与计算科学专业指导教师吴慧摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。
信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。
人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。
香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。
关键词；信息熵性质应用Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty dongqiangTutor WuHuiAbstract：information entropy is a measure of uncertainty of random variable, this paper from the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application rmation is a very popular and widely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application.Key words:information entropy properties application引言:作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=(p 1,p…，p n )，香农熵定义为H(X)=E[I()]=log 在i x ∑-i p i p p 1+p 2+p 3+…p k =1的条件下，为使H （X ）最大，显然是p i ＝1/k （i=1,2,…，k ），即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann 原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw （ｗ是系统状态的概率）是后来Planck 的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间内都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。
信息论中熵的概念
信息论中熵的概念信息论中熵的概念引言：信息论是一门研究信息传输、存储和处理的科学，它起源于通信工程领域，后来逐渐发展成为一门独立的学科。
在信息论中，熵是一个非常重要的概念，它是衡量信息量大小的一种指标。
本文将详细介绍信息论中熵的概念及其相关知识。
一、基本概念1. 信息在信息论中，信息是指某个事件发生所提供的消息或者数据。
在投掷一枚硬币时，正反面出现的情况就是两个不同的事件，每一个事件都提供了一个二元数据（正面或反面），因此我们可以说这两个数据都包含了一定量的信息。
2. 熵在统计物理学中，熵是描述系统混乱程度的物理量。
在信息论中，熵则被定义为随机变量不确定性的度量。
简单来说，熵越大表示包含更多不确定性或者随机性的数据。
3. 随机变量随机变量是指可能具有多种取值结果的变量。
在投掷一枚硬币时，正反面出现的情况就是一个随机变量，因为它可能具有两种不同的取值结果。
二、信息熵的定义在信息论中，熵是一个非常重要的概念。
它被定义为一个随机变量所包含的信息量的期望值。
如果我们用X表示一个随机变量，x表示X可能取到的不同取值，p(x)表示X取到x的概率，那么X的熵可以用下面的公式来计算：H(X) = -Σp(x)log2p(x)其中，Σ表示对所有可能取值进行求和。
log2表示以2为底数的对数。
三、信息熵的性质1. 非负性根据熵的定义，可以得知它一定是非负数。
因为p(x)大于0且小于等于1，在log2p(x)中取负号后一定是非正数，所以H(X)一定是非负数。
2. 极大化原理当随机变量具有多个可能取值时，它们之间存在某种不确定性或者随机性。
而熵则可以衡量这种不确定性或者随机性。
在信息论中，有一个重要原理叫做极大化原理：当随机变量具有多个可能取值时，它们之间最大不确定性对应着最大熵。
3. 独立性如果两个随机变量X和Y是相互独立的，那么它们的联合熵等于它们各自的熵之和。
即：H(X,Y) = H(X) + H(Y)四、信息熵的应用1. 数据压缩在数据压缩中，我们希望尽可能地减小数据的存储空间。
信息熵的概念及其在信息论中的应用
信息熵的概念及其在信息论中的应用信息熵是信息论中的一个重要概念，用来衡量信息的不确定性和随机性。
在信息论的发展中，信息熵被广泛应用于数据压缩、密码学和通信领域等。
本文将详细介绍信息熵的概念和其在信息论中的应用。
一、信息熵的概念信息熵是由美国科学家克劳德·香农（Claude Shannon）在1948年提出的，它是用来衡量随机变量中所包含的信息量。
香农认为，一个事件的信息量和它的不确定性是成正比的。
如果一个事件是确定的，它所包含的信息量就很小；相反，如果一个事件是完全不确定的，那么它所包含的信息量就会很大。
信息熵的计算公式如下：H(X) = -ΣP(x)log(P(x))其中，H(X)代表随机变量X的信息熵，P(x)代表随机变量X取值为x的概率，log代表以2为底的对数运算。
信息熵的单位通常用比特（bit）来表示，表示一个系统所能提供的平均信息量。
比特值越大，代表信息的不确定性越高，信息量越大。
信息熵的概念与热力学中的熵有些相似，都是用来衡量混乱程度或者不确定性的指标。
而信息熵则更加关注于信息的有序性和随机性。
二、信息熵的应用1. 数据压缩信息熵在数据压缩中发挥着重要作用。
根据信息熵的原理，如果某段数据的信息熵较高，那么这段数据中存在较多的冗余信息。
通过将冗余信息删除或者使用更简洁的编码方式表示，可以实现对数据的压缩。
在实际应用中，常用的数据压缩算法如Huffman编码和Lempel-Ziv 编码等都是基于信息熵的原理设计的。
这些算法通过对数据进行分组和编码，去除数据中的冗余信息，从而实现高效的数据压缩。
2. 密码学信息熵在密码学中也有广泛的应用。
在设计密码算法时，我们希望生成的密钥具有高度的随机性和不可预测性，以保证密码的安全性。
信息熵可以被用来评估生成密钥的质量。
如果密钥的信息熵较高，说明密钥具有较高的随机性，对于攻击者来说更加难以猜测。
因此，在密码学中，信息熵可以作为评估密钥强度的一个重要指标。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
青岛农业大学本科生课程论文论文题目信息熵及其性质和应用学生专业班级信息与计算科学09级2班学生学号姓名20093992指导教师吴慧完成时间2012年06月25日2012 年06月25日课程论文任务书学生姓名指导教师吴慧论文题目信息熵及其性质和应用论文内容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。
文中介绍了信息熵的定义和性质及其应用。
使我们对信息熵有跟深入的了解。
资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。
文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。
内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。
参考文献的书写按论文中引用的先后顺序连续编码。
发出任务书日期06月15日完成论文日期06月25日教研室意见（签字）院长意见（签字）信息熵及其性质和应用信息与计算科学专业指导教师吴慧摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。
信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。
人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。
香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。
关键词；信息熵性质应用Information entropy and its properties and Application Student majoring in Information and Computing Science Specialty dongqiangTutor WuHuiAbstract：information entropy is a measure of uncertainty of random variable, this paperfrom the definition of information entropy, combined with the nature of information entropy, information entropy, introduced the specific issues in the application rmation is a very popular and widely noun, it is human understanding of the world, transforming the world knowledge source . The human society development speed, depend on on certain level the human make use of information level, so the measurement information is necessary.Shannon put forward the informa-tion a kind of measurement, the definition of entropy form, it is the uncertainty of random variable metric, this paper mainly introduces the property of entropy and its application.Key words:information entropy properties application引言:作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=(p 1,p …，p n )，香农熵定义为H(X)=E[I(i x )]=∑-i p log i p 在p 1+p 2+p 3+…p k =1的条件下，为使H （X ）最大，显然是p i ＝1/k （i=1,2,…，k ），即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann 原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw （ｗ是系统状态的概率）是后来Planck 的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间内都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。
信息熵(entropy )的概念设一个离散型随机变量和它的概率分布为任意随机事件的自信息量定义为该事件发生概率的对数的负值，即I(i x )∑+=++=≤≤⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡111211211,10 )(n i i i n n n n p p p p p p x x x x x p X ΛΛ=-log i p 。
自信息量I(i x )是指某一信源X 发出某一消息信号i x 所含有的信息量，发出的消息不同，它们所含的信息量也就不同，因此自信息量是一个随机变量，它不能用来作为整个信源的信息测度。
香农将平均自信息量定义为信息熵，简称为熵。
即H(X)=E[I(i x )]=∑-i p log i p 。
二、信息熵的性质1、对称性：设某一概率系统中n 个事件的概率分布为n p p ,,1Λ，当对事件位置的顺序进行任意置换后，得到新的概率分布为//1,,n p p Λ，并有以下关系成立:H(n p p ,,1Λ)=H (//1,,n p p Λ)它表示概率系统中事件的顺序虽不同，但概率系统的熵值是不变的，即概率系统的熵与事件的顺序无关。
2、非负性： 因为每个p<1，所以它们的以不小于1的数为底的对数是不大于零的。
3、确定性：设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。
这是一种确定的系统，对于这样的系统有:H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H (1,0,0,…,0)=0若信源中只要有一个事件是必然事件，则其余事件为不可能事件。
此时，信源中每个事件对熵的贡献都为0，因而熵总为零。
4、扩展性：若集合X 有n 个事件，另一集合Y 中有n+1 个事件，但集合X 和Y 的差别只是多了一个概率近于零的事件，则两个集合的熵值是一样的。
即一个事件的概率和集合中其它事件相比很小时，它对于集合的熵值的贡献就可以忽略不计。
式子表达如下：),,(21≥q p p p H Λ()()n n n n p p p H p p p H Lim ,,,,.,,212110ΛΛ=-+→εεε5、可加性与强可加性： （涉及到了两个变量！） H （XY ）为两个随机变量的联合熵。
可加性：H （XY ）等于 X 的无条件熵，加上已知 X 时 Y 的条件概率的熵的平均值，即条件熵对于 X 与 Y 独立的情况有： （强可加性）)|()()(X Y H X H XY H +=∑∑===qi i j i j qj i x y p x y p x p X Y H 11)|(1log)|()()|()()()(Y H X H XY H +=yx x p p x y P x P xy P ⋅==)|()()(;01;01),,(),,(log )()(log log log log )(log )()(1112121,.,.,.,.≥=≥=+=--=--=-=-=∑∑∑∑∑∑∑∑∑∑∑===ij mj iji ni i ni im i i m i n n n iijij mji n im jj i i mn ji ijij i m n j i i ij i mn ji iji ij i mn ji j i j i nm p p p p p p p H p p p p H p p p y x p p p p p p p p p p p p y x p y x p XY H ΛΛ6、递增性：（子集再划分，第 n 个分为 m 个）按照定义证明：例题：计算∑∑==---+==+=mj njni inm n n m n n n n m n m n p qpp q p qp q H p p p p p H q q q p p p H 1121121211211,1),,,,(),,,,(),,,,,(ΛΛΛΛmn n mi n n i ni n n n ni i i mi i i m n i n i i i i i m n H p H p p q p q p p p p p q q p p p p p H +=⨯+-=+==∑∑∑∑∑===-+=-=-+111111111/1log 1log 1log 1log1log 1log )(ρ)61,61,31,31(H )/(918.1)21,21()32,31()21,21(2132)21,21(32)32,31()41,41,21(32)32,31()61,61,31,31(symbol bit H H H H H H H =+=⨯++=+=7、极值性：可利用两个引理证明；（以后再利用Jensen 证明。
） 引理 1 ：对于 x > 0引理 2 ： 其中：8、上凸性：是 P 的上凸函数 即对于 和两个概率矢量 ，有：函数f 的图象q qq q H p p p H q log )1,1,1(),,(21=≤ΛΛ1l n 11-≤≤-x x xii qi q q p p p p H log ),,(121∑=-≤Λ∑∑==ii ii q p 1;1)(),,(21P H p p p H q =Λ,10<<θ21,P P ρρ)P (H )1()P (H )P )1(P (H 2121ρρρρθθθθ-+≥-+9、1 证明离散平稳信源有()()12213X X H X X X H ≤，试说明等式成立的条件。
解：()()()213321213log x x x P x x x P X X X H ∑∑∑-= ()()()21321321log 312x x x P x x x P x x P x x x ∑∑∑-=()()()2321321log 312x x P x x x P x x P x x x ∑∑∑-≤=()23X X H根据信源的平稳性，有()23X X H =()12X X H ，因此有()()12213X X H X X X H ≤ 等式成立的条件是()=213x x x P ()23x x P9、2 证明离散信源有()()()()()N N X H X H X H X H X X X H ΛΛ+++≤32121，并说明等式成立 的条件。