信息论 第三讲互信息
信息论基础——互信息
= H (Y ) H (Y / X )
表示通过信道和信宿来观察到达信宿信息量， 表示通过信道和信宿来观察到达信宿信息量，而没 有观察信源 ．
16
平均互信息
I ( X ;Y ) =
∑∑ p( x y ) log
i j i =1 j =1
n m
n
m
p ( xi y j )
2
p ( xi ) p ( y j )
Y y1 , y2 , , y j , , ym 信宿 = p ( y ), p ( y ), , p ( y ), , p( y ) , ∑ p ( y j ) = 1 1 2 j m j P(Y )
信 X 源 有 信 扰 道 信 Y 宿
干 源 扰
8
互信息
I(信息量)=不肯定程度的减小量 如果信道是无噪的，当信源发出消息x后， 信宿必能准确无误地收到该消息，彻底消 除对x的不确定度，所获得的信息量就是x 的不确定度，即x本身含有的全部信息. 信宿在收信前后，其消息的概率分布发生 了变化，即其概率空间变了 .
6
相对熵的性质
D( p || q ) ≥ 0 ，等号成立 p ( x) = q( x) D ( p || q )是概率分布对 ( p, q)的凸函数
7
互信息
X x1 , x2 , , xi , , xn 信源 = p( x ), p( x ), , p ( x ), , p ( x ) , ∑ p( xi ) = 1 i P( X ) 1 i n 2
H(Y)
H(XY)
22
H(Y/X)
文氏图
I(X;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)
信息论举例讲解信息量熵及互信息量
计算机科学领域的应用
数据压缩
计算机科学中的数据压缩技术同样基于信息论的原理，通 过去除数据中的冗余信息，实现数据的压缩存储和传输。
加密与安全
信息论在密码学和安全领域也有广泛应用，如利用信息论中的 混淆和扩散原则设计加密算法，保护信息的机密性和完整性。
机器学习
在机器学习中，信息论用于特征选择、模型评估等方面。例如 ，利用互信息来衡量特征与目标变量之间的相关性，从而进行
熵的性质
非负性
熵的值总是非负的，表示系统的不确定性或混乱程度不可能为负值。
可加性
对于相互独立的事件或系统，其熵的和等于各事件或系统熵的和， 表示不确定性或混乱程度可以叠加计算。
最大值性
当系统中各个事件发生的概率相等时，该系统的熵达到最大值，表 示此时系统的不确定性或混乱程度最高。
熵的计算举例
二进制信源熵的计算
举例1
对于离散随机变量 X 和 Y，其联合概率分布为 p(x,y)=[0.1, 0.2, 0.3, 0.4]，边缘概率分布为 p(x)=[0.3, 0.7] 和 p(y)=[0.5, 0.5]。根据互信息量的定义公式，可以计算出 I(X;Y)=0.1979。
举例2
对于连续随机变量 X 和 Y，其联合概率密度函数为 f(x,y)，边缘概率密度函数为 fX(x) 和 fY(y)。可以通过 数值积分的方法计算出互信息量。例如，对于正态分布 N(0,1) 和 N(0,2) 的随机变量 X 和 Y，其互信息量 为 I(X;Y)=0.5×log2≈0.3466。
要点一
目的
通过举例讲解信息量、熵和互信息量的概念，使读者更好 地理解和掌握这些概念。
要点二
意义
信息量、熵和互信息量是信息论中的基本概念，对于理解 和应用信息论具有重要意义。通过本次讲解，读者可以更 加深入地了解这些概念，并能够在实际问题中加以应用。 同时，这些概念在其他领域也有广泛的应用，如计算机科 学、控制论、统计学等，因此本次讲解也有助于读者在其 他领域中更好地应用信息论的知识。
信息论-第三章PPT课件
一般简单的单符号离散信道的数学模型可以用概率空
间[X,p(y|x),Y]来描述。
a1
b1
X
P (b j | ai )
Y
ar
2021/6/7
bs
6
第一节 信道的数学模型及分类
表示成矩阵形式：
…
y1
y2
… x1 p(y1/x1) p(y2/x1)
[P]=
…
x2 p(y1/x2) p(y2/x2)
2021/6/7
27
第四节 信道容量及其一般计算方法
(3)无噪有损信道
x1
x2
y1
x3
x4
y2
x5
此时信道疑义度为0，而信道噪声熵不为0，从而
C=max{I(X;Y)}=max{H(Y)-H(Y/X)}=max{H(Y)}=logs
2021/6/7
28
第四节 信道容量及其一般计算方法
2、对称离散信道的信道容量
y1
y2
…
x1
p(y1/x1)
p(y2/x1)
…
[P]= x2
p(y1/x2)
p(y2/x2)
…
…
…
…
…
xn
p(y1/xn)
p(y2/xn)
…
ym p(ym/x1) p(ym/x2)
… p(ym/xn)
2021/6/7
10
第一节 信道的数学模型及分类
为了表述简便，可以写成 P(bj /ai)pij
因为H(X),表示传输前信源的不确定性，而H(X/Y)表示
收到一个符号后，对信源尚存的不确定性，所以二者之
差信道传递的信息量。
互信息和信息熵
互信息与信息熵的区别
01
互信息只衡量两个随机变量之间的相关性，而信息 熵则衡量单个随机变量的不确定性。
02
互信息可以是负值，表示两个随机变量之间的负相 关性；而信息熵总是非负的。
03
互信息的计算需要考虑联合概率分布，而信息熵的 计算只需要单个随机变量的概率分布。
互信息与信息熵的应用场景
互信息可以应用于信号处理、模式识 别、机器学习等领域，例如在特征选 择和降维中用于衡量特征之间的相关 性。
机器学习中信息熵的运用
分类问题
在分类问题中，信息熵可以用于构建决策边界，通过最大化类别信息熵来提高分类器的 泛化能力。
聚类分析
信息熵在聚类分析中可以用于衡量聚类结果的纯度，通过最小化簇内信息熵来实现更有 效的聚类。
互信息和信息熵在机器学习中的优劣比较
互信息的优点
能够衡量特征间的相关性，有助于特征选择和降维；能够发现非线性 关系，适用于非高斯分布的数据。
互信息的缺点
计算量大，尤其是当特征维度较高时；无法处理连续型特征；可能受 到异常值和噪声的影响。
信息熵的优点
能够度量数据的混乱程度，适用于分类和聚类问题；能够处理连续型 特征。
信息熵的缺点
对数据的分布敏感，对于非高斯分布的数据可能表现不佳；在处理不 平衡数据集时可能会受到较大影响。
06
互信息和信息熵在通信系统 中的应用
在不确定性较大的数据中效果较差。
互信息和信息熵在数据压缩中各有优劣，实际应用中 可以根据具体情况选择使用。
05
互信息和信息熵在机器学习 中的应用
机器学习中互信息的运用
特征选择
互信息可以用于特征选择，衡量特征与目标变量之间的关联程度，帮助去除无关或冗余特征，从而提高模型的性 能。
IT_03_离散互信息
I(X; Y) = H(X)－H(X|Y) I(X I(Y; X) = H(Y)－H(Y|X) • 当X与Y统计独立，则： ∵ H(Y|X) H(Y|X)=H(Y) H(Y) ，H(X|Y) H(X|Y)=H(X) H(X) ∴ I(X; Y)= I(Y; X) • 当X与Y有确定的函数关系，则： 有确定的函数关系 则 ∵ H(Y|X)=0， H(X|Y)=0 ∴ I(Y; X)= ， I(X; Y)= H(X) 互信息是 X，H(Y) Y之间统计依存程度的信息度量。
• 多个随机变量下的互信息
– 条件互信息 • 联合互信息与条件互信息之间的关系 更一般的：
I XY ;UVW I XY ;W I XY ;V W I XY ;U VW
离散互信息
• 多个随机变量下的互信息
– 随机矢量中各随机变量相互之间的互信息
I X ; Y ; Z I X ; Y I X ; Y Z
– 互易性： 互易性 I(X;Y)=I(Y;X) （对称性） – 非负性： I(X;Y)≥0 – 极值性： I(X;Y) H(X), I(X;Y) H(Y)) 0 I(X;Y) ( ; ) min(H(X),H(Y)) ( ( ), ( )) – 凸性： I(X;Y)是信源概率分布 p(x)的上凸函数 是信道转移概率 p(y|x)的下凸函数 – 互信息与熵的关系： H(XY) = H(Y)+ H(X)－ I(X;Y)
I Y ; Z I Y ; Z X I Z ; X I Z ; X Y
互信息I(X;Y;Z)没有明确的物理意义 可以证明互信息I(X;Y;Z)不具有非负性 。
离散互信息
• 集合论与信息论公式对应关系
互信息的计算公式
互信息的计算公式互信息（Mutual Information）是信息论中的一个重要概念，用于衡量两个随机变量之间的相关性或者依赖程度。
它的计算公式看起来可能有点复杂，但咱们一步一步来，还是能搞明白的。
先来说说互信息的定义。
想象一下，有两个变量 X 和 Y，如果知道了 X 的值，能够让我们对 Y 的值有更多的了解，或者反过来，知道了Y 能让我们更好地推测 X，那么就说明 X 和 Y 之间存在一定的相关性，而这个相关性的量化度量就是互信息。
互信息的计算公式是这样的：I(X;Y) = H(X) - H(X|Y) 或者 I(X;Y) = H(Y) - H(Y|X) 这里的 H(X) 表示变量 X 的熵，H(X|Y) 表示在已知 Y 的条件下 X 的条件熵。
熵（Entropy）这个概念可能有点抽象。
咱们来打个比方，假设你有一个盒子，里面装着各种颜色的球，红的、蓝的、绿的等等。
如果每种颜色的球数量差不多，那么这个盒子里球的不确定性就比较大，熵就比较高；要是大部分都是红球，其他颜色的球很少，那不确定性就小，熵就低。
那条件熵又是啥呢？还拿刚才的盒子举例，如果我先告诉你盒子里大部分是红色的球，然后再让你猜具体有多少个红球，这时候你的不确定性就降低了，这个降低后的不确定性就是条件熵。
咱们来个具体的例子感受一下。
比如说，有一堆学生的考试成绩，X 表示数学成绩，Y 表示语文成绩。
如果数学成绩好的学生语文成绩往往也不错，那么 X 和 Y 之间就有一定的相关性，通过计算互信息就能定量地知道这种相关性有多强。
咱们假设数学成绩分为优秀、良好、中等、差这几个等级，语文成绩也类似。
然后我们统计不同数学成绩等级下语文成绩的分布情况。
如果数学成绩优秀的学生，语文成绩也大多优秀或者良好，那么在已知数学成绩的情况下，语文成绩的不确定性就降低了，条件熵就会变小，从而互信息就会比较大，说明两者相关性强。
再比如，在研究天气和人们出行方式选择的关系时，X 表示天气情况（晴天、阴天、雨天等），Y 表示出行方式（步行、骑车、开车等）。
信息论.第3章离散信道与平均互信息量
信道
Y1Y2 YN
p( y1 y2 yN | x1 x2 xN )
若Ｘi取值于Ａ，Ｙi取值于Ｂ，并且Xi的分布相同，Yj 的分布相同，i=1,2,…Ｎ
p( y | x) p( y1 y2 ... y N | x1 x2 ... xN ) p( yi | xi )
第3章 离散信道与平均互信息量
研究信源，研究的是信源输出的信息量，即信源 的熵H(X)。 研究信道，研究的是流经信道的信息量，即信道 的输出Y与输入X之间的平均互信息量I(X;Y)。
1
互信息量与平均互信息量
p( xi / y j ) 1 1 log log log p( xi ) p( xi / y j ) p( xi ) p( xi y j ) p( y j / xi ) log log p ( x ) p ( y ) p ( y ) i j j 1.互易性 1 1 I ( y j ; xi ) log log p( yi ) p( yi / x j ) 2 极值性
信息传输速率 信道在单位时间内平均传输的信息量。
1 Rt I ( X ; Y1)对于给定的一个信道，存在输入分布p(x) 使I(X;Y)达到最大,称为最佳输入分布（最 佳信源）； 2)信道容量表征信道传送信息的最大能力； 3)C与p(x)无关，是关于信道p(y|x)的函数。
p( x)
C log s H ( p'1 , p'2 ,..., p's )
二元对称信道的信道容量是 C=1-H(P)。 离散准对称信道
C max I ( X ; Y ) max H (Y ) H (Y / X )
p( x) p( x) def
信息论举例信息量熵和互信息量
第二次测量取得旳信息量：
I ( p2 (x))
I ( p3(x))
log
1 p2 (x)
log
1 p3 ( x)
2
1 1(bit)
第三次测量取得旳信息量：
1
1
I ( p3(x)) I ( p4 (x)) log p3(x) log p4 (x) 1 0 1(bit)
故共需要3bit信息量.
信源熵
显然,H(X)>>H(Y),这表达信源X旳平均不稳 定性远远不小于信源Y旳平均不稳定性。
条件自信息量
前面我们引入自信息量以及熵旳概念，用
以描述信源或信宿，实际上，信宿收到旳消息
是与信源发出旳消息亲密有关。而且接受信息
与发送信息之间旳关系往往是鉴定一种信道旳
好坏旳最佳原则。所以，我们需要引入互信息
量。在学习互信息量之前我们先来了解条件信
码字
000 001 010 011 100 101 110 111
先验概率
1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
收到0后 1/3 1/3 1/6 1/6 0 0 0 0
消息后验概率 收到01后 0 0 1/2 1/2 0 0 0 0
收到011后 0 0 0 1 0 0 0 0
[解]由定义有：
H
(X)源自214log
1 4
2
1 8
log
1 8
4
116log
1 16
2.75(比特/符号)
我们再回过头来看一下例3中两个信源熵分
别是多少， 成果反应了一种怎样旳事实？ [例3解答]由定义有：
HX 0.5log0.5 0.5log0.5 1 HY 0.99log0.99 0.01log0.01 0.08
信息论 第三讲互信息
5
三、互信息
1、条件自信息和条件熵
一般而言：实际问题中常涉及到两个事件集合，因而希望能给出与两个 集合之间相互关联的信息量。
设有事件集合X，它含有N pi ，
个事件：x1,x2,…,xN
,
事件xi出现的概率记作
1≥ pi ≥0,且
p 1
(3-1)
1
设另一事件集合Y，它含有M 个事件：y1，y2，… yM ，事件yj出现的概
16
三、互信息
2、互信息和联合熵
互信息的物理意义 对于无扰信道， H(X/Y) = 0， H(Y/X) = 0，于是有
I(X,Y)=H(X)=H(Y)，即X 将信息量全部传给了Y。
最坏的情况是信道干扰相当严重，以致X与Y 统计独立， 此时有I(X,Y)=0 ，H(Y/X)= H(Y)和H(X/Y) = H(X) ，信道 未能传送任何信息。
p(1)= p(k1) p(a)=1/2 ·1/4=1/8 ; p(2)= p(k1) p(b)+ p(k2) p(a) =1/2 ·3/4+ 1/4 ·1/4 =1/8=7/16 p(3)= p(k2) p(b)+ p(k3) p(a) =1/4 ·3/4+1/4 ·1/4=1/4 p(4)= p(k3) p(b) =1/4 ·3/4=3/16
率记作qj , 1≥ qj≥0 ，且
q 1 1
(3-2)
联合事件集合XY含有的事件为｛xiyj，i=1,2…N,j=1,2…M｝，联合事件 xiyj的出现概率为pij，i=1,2,…，N，j=1,2,…，M，
NM
1≥ pij≥0,且
pij 1
i 1 j 1
(3-3)
6
三、互信息
互信息资料
互信息互信息是信息论中的一个重要概念，它用来描述两个随机变量之间的相关性。
在信息论中，信息量是表示一个事件的不确定性的度量，而互信息则表示两个随机变量之间的相关性程度。
在这篇文章中，我们将深入探讨互信息的概念、计算方法以及在实际应用中的意义。
互信息的概念互信息是用来衡量两个随机变量之间相互依赖程度的指标。
在信息论中，两个随机变量X和Y的互信息I(X;Y)定义为它们联合概率分布与各自边缘概率分布之间的差异。
换句话说，互信息衡量了当我们知道一个随机变量的取值时，另一个随机变量的不确定性减少了多少。
互信息可以被看作是信息熵的补集，即I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)，这里H(X)和H(Y)分别表示X和Y的边缘熵，H(X|Y)和H(Y|X)分别表示在已知条件下的条件熵。
互信息的计算互信息的计算通常涉及到对联合概率分布、边缘概率分布以及条件概率分布的计算。
假设X和Y都是离散随机变量，其联合概率分布为P(X,Y)，边缘概率分布分别为P(X)和P(Y)，则互信息可以通过以下公式计算：I(X;Y) = ΣΣ P(X,Y) * log(P(X,Y) / (P(X) * P(Y)))在实际应用中，可以通过样本数据的统计信息来估计概率分布，从而计算互信息。
互信息的意义互信息在模式识别、数据挖掘和机器学习等领域中有着广泛的应用。
在特征选择和特征提取中，互信息被用来评估特征与目标变量之间的相关性，从而选择最具有代表性的特征。
在聚类分析中，互信息可以帮助评估聚类结果的质量和稳定性。
此外，互信息还可以用于半监督学习和异常检测等任务中。
总的来说，互信息作为一个重要的信息度量指标，在各个领域都有着重要的作用，可以帮助我们理解数据之间的关系，从而更好地进行数据分析和处理。
结语通过本文的介绍，我们了解了互信息的概念、计算方法以及在实际应用中的意义。
互信息作为一个重要的信息度量指标，在信息论和机器学习领域都有着重要的应用价值。
2015秋.信息论.第3章离散信道与平均互信息量
第3章离散信道与平均互信息量研究信源，研究的是信源输出的信息量，即信源的熵H(X)。
研究信道，研究的是流经信道的信息量，即信道的输出Y与输入X之间的平均互信息量I(X;Y)。
§3.1 信道模型及其分类一、信道的数学模型信道是信息传输的媒质或通道。
信 道输入端输出端信 源信 宿信道相当于一个数学变换，可以用条件概率描述p(y/x)。
干扰输入事件的概率空间为[X P ]输出事件的概率空间为[Y P ]二、信道的分类1、根据输入输出事件的时间特性和集合的特点①离散信道：Ｘ和Ｙ都是离散事件集合，数字信道②连续信道：Ｘ和Ｙ都是连续事件集合，模拟信道③半连续信道：Ｘ和Ｙ一个是离散事件集合，一个是连续事件集2、根据输入和输出的个数两端信道：输入和输出都只有一个事件集合。
多端信道：输入和输出至少有一端有两个以上的事件集合，也称多用户信道。
卫星通信上行线是多元接入信道，卫星通信下行线是广播信道。
3、根据信道的统计特性恒参信道：信道统计特性不随时间变化。
随参信道：信道统计特性随时间变化。
4、根据信道的记忆特性无记忆信道：信道输出集Ｙ仅与当前输入集Ｘ有关有记忆信道：信道输出集Ｙ与当前和以前若干个输入集有关，例如由于滤波器的特性不理想存在码间干扰的数字信道。
5、根据信道上是否存在干扰进行分类无扰信道：信道上无干扰，理想信道；有扰信道：信道上有干扰，大部分信道。
两端、恒参、无记忆离散信道。
三、离散信道数学模型信道p (y|x)Ｘ=X 1X 2…X K Y=Y 1Y 2…Y K信道特性可用转移概率p (y|x)=p (y 1y 2…y K |x 1x 2…x K )描述，信道数学模型为[ X p (y|x) Y]输入符号集A ={a 1,…,a r }，输出符号集B ={b 1,…,b s } 输入序列Ｘ=X 1X 2…X K ，取值x=x 1x 2…x K ，x i ∈A 输出序列Y=Y 1Y 2…Y K ，取值y=y 1y 2…y K ，y i ∈B1、离散无记忆信道(discrete memoryless channel ，DMC)若离散信道对任意N 长的输入输出序列转移概率满足则称其为离散无记忆信道，其数学模型为[ X p (y k |x k ) Y] ∏===Kk k k K K x y p x x x y y y p p 12121)|()...|...()|(x y 对任意给定的n 和m ，若离散无记忆信道还满足p ( y n = b j | x n = a i ) = p ( y m = b j | x m = a i )则称此信道为平稳的离散无记忆信道，其信道转移概率不随时间变化。
互信息（MutualInformation）
互信息（MutualInformation） 本⽂根据以下参考资料进⾏整理： 1.维基百科： 2.新浪博客： 在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。
不同于相关系数，互信息并不局限于实值随机变量，它更加⼀般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。
互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。
互信息是点间互信息（PMI）的期望值。
互信息最常⽤的单位是bit。
1.互信息的定义 正式地，两个离散随机变量 X 和 Y 的互信息可以定义为： 其中 p(x,y) 是 X 和 Y 的，⽽p(x)和p(y)分别是 X 和 Y 的分布函数。
在的情形下，求和被替换成了： 其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数，⽽p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。
互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。
平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为⼀个确定的量。
如果对数以 2 为基底，互信息的单位是。
直观上，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中⼀个，对另⼀个不确定度减少的程度。
例如，如果 X 和 Y 相互独⽴，则知道 X 不对 Y 提供任何信息，反之亦然，所以它们的互信息为零。
在另⼀个极端，如果 X 是 Y 的⼀个确定性函数，且 Y 也是 X 的⼀个确定性函数，那么传递的所有信息被 X 和 Y 共享：知道 X 决定 Y 的值，反之亦然。
因此，在此情形互信息与 Y（或 X）单独包含的不确定度相同，称作 Y（或 X）的。
⽽且，这个互信息与 X 的熵和 Y 的熵相同。
（这种情形的⼀个⾮常特殊的情况是当 X 和 Y 为相同随机变量时。
信息论第三讲-平均交互信息量的特性
熵速率R是先验概率的函数，也是信道 转移概率的函数。
2020/6/28
25
信道容量是在给定信道条件下（即一定
的信道转移概率），对于所有可能的信 源先验概率的最大熵速率。它表示为：
C max R P(X )
2020/6/28
26
C max{nI( X ,Y )} max{n[H( X ) H( X / Y )]}
由，当x为大于0的实数时，底大于1的对数 logx是x的严格上凸函数。因此
f{∑pixi}≥∑pif(xi)，
如f(x)=logx，则有：
log{∑pixi}≥∑pilogxi
2020/6/28
4
根据这个关系，考虑平均交互信息量， I(X,Y)= ∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)] 则： -I(X,Y)= ∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)] ≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)] =log{∑p(xi) ∑p(yj)}=0 所以有：I(X,Y) ≥0
其中：记H(p)= -[plogp+(1-p)log(1-p)] 另外：为了求H(Y)， 利用p(yj)= ∑p(xi)p(yj/xi)；可得：
p(y=0)=ω(1-p)+(1-ω)p p(y=1)=ωp+(1-ω)(1-p)
则：
H(Y)=H(ω(1-p)+(1-ω)p)
2020/6/28
18
可得平均交互信息量为： I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)
可知，当p值一定，I(X,Y)是ω的上凸函数，
I(X,Y)
1-H(p)
0
信息论第三讲互信息
互信息的解释性问题
互信息是一种非线性关系，难以解释其物理意义，因此在实际应用中存在一定的 困难。
互信息的解释性受到数据分布的影响，不同的数据分布会导致互信息的值发生变 化，从而影响其解释的准确性。
互信息的度量问题
互信息的度量涉及到熵的计算，而熵的计算涉及到概率的归 一化过程，因此互信息的度量存在一定的难度。
加密通信
加密算法设计
互信息可以用于设计加密算法，通过 增加密文和明文之间的不确定性，提 高加密的安全性。
密钥分配
互信息可以用于密钥分配，通过建立 通信双方之间的共享密钥，保证通信 的安全性。
自然语言处理
语义分析
互信息可以用于自然语言处理的语义分析，通过分析词语之间的关联程度，提高文本分类、情感分析 等任务的准确性。
文本生成
基于互信息的文本生成技术可以用于自动生成文章、对话等文本内容，提高自然语言处理的应用效果 。
05
互信息的限制与挑战
互信息的计算复杂度问题
互信息的计算涉及到概率的计算，而 概率的计算需要大量的数据样本，因 此互信息的计算复杂度较高。
在实际应用中，由于数据样本的限制， 计算出的互信息可能存在误差，影响 后续的分析和决策。
2
在信息论中，互信息用于度量两个变量之间的相 关性，可以反映一个变量中包含的关于另一个变 量的信息的多少。
3
互信息通常用I(X;Y)表示，其中X和Y是两个随机 变量，I(X;Y)表示X中关于Y的信息量。
互信息的性质
非负性
互信息总是非负的，即I(X;Y)≥0。
对称性
互信息具有对称性，即 I(X;Y)=I(Y;X)。
互信息与条件熵的关系
互信息可以理解为条件熵减去被条件化的随机变量的熵，即表示由于给定一个随机变量而减少的另一个随机变量 的不确定性。
近代信息论-第一章-2
称为离散平稳有记忆信源的极限熵（熵率） 称为离散平稳有记忆信源的极限熵（熵率）
H ( X 1)
H ( X 2 | X 1)
例
H ( X N | X 1 L X N −1)
problem
H∞
近代通信理论
例：英文/中文字符的极限熵
英文：27个符号（字母和空格） 0阶：H0=log227=4.76bits/symbol 1阶：H1=4.03bits/symbol 2阶：H2=3.32bits/symbol 中文：GB2312-80 共6768字 内码16bit 0阶：H0=log26768=12.72bits/symbol 1阶：H1=9.43bits/symbol 2阶：H2=8.1bits/symbol 3阶：H3=7.7bits/symbol
分析 N=2
H (X | X ) ≤ H (X ) QH ( X | X ) ≤ H ( X ) 对于平稳信源： H (X ) = H (X ) ∴上式成立。
2 1 1 2 1 2 2 1
即要证：H ( X | X X ) ≤ H ( X 2| X ) Q对于平稳信源， H ( X | X ) = H ( X | X ) ∴H ( X | X X ) ≤ H ( X | X ) = H ( X | X ) ∴上式成立。 (已知条件增加，熵减少 ）
N
X 2 L X n)
极限熵
(X ) = 1 H ( X 1 HN
N X 2 L X n) 的极限存在，且为0和H(X) 之间的某个有限值。
H ∞ = lim H N = lim H ( X N | X 1 L X N −1)
N →∞ N →∞
近代通信理论
离散平稳信源的极限熵（熵率）
第3讲_信源及其信息量2_平均互信息
举例 某地二月份天气构成的信源为：
x (晴)， x2 (阴)， x3 (雨)， x4 (雪)⎫ ⎡ X ⎤ ⎧ 1 ⎪ ⎪ =⎨ 1 1 1 1 ⎬ ⎢P( X )⎥ ， ， ⎣ ⎦ ⎪ 2， 4 8 8 ⎪ ⎩ ⎭
收到消息 y1：“今天不是晴天” 收到 y1 后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/4
2011-3-4
Department of Electronics and Information, NCUT
Song Peng
第10页
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量定义：
互信息量：yj 对 xi 的互信息量定义为后验概率与先验概率比 值的对数。
Song Peng
第8页
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量 互信息量定义：
信源 X、信宿 Y 的数学模型为：
x2 , …， xi , …, xn ⎫ ⎡ X ⎤ ⎧ x1 , ⎢ P( X )⎥ = ⎨ p( x ), p( x ), …, p( x ), …, p( x )⎬ ⎣ ⎦ ⎩ 1 i n ⎭ 2 0 ≤ p( xi ) ≤ 1,
Song Peng
第16页
2.1.4 平均互信息量
2.1 单 符 号 离 散 信 源
(1) 互信息量和条件互信息量
① 互信息量
互信息量的三种不同表达式 观察者站在通信系统总体立场上
▼ 通信前：输入随机变量 X 和输出随机变量 Y 之间没有任
第三讲平均互信息
I (xi ; y j ) I (xi ) I ( y j ) I (xi y j )
第三讲平均互信息
H（X|Y） I(X;Y)
H（Y|X）
H（X，Y）
H(X|Y) 常称为疑义度、含糊度，－－损失熵 它表示观察到Y后，集X还保留的不确定性。
H(Y|X) 常称为散布度，－－噪声熵（由噪声引起） 它表示由于干扰的影响，使观察的Y存在的 平均不确定性。
X
P(x | y) log P(x | y) , P(x)
P(y) 0
第三讲平均互信息
特定 x 出现所给出的关于集Y的平均互信息：
I (Y; x) EY I ( y; x)
Y
P( y | x) log P( y | x) , P( y)
P(x) 0
集 X 和集 Y 之间的平均互信息为：
I( X ;Y ) EXY I( x; y ) X
P(00 | M1) P(00 | 00) P(0 | 0) p(0 | 0) (1 p)2
P(M1,00) P(M1)P(00 | M1) (1/ 4)(1 p)2
4
P(00) P(Mi )P(00 | Mi ) 1/ 4
i 1Βιβλιοθήκη I (M1;00)log
P(M1,00) P( M 1 ) P(00)
I ( y j ; xi ) I ( y j ) I ( y j | xi ) log P( y j ) log P( y j | xi ) log P( y j | xi ) P(y j )
平均互信息： 特定 y 出现所给出的关于集X的平均互信息：
I (X ; y) EX I (x; y)
（此条件为DMC的充要条件。） （3）、有干扰有记忆情况。
第3讲——互信息
I ( xi ; y j ) log
平均互信息
p( xi | y j ) p( xi )
log
p( xi y j ) p( xi ) p( y j )
log
p( y j | xi ) p( y j )
I ( X ; Y ) E I ( xi ; y j )
n m
j ) I ( xi ;
平均条件互信息和 平均联合互信息
I ( X ; Y / Z ) p( xi y j zk )I ( xi ; y j / zk ) log
i j k
p( xi / y j zk ) p( xi / zk )
I ( XY ; Z ) p( xi y j zk )I ( xi y j ; zk )
H(XY)
用维拉图理解
H(X) G A B C E D F A+B+C A+B C
I ( X ; YZ ) I ( X , Y ) I ( X ; Z | Y )
I ( X ; YZ ) I ( X ; ZY ) I ( X ; Z ) I ( X ; Y | Z ) I (YZ ; X ) I ( X ; YZ )
I ( X ;Y ) H ( X ) H ( X Y ) I (X; Z) H(X ) H(X Z) H(X Y) H(X Z)
因而可得
平均互信息
– 定义及含义 – 性质：对称性、非负性、极值性 – 与熵的关系
I ( X ;Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X ) H ( X ) H (Y ) H ( XY )
I ( X ;Y ) H ( X ) I (Y ; X ) H (Y )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
H(X/Y)H(Y)
同理 H (X) H Y (Y /X ) H (X )
(3-10)
(3-11) (3-12)
11
三、互信息
2、互信息和联合熵 定理3.2 H (X) YH ，(X )H (Y)
当且仅当X 和Y 统计独立时等号成立。
证明 根据式 (3-11) ，
又根据定理3.1
H (X)H Y(X /Y)H (Y)，
pq
pq
p logeln
p log 0
1 1
p
1 1
p
p p log(
1 )0
1 1
qp
p
p log
p logp p logp
1 1
q
1 1
1
(3-9)
依条件熵和熵的定义，(3-9)式即是定理中的不等式: H(X/Y)H(X)
当且仅当X和Y独立时，piqj=pij，所以有
iN 1 j M 1 p il jo q p ijg j iN 1 j M 1 p il jo p q iq g jj iN 1 j M 1 p il jo p ig
当且仅当X和Y独立时，piqj=pij 。13
三、互信息
2、互信息和联合熵
这说明当且仅当X 和Y 统计独立时上式取等号。 证毕。
10
三、互信息
2、互信息和联合熵
定义3.2 联合熵记作H(XY),定义为
说明：
NM
H(XY )
pijlog pij
i1 j1
显然H(XY) ≥0 。
根据条件熵和熵的定义,
N M
H (X)Y pij(l
i 1j 1
o q pijjg loqg j)
博士课程：
信息论
张焕国 武汉大学计算机学院
1
三、互信息
1、条件自信息和条件熵
例3.1
设事件集合X 为下雨事件集合：
X＝｛小雨，中雨，大雨，暴雨｝
设事件集合Y 为刮风事件集合：
Y＝｛1级，2级， 3级，…，12级｝
下雨和刮风是密切相关的：
下雨时往往刮风；
刮风时可能下雨，也可能不下雨。
代入
所以有
H(X/Y)H(X)， H (X) YH (X)H (Y)。
当X 和Y 统计独立时，定理3.1中等号成立,故定理 3.2中等号也成立。证毕。
12
三、互信息
2、互信息和联合熵
定义3.3 事件xi和yj之间的互信息，记作I(xi,yj)，
定义
p
I(x ,y )I(y ,x )log
pq
集合X和Y之间的互信息，记作I(X,Y) ，定义为
5
三、互信息
1、条件自信息和条件熵
一般而言：实际问题中常涉及到两个事件集合，因而希望能给出与两个 集合之间相互关联的信息量。
设有事件集合X，它含有N pi ，
Байду номын сангаас
个事件：x1,x2,…,xN
,
事件xi出现的概率记作
1≥ pi ≥0,且
p 1
(3-1)
1
设另一事件集合Y，它含有M 个事件：y1，y2，… yM ，事件yj出现的概
概率pij与pj，qj是相互关联的。根据事件概率的定义，有
q p(x y )p
1
1
M
M
pi p(xiyj) pij
j1
j1
(3-4)
根据条件概率的定义有
p (y/x) p (xy)p /(x) p/pp ( x/y) p ( xy)p ( /y) p /q(3-5)
定息义和3联.1合在事事件件集y合j已X经Y出的现条的件条熵件分下别，定事义件为xi的条件自信
pq
pq
p ln
p(
1)
1 1
p
1 1
p
根据式(3-1)，(3-2)，
化简
(p q p ) 1 1
p 1 ， q 1
1
1
p q p 110
1 1
所以，p 1 1
pq ln
p
0
1 1
根据式(3-3)，＝1。
(3-8)
将式 (3-8) 两边同乘以loge，并进行换底:
9
换底 三、互信息
1、条件自信息和条件熵
Y＝｛y1，y2｝ 接收字符和发送字符是密切相关的：
发送x1 ，接收y1 ； 发送x1 ，接收y2 ； 发送x2 ，接收y1 ；
x1
d e
x2
e d
y1 y2
发送x2 ，接收y2 。
问题：
在发送x1的条件下，接收y1所给出的信息量？ （条件自信息）
在发送字符X的条件下，接收到字符Y所给出的平均信息量？（条件熵）
问题：
在下大雨的条件下刮6级风，给出的信息量？（条件自信息）
在下雨的条件下刮风，给出的熵？ （条件熵）
下大雨而且刮6级风，给出的信息量？ （互信息）
下雨而且刮风，给出的熵？
（联合熵）
4
三、互信息
1、条件自信息和条件熵
例3.2
设事件集合X 为二元数字通信系统的发送字符事件集合：
X＝｛x1，x2｝ 设事件集合Y 为二元数字通信系统的接收字符事件集合：
I( x / y) lo p ( x / g y) lo ( p / q g ) (3-6)
H (X /Y) pI(x/y) plo (pg /q) (3-7)
1 1
1 1
7
三、互信息
1、条件自信息和条件熵
说明： 条件自信息度量了一个随机事件xi在yj发生的条件下xi未出
现下时出所现呈后现所的给不出确的定信性息，量也。度量了事件xi在yj发生的条件
(3-13)
p
I(X,Y) pI(x,y) plog
1 1
1 1
pq
说明：
(3-14)
集合间互信息是事件间互信息的统计平均值。
在息互具信有息对的称定性义: I(式xi,中yj)，=I交(yj换,xix)，i和yI(j X，, 形Y)=式I(不Y,变X，) 。因而互信 互计信独息立是的当，事则件I(x共i,y同j) =出0。现这时是信合息理的的度。量，如果xi和yj是统 若事件集合X和Y是统计独立的，则有I(X,Y) =0。
条件熵H（X/Y）是条件自信息在联合事件集合XY上的统 计平均值。
定理 3.1 H(X/Y)H(X)
当且仅当X与Y 统计独立时等号成立。
说明:条件熵总是不大于无条件熵。这是合理的，因为事 物间总是有联系的，了解Y后会减小X 的不确定性。
8
三、互信息
1、条件自信息和条件熵
证明：根据引理2.1，有
率记作qj , 1≥ qj≥0 ，且
q 1 1
(3-2)
联合事件集合XY含有的事件为｛xiyj，i=1,2…N,j=1,2…M｝，联合事件 xiyj的出现概率为pij，i=1,2,…，N，j=1,2,…，M，
NM
1≥ pij≥0,且
pij 1
i 1 j 1
(3-3)
6
三、互信息
1、条件自信息和条件熵