信源熵 第二章—3
合集下载
第二章 信源熵(0906)
一天有人告诉你：今天不是晴 天。 把这句话作为收到的消息b1。 当收到b1后，各种天气发生的概 率变成后验概率了。其中
p(a1 b1 ) 0,
1 p(a3 b1 ) , 4 1 p(a2 b1 ) , 2 1 p(a4 b1 ) 。 4
依据式(2.1.7)，可以计算出b1与各 种天气之间的互信息量。
事件的自信 息量只与其 概率有关， 而与它的取 值无关。
2 联合自信息量
XY P( XY )
a1b1 , , a1bm , , an b1 , , an bm p(a1b1 ), , p(a1bm ), , p(an b1 ), , p(an bm )
三个信息单位之间的转换关系如下：
1Hart log 2 10 3.322bit
1nat log 2 e 1.433bit
1bit 0.693nat 1bit 0.301Hart
由式(2.1.3)可知，一个以等概率出 现的二进制码元(0,1)所包含的自信 息量为1bit。
1 当p(0) p(1) 时， 2
代入式(2.1.3)就有
I (ai b j ) log p(ai ) log p(b j ) I (ai ) I (b j )
两个随机事件各自独立发生得到的自信息量之和。
（2.1.5）
说明两个随机事件相互独立时，同时发生得到的自信息量，等于这
3 条件自信息量：
条件概率对数的负值
2 当p(ai ) 1时，I (ai ) 0 3 当p(ai ) 0时，I (ai )
必然事件
不可能事件
4
I (ai )是p(ai )的单调递减函数。
信源熵
I ( xi ) I ( xi | y j ) 信宿收到 y j 前对消息 xi 的先验不确定度 信宿收到 y j 后对消息 xi 的后验不确定度
I ( xi ) I ( xi | y j ) 信宿收到 y j 后不确定度被消除的部分， 它是 y j 所获得的关于 xi 的部分信息量
互信息 先验不确定度 后验不确定度
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
13
互信息量(续)
在输出端考查不确定度的变化
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) log p( xi | y j )
log p( xi | y j ) p( xi )
后验概率 先验概率
在输入端考查不确定度的变化
后验不确定度 I ( xi y j ) log p( xi y j )
I ( xi ; y j ) I ( x i ) I ( y j ) I ( x i y j ) log[ p( xi ) p( y j )] log p( xi y j ) log
p( x i y j ) p( x i ) p( y j )
先验不确定度 I 先 ( xi y j ) log p( xi y j ) I ( xi ) I ( y j )
通信后，X 与 Y 之间由于信道的统计约束，存在关联关系 后验概率 p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
I ( xi ) I ( xi | y j ) 信宿收到 y j 后不确定度被消除的部分， 它是 y j 所获得的关于 xi 的部分信息量
互信息 先验不确定度 后验不确定度
信源的分类
信源输出以符号形式出现的具体消息，其分类如下： 按发送消息的时间和取值空间的分布 离散信源 单符号离散信源 连续信源 信源发出的 按发出符号之间的关系 消息是离散的、 无记忆信源 有限的或无限可 列的符号，且一 有记忆信源 个符号代表一条 按发送一条消息所需要的符号数 完整的消息 单个符号信源 符号序列信源
13
互信息量(续)
在输出端考查不确定度的变化
I ( xi ; y j ) I ( xi ) I ( xi | y j ) log p( xi ) log p( xi | y j )
log p( xi | y j ) p( xi )
后验概率 先验概率
在输入端考查不确定度的变化
后验不确定度 I ( xi y j ) log p( xi y j )
I ( xi ; y j ) I ( x i ) I ( y j ) I ( x i y j ) log[ p( xi ) p( y j )] log p( xi y j ) log
p( x i y j ) p( x i ) p( y j )
先验不确定度 I 先 ( xi y j ) log p( xi y j ) I ( xi ) I ( y j )
通信后，X 与 Y 之间由于信道的统计约束，存在关联关系 后验概率 p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
第二章信源及信源的熵
一般地，任意 m步转移概率为： ij (m, n ) P{Sn S j | Sm Si } n P ( Sn 表示状态变量， 时刻的状态| ) n
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
Pij的性质： Pij ( m, n ) 0，i, j S
Pij (m, n ) 1,
jS
i S
17
齐次马尔可夫信源的状态转移概率： 齐次：状态转移概率与时间无关
{
无记忆信源 有记忆信源
（1）单符号信源和符号序列信源 前述各离散或连续信源都是单符号信源----信源（试验） 每次发出一个符号（消息的长度为1）。 更多信源输出的消息需要用多个符号（即符号序列）来表示 ，如：随机取球试验，一次取两个球。多少种消息？
8
3种消息：“红红”、“白白”、“红白或白红”；用符号序 列表示 个消息。这种信源称为符号序列信源。 （2）符号序列信源用多维随机变量（随机矢量或随机序列）及 其概率空间来描述。如上面的离散符号序列信源：
7
X [0，1.5] pX (x) pX (x)
任意连续信源 的数学模型为
1.5
,
pX (x)d x 1
0
X [a,b] p X (x) p X (x)
b
,
a
pX (x)d x 1
2、按照信源发出的符号之间的关系分类： 信源
香农第二章信源及信源熵第一节信源的描述和分类第二节离散信源熵和互信息第二节离散信源熵和互信息3第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度第一节信源的描述和分类一消息的统计特征香农信息论运用概率论和随机过程的理论来研究信息
复
1、信息的定义：
习
信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 2、信息论的定义 关于信息的本质和传输规律的科学理论，是研究信息的度 量、发送、传递、交换、接收和储存的一门新兴学科。它为 各种具体的信息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 3、信息、消息和信号的关系：
4第二章3-熵的计算
q
q
（3）根据概率关系，可以得到联合熵与条件熵的关系： 根据概率关系，可以得到联合熵与条件熵的关系： 联合熵与条件熵的关系
H ( X1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j )
i =1 j =1
q q
q
qபைடு நூலகம்
= −∑∑ P (ai a j ) log( P (ai )P (a j | ai ))
得：
H ( X ) = −∑ P(ai ) logP(ai ) = 1.542( Bit / Symbol)
i =1 3
H ( X 2 / X 1 ) = −∑∑ P(ai a j ) logP(a j / ai ) = 0.87(Bit / Symbol)
i =1 j =1 3
3
3
H ( X 1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j ) = 2.41( Bit / Symbols)
0.71比特/符号
•
从另一角度（来研究信源X的信息熵的近似值） 从另一角度（来研究信源X的信息熵的近似值）：
（ 1 ） 由于信源 X 发出的符号序列中前后两个符号之间有依 由于信源X 赖性，可以先求出在已知前面一个符号X 已知前面一个符号 赖性， 可以先求出在已知前面一个符号Xl＝ai时，信源输出 下一个符号的平均不确定性 的平均不确定性： 下一个符号的平均不确定性：
0.71比特/符号
二维平稳信源X：
条件熵H(X2|X1） 平均符号熵H2(X) 简单信源X符号熵H(X)
H(X2|X1) ≤H2(X) ≤H(X) H(X1X2)=H(X1)+H(X2|X1)=2H2(X)
有记忆平稳信源的联合熵、条件熵、 有记忆平稳信源的联合熵、条件熵、平均符号熵 与无记忆信源熵之间的定量关系。 与无记忆信源熵之间的定量关系。
信息论 信源熵 (3)
3
平均互信息的非负性
Ic(X;Y) = Hc(X) – Hc(X/Y)
Ic(Y;X) = Hc(Y) – Hc(Y/X)
对称性—— Ic(X;Y) = Ic(Y;X) 非负性—— Ic(X;Y) ≥0 , Ic(Y;X) ≥0 条件熵不大于无条件熵
Hc(X/Y) ≤Hc(X) Hc(Y/X) ≤ Hc(Y)
§2.3.1 连续信源的熵
§2.3.2 几种特殊连续信源的熵
§2.3.3 连续信源熵的性质及
最大连续熵定理
§2.3.4 熵功率
1 2
连续信源熵可为负值
连续信源熵的可加性
H c ( XY ) = H c ( X ) H c (Y
X
)
H c ( XY ) = H c (Y ) H c ( X ) Y 推广到N个变量的情况
( x m)2 2 2
m为均值
xp( x)dx = m
2 2
为方差
2
( x m) p( x)dx =
2
当m = 0时
P = （平均功率）
H c ( X ) = p( x) log p( x)dx
1 = p( x) log( e 2
其它
假设任意信源概率密度q( x)
bN
aN
bN
p( x)da1da2 da N
a1
b1 a1
b1
= q( x)da1da2 da N = 1
aN
可以证明
H c q( x ), X H c p( x ), X
2 限平均功率的最大熵定理 平均功率为P，均值m受限，当信 源概率密度函数为正态分布时，具有最
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
第2章信源熵--马尔科夫信源及极限熵
“基于马尔可夫链的我国城乡居民收入演进分析”
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
第二章基本信息论6_连续信源的熵
说明：相比放大前，信 号放大后无穷大项小了 1/ 4 1比特，相对熵大了1比 特，而绝对熵保持不变。 0
P( x )
1/ 2
1 dx1 3
0
x
P( x )
2 dx2
6 x
二、连续信源熵的性质
连续信源熵可正可负
H ( X )
1
p( x )log p( x )dx
1 1 lb dx 1比特/采样 3 2 2
2.6 连续信源的熵
一、连续信源熵的定义
连续信源：输出在时间和取值上都是连续的信源
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限，为W，则根据采样定理， 只要采样频率大于2W，则连续信源经采样离散 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为：
p( xi )dx log p( xi )dx
1
3
x
H ( X ) p( x )log p( x )dx
P( x )
1 1 lb dx 2 4 4 2比特/采样
6
1/ 4
0
2
信息量放大了2倍？
6 x
dx2 2dx1
1 1 lb lb dx2 2dx1 1 1 lb lb 2 dx1 1 1 lb dx1
H max ( X ) ln 2 e ln 2 eP 奈特/采样
1.433lb 2 eP 比特/采样
3、输出幅度平均值受限的信源
连续信源X输出非负信号的平均值受限，当其输 出信号幅度为指数分布时，输出最大熵，最大熵 随着X的数学期望（均值）的增大而增大。
P( x )
1/ 2
1 dx1 3
0
x
P( x )
2 dx2
6 x
二、连续信源熵的性质
连续信源熵可正可负
H ( X )
1
p( x )log p( x )dx
1 1 lb dx 1比特/采样 3 2 2
2.6 连续信源的熵
一、连续信源熵的定义
连续信源：输出在时间和取值上都是连续的信源
连续信源
采样
离散信源
求信源熵
若连续信源的频带受限，为W，则根据采样定理， 只要采样频率大于2W，则连续信源经采样离散 后，不损失任何信息。 p( x ) 将连续信源离散化为离散 信源，其信源熵为：
p( xi )dx log p( xi )dx
1
3
x
H ( X ) p( x )log p( x )dx
P( x )
1 1 lb dx 2 4 4 2比特/采样
6
1/ 4
0
2
信息量放大了2倍？
6 x
dx2 2dx1
1 1 lb lb dx2 2dx1 1 1 lb lb 2 dx1 1 1 lb dx1
H max ( X ) ln 2 e ln 2 eP 奈特/采样
1.433lb 2 eP 比特/采样
3、输出幅度平均值受限的信源
连续信源X输出非负信号的平均值受限，当其输 出信号幅度为指数分布时，输出最大熵，最大熵 随着X的数学期望（均值）的增大而增大。
第二章 信源熵
英文字母中“e”出现的概率为0.105，“c” 出现的概率为0.023，“o”出现的概率为 0.001，分别计算他们的自信息量。 答：I(e)=-logP(e)=-log0.105=3.25bit I(c)=-logP(c)=-log0.023=5.44bit I(o)=-logP(o)=-log0.001=9.97bit
②
公式：参考数学期望的性质，用各符号的自 信息量加权平均表示总体的不确定性。
H ( X ) E[ I ( X )] p( xi )I ( xi ) p( xi ) log p( xi )
i i
③
单位：比特/符号或比特/符号序列
④
I. II.
性质： 非负 与热力学熵相同形式，H(X)又被定义为信源 熵 两个特殊情况 符号 x i 的概率 pi 为零时，定义为pi log pi 0 当信源X只有一个符号，符号只有一个状态， p(x)=1,此时 H ( X ) 0 。
分析 {Xn，n=0,1,2，……}是一随机过程，其状态 空间为：I={0,1}，且当Xn=i，i=0、1时， Xn+1所处的状态分布只与Xn=i有关，而与 时刻n以前所处的状态无关，综上所述。该 过程为一步转移的马尔可夫过程。 p, j i P i, j 0,1 一步转移的概率： P{ X j X i} q, j i 一步转移矩阵： p q
II.
III.
随机过程是随机函数的集合，若一随机系统的样本点数是 随机函数，则称此函数为样本函数。这一随机系统全部样 本函数的集合是一个随机过程。实际应用中，样本函数的 一般定义在时间域或者空间域。用{X（t），t Y }。 具有马尔可夫性的随机过程称为马尔可夫过程。
离散信源的熵
I(xi ) log P(xi )
第2章 离散信源的熵
➢I(xi)与xi的概率P(xi)相关 ➢I(xi)是P(xi)的连续减函数，当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0
第2章 离散信源的熵
例2
X x1 x2 x3 x4 P(X) 1/ 2 1/ 4 1/ 8 1/ 8
N
P(xi1 xi2 xin )I(xin / xi1 xi2 x ) in1
i1 1 i2 1 in 1
NN
N
P(xi1 xi2 xin ) log P(xin / xi1 xi2 x ) in1
i1 1 i2 1 in 1
第2章 离散信源的熵
3、熵的链式法则
NN
N
H(X1X2 Xn )
H(p) 1 0.811
0 0.25 0.5 0.75 1 p
第2章 离散信源的熵
习题：(P68)2.4、2.5
第2章 离散信源的熵
2.2 多符号离散信源的熵与熵率
1、多符号离散信源及其模型
定义
多符号离散信源——信源发出的消息为n维符号序 列，符号序列中任何一个符号都随机取值于同一 个N元集合 信源的模型——离散型随机变量序列X1X2…Xn
0 P(xi ) 1, I(xi ) log P(xi ) 0
N
H(X) P(xi )I(xi ) 0 i1
i 1,2, , N
第2章 离散信源的熵
②严格上凸
熵H(X)对于信源概率P(X)严格上凸
严格上凸的描述——设函数f(x)对任一小于1的正数 α及定义域中任意两个值x1、x2，如果
NN
N
其中
P(xi1 xi2 xin ) 1
第2章 离散信源的熵
➢I(xi)与xi的概率P(xi)相关 ➢I(xi)是P(xi)的连续减函数，当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0
第2章 离散信源的熵
例2
X x1 x2 x3 x4 P(X) 1/ 2 1/ 4 1/ 8 1/ 8
N
P(xi1 xi2 xin )I(xin / xi1 xi2 x ) in1
i1 1 i2 1 in 1
NN
N
P(xi1 xi2 xin ) log P(xin / xi1 xi2 x ) in1
i1 1 i2 1 in 1
第2章 离散信源的熵
3、熵的链式法则
NN
N
H(X1X2 Xn )
H(p) 1 0.811
0 0.25 0.5 0.75 1 p
第2章 离散信源的熵
习题：(P68)2.4、2.5
第2章 离散信源的熵
2.2 多符号离散信源的熵与熵率
1、多符号离散信源及其模型
定义
多符号离散信源——信源发出的消息为n维符号序 列，符号序列中任何一个符号都随机取值于同一 个N元集合 信源的模型——离散型随机变量序列X1X2…Xn
0 P(xi ) 1, I(xi ) log P(xi ) 0
N
H(X) P(xi )I(xi ) 0 i1
i 1,2, , N
第2章 离散信源的熵
②严格上凸
熵H(X)对于信源概率P(X)严格上凸
严格上凸的描述——设函数f(x)对任一小于1的正数 α及定义域中任意两个值x1、x2，如果
NN
N
其中
P(xi1 xi2 xin ) 1
第2章 信源与信息熵(3)
平均互信息的物理意义
互信息量实质是通信中实际传送的有用信息量。 互信息量实质是通信中实际传送的有用信息量。 显然，互信息越大越好， 显然，互信息越大越好，极限是 H ( X ) 能否将发送端X的信息量全部传送？ 能否将发送端 的信息量全部传送？ 的信息量全部传送 要求通信过程中没有信息量损失，而实际传输过程中， 要求通信过程中没有信息量损失，而实际传输过程中，信 道中的噪声会淹没一定的信息，即信息有损失。 道中的噪声会淹没一定的信息，即信息有损失。 通信过程中，信息量损失了多少？ 通信过程中，信息量损失了多少？ X的信息量减去实际传输的信息量，即 的信息量减去实际传输的信息量， 的信息量减去实际传输的信息量
I ( X ; Y ) = I (Y ; X )
理论证明略（与单符号互信息相同）。 理论证明略（与单符号互信息相同）。
②非负性
I ( X ;Y ) ≥ 0 I ( X ;Y ) ≤ H ( X )
理论证明参考周荫清编的信息理论基础， 理论证明参考周荫清编的信息理论基础，直观理解
③极值性
直观理解！！ 直观理解！！
p ( xi | y j ) p ( xi )
= log 2
p ( xi ) p ( y j )
p ( xi , y j )
2 .2 离散信源熵和互信息
三、互信息
1、单符号之间的互信息量 性质： ③ 性质： 证明： 证明：
I ( xi ; y j ) = ( xi , y j )
p ( xi ) p ( y j )
p ( xi , y j )
= log 2
p ( xi ) p ( y j )
2 .2 离散信源熵和互信息
三、互信息
2、平均互信息 定义： 指单符号互信息量在X集合和 集合上的统计平均值。 定义： 指单符号互信息量在 集合和Y集合上的统计平均值。 集合和 集合上的统计平均值
互信息量实质是通信中实际传送的有用信息量。 互信息量实质是通信中实际传送的有用信息量。 显然，互信息越大越好， 显然，互信息越大越好，极限是 H ( X ) 能否将发送端X的信息量全部传送？ 能否将发送端 的信息量全部传送？ 的信息量全部传送 要求通信过程中没有信息量损失，而实际传输过程中， 要求通信过程中没有信息量损失，而实际传输过程中，信 道中的噪声会淹没一定的信息，即信息有损失。 道中的噪声会淹没一定的信息，即信息有损失。 通信过程中，信息量损失了多少？ 通信过程中，信息量损失了多少？ X的信息量减去实际传输的信息量，即 的信息量减去实际传输的信息量， 的信息量减去实际传输的信息量
I ( X ; Y ) = I (Y ; X )
理论证明略（与单符号互信息相同）。 理论证明略（与单符号互信息相同）。
②非负性
I ( X ;Y ) ≥ 0 I ( X ;Y ) ≤ H ( X )
理论证明参考周荫清编的信息理论基础， 理论证明参考周荫清编的信息理论基础，直观理解
③极值性
直观理解！！ 直观理解！！
p ( xi | y j ) p ( xi )
= log 2
p ( xi ) p ( y j )
p ( xi , y j )
2 .2 离散信源熵和互信息
三、互信息
1、单符号之间的互信息量 性质： ③ 性质： 证明： 证明：
I ( xi ; y j ) = ( xi , y j )
p ( xi ) p ( y j )
p ( xi , y j )
= log 2
p ( xi ) p ( y j )
2 .2 离散信源熵和互信息
三、互信息
2、平均互信息 定义： 指单符号互信息量在X集合和 集合上的统计平均值。 定义： 指单符号互信息量在 集合和Y集合上的统计平均值。 集合和 集合上的统计平均值
信源熵
当X和 Y独立时，
I ( xi y j ) log 2 p( xi ) log 2 p( y j ) I ( xi ) I ( y j )
2.1单符号离散信源
互信息量(两个随机事件)
信Hale Waihona Puke X信道,,
信宿 Y
xi ,
yj,
X x1 , x2 , 设信源 P( X ) p( x1 ), p( x2 ),
互信息量
I ( xi ; y j zk ) log p( xi | y j zk ) p( xi ) log[ p( xi | y j zk ) p( xi ) p( xi | zk ) ] p( xi | zk )
p( xi | zk ) p( xi | y j zk ) log I ( xi ; zk ) I ( xi ; y j | zk ) p( xi ) p( xi | zk )
2.1单符号离散信源
平均自信息量(信源熵)---随机变量
通常研究单独一个事件或单独一个符号的信息量是不够的， 往往需要研究整个事件集合或符号序列(如信源 )的平均的信息 量(总体特征)，这就需要引入新的概念；定义自信息的数学期 望为信源的平均信息量
q 1 H ( X ) E[log ] p( xi ) log p( xi ) p( xi ) i 1
其中p(xi)是事件xi发生的概率，这也是仙农关于(自 ) 信息量的度量(概率信息) 计算信息量主要要注意有关事件发生概率的计算 ; 性质：①非负;②单调递减；③当 p(xi) =0 时,I(xi) →∞, 不可能事件；当p(xi)=1时， I(xi)→0 ，确定事件 自信息量 I(xi) 的含义 –当事件 xi发生以前，表示事件xi发生的不确定性； –当事件 xi发生以后，表示事件xi所提供的信息量；
I ( xi y j ) log 2 p( xi ) log 2 p( y j ) I ( xi ) I ( y j )
2.1单符号离散信源
互信息量(两个随机事件)
信Hale Waihona Puke X信道,,
信宿 Y
xi ,
yj,
X x1 , x2 , 设信源 P( X ) p( x1 ), p( x2 ),
互信息量
I ( xi ; y j zk ) log p( xi | y j zk ) p( xi ) log[ p( xi | y j zk ) p( xi ) p( xi | zk ) ] p( xi | zk )
p( xi | zk ) p( xi | y j zk ) log I ( xi ; zk ) I ( xi ; y j | zk ) p( xi ) p( xi | zk )
2.1单符号离散信源
平均自信息量(信源熵)---随机变量
通常研究单独一个事件或单独一个符号的信息量是不够的， 往往需要研究整个事件集合或符号序列(如信源 )的平均的信息 量(总体特征)，这就需要引入新的概念；定义自信息的数学期 望为信源的平均信息量
q 1 H ( X ) E[log ] p( xi ) log p( xi ) p( xi ) i 1
其中p(xi)是事件xi发生的概率，这也是仙农关于(自 ) 信息量的度量(概率信息) 计算信息量主要要注意有关事件发生概率的计算 ; 性质：①非负;②单调递减；③当 p(xi) =0 时,I(xi) →∞, 不可能事件；当p(xi)=1时， I(xi)→0 ，确定事件 自信息量 I(xi) 的含义 –当事件 xi发生以前，表示事件xi发生的不确定性； –当事件 xi发生以后，表示事件xi所提供的信息量；
第2章 信源熵 第2讲 信源熵(平均自信息量)与 平均互信息量
• ① 观察者站在输出端 • I(X;Y) = H(X) – H(X/Y)
• H(X) — X 的先验不确定度。 • H(X/Y) — 疑义度（损失熵）。 表示已知Y 后，对X 仍然存在的不确 定度。代表了在信道中损失的信息。 • I(X;Y) — 已知Y 后关于X 的不确定度 减少的量。从Y 获得的关于X 的平均 信息量。
• 理解：已知 Y 时 X 的不确定度应小于一无所知时 X 的不 确定度。因为已知 Y 后，从 Y 或多或少可以得到一些关 于 X 的信息，从而使 X 的不确定度下降。
余 映 云南大学
19/38
熵的性质
• 证明：
• （利用了极值性）
余 映 云南大学
20/38
熵的性质
• (7) 可加性 H(XY) = H(X)+H(Y/X) H(XY) = H(Y)+H(X/Y)
余 映 云南大学 3/38
信源熵
• 举例
• 一布袋内放100个球，其中80个是黄色的，20个是白色的。 随便摸出一个球，猜测是什么颜色，其概率空间为
– x1：表示摸出的是黄球，x2：表示摸出的是白球
余 映 云南大学
4/38
信源熵与平均自信息量
• 信源熵和平均自信息量两者在数值上是相等的， 但含意并不相同。
余 映 云南大学
24/38
平均互信息量的定义
• 互信息量 I(xi; yj) 在联合概率空间 P(XY) 中的统 计平均值
称为 Y 对 X 的平均互信息量。 • X 对 Y 的平均互信息定义为
余 映 云南大学
25/38
平均互信息量的定义
• 平均互信息的第三种定义
• 平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机 性，成为一个确定的量。
• H(X) — X 的先验不确定度。 • H(X/Y) — 疑义度（损失熵）。 表示已知Y 后，对X 仍然存在的不确 定度。代表了在信道中损失的信息。 • I(X;Y) — 已知Y 后关于X 的不确定度 减少的量。从Y 获得的关于X 的平均 信息量。
• 理解：已知 Y 时 X 的不确定度应小于一无所知时 X 的不 确定度。因为已知 Y 后，从 Y 或多或少可以得到一些关 于 X 的信息，从而使 X 的不确定度下降。
余 映 云南大学
19/38
熵的性质
• 证明：
• （利用了极值性）
余 映 云南大学
20/38
熵的性质
• (7) 可加性 H(XY) = H(X)+H(Y/X) H(XY) = H(Y)+H(X/Y)
余 映 云南大学 3/38
信源熵
• 举例
• 一布袋内放100个球，其中80个是黄色的，20个是白色的。 随便摸出一个球，猜测是什么颜色，其概率空间为
– x1：表示摸出的是黄球，x2：表示摸出的是白球
余 映 云南大学
4/38
信源熵与平均自信息量
• 信源熵和平均自信息量两者在数值上是相等的， 但含意并不相同。
余 映 云南大学
24/38
平均互信息量的定义
• 互信息量 I(xi; yj) 在联合概率空间 P(XY) 中的统 计平均值
称为 Y 对 X 的平均互信息量。 • X 对 Y 的平均互信息定义为
余 映 云南大学
25/38
平均互信息量的定义
• 平均互信息的第三种定义
• 平均互信息 I(X;Y) 克服了互信息量 I(xi;yj) 的随机 性，成为一个确定的量。
第2章 信源熵
可用随机矢量来描述。 输出连续消息的信源。可用随 机过 连续信源 程来描述。
离 散 信 源
单符号
随机变量
信源
连 续 信 源
多符号
随机矢量 随机过程
信源分类
对于离散随机变量，取值于集合
a1
, a2 , , ai , , an
对任一 ai 记 p(ai ) P( X ai )
单符号离散信源的数学模型为
第2章：信源熵
统计度量、语义度量、语用度量、模 糊度量等等。最常用的方法是统计度 量。它用事件统计发生概率的对数描
信息度量的方法有：结构度量、
述事物的不确定性，得到消息的信息 量，建立熵的概念。熵概念是香农信 息论最基本最重要的概念。 举例：考研 从随机变量出发来研究信息，正是 香农信息论的基本假说
H ( X ) log n n n n 1 [ p (ai )] log e [ 1 p( ai )]log e 0 i 1 n i 1 n i 1
故有H ( X ) log n
1 式中 p(ai ) 1。当且仅当x 1, np(ai ) i 1 1 即p(ai ) 时，上式等号成立。 n
1 1 1 1 1 1 H ( X ) log log ( log ) 2 2 4 8 2 2 2 4 2 8 1.75(bit )
信源熵和平均自信息量两者在数 值上是相等的，但含义并不相同。信 源熵表征信源的平均不确定度，平均 自信息量是消除信源不确定度所需要 的信息的量度。信源一定，不管它是 否输出离散消息，只要这些离散消息 具有一定的概率特性，必有信源的熵 值，这熵值在总体平均的 意义上才有意义，因而是 一个确定值。
联合随机变量 XY 取值于集合
离 散 信 源
单符号
随机变量
信源
连 续 信 源
多符号
随机矢量 随机过程
信源分类
对于离散随机变量，取值于集合
a1
, a2 , , ai , , an
对任一 ai 记 p(ai ) P( X ai )
单符号离散信源的数学模型为
第2章：信源熵
统计度量、语义度量、语用度量、模 糊度量等等。最常用的方法是统计度 量。它用事件统计发生概率的对数描
信息度量的方法有：结构度量、
述事物的不确定性，得到消息的信息 量，建立熵的概念。熵概念是香农信 息论最基本最重要的概念。 举例：考研 从随机变量出发来研究信息，正是 香农信息论的基本假说
H ( X ) log n n n n 1 [ p (ai )] log e [ 1 p( ai )]log e 0 i 1 n i 1 n i 1
故有H ( X ) log n
1 式中 p(ai ) 1。当且仅当x 1, np(ai ) i 1 1 即p(ai ) 时，上式等号成立。 n
1 1 1 1 1 1 H ( X ) log log ( log ) 2 2 4 8 2 2 2 4 2 8 1.75(bit )
信源熵和平均自信息量两者在数 值上是相等的，但含义并不相同。信 源熵表征信源的平均不确定度，平均 自信息量是消除信源不确定度所需要 的信息的量度。信源一定，不管它是 否输出离散消息，只要这些离散消息 具有一定的概率特性，必有信源的熵 值，这熵值在总体平均的 意义上才有意义，因而是 一个确定值。
联合随机变量 XY 取值于集合
第二章基本信息论3_二元联合信源共熵条件熵.
无记忆N次扩展信源的信源熵
H ( X N ) H ( X ) H ( X ) ... H ( X ) NH ( X )比特/N 个消息
其平均信息熵
H(X N ) H(X N )/ N H(X )
[例]离散平稳无记忆信源的概率空间：
x2 x3 X x1 p( X ) 1/ 2 1/ 4 1/ 4
信源Y的概率空间为：
Y y1 , p(Y ) p( y ), 1 y2 , ..., yj, ..., p( y2 ), ..., p( y j ), ..., yM p( y M )
二元联合信源的概率空间为：
..., x1 y M , ..., xi y1 , ..., XY x1 y1 , p( XY ) p( x y ), ..., p( x y ), ..., p( x y ), ..., 1 1 1 M i 1 xi y j , ..., xi y M , ..., x N y1 , ..., xN yM p ( xi y j ), ..., p( xi y M ), ..., p( x N y1 ), ..., p( x N y M )
j 1 j 1 i 1 i 1
二、条件熵
由共熵可导出条件熵
H ( XY ) p( xi y j )lb p( xi y j ) p( xi y j )lb p( xi ) p( y j / xi ) p( xi y j )lb p( xi ) p( xi y j )lb p( y j / xi ) p( xi )lb p( xi ) p( xi y j )lb p( y j / xi )
第2章信源与信息熵
1. 非负性 2. 对称性
n
pi 1,
i 1
pi 0
(i 1, 2,..., n)
3. 确定性
4. 连续性
5. 扩展性
6. 最大熵定理
7. 条件熵小于无条件熵
熵函数的非负性
H ( X ) H ( p1, p2 , , pn ) 0
0 pi 1, log pi 0
pi log pi 0
i
熵的物理意义
H(X)表示信源发出任何一个消息状态所携带的平均信 息量
也等于在无噪声条件下，接收者收到一个消息状态所获 得的平均信息量
熵的本意为热力学中表示分子状态的紊乱程度 信息论中熵表示信源中消息状态的不确定度 信源熵与信息量有不同的意义
H(X)表示信源X每一个状态所能提供的平均信息量 H(X)表示信源X在没有发出符号以前，接收者对信源的
第2章 信源与信息熵
主要内容 1. 信源的分类与描述 2. 离散信源的信息熵和互信息 3. 离散序列信源的熵 4. 连续信源的熵与互信息 5. 冗余度
2.1 信源的分类与描述
信源的定义
产生消息（符号）、消息序列和连续消息的来源。
信源的基本特性是具有随机不确定性
分类
1. 时间
离散
2. 幅度
离散
3. 记忆
有
பைடு நூலகம்
连续 连续 无
介绍三类信源
➢ 单符号离散信源 ➢ 符号序列信源（有记忆和无记忆） ➢ 连续信源
单符号离散信源
单符号离散信源：用随机变量X来描述
X的概率空间
X p(xi
)
X
x1, p1,
X x2, p2 ,
, X xn
,
pn
第二章 信源与信息熵
连续信源的概率空间：
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
PX(pax,(bx))或Rpx(x)
b
px(x)0, px(x)dx1或px(x)0, Rpx(x)dx1 a
南通大学
2019/9/4
8
第2章 信源与信息熵
3. 发出符号序列离散无记忆信源－－每次发出 一组含两个以上的符号序列来代表一个消息
南通大学
2019/9/4
18
第2章 信源与信息熵
p ij m ,n 一 k 步 步 p p ijik jm m 齐 次 p p iijjk
注：平稳信源的概率分布特性具有时间推移不变性， 而齐次马氏链只要转移概率具有时间推移不变性， 因此一般情况下，平稳包含齐次。
p
k
ii
0
的
n中没有比1大的公因
子。
南通大学
2019/9/4
23
第2章 信源与信息熵
• 作业：2-1，2-2
南通大学
2019/9/4
24
第2章 信源与信息熵
第二章 信源与信息熵
• 第二讲
南通大学
2019/9/4
25
第2章 信源与信息熵
上一讲复习
• 1. 信源的分类
连续信源 信源
离散信源
随机波形信源 其它 单符号无记忆离散信源 符号序列无记忆离散信源 单符号有记忆离散信源 符号序列有记忆离散信源
实际上信源发出的符号往往只与前面几个符号 的依赖关系较强，而与更前面的符号依赖关系就弱。 为此可以限制随机序列的记忆长度。
南通大学
2019/9/4
11
第2章 信源与信息熵
• 连续信源的离散化
南通大学
2019/9/4
第2章 信源熵
2 2
最大熵值随平均功率 P的变化而变化。
2
1 1 1 log 2 2 log e log 2e 2 2 2 2
11
均值受限条件下的最大熵定理
定理3：若连续信源X输出非负信号的均值受限，则其 输出信号幅度呈指数分布时，连续信源X具有最大熵值。
证明：连续信源 X呈指数分布时的概率密 度函数为 1 m p( x ) e ( x 0 ),其它任意分布的概率密 度函数记为q( x ) m 由限制条件知：
... q( x) log
aN a1 N
bN
b1
p ( x) dx ... dx log e ... q ( x ) 1 dx1...dxN 1 N N aN a1 q ( x ) (bi ai ) 1
bN b1 i 1
log (bi ai ) (1 1) log e H c [ p ( x), X ]
R2 R2 R2
p( x ) dxdy p( x / y )
log x log e ln x, ln x x 1, x 0; p( x ) 0, p( x / y ) 0, 则x p( x ) I c ( X ;Y ) log e p( xy ) 1dxdy p( x / y ) R2 log e[ p( x ) p( y )dxdy p( xy )dxdy] 0
当( b a ) 1时，H c ( x ) 0, 为负值
这是由连续熵的相对性所致。
1
2.3.3 连续熵的性质及最大连续熵定理
2.可加性
H c ( XY ) H c ( X ) H c ( Y / X ) Hc( Y ) Hc( X / Y ) 证明： H c ( XY ) p( xy) log p( xy)dxdy
最大熵值随平均功率 P的变化而变化。
2
1 1 1 log 2 2 log e log 2e 2 2 2 2
11
均值受限条件下的最大熵定理
定理3：若连续信源X输出非负信号的均值受限，则其 输出信号幅度呈指数分布时，连续信源X具有最大熵值。
证明：连续信源 X呈指数分布时的概率密 度函数为 1 m p( x ) e ( x 0 ),其它任意分布的概率密 度函数记为q( x ) m 由限制条件知：
... q( x) log
aN a1 N
bN
b1
p ( x) dx ... dx log e ... q ( x ) 1 dx1...dxN 1 N N aN a1 q ( x ) (bi ai ) 1
bN b1 i 1
log (bi ai ) (1 1) log e H c [ p ( x), X ]
R2 R2 R2
p( x ) dxdy p( x / y )
log x log e ln x, ln x x 1, x 0; p( x ) 0, p( x / y ) 0, 则x p( x ) I c ( X ;Y ) log e p( xy ) 1dxdy p( x / y ) R2 log e[ p( x ) p( y )dxdy p( xy )dxdy] 0
当( b a ) 1时，H c ( x ) 0, 为负值
这是由连续熵的相对性所致。
1
2.3.3 连续熵的性质及最大连续熵定理
2.可加性
H c ( XY ) H c ( X ) H c ( Y / X ) Hc( Y ) Hc( X / Y ) 证明： H c ( XY ) p( xy) log p( xy)dxdy
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 这种情况下,信源的不确定性最大,信息熵最大。
• 甲地比乙地提供更多的信息量。因为甲地可能 出现的消息数多于乙地可能出现的消息数。
18
III-2.条件熵
• 定义：
– 在给定yj条件下，xi的条件自信息量为I(xi| yj), X 集合的条件熵H(X|yj)为
H (X |yj) p (x i|yj)I(x i|yj)
X p(x)
x1, 0.99
x2 0.01
Y p(y)
y1, 0.5
y2 0.5
H (X ) 0 .9 lo 9 0 .9 g 0 9 .0 lo 1 0 .0 g 0 1 .0 比 8 /符 特
H (Y ) 0 .5 lo 0 .5 g 0 .5 lo 0 .5 g 1 比 /符 特 号
为整个信源的信息测度。
13
熵
有限值
信息量
可为无穷大
确定值 与信源是否输出无关
一般为随机量 接收后才得到信息
信源的平均不确定度 消除不定度得到信息
信源熵与信息量的比较
14
III-1.信源熵
• 信源熵具有以下三种物理含意：
– 信息熵H(X)表示信源输出后，每个离散消 息所提供的平均信息量。
– 信息熵H(X)表示信源输出前，信源的平均 不确定性。
含义
接收到某消息yj
后获得的关于事
件xi的信息量
4
互信息
• 互信息量
I(xi;yj)lo2gp(px(ix|iy)j) • 条件互信息量
I(xi;yj
zk)lo
gp(xi yjzk) p(xi zk)
• 联合互信息量
I(xi;yjzk)logp(xpi(xyij)zk)
5
2.2 单符号离散信源
2.2.1 单符号离散信源的数学模型 2.2.2 自信息和信源熵
得出：H(Y) ＞H(X) 信源Y比信源X的平均不确定性要大。
12
III-1.信源熵
• 信息熵：
–从平均意义上来表征信源的总体信息测度 的一个量。
• 自信息：
– 指某一信源发出某一消息所含有的信息量。 – 所发出的消息不同,它们所含有的信息量也
就不同。 – 自信息I (xi)是一个随机变量,不能用它来作
H (Y) 1lo1 g 0lo0 g0 比/符 特号
limεlogε=0
• 信源是一确定信源，所以不存在不确定性， 信息熵等于零。
17
(3) 甲、乙地天气预报为两极端情况：
pX(x)1晴 /4 1阴 /4 1雨 /4 1雪 /4
pY(y)1晴 /2,
雨 1/2
H(X)lo1g2比特 /符号 4
H(Y)lo1g1比特 /符号 2
– 信息熵H(X)反映了变量X的随机性。
区别：信源Leabharlann 表征信源的平均不确定度； 平均自信息量是消除信源不确定度所需要的信息的量度。
15
例2-7:
(1) 甲地天气预报
X 晴 阴雨雪 p(x)1/2 1/4 1/8 1/8
乙地天气预报
pY(y)7晴/8
雨 1/8
求：两地天气预报各自提供的平均信息量?
H (X ) 1 lo 1 g 1 lo 1 1 g lo 1 1 g lo 1 1 g .7比 5/符 特 2 24 48 88 8
• 离散信源熵H(X)
(平均不确定度/平均信息量/平均自信息量)
– 定义：
信源的平均不确定度H(X)为信源中各个符号 不确定度的数学期望，即：
H (X )p (x i)I(x i) p (x i)lo p (x ig )
i
i
单位为比特/符号或比特/符号序列
11
例如：有两个信源
其概率空间分别为：
8
• 如果摸出的是红球，则获得的信息量是 I (x1)=－log2p (x1) = －log20.8 bit
• 如果摸出的是白球，则获得的信息量是 I (x2)=－log2p (x2) = －log20.2 bit
• 如果每次摸出一个球后又放回袋中，再进行下 一次摸取。则如此摸取n次，红球出现的次数为 np(x1)次，白球出现的次数为 np (x2)次。随机摸 取n次后总共所获得的信息量为 np(x1) I (x1)+ np(x2) I (x2)
i
– 在给定Y(即各个yj )条件下，X集合的条件熵H(X|Y)
H(X|Y) p(yj)H(X|yj) p(yj)p(xi|yj)I(xi|yj)
j
ij
p(xiyj)I(xi|yj)
ij
19
III-2.条件熵
• 条件熵是在联合符号集合(X,Y)上的条件自信息 量的联合概率加权统计平均值。
H (Y)7lo7 g1lo1 g0.5比 44/符 特号 8 88 8
• 甲地提供的平均信息量大于乙地
16
(2) 甲、乙地天气预报为两极端情况：
X 晴阴雨雪 p(x)1 0 0 0
Y 晴 雨 p(y)1 0
H (X ) 1 lo 1 0 lg o 0 0 lg o 0 0 lg o 0 0 比 g/符 特 号
• I、信息量
– 1、自信息量；2、联合自信息量；3、条件自信息量
• II、互信息量和条件互信息量
– 1、互信息量；2、互信息的性质；3、条件互信息量
• III、信源熵
– 1、信源熵；2、条件熵；3、联合熵
2.2.3 信源熵的基本性质和定理 2.2.4 平均互信息量 2.2.5 各种熵之间的关系
6
III、信源熵
9
• 平均随机摸取一次所获得的信息量为
H(X) 1n[np(x1)I(x1)np(x2)I(x2)] [p(x1)logp(x1) p(x2)logp(x2)]
2
p(xi)log2 p(xi) 0.72bit/符号 i1
H(X):平均信息量,称为信源X的熵。 信源熵、香农熵
10
III-1.信源熵
7
III-1.信源熵
例2-6:
一个布袋内放100个球，其中80个球是红色的，20 个球是白色的，若随机摸取一个球，猜测其颜色， 求平均摸取一次所能获得的自信息量？ 解: 依据题意，这一随机事件的概率空间为
X P
x1 0.8
x2 0.2
其中：x1表示摸出的球为红球事件， x2表示摸出的 球是白球事件。
第二章—3
信源熵
互信息
• 设有两个随机事件X和Y，X取值于信源发出的离 散消息集合，Y取值于信宿收到的离散符号集合
XPp(xx11)
x2 xn p(x2) p(xn)
YPp(yy11)
y2 yn p(y2) p(yn)
• 互信息定义：xi的后验概率与先验概率比值的 对数
I(xi;yj)lo2gp(px(ix|iy)j)