离散序列信源的熵
合集下载
离散信源的信息熵
信息熵
(1) 信息熵 ③信息熵与平均获得的信息量 • 信息熵是信源的平均不确定性的描述。在一般
情况下它并不等于平均获得的信息量。 • 只有在无噪情况下，接收者才能正确无误地接
收到信源所发出的消息，消除 H(X) 大小的平均 不确定性，所以获得的平均信息量就等于 H(X)。 • 在一般情况下获得的信息量是两熵之差，并不 是信源熵本身。
1
1
1
I ( xi y j ) log2 p( xi ) p( y j ) log2 p( xi ) log2 p( y j )
I( xi ) I( y j )
• 两个随机事件相互独立时，同时发生得到的信息量，等于 各自自信息量之和。
17/20
自信息
3）条件自信息
• 设 yj 条件下，发生 xi 的条件概率为 p(xi /yj)，那么它的条件自信 息量 I(xi/yj) 定义为：
I ( xi
/
y j ) log2
1 p( xi /
yj)
• 表示在特定条件下（yj已定）随机事件 xi 所带来的信息量 • 同理，xi 已知时发生 yj 的条件自信息量为：
1 I ( y j / xi ) log2 p( y j / xi )
18/20
自信息
3） 条件自信息
• 自信息量、条件自信息量和联合自信息量之间的 关系
❖ 信源 Y 比信源 X 的平均不确定性大；
信息熵
❖ 本例结论(续)
❖ 信息熵反映的就是信源输出前平均不确定程度的大小。 ❖ 变量 Y 取 y1 和 y2 是等概率的，所以其随机性大。而变
量 X 取 x1 的概率比取 x2 的概率大很多，这时变量 X 的 随机性就小。 ❖ 因此 H(X) 反映了变量的随机性。
信息论与编码,曹雪虹,课件第2章-2
信息论与编码
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
3
信源的分类
• 离散信源
– 指发出在时间和幅度上都是离散分布的离散 消息的信源，如文字、数字、数据等符号都 是离散消息。
{ 离散
{ { 信源
W1
W2
W3
W4
• 稳态分布概率
W1
3 35
,
W2
6 35
,
W3
6 35
,
W4
4 7
• 稳态后的符号概率分布
p(a1)
i
p(a1
|
si
)
p(siΒιβλιοθήκη )1 23 35
1 3
6 35
1 4
6 35
1 5
4 7
9 35
p(a2 )
i
p(a2
|
si )
p(si )
1 2
3 35
2 3
6 35
(1)1/2
s2 01
00 s1
(0)1/4
(0)1/3 (1)3/4
10 s3
(1)2/3
s4 0 2 / 3 0 4 / 5
11 (0)1/5
s4
(1)4/5
8
Wi pij W j
i
1 2
W1
1 2
W1
W1 W2 W3 W4 1
1 3
W2
2 3 W2
1 2
W3
3 4
W3
1 5
W4
4 5 W4
3 4
6 35
信息论第二讲离散信源的熵
其中状态（xi, yj）为联合信源输出的一个状态。
nm
p(xi, yj ) 1
i1 j1
2020/6/14
20
⑵联合信源共熵的表达式：
联合信源的共熵：联合信源输出一个组合消息 状态(xi,yj)所发出的平均信息量。 联合信源的独立熵：
nm
H (X ,Y) p(xi,yj)logp(xi,yj)
⑴离散信源特性： 根据Shannon信息论的观点，信源要含
有一定的信息，必然具有随机性，即有 不确定性，可以用其概率来表示。
2020/6/14
1
⑵离散信源空间：
信源的符号（状态）随机地取值于一个离散
集 合 [X]= （ x1,x2,…xn ） 中 ， 一 个 离 散 信 源
可以用一个离散随机变量的概率空间表示。
j1
(i1,2,...n)
2020/6/14
27
⑵转移矩阵描述
矩阵[P]称为转移矩阵或信道矩阵；表示为：
y1
y2
x1 p(y1/x1) p(y2/x1)…
… [P]= x2 p(y1/x2) p(y2/x2)
……
…
…
xn p(y1/xn) p(y2/xn) …
…
ym p(ym/x1) p(ym/x2) … p(ym/xn)
[P]=(p1,p2,…pn) 这种表示称为离散无记忆信源的信源空间。
信源空间必为一个完备空间， n
即其概率和为1。
pi 1
i1
2020/6/14
2
⑶信源数学模型描述的条件：
用信源空间（离散随机变量）来表示信源
的条件是信源符号（状态）的先验概率是 可知的，这是Shannon信息论的一个基本 假说。
2.2 离散信源的熵
第 二 章 基 本 信 息 论
§2.2 离散信源的熵
二、基本性质
4. 扩展性 limH( p1 , p2 ,⋯, pi − ε , ⋯, pN ,ε ) = H( p1 , p2 ,⋯, pN ) .
ε →0
说明虽然小概率事件的信息量很大， 说明虽然小概率事件的信息量很大，但由于该事件几乎 不会出现，故熵几乎不变。反映了熵的总体平均性。 不会出现，故熵几乎不变。反映了熵的总体平均性。 证
H( X) = H( p1 , p2 ,⋯, pN ) = 0.
表明确定性的信源不含有任何信息量， 表明确定性的信源不含有任何信息量，其信源熵必为 0。 。 证 (1) 若 pl = 1 , pk = 0 ( k ≠ l ) , ⇒
N i =1
N
H ( X ) = − ∑ pi log pi = 0 .
轻松一下吧 ……
11
i =1
(2) 若 H ( X ) = − ∑ pi log pi = 0 , 由于 pi log pi ≤ 0 (∀i ) , ⇒ 又由于 pi log pi = 0 (∀i ) , ⇒ pi = 0 或 pi = 1 (∀i ) ,
∑ pi = 1 ,
i =1
N
故 { pk }中只有一个为 1，其余的为 0。 ， 。 6
§2.2 离散信源的熵
二、基本性质
1. 非负性
H( X) = H( p1 , p2 ,⋯, pN ) ≥ 0.
证 由 0 ≤ pi ≤ 1 ⇒ log pi ≤ 0 ,
N
⇒
i =1
pi log pi ≤ 0 ,
⇒
H ( X ) = − ∑ pi log pi ≥ 0 .
2. 对称性
第三章离散信源及离散熵
电子科技大学
H(X) = −∑p(xi )lbp(xi )
i =1
4
1 1 1 1 1 1 = − lb − lb − lb × 2 2 2 4 4 8 8
2011-3-13
1 1 1 1 1 1 = lb2 + lb4 + lb8 = + × 2 + × 3 2 4 4 2 4 4 bol = 1.75(bit / sym )
2011-3-13
1、离散平稳信源及其数学模型 对于多符号离散信源发出的符号序列 X1X2 L 如果任意两个不同时刻k …， 如果任意两个不同时刻k和l，k=1,2, …， l=1,2, …，其概率分布相同，即 …，其概率分布相同， P(Xk ) = P(Xl ) 则称该多符号离散信源为一维离散平稳 信源。 信源。
该信源的离散熵
2011-3-13
H(X1X2 ) = −∑p(ai )lbp(ai )
= −∑∑p(xi1 xi 2 )lbp(xi1 xi 2 )
i1 =1i 2 =1 n n n n
n2
电子科技大学
i =1
= −∑∑p(xi1 xi 2 )lbp(xi1 )p(xi 2 / xi1 )
i1 =1i 2 =1
电子科技大学
H(X) = −∑p(i)lbp(i)
i =1
6
1 1 bol = − lb × 6 = lb6 = 2.585(bit / sym ) 6 6
2011-3-13
例2，求某一天简单的天气气象这一信源 的离散熵。 的离散熵。 该信源的数学模型为： 解： 该信源的数学模型为：
) ) ) 雨 x1(晴 x2(阴 x3( ) x4(雪 X 1 1 1 P(X) = 1 2 4 8 8
第二章 信源和信息熵
第二章 信源和信息熵
2.1 信源的数学模型及分类
通信系统模型及信息传输模型：
第二章 信源和信息熵
一、离散无记忆信源
例：扔一颗质地均匀的正方体骰子，研究其下落后， 朝上一面的点数。每次试验结果必然是1点、2点、3点、 4点、5点、6点中的某一个面朝上。每次试验只随机出 现其中一种消息，不可能出现这个集合以外的消息， 考察此事件信源的数学模型。
• 平均符号熵就是信源符号序列中平均每个信 源符号所携带的信息量。
• 条件熵≤无条件熵；条件较多的熵≤条件较少 的熵，所以：
第二章 信源和信息熵
离 散 平 稳 信 源 性 质（H1(X)<∞时）：
• 条件熵随N的增加是递减的； • 平均符号熵≥条件熵； • 平均符号熵HN(X)随N增加是递减的； • 极限熵
且：I(X1;X2)＝I(X2;X1)
第二章 信源和信息熵
注意：任何无源处理总是丢失信息的，至多保持原来 的信息，这是信息不可增性的一种表现。
二、离散平稳信源的极限熵 设信源输出一系列符号序列X1,X2, ‥XN 概率分布： 联合熵：
定义序列的平均符号熵＝总和/序列长度，即：
第二章 信源和信息熵
即：收信者所获得的信息量应等于信息传输前 后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的可 能性为等概，若仅有一个坏灯泡，须获知多少 信息量才可确认？
第二章 信源和信息熵
例解：
测量前，P1(x)＝1/8，存在不确定性： I(P1(x))＝log8＝3bit
第一次测量获得信息量： 第二次测量获得信息量： 第三次测量获得信息量： 每次测量获得1bit信息量，需三次测量可确定坏灯泡
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
2.3离散序列信源的熵2.3.1离散无记忆信源的序列熵2.3.2离散
推广结论3可得
结论4从理论上定义了平稳离散有记忆信源的极限熵，
实际上如按此公式计算极限熵是十分困难的。
上述公式在工程上很实用。
2.3.1 离散无记忆信源的列熵
以最简单的序列信源为例，L=2。当信源无记忆时，X2序 列的概率为
序列熵:
2.3 离散序列信源的熵
2.3.1 离散无记忆信源的序列熵 长度为L的无记忆信源的序列熵
信源满足 平稳特性
序列信源的平均符号熵：
2.3 离散序列信源的熵
2.3.2 离散有记忆信源的序列熵
（3）平均符号熵HL(X)随L的增加是递减的；
（4）如果
，则
存在，并且
证明：结论1
是L的单调非增函数.
证明：结论2
结合结论1,得
结论3
证明：结论3
是L的单调非增函数
运用结论2得：
当L→∞，
证明：结论4
称为极限熵，又称极限信息量.
证明:
取足够大的k（k→∞），固定L，前一项可忽略，后一项系数接近于1，得
的熵小于条件少的熵。
利用平稳性
结论：
(1)对于无记忆序列信源， 其平均符号熵等于单符号熵
(2)对于有记忆序列信源， 其平均符号熵随序列长度增加而减小。
2.3 离散序列信源的熵
2.3.2 离散有记忆信源的序列熵
定理1 对于离散平稳信源，有以下几个结论：
（1）条件熵
随L的增加是递减的；
（2）L给定时平均符号熵大于等于条件熵，即
2.3离散序列信源的熵 2.3.1离散无记忆信源的序列熵 2.3.2离散有记忆信源的序列熵
2.3 离散序列信源的熵
设信源输出的随机序列为X，X＝(X1X2…Xi…XL)，序列中
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
第2章 离散信源熵
H (Y X ) E[ I (b j ai )] p(aib j )log p(b j ai )
i 1 j 1
n
m
(2.2.8) (2.2.9)
21
3 联合熵
H ( XY ) p(aib j ) I (aib j ) p(aib j )log p(aib j )
6
对于离散随机变量，取值于集合
a1
, a 2 , , ai , , a n
对任一 a i 记 p ( ai ) P ( X ai ) 单符号离散信源的数学模型为
, ai , , an X a1 , a2 , P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
23
证明：自然对数具有性质 当 x 0时， ln x x 1 ，并且当且仅当 x 1 时，该式取等号。
图2.2.3 自然对数的性质
24
n n 1 1 H ( X ) log n p(ai )log p(ai )log n p(ai )log p(ai ) i 1 np(ai ) i 1 i 1 n
j 1 i 1
m
n
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
p(ai bj ) p(bj ) p(ai bj ) p(ai ) p(bj ai )
当 X 与 Y 相互独立时
p(aib j ) p(ai ) p(b j ), p(b j ai ) p(b j ), p(ai b j ) p(ai )
条 件 熵
信 源 熵
离散有记忆信源的极限熵
离散有记忆信源的极限熵具有连续性，即如果一个有记忆信源的符号之间存在连续 依赖关系，则其极限熵等于单个符号的熵乘以符号之间的依赖关系数量。
离散有记忆信源的极限熵的计算方法
首先需要确定信源的符号概率分布，可以通过观察或 实验获得。
然后根据概率分布计算单个符号的熵，可以使用公式 $H(X)=-sum_{i=1}^{n}p(x_i)log_2p(x_i)$计算，其
马尔科夫链方法
对于具有马尔科夫性质的离散有记忆 信源，可以使用马尔科夫链方法计算 极限熵。该方法通过建立马尔科夫链 模型，利用状态转移概率矩阵来计算 极限熵。
02
有记忆信源的特性
有记忆信源的定义
有记忆信源是指输出符号与过去输入 符号有依赖关系的离散随机信源。
有记忆信源的特性由其概率转移矩阵 描述，矩阵中的每个元素表示在给定 过去输入符号的条件下，当前输出符 号的条件概率。
自适应压缩技术
极限熵的概念也可用于开发自适应压缩算法。这些算法能够根据输入数据的特性动态调整压缩参数， 以达到更好的压缩效果。通过跟踪信源的极限熵，自适应压缩算法能够更精确地估计最佳压缩参数。
在加密通信中的应用
加密算法设计
密钥管理
了解离散有记忆信源的极限熵有助于设计更 安全的加密算法。通过对信源的统计特性进 行分析，可以开发出更难以破解的加密方案， 从而提高通信安全性。
中$p(x_i)$表示第$i$个符号出现的概率。
最后根据单个符号的熵和符号数量计算极限熵，可以 使用公式$H_{max}=n times H(X)$计算，其中$n$表
示符号数量。05源自离散有记忆信源的极限熵的应用
在信息编码中的应用
数据压缩
极限熵可用于评估离散有记忆信源的信 息容量，从而优化数据压缩算法。通过 了解信源的极限熵，可以确定最有效的 编码方案，以减少存储空间和传输带宽 的需求。
离散有记忆信源的极限熵的计算方法
首先需要确定信源的符号概率分布，可以通过观察或 实验获得。
然后根据概率分布计算单个符号的熵，可以使用公式 $H(X)=-sum_{i=1}^{n}p(x_i)log_2p(x_i)$计算，其
马尔科夫链方法
对于具有马尔科夫性质的离散有记忆 信源，可以使用马尔科夫链方法计算 极限熵。该方法通过建立马尔科夫链 模型，利用状态转移概率矩阵来计算 极限熵。
02
有记忆信源的特性
有记忆信源的定义
有记忆信源是指输出符号与过去输入 符号有依赖关系的离散随机信源。
有记忆信源的特性由其概率转移矩阵 描述，矩阵中的每个元素表示在给定 过去输入符号的条件下，当前输出符 号的条件概率。
自适应压缩技术
极限熵的概念也可用于开发自适应压缩算法。这些算法能够根据输入数据的特性动态调整压缩参数， 以达到更好的压缩效果。通过跟踪信源的极限熵，自适应压缩算法能够更精确地估计最佳压缩参数。
在加密通信中的应用
加密算法设计
密钥管理
了解离散有记忆信源的极限熵有助于设计更 安全的加密算法。通过对信源的统计特性进 行分析，可以开发出更难以破解的加密方案， 从而提高通信安全性。
中$p(x_i)$表示第$i$个符号出现的概率。
最后根据单个符号的熵和符号数量计算极限熵，可以 使用公式$H_{max}=n times H(X)$计算，其中$n$表
示符号数量。05源自离散有记忆信源的极限熵的应用
在信息编码中的应用
数据压缩
极限熵可用于评估离散有记忆信源的信 息容量，从而优化数据压缩算法。通过 了解信源的极限熵，可以确定最有效的 编码方案，以减少存储空间和传输带宽 的需求。
第二章 信源熵
英文字母中“e”出现的概率为0.105，“c” 出现的概率为0.023，“o”出现的概率为 0.001，分别计算他们的自信息量。 答：I(e)=-logP(e)=-log0.105=3.25bit I(c)=-logP(c)=-log0.023=5.44bit I(o)=-logP(o)=-log0.001=9.97bit
②
公式：参考数学期望的性质，用各符号的自 信息量加权平均表示总体的不确定性。
H ( X ) E[ I ( X )] p( xi )I ( xi ) p( xi ) log p( xi )
i i
③
单位：比特/符号或比特/符号序列
④
I. II.
性质： 非负 与热力学熵相同形式，H(X)又被定义为信源 熵 两个特殊情况 符号 x i 的概率 pi 为零时，定义为pi log pi 0 当信源X只有一个符号，符号只有一个状态， p(x)=1,此时 H ( X ) 0 。
分析 {Xn，n=0,1,2，……}是一随机过程，其状态 空间为：I={0,1}，且当Xn=i，i=0、1时， Xn+1所处的状态分布只与Xn=i有关，而与 时刻n以前所处的状态无关，综上所述。该 过程为一步转移的马尔可夫过程。 p, j i P i, j 0,1 一步转移的概率： P{ X j X i} q, j i 一步转移矩阵： p q
II.
III.
随机过程是随机函数的集合，若一随机系统的样本点数是 随机函数，则称此函数为样本函数。这一随机系统全部样 本函数的集合是一个随机过程。实际应用中，样本函数的 一般定义在时间域或者空间域。用{X（t），t Y }。 具有马尔可夫性的随机过程称为马尔可夫过程。
第2章信源熵-概念及单符号离散信源熵
表示
x2 xn X x1 P(X) P(x ) P( x ) P( x ) 1 2 n
其中,0 P( x i ) 1, i 1,2,, n且 P( x i ) 1
i 1
n
例1
6 X 1 2 P(X) 1/ 6 1 / 6 1/ 6
I(x 4 ) log P(x 4 ) log( 1/ 8) log 8 3(bit )
信源熵
3、熵
定义
信源各消息自信息量的数学期望为该信源的熵， 也叫无条件熵，用H(X)表示。
表示
H(X) E[I( x i )] P( x i )I( x i ) P( x i ) log P( x i )
i 1 i 1
n
n
同理， (1 )P2 ( x i ) log[ P1 ( x i ) (1 )P2 ( x i )]
i 1
n
(1 )P2 ( x i ) log P2 ( x i )
i 1
n
信源熵
[P1 ( x i ) (1 )P2 ( x i )] log[ P1 ( x i ) (1 )P2 ( x i )]
信源熵
2、自信息量
假设单符号离散信源发出消息xi、xj 的概率 P(xi) < P(xj)，那条消息具有更大的信 息量， xi 还是xj ？
信源熵
根据香农信息的概念，消息中具有不确定 性的成分才是信息，不确定性的成分越大， 或者说概率越小，信息量就越大，从这个 意义判断，消息xi 具有更大的信息量。
信源熵
离散信源又可以细分为： （1）离散无记忆信源：所发出的各 个符号之间是相互独立的，发出 的符号序列中的各个符号之间没 有统计关联性，各个符号的出现 概率是它自身的先验概率。 （2）离散有记忆信源：发出的各个 符号之间不是相互独立的，各个 符号出现的概率是有关联的。
离散信源的熵
I(xi ) log P(xi )
第2章 离散信源的熵
➢I(xi)与xi的概率P(xi)相关 ➢I(xi)是P(xi)的连续减函数，当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0
第2章 离散信源的熵
例2
X x1 x2 x3 x4 P(X) 1/ 2 1/ 4 1/ 8 1/ 8
N
P(xi1 xi2 xin )I(xin / xi1 xi2 x ) in1
i1 1 i2 1 in 1
NN
N
P(xi1 xi2 xin ) log P(xin / xi1 xi2 x ) in1
i1 1 i2 1 in 1
第2章 离散信源的熵
3、熵的链式法则
NN
N
H(X1X2 Xn )
H(p) 1 0.811
0 0.25 0.5 0.75 1 p
第2章 离散信源的熵
习题：(P68)2.4、2.5
第2章 离散信源的熵
2.2 多符号离散信源的熵与熵率
1、多符号离散信源及其模型
定义
多符号离散信源——信源发出的消息为n维符号序 列，符号序列中任何一个符号都随机取值于同一 个N元集合 信源的模型——离散型随机变量序列X1X2…Xn
0 P(xi ) 1, I(xi ) log P(xi ) 0
N
H(X) P(xi )I(xi ) 0 i1
i 1,2, , N
第2章 离散信源的熵
②严格上凸
熵H(X)对于信源概率P(X)严格上凸
严格上凸的描述——设函数f(x)对任一小于1的正数 α及定义域中任意两个值x1、x2，如果
NN
N
其中
P(xi1 xi2 xin ) 1
第2章 离散信源的熵
➢I(xi)与xi的概率P(xi)相关 ➢I(xi)是P(xi)的连续减函数，当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0
第2章 离散信源的熵
例2
X x1 x2 x3 x4 P(X) 1/ 2 1/ 4 1/ 8 1/ 8
N
P(xi1 xi2 xin )I(xin / xi1 xi2 x ) in1
i1 1 i2 1 in 1
NN
N
P(xi1 xi2 xin ) log P(xin / xi1 xi2 x ) in1
i1 1 i2 1 in 1
第2章 离散信源的熵
3、熵的链式法则
NN
N
H(X1X2 Xn )
H(p) 1 0.811
0 0.25 0.5 0.75 1 p
第2章 离散信源的熵
习题：(P68)2.4、2.5
第2章 离散信源的熵
2.2 多符号离散信源的熵与熵率
1、多符号离散信源及其模型
定义
多符号离散信源——信源发出的消息为n维符号序 列，符号序列中任何一个符号都随机取值于同一 个N元集合 信源的模型——离散型随机变量序列X1X2…Xn
0 P(xi ) 1, I(xi ) log P(xi ) 0
N
H(X) P(xi )I(xi ) 0 i1
i 1,2, , N
第2章 离散信源的熵
②严格上凸
熵H(X)对于信源概率P(X)严格上凸
严格上凸的描述——设函数f(x)对任一小于1的正数 α及定义域中任意两个值x1、x2，如果
NN
N
其中
P(xi1 xi2 xin ) 1
信息导论-第6讲-信源熵
信源熵的度量
03
熵的离散型度量
离散型熵
离散型熵是用于度量离散随机变量不确定性的量，其定义基于概率分布。对于一个离散随机变量X，其熵H(X)定 义为H(X)=−∑p(x)logp(x)text{H}(X) = -sum p(x) log p(x)H(X)=−∑p(x)logp(x)，其中p(x)是随机变量取某个值 的概率。
深入研究信源熵与信息论其他概念，如互信息、相对熵等之间的联系，有助于更全面地 理解信息传递的本质。
扩展信源熵到多维和连续变量
目前信源熵主要应用于离散随机变量，未来研究可以探索将其扩展到多维和连续变量的 情况，以更好地描述复杂数据。
信源熵的量子化研究
随着量子信息理论的不断发展，探索信源熵在量子领域的表现和性质，有望为信息理论 带来新的突破。
条件熵
条件熵是在给定某个条件随机变量下，另一个随机变量的熵。条件熵H(X∣Y)表示在已知Y的条件下，X的不确定 性。
熵的连续型度量
连续型熵
对于连续随机变量，其熵的度量方式 略有不同。连续型熵通常使用概率密 度函数来定义，并涉及到积分运算。
条件连续型熵
与离散型条件熵类似，连续型条件熵 表示在给定某个连续随机变量条件下 ，另一个连续随机变量的不确定性。
03
通过信源熵的分析，可以帮助决策者更好地理解和 评估决策的风险，从而做出更明智的决策。
信源熵与其他信息论
05
概念的关联
与互信息的关系
互信息
互信息是描述两个随机变量之间相互依赖程度的概念，它表示一个随机变量中包含的关 于另一个随机变量的信息量。在信息论中，互信息用于度量两个信源之间的相互依赖程
度。
熵的极限性质
熵函数的连续性
2.1离散信源熵
• 定义式 I (xi / y j ) = − log2 p(xi / y j ) 注： – 联合自信息量和条件自信息量也满足非负和单调递减性。 – 关系
I (xi y j ) = −log2 p(xi ) p(y j / xi ) = I (xi ) + I (y j / xi ) = − log2 p( y j ) p(xi / y j ) = I ( y j ) + I (xi / y j )
信源熵例题
有一篇千字文章，假定每字可从万字表中任选，则共 有不同的千字文
N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文可提供的 信息量为
H(X) ＝ log2N ≈ 1.3 × 104 bit
2.1 离散信源熵
上节回顾
信息论的研究对象
研究的主要问题 在通信系统设计中如何实现有效性、可靠性
Shannon通信系统模型
• 学习信息论的意义 一、为工程实践提供理论指导 二、为从事相关理论工作奠定基础 1 信息论 2 编码理论 3 密码学与网络安全
上节回顾
• 通信过程是一种消除不确定性的过程。
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特）
如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特）
平均摸取一次所能获得的信息量为 ：
H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72（比特/符号）
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4,则这 两个符号的自信息量为： I(0) =-log2 (1/4)=log24= 2bit I(1) =-log2 (3/4) =0.4151 bit
I (xi y j ) = −log2 p(xi ) p(y j / xi ) = I (xi ) + I (y j / xi ) = − log2 p( y j ) p(xi / y j ) = I ( y j ) + I (xi / y j )
信源熵例题
有一篇千字文章，假定每字可从万字表中任选，则共 有不同的千字文
N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文可提供的 信息量为
H(X) ＝ log2N ≈ 1.3 × 104 bit
2.1 离散信源熵
上节回顾
信息论的研究对象
研究的主要问题 在通信系统设计中如何实现有效性、可靠性
Shannon通信系统模型
• 学习信息论的意义 一、为工程实践提供理论指导 二、为从事相关理论工作奠定基础 1 信息论 2 编码理论 3 密码学与网络安全
上节回顾
• 通信过程是一种消除不确定性的过程。
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特）
如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特）
平均摸取一次所能获得的信息量为 ：
H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72（比特/符号）
• 二进制码元0,1,当符号概率为p(0)=1/4, p(1)=3/4,则这 两个符号的自信息量为： I(0) =-log2 (1/4)=log24= 2bit I(1) =-log2 (3/4) =0.4151 bit
离散序列信源的熵
8
❖ 若信源输出一个L长序列,则信源的序列熵为
• 平均每个符号的熵为： • 若当信源退化为无记忆时:
若进一步又满足平稳性时
9
• 例2.11已知离散有记忆信源中各符号的 概率空间为:
• 设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概 率p(aj|ai)表示,如表
• 求离散信源的序列熵和平均每个符号的熵?
信源符号分布的不均匀性。 ❖等概率分布时信源熵最大。
27。
❖ 这就是说我们需要传送这一信源的信息,理论 上只需要传送H∞(X)即可。但必须掌握信源全 部概率统计特性,这显然是不现实的。
❖ 实际上,只能算出Hm(X)。那么与理论极限值相 比,就要多传送Hm(X)－H∞(X)。
2.3.1 离散无记忆信源的序列熵
离散无记忆信源
{ 离散
信源
{
{ 离散有记忆信源
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
❖ 发出单个符号的信源
指信源每次只发出一个符号代表一个消息；
❖ 发出符号序列的信源
指信源每次发出一组含二个以上符号的符号序 1 列代表一个消息。
• 当信源符号之间无依赖性时,信源X的信息熵为 • 当考虑符号之间有依赖性时,计算得条件熵
H(X2| X1)＜H(X) 信源的条件熵比无依 赖时的熵H(X)减少了 0.671 比 特 , 这 正 是 因 为符号之间有依赖性 所造成的结果。
11
• 发二重符号序列的熵
❖ 联合熵H(X1,X2)表示平均每二个信源符号所携 带的信息量。
离散无记忆信源的序列熵
• 设信源输出的随机序列为 X =(X1X2…Xl…XL)
❖ 若信源输出一个L长序列,则信源的序列熵为
• 平均每个符号的熵为： • 若当信源退化为无记忆时:
若进一步又满足平稳性时
9
• 例2.11已知离散有记忆信源中各符号的 概率空间为:
• 设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概 率p(aj|ai)表示,如表
• 求离散信源的序列熵和平均每个符号的熵?
信源符号分布的不均匀性。 ❖等概率分布时信源熵最大。
27。
❖ 这就是说我们需要传送这一信源的信息,理论 上只需要传送H∞(X)即可。但必须掌握信源全 部概率统计特性,这显然是不现实的。
❖ 实际上,只能算出Hm(X)。那么与理论极限值相 比,就要多传送Hm(X)－H∞(X)。
2.3.1 离散无记忆信源的序列熵
离散无记忆信源
{ 离散
信源
{
{ 离散有记忆信源
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
❖ 发出单个符号的信源
指信源每次只发出一个符号代表一个消息；
❖ 发出符号序列的信源
指信源每次发出一组含二个以上符号的符号序 1 列代表一个消息。
• 当信源符号之间无依赖性时,信源X的信息熵为 • 当考虑符号之间有依赖性时,计算得条件熵
H(X2| X1)＜H(X) 信源的条件熵比无依 赖时的熵H(X)减少了 0.671 比 特 , 这 正 是 因 为符号之间有依赖性 所造成的结果。
11
• 发二重符号序列的熵
❖ 联合熵H(X1,X2)表示平均每二个信源符号所携 带的信息量。
离散无记忆信源的序列熵
• 设信源输出的随机序列为 X =(X1X2…Xl…XL)
如何描述离散无记忆序列信源的序列熵
6
[法一 法一] 法一 二次扩展信源： 二次扩展ቤተ መጻሕፍቲ ባይዱ源：
二次扩展信源
X 2 = ( X1 X2 ), ai ∈ X = [x1, x2 , x3 ]
X 2 x1 x1 = P(ai ) 1 / 4
x1 x2 1/ 8
x1 x3 1/ 8
x2 x1 x2 x2 x2 x3 x3 x1 x3 x2 x3 x3 1 / 8 1 / 16 1 / 16 1 / 8 1 / 16 1 / 16
现信源发出二重符号序列消息（ ），这两个 现信源发出二重符号序列消息（ai,aj），这两个 表示， 符号的概率关联性用条件概率p(aj/ai)表示，并由 表示 符号的概率关联性用条件概率 下表给出。 下表给出。求离散信源的序列熵和平均每个符号 的熵? 的熵
11
ai a1 a1 a2 a3 9/11 1/8 0 a2
P ( a i ) = P ( x i1 x i 2 L x i L ) =
XL =（ X1 X2 …XL） （
∏ P(x
k =1
L
ik
)
无记忆） （无记忆）
L次扩展信源的熵性质 H(XL ) = LH(X) 次扩展信源的熵性质: 次扩展信源的熵性质 平均每个符号熵为: 平均每个符号熵为 HL(XL)=H(XL)/L=H(X ) (单个符号信源的符号熵 ) 单个符号信源的符号熵
信源 X’=(X1X2X3) a1=000, a2=001, a3=010, a4=011 a5=100, a6=101, a7=110, a8=111
三次扩展信源的数学模型为: 三次扩展信源的数学模型为
a2 a3 Ka8 X ' a1 P = p(a ) p(a ) p(a ) Kp(a ) 1 2 3 8
信源熵
dx
p X ( xi )
dx
ln
2
2
1 2
1 2
ln 2 e
2
东北石油大学
2.4.3 最大熵定理 5、高斯白噪声
白噪声：功率谱密度在整个频域内均匀分布
的噪声。
Pn ( ) n0 2 ( )
东北石油大学
2.4.3 最大熵定理
高斯白噪声：概率密度函数服从高斯分布
（即正态分布）的一类噪声。
1 2
2
pX (x)
ex p (
(x m) 2
2
2
)
东北石油大学
2.5 冗余度
1、意义：给定信源在实际发出消息时，所包含的多 余信息。 2、 H H H 的意义 0 m （1） H m实际传输的熵； （2） H 0 最大熵；
（3） H 最小熵。
不同，可能出现不同结果
东北石油大学
2.4.1幅度连续的单个符号信源熵
例2-14
有一信源概率密度函数如下图所示：求连续熵
y
0.5
y
0.25
0
1
2
3
x
0 1 2 3 4 5 6 x
东北石油大学
2.4.1幅度连续的单个符号信源熵
3、连续信源的联合熵、条件熵互信息定义 联合熵
H C ( XY )
a a
东北石油大学
2.4.1幅度连续的单个符号信源熵
连续信源熵
HC (X )
p X ( x ) lo g p X ( x ) d x
东北石油大学
2.4.1幅度连续的单个符号信源熵 2、连续信源熵与离散信源熵的异同 相同之处： 离散： 连续：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
性）
2019/12/21
=H(XL-2/X1X2…XL-3) （ 平 稳
16
(3) HL(X) ≥H(XL/XL-1)
证明: HL(X)=H(X1X2…XL)/L
= [H(X1)+H( X2/X1)+…+H(XL/X1X2…XL1)]/L
≥ [LH(XL/X1X2…XL-1)]/L = H(XL/XL-1)
（2）H（X1）≥H（X1／X2Байду номын сангаас H（X2） ≥ H（X2／X1）
2019/12/21
7
• 当前后符号无依存关系时，有下列推论： H（X1 X2）＝H（X1）＋H（X2） H（X1）= H（X1／X2） H（X2）= H（X2／X1）
2019/12/21
8
2. 由有限个有记忆序列信源符号组成的序列 • 设：信源输出的随机序列为X，X＝(X1 X2…XL)，
i
L
L
p(xil ) log
p(xil )
i l 1
l 1
L
L
p(xil ) log p(xil )
l 1 i l 1
L
H(Xl)
4
l 1
L
• 其中H (xl ) p(xil ) log p(xil ) i l 1
（2）若信源的序列满足平稳特性（与序号l无关） 时，有p(xi1)=p(xi2)=…=p(xiL)=p，p(xi)＝pL， 则信源的序列熵又可表示为H(X)=LH(x).
2019/12/21
2
设：随机序列的概率为 ： p(X=xi)=p(X1=xi1,X2=xi2,……,XL=xiL) =p(xi1)p(xi2/xi1)p(xi3/xi1xi2)…p(xiL/xi1xi2…xiL-1) = p ( x i1) p ( x i2/ x i1) p ( x i3/ x i12) … p ( x iL/ x i1L-1) 式中 xi1L-1=xi1xi2…xiL-1
第四节 离散序列信源的熵
•
问题：
1.
如何描述离散无记忆序列信源的序列熵？
2.
如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏链信源）的序列熵？
2019/12/21
1
2.4.1 离散无记忆信源的序列熵
• 设信源输出的随机序列为X，X＝（X1 X2…Xl…XL），序列中的变量
即序列长为L。
Xl x1, x2,..., xn,l 1,2,..., L
则信源的序列熵定义为 H(X)=H(X1X2…XL)
=H(X1)+H(X2/X1)+…+H(XL/X1X2….XL-1)
L
记作 H（X）=H（XL）= H ( X l / X l1) l 1
2019/12/21
9
• 平均每个符号的熵为
HL（X）=H（X）/L
L
• 若当信源退化为无记忆时，有
H
比
特
/
符
（ H1
号
(
X
)
i0HXj(02X
1
)
i
2／ p(ai
0
)
logX2 p1(ai
)
） 1.543
=
单
符
号
信
源
熵
比特/符号
发二重符号序列的熵
H（X1 X2）=H（X1）+H（X2/X1）
2019/12/21
=1.543+0.872=2.415 比特/符13
• 说明：
比较上述结果可得：
l 1
H（X）=
H（Xl ）
• 若进一步又满足平稳性时，则有
H（X）=LH（X）
2019/12/21
10
例2-4-1
•已知: 离散有记忆信源中各符号的概率空间为:
现
信
源
发
X
出P二
重 符1a10 /号46序4a列/19
消1/息a42 （
a
i
,
a
j
）
，
这
两个符号的概率关联性用条件概率p(aj/ai)表示，
平均每个符号熵为
2019/12/21
HL(X)=H(X)/L=H(x )(单个符号信源的符号5
第四讲
2003年5月6日
2019/12/21
6
2.4.2 离散有记忆信源的序列熵
•
问题
1.
对于由两个符号组成的联合信源，有下列结 论：
（l）H（X1 X2）＝H（X1）＋H（X2／X1） = H（X2）+ H（X1／X2）
H2（X）<H1（X），即二重序列的符号熵值较单符号熵变小了， 也就是不确定度减小了，这是 由于符号之间存在关联性（相关性）造成的。
2019/12/21
14
3.
离散平稳序列信源
(1) 时间不变性:联合概率具有时间推移不变性：
p{Xi1=x1,Xi2=x2,…….,XiL=xL} = p{Xi1+h=x1,Xx2+h=x2,……,XiL+h=xL }
同理,有 H∞ (X) ≤ … ≤ HL+1(X) ≤ HL(X) ≤ HL-1(X)
≤…
2019/12/21
18
(5) H∞ (X)=
lim HlLimL(X)
L=
H(XL/ X1X2…XL-1)
H∞ (X)叫极限熵或极1限信息量。
Lk
证明： HL+k(X) =
2019/12/21
17
(4) HL(X) 是L的单调递减函数
证明: LHL(X)=H(X1X2…XL)
=H(X1X2…XL-1)+ H(XL/ X1X2…XL-1)
= (L-1)HL-1(X)+ H(XL/ XL-1)
≤ (L-1)HL-1(X)+ HL(X)
所以 HL(X) ≤ HL-1(X)
2019/12/21
3
• 分析： （ 1 ） 当 信 源 无 记 忆 （ 序 列 中 的 符 号 之 间 无 相 关 性 ） 时 ， p (x i) = p (x i1x i2… x iL) =
L
p(xil )
l 1
2019/12/21
H ( X ) p(xi ) log p(xi )
并由下表给出。求离散信源的序列熵和平均每
个符号的熵?
2019/12/21
11
ai
aj
a0
a1
a2
a0
9/11 2/9 0
a1
1/8 3/4 1/8
a2
0
2/9 7/9
2019/12/21
12
• 解：条件熵 2 2
p(ai a j ) log 2 p(a j / ai ) 0.872
2019/12/21
15
(2) H(XL/XL-1) 是L的单调递减函数 证明:
H(XL/X1X2…XL-1)≤H(XL/X2X3…XL-1) (条件较多的熵小于或等于减少一些条件的熵)
=H(XL-1/X1X2…XL-2)（平稳性） ≤H(XL-1/X2X3…XL-2) (条件较多的熵小于或等于减少一些条件的熵)