2015秋.信息论.第2章离散信源与信息熵
《信息论与编码》课件1第2章
如果消息ai已发生，则该消息发生所含有的自信息定 义为
1
1
I (ai ) log P(ai ) log pi
(2.4)
第2章 离散无记忆信源与信息熵
可以很容易地证明, 自信息的定义满足上面提出的四个
(1) 此自信息的定义是根据消息发生的概率建立的一个 工程定义，而不是根据这个消息对人的实际意义而建立的 定义。这一纯粹技术性的定义仅仅抓住了“信息”一词在
(2) 自信息I(ai) 在消息ai发生之前，自信息I(ai)表示ai发生的不确定性; 在消息ai发生以后，自信息I(ai)表示ai所含有的（或提
第2章 离散无记忆信源与信息熵
(3) 在式(2.4)中关于对数的底未作明确规定。这是 因为对数的底仅仅影响到度量的单位，实际中可根据
如果取对数的底为2，则所得信息量的单位为比特 （bit， binary unit），此时logx用lbx
第2章 离散无记忆信源与信息熵
第2章 离散无记忆信源与信息熵
2.1 离散无记忆信源 2.2 自信息和熵 2.3 熵函数的性质 2.4 联合事件的熵及其关系 2.5 连续信源的信息测度 习题2
第2章 离散无记忆信源与信息熵
信息理论的研究对象是以各类信息的获取、表示、 传输和处理为目的的信息系统。图2-1给出了一个典型 的通信系统物理模型。在这样的通信系统中，一个贯 穿始终的、最基本的问题便是信息，即信源输出的是 信息，在系统中传输的是信息，接收者获得的也是信 息。可见，在信息理论的学习和研究中，首先需要对
信息论第二讲离散信源的熵
其中状态（xi, yj）为联合信源输出的一个状态。
nm
p(xi, yj ) 1
i1 j1
2020/6/14
20
⑵联合信源共熵的表达式：
联合信源的共熵：联合信源输出一个组合消息 状态(xi,yj)所发出的平均信息量。 联合信源的独立熵：
nm
H (X ,Y) p(xi,yj)logp(xi,yj)
⑴离散信源特性： 根据Shannon信息论的观点，信源要含
有一定的信息，必然具有随机性，即有 不确定性，可以用其概率来表示。
2020/6/14
1
⑵离散信源空间：
信源的符号（状态）随机地取值于一个离散
集 合 [X]= （ x1,x2,…xn ） 中 ， 一 个 离 散 信 源
可以用一个离散随机变量的概率空间表示。
j1
(i1,2,...n)
2020/6/14
27
⑵转移矩阵描述
矩阵[P]称为转移矩阵或信道矩阵；表示为：
y1
y2
x1 p(y1/x1) p(y2/x1)…
… [P]= x2 p(y1/x2) p(y2/x2)
……
…
…
xn p(y1/xn) p(y2/xn) …
…
ym p(ym/x1) p(ym/x2) … p(ym/xn)
[P]=(p1,p2,…pn) 这种表示称为离散无记忆信源的信源空间。
信源空间必为一个完备空间， n
即其概率和为1。
pi 1
i1
2020/6/14
2
⑶信源数学模型描述的条件：
用信源空间（离散随机变量）来表示信源
的条件是信源符号（状态）的先验概率是 可知的，这是Shannon信息论的一个基本 假说。
2.2 离散信源的熵
第 二 章 基 本 信 息 论
§2.2 离散信源的熵
二、基本性质
4. 扩展性 limH( p1 , p2 ,⋯, pi − ε , ⋯, pN ,ε ) = H( p1 , p2 ,⋯, pN ) .
ε →0
说明虽然小概率事件的信息量很大， 说明虽然小概率事件的信息量很大，但由于该事件几乎 不会出现，故熵几乎不变。反映了熵的总体平均性。 不会出现，故熵几乎不变。反映了熵的总体平均性。 证
H( X) = H( p1 , p2 ,⋯, pN ) = 0.
表明确定性的信源不含有任何信息量， 表明确定性的信源不含有任何信息量，其信源熵必为 0。 。 证 (1) 若 pl = 1 , pk = 0 ( k ≠ l ) , ⇒
N i =1
N
H ( X ) = − ∑ pi log pi = 0 .
轻松一下吧 ……
11
i =1
(2) 若 H ( X ) = − ∑ pi log pi = 0 , 由于 pi log pi ≤ 0 (∀i ) , ⇒ 又由于 pi log pi = 0 (∀i ) , ⇒ pi = 0 或 pi = 1 (∀i ) ,
∑ pi = 1 ,
i =1
N
故 { pk }中只有一个为 1，其余的为 0。 ， 。 6
§2.2 离散信源的熵
二、基本性质
1. 非负性
H( X) = H( p1 , p2 ,⋯, pN ) ≥ 0.
证 由 0 ≤ pi ≤ 1 ⇒ log pi ≤ 0 ,
N
⇒
i =1
pi log pi ≤ 0 ,
⇒
H ( X ) = − ∑ pi log pi ≥ 0 .
2. 对称性
信息论第二章
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：天气预报
第一节 信源的数学模型及分类 2、连续信源 数学，模型如下：
离散信源的进一步分类
发出单个符号的无记忆信源 离散无记忆信源指信源每次只发出 发出符号序列的无记忆信源 离散信源 一个符号 代表一 发出符号序列的有记忆信源 个消息． 离散有记忆信源 发出符号序列的马儿可夫信源
H( p1, p2 ,..., pq ) H(1/ q,1/ q,...,1/ q) log q
上式表明，对于具有q个符号的离散信源，只有在q 个信源符号等可能出现的情况下，信源熵才能达到最 大值，这也表明等概分布的信源的平均不确定性最大， 这是一个很重要得结论，称为最大离散熵定理 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit
H ( X 2 ) 2H ( X )
第五节 离散平稳信源 1、离散平稳信源的数学定义 一般来说，信源的前后消息之间有前后依赖关系， 可以用随机矢量描述：
第五节 离散平稳信源 2、二维平稳信源及其信息熵 最简单的平稳信源——二维平稳信源，信源发出序列 中只有前后两个符号间有依赖关系，我们可以对其二维 扩展信源进行分析。 信源的概率空间:
n
n是指发出在时间和幅度上都是离散分布的
离散信源 连续信源
符号都是离散消息。 是指发出在时间和幅度上都是连续分布的 连续消息（模拟消息）的信源，如语言、 图像、图形等都是连续消息。
n
第一节 信源的数学模型及分类 1、离散信源
信源种类 离散信源 （数字信源） 连续信号 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
第二章_离散信源与信息熵的关系
给出，为了书写方便以后写成： 和
y1 , y2 , Y q1 , q2 , ym qm
xn Y y1, y2 , Q q( y ), q( y ), p( xn ) ； 1 2
ym q ( ym )
一. Definition of the self-mutual information:
«信 息 论 基 础 »
第二章：信息的度量与信息熵
( The measure of Information &Entropy) §2. 1 自信息与条件自信息
( self—information & conditional self— information) §2. 2 自互信息与条件自互信息 (self—mutual
p ( x ) 则表达当收端已收到某种消息后, 再统计发端的发送 率： y 概率，所以此条件概率称为后验概率(Posterior Probability) 。
§2. 1 自信息与条件自信息 因此我们说事件 xi 以及它所对应的先验概率P( x )而定
i
义出的自信息 I [ p( xi )] ，所表达的不论事件是否有人接收这 个事件它所固有的不确定度，或者说它所能带来的信息 xi p ( ) 量。而消息事件 y j xi nk 它所对应的条件概率 yj 是在收端接收到已干扰的消息后的后验概率,如果当它为1 xi p ( ) 则属于透明传输；若 y j <1，则属于有扰传输。而当 xi p ( ) 后验概率大于先验概率是 y j > P( xi )，说明事件 y j 发生之后多少也解除了事件 xi 的部分不定度，即得到 了事件 X xi 的部分信息。由于概率越大，不定度越小。 从客观上讲，条件自信息一定不会大于无条件的自信息。 同时也反映出要得知一些条件，原事件的不定度一定会 减少，最坏的情况也不过保持不变，即条件与事件无关。
离散信源熵ppt课件
I(xi;yj)lo2gp(px(ix|iy)j)
I(x i;y j) lo p (p x g ( ix |iy )j) lo p ( p x ( g ix )ip y (jy )j) lo p ( p y ( g jy |jx )i)
I ( x i ;y j) I ( x i) I ( x i|y j) I ( y j) I ( y j|x i)
• 若得知“今天不是晴天”,把这句话作为收到的消息 y1
• 当收到y1后,各种天气发生的概率变成后验概率了
• p(x1|y1) = 0I, (px(1x;2y|y11))=l1o/22g精,p选p(pp(xpx(1tx3||1yy)11))=10/4 , p(x4|y1) = 1/4 13
I(x2;y1)lo 2p g (p x (2 x |2y )1)lo 21 1 g //4 21 bit I(x3;y1)I(x4;y1)lo21 1 g //8 41 bit • 表明从y1分别得到了x2 x3 x4各 1比特的信息量。 • 消息y1使x2 x3 x4的不确定度各减少1bit 。
• 条件熵
H(Y|X) p(xi,yj)lopg(yj|xi)
I(xi)lopg (xi)
• I (xi) 含义:
– 当事件xi发生以前,表示事件xi 发生的不确定性 – 当事件xi发生以后,表示事件xi所含有的信息量
精选ppt 6
自信息量
• 自信息量
I(xi)lopg (xi)
• 条件自信息量
I(x i|yj) lop (g x i|yj)
• 联合自信息量
第二章
信源与信息熵
内容
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度
第2章 离散信源熵
H (Y X ) E[ I (b j ai )] p(aib j )log p(b j ai )
i 1 j 1
n
m
(2.2.8) (2.2.9)
21
3 联合熵
H ( XY ) p(aib j ) I (aib j ) p(aib j )log p(aib j )
6
对于离散随机变量，取值于集合
a1
, a 2 , , ai , , a n
对任一 a i 记 p ( ai ) P ( X ai ) 单符号离散信源的数学模型为
, ai , , an X a1 , a2 , P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
23
证明：自然对数具有性质 当 x 0时， ln x x 1 ，并且当且仅当 x 1 时，该式取等号。
图2.2.3 自然对数的性质
24
n n 1 1 H ( X ) log n p(ai )log p(ai )log n p(ai )log p(ai ) i 1 np(ai ) i 1 i 1 n
j 1 i 1
m
n
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
p(ai bj ) p(bj ) p(ai bj ) p(ai ) p(bj ai )
当 X 与 Y 相互独立时
p(aib j ) p(ai ) p(b j ), p(b j ai ) p(b j ), p(ai b j ) p(ai )
条 件 熵
信 源 熵
信息论基础课件第2章离散信源
)
a1 0.8
a2 0.2
如果被告知摸出的是红球，那么获得的信息量是：
I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：
I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ：
q
H (Y | X ai ) P(bj | ai ) log P(bj | ai ) j 1
当信源X发生的条件下，信源Y的不确定性，即条件熵为：
q
H (Y | X ) P(ai )H (Y | X ai )
P(ai )P(bj | ai ) log P(bj | ai )
i 1
X P(x)
a1 p(a1)
a2 p(a2
)
... ...
aq p(aq
)
并且满足
q
p(ai ) 1
i1
其中样本空间为
， a1, a2 ,..., aq
qI
，I为正整数集；
符号ai出现的概率为p(ai)。信源的概率空间是一个完
备集。
连续信源：
信源输出的是单个符号或代码的消息，但 信源符号集的取值是连续的，可以用一维连 续型随机变量来描述。相应的信源的数学模 型就是连续型随机变量的概率空间，表示为：
H(X ) Hr(X) = log r
信源的信息熵H是从整个信源的统计特性来考虑的， 是从平均意义上来表征信源的总体信息测度，是信源的平 均不确定程度的大小。
例：熵的计算
有一布袋内放100个球，其中80个球是红色的， 20个球是白色的。随机摸出一个球，猜测是什么颜 色，那么其概率空间为：
第 2 章 信源与信息熵
一般情况下，信源在不同时刻发出的符号之间是相 互依赖的，即信源输出的平稳随机序列 X 中，各随机变 量 X l 之间是有依赖的。
例如在汉字组成的中文消息中，前后文字的出现是 有依赖的，不能认为是彼此不相关的，放在L维随机矢 量的联合概率分布中，就必然要引入条件概率分布来说 明它们之间的关联。这种信源即有记忆信源。
第 2 章 信源与信息熵
2.1 信源的描述与分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度
概率论基础
无条件概率、条件概率、联合概率的性质和关系
(1) 0 ≤ p( x i )， p( y j )， p( y j | x i )， p( x i | y j )， p( x i y j )≤1
设信源输出的Ｌ维随机序列（随机矢量）为
序列中的随机变量 X l ∈ A ( l =1, 2, …, L ) 信源的概率空间：
??
?
2010-3-30
例：
∵ 序列无记忆
若为平稳随机序列，则
L l=1
这种由信源 X 输出的 L 长随机序列 X 所描述的信 源叫做离散无记忆信源 X 的 L 次扩展信源。
(2)
n
m
n
i
=
p
1
(
x
i
)
=
1
,
∑
j=
p
1
(
y
j
)
=
1
,
∑p
i=1
(
x
i
|
y
j
)
《信息论》第二章
29
I(X;Y)与信息熵的关系 与信息熵的关系
H ( XY )
H(X)
I(X;Y)=0 集合X与集合Y 相互独立的情况
H (Y )
30
I(X;Y)与信息熵的关系 与信息熵的关系
13
信息熵,条件熵,联合熵 信息熵,条件熵, 三者之间的关系
H ( XY ) = H ( X ) + H (Y | X ) H ( XY ) = H (Y ) + H ( X | Y )
当集合X 和集合Y 相互独立时有
H(X |Y ) = H(X ) H (Y | X ) = H (Y ) H ( XY ) = H ( X ) + H (Y )
14
离散二元信源的信息熵 H ( X ) = [ p log p + (1 p) log(1 p)]
1 X 0 p( x ) = p 1 p
15
例题
有两个二元随机变量X和 , 有两个二元随机变量 和Y,它们的联合概率为 p(xy) x = 0 x = 1 y = 0 1/8 3/8 y=1 3/8 1/8 并定义另一随机变量Z=XY(一般乘积),试计算: 并定义另一随机变量 (一般乘积 ,试计算: (1) H(X),H(Y),H(Z),H(XY),H(XZ),H(YZ) , , , , , , H(XYZ) (2) H(X|Y),H(X|Z),H(Z|X), H(Z|Y), H(Y|Z), , , , , , H(Y|XZ),H(Z|XY) ,
11
联合自信息量与联合熵
联合自信息量定义
第2章.信源与信息熵
P中第i行元素对应于从某一个状态si 转移到所有状态s j ( s j S )的 第j列元素对应于从所有状态si ( si S )转移到同一个状态s j的转移 概率，列元素之和不一定为1。
29
转移概率。矩阵中的每一行元素都是非负的，且每行之和均为1。
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 ( k步转移概率pijk )与l (l k )步和k - l步转移概率之间有所谓
表述的复杂度将随着序列长度的增加而增加。 然而实际上信源发出的符号往往只与前若干个符号有较 强的依赖关系，随着长度的增加依赖关系越来越弱，因 此可以根据信源的特征和处理时的需要限制记忆的长度， 使分析简化。
18
2.1.3 马尔可夫信源
马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m 个符号有关联性，而与更前面的符号无关。这种有记忆 信源叫做m阶马尔可夫信源，可以用马尔可夫链来描述。
30
2.1.3 马尔可夫信源
切普曼· 柯尔莫郭洛夫方程 由前递推关系式可知，对于齐次马尔可夫链，一步转移 概率完全决定了k步转移概率。 为了确定无条件概率，引入初始概率，令：
《信源和信息熵》PPT课件
熵之差，并不是信息熵本身。
二、信息熵的基本性质
1、对称性：
此性质说明：熵的总体性。它只与随机变量的总 体结
构有关，而不在于个别值的概率，甚至也不因随 机变
量取值的不同而异。 2、非负性：
3、扩展性：
说明：概率很小的值的出现，给予接收者以较大的 信息，但在熵的计算中占的比重很小，这是熵的总 体平均性的一种体现。 4、确定性：
注意：信息单位比特（表示以2为底的对数） 与计算机术语中的比特（表示二进制数的 位）的意义是不同的。
▪收到某消息获得的信息量＝收到此消息前 关于某事件发生的不确定性－收到此消息 后关于某事件发生的不确定性
即：收信者所获得的信息量应等于信息传 输前后不确定性的减少的量。
例：设一条电线上串联8个灯泡，且损坏的 可能性为等概，若仅有一个坏灯泡，须获 知多少信息量才可确认？
可见：所有概率分布pi所构成的熵，以等概时为最 大，
称为最大离散熵定理。
7、上凸性： 熵函数具有严格的上凸性，它的极值必为最大值。 8、递增性：
其中： 此性质说明：熵增加了一项由于划分而产生的不确 定性
量。
例：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。
可见：熵函数的递增性也可称为递推性，表示n 个元素的信源熵可以递推成（n－1）个二元信 源的熵函数的加权和。可使多元信源的熵函数 计算简化成计算若干个二元信源的熵函数。
独立 有记忆信源：随机矢量的各分量不相
互独立 表述有记忆信源比无记忆信源困难的多，实际中，
信 源发出的符号往往只与前若干符号的依赖关系强，
与 更前面的符号依赖关系弱，这类信源可用马尔可
第2章 信源与信息熵(3)
互信息量实质是通信中实际传送的有用信息量。 互信息量实质是通信中实际传送的有用信息量。 显然，互信息越大越好， 显然，互信息越大越好，极限是 H ( X ) 能否将发送端X的信息量全部传送？ 能否将发送端 的信息量全部传送？ 的信息量全部传送 要求通信过程中没有信息量损失，而实际传输过程中， 要求通信过程中没有信息量损失，而实际传输过程中，信 道中的噪声会淹没一定的信息，即信息有损失。 道中的噪声会淹没一定的信息，即信息有损失。 通信过程中，信息量损失了多少？ 通信过程中，信息量损失了多少？ X的信息量减去实际传输的信息量，即 的信息量减去实际传输的信息量， 的信息量减去实际传输的信息量
I ( X ; Y ) = I (Y ; X )
理论证明略（与单符号互信息相同）。 理论证明略（与单符号互信息相同）。
②非负性
I ( X ;Y ) ≥ 0 I ( X ;Y ) ≤ H ( X )
理论证明参考周荫清编的信息理论基础， 理论证明参考周荫清编的信息理论基础，直观理解
③极值性
直观理解！！ 直观理解！！
p ( xi | y j ) p ( xi )
= log 2
p ( xi ) p ( y j )
p ( xi , y j )
2 .2 离散信源熵和互信息
三、互信息
1、单符号之间的互信息量 性质： ③ 性质： 证明： 证明：
I ( xi ; y j ) = ( xi , y j )
p ( xi ) p ( y j )
p ( xi , y j )
= log 2
p ( xi ) p ( y j )
2 .2 离散信源熵和互信息
三、互信息
2、平均互信息 定义： 指单符号互信息量在X集合和 集合上的统计平均值。 定义： 指单符号互信息量在 集合和Y集合上的统计平均值。 集合和 集合上的统计平均值
第2章_信源与信息熵
其状态变量S=(00，01，10，11)。 其状态变量S=(00，01，10，11)。 求： S=(00
信息论基础C
18
2.2离散信源熵与互信息
信息量
自信息量 联合自信息量 条件自信息量
单符号离散信源熵
符号熵 条件熵 联合熵
信息论基础C
19
2.2.1 自信息量
信息论基础C
20
2.2.1 自信息量
信息论基础C
7
离散无记忆序列信源－布袋实验（ ） 离散无记忆序列信源－布袋实验（2）
布袋摸球的实验：若每次取出两个球， 布袋摸球的实验：若每次取出两个球，由两个球的颜色组 成的消息就是符号序列。例如，先取出一个球， 成的消息就是符号序列。例如，先取出一个球，记下颜色后放 回布袋，再取另一个球。 回布袋，再取另一个球。 由于两次取球时布袋中的红球、白球个数没有变化， 由于两次取球时布袋中的红球、白球个数没有变化，第二 个球取什么色与第一个球的颜色无关，是独立的， 个球取什么色与第一个球的颜色无关，是独立的，因而该信源 是无记忆的，叫做发出符号序列的无记忆信源。 是无记忆的，叫做发出符号序列的无记忆信源。
信息论基础C
26
2.2.2 离散信源熵
信息论基础C
27
离散信源熵的引入：
例： 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色。共进行 n次摸取。求平均摸取一次所获得的（自）信息量。 解：x1：表示摸出的球为红球；
信息论基础C
21
自信息量： 自信息量：
对于给定的离散概率空间表示的信源，x=ai事件 所对应的（自）信息为：
1 I ( x i = a i ) = − log p ( x i ) = log p( x i )
第2章信源与信息熵
1. 非负性 2. 对称性
n
pi 1,
i 1
pi 0
(i 1, 2,..., n)
3. 确定性
4. 连续性
5. 扩展性
6. 最大熵定理
7. 条件熵小于无条件熵
熵函数的非负性
H ( X ) H ( p1, p2 , , pn ) 0
0 pi 1, log pi 0
pi log pi 0
i
熵的物理意义
H(X)表示信源发出任何一个消息状态所携带的平均信 息量
也等于在无噪声条件下，接收者收到一个消息状态所获 得的平均信息量
熵的本意为热力学中表示分子状态的紊乱程度 信息论中熵表示信源中消息状态的不确定度 信源熵与信息量有不同的意义
H(X)表示信源X每一个状态所能提供的平均信息量 H(X)表示信源X在没有发出符号以前，接收者对信源的
第2章 信源与信息熵
主要内容 1. 信源的分类与描述 2. 离散信源的信息熵和互信息 3. 离散序列信源的熵 4. 连续信源的熵与互信息 5. 冗余度
2.1 信源的分类与描述
信源的定义
产生消息（符号）、消息序列和连续消息的来源。
信源的基本特性是具有随机不确定性
分类
1. 时间
离散
2. 幅度
离散
3. 记忆
有
பைடு நூலகம்
连续 连续 无
介绍三类信源
➢ 单符号离散信源 ➢ 符号序列信源（有记忆和无记忆） ➢ 连续信源
单符号离散信源
单符号离散信源：用随机变量X来描述
X的概率空间
X p(xi
)
X
x1, p1,
X x2, p2 ,
, X xn
,
pn
《信息论》(电子科大)第2章 离散信源及离散熵
电子科技大学
信息论的发展是以信息可以度量为基础 的，度量信息的量称为信息量。 对于通信系统或其他信息传输系统，消 息是由称为信源的人、机器或事物所提 供的。 信源所提供的消息是多种多样的：如计 算机网络节点输出的是二进制数据，模 拟电视输出的是连续视频图像和伴音；
1/16/2019
1/16/2019
I(xi ) log x P(xi ) 自信息量是无量纲的，一般根据对数的 底来定义单位：当对数底为2时，自信息 量的单位为比特(bit,binary unit)；对数 底为e时，其单位为奈特(nat,nature unit)； 对数底为10时，其单位为哈特(Hart, Hartley)。 目前的通信系统或其他信息传输系统大 多以二进制为基础，因此信息量的单位 以bit最为常用。
1/16/2019
电子科技大学
2、自信息量 假设一个单符号离散信源，其输出被传 递给信宿；如设P(x1)最大、P(xn)最小， 问题是，输出那条消息包含更多的信息， 是x1还是xn ？ 根据香农信息的概念，消息中所包含的 不确定性的成分才是信息，因此，不确 定性的成分越大，或者说出现的概率越 小，信息量就越大；从这个意义上，输 出xn包含更多的信息。
1/16/2019
电子科技大学
如果将离散信源输出xi 所包含的信息量 用I(xi)来表示并将其称为xi 的自信息量， 则其必须满足的条件是： ① I(xi)与输出xi的概率相关； ② I(xi)是P(xi)的连续函数； ③ I(xi)是P(xi)的减函数，且当P(xi) =1时 I(xi) =0 。 因此，xi 的自信息量的定义为：
1/16/2019
电子科技大学
电子科技大学
以bit为单位的自信息量可记为： I(xi ) lbP (xi ) 3、自信息量的性质 ①I(xi)是随机量； ②I(xi)是非负值；
2015-第2章 离散信息的度量-2.2
例
2.5
A、B两城市天气情况概率分布如下表：
晴 阴 雨
A城市
B城市
0．8
0．4
0．15
0．3
0．05
0．3
问哪个城市的天气具有更大的不确定性？
解：
H ( A) H (0.8,0.15,0.05) 0.8 log 0.8 0.15 log 0.15 0.05 log 0.05 0.884 比特/符号
2 3
p x (1)
1 3
p( y 1 | x 1) 1
求H(Y|X)
解：H (Y | X ) p( x) H (Y | x) p( x 0) H (Y | x 0) p( x 1) H (Y | x 1)
x
2 1 1 2 H ( ) H (1) 比特/符号 3 2 3 3
第 2章 离散信息的度量
本章知识结构
自信息 条件自信息 单个事件信息度量 联合自信息 互信息 离散信息的度量 条件互信息 熵
条件熵 事件集平均信息度量 联合熵 平均互信息
平均条件互信息
§2.2
信息熵
★信息熵的定义与计算
★条件熵与联合熵
★熵的基本性质
信息熵的引入
x2, …, xn} 离散集的概率分布表示为
严格上凸函数
★ 对于α(0≤α≤1) 及任意两矢量x1,x2，有 f[αx1+(1-α)x2]≤αf(x1)+(1-α)f(x2) 下凸函数(cup)
x2 若当且仅当x1 = x2或α= 0,1时等式成立 x1
严格下凸函数
第二章 离散信源与信息熵(下)
Q
H(XY) = H(X) + H(Y X)
H(XY) = H(Y) + H(X Y) ∴ H(X) + H(Y X) = H(Y) + H(X Y)
则： H ( X ) − H ( X Y ) = H (Y ) − H (Y X ) ？ ( X ; Y ) =I
i =1 j =1
1
证明的难点二： Q ln x ≤ x − 1
then :
log x = ln x log e
log x ≤ ( x − 1) log e
∴
log
p( xi ) p( y j )
p( xi ) p( y j ) ≤ − 1 log e p( xi y j ) p( xi y j )
∵ H(X)表示集合X原有的平均不定度；H(X Y)则表示当收到 符 号 集 合 Y之 后 （ 即 集 合 Y中 的 平 均 不 确 定 度 已 解 除 后 ） 关 于 集 合 X中 还 剩 下 多 少 平 均 不 定 度 ， 两 者 之 差 就 是 每 收 到 一 个 y 之 后 ， 平 均 得 到 有 关 x的 信 息 量 。 I(X; Y)的物理概念是：当Y被确知后，所能解除多少关于X 的 平 均 不 确 定 度 ； 或 者 说 所 能 得 到 有 关 X的 信 息 量 。 所 谓 平 均 是 指 从 集 合 Y中 平 均 每 一 符 号 可 获 得 有 关 X的 信 息 。
I ( X ; Y ) = E[ I ( xi ; y j )]
def
Q
I ( x = ai ; y = b j ) = log
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章离散信源与信息熵信号 信号+干扰 消息干扰消息 信源 编码器 信道 译码器 信宿 噪声源通信系统模型信息2.1 信源的分类和描述信源是信息的发源地，可以是人、生物、机器或其他事物。
信源的输出是包含信息的消息。
消息的形式可以是离散的或连续的。
信源输出为连续信号形式（如语音），可用连续随机变量描述。
连续信源←→模拟通信系统信源输出是离散的消息符号（如书信），可用离散随机变量描述。
离散信源←→数字通信系统离散信源…X i…X j…离散无记忆信源：输出符号Xi Xj之间相互无影响；离散有记忆信源：输出符号Xi Xj之间彼此依存。
3离散信源无记忆有记忆发出单个符号发出符号序列马尔可夫信源非马尔可夫信源y j将一粒棋子随意地放在棋盘中的某列；棋子放置的位置是一个随机事件；可看做一个发出单个符号的离散信源。
x i1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。
由离散随机变量X 表示棋子位置：10()1,()1m i ii p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。
2.2.1自信息量–定义2.1 任意随机事件x i 的自信息量定义为：i i i 1(x )log log (x )(x )I P P ==-小概率事件所包含的不确定性大，自信息量大。
大概率事件所包含的不确定性小，自信息量小。
概率为1的确定性事件，自信息量为零。
i i i 1(x )log log (x )(x )I P P ==-信息量的单位与公式中的对数取底有关。
以2为底，单位比特（bit ）；以e 为底，单位奈特（nat ）；()22log log ,log log ln log c a c b b x e x a==⋅–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。
3321()log log 1/83()I x bit P x ==-=–例：袋内红、白球各50个,随意从袋中摸出一球。
21()log log 1/21()I bit P ==-=红红21()log log 1/21()I bit P ==-=白白–例：袋内红球1个、白球7个,随意从袋中摸出一球。
21()log log 1/83()I bit P ==-=红红21()log log 7/8019()I bit P ==-≈白.白定义2. 2 X 中出现事件x i 与Y 中出现事件y j 的联合自信息量定义为(,)log (,)i j i j I x y p x y =-log(()(/))log ()log (/)j i j j i j p y p x y p y p x y =-=--log ()log (/)i j i p x p y x =--定义2.3 X 中事件x i 在Y 中事件y j 已出现的情况下再出现时所能提供的信息量定义为条件自信息量(/)log (/)i j i j I x y p x y =-(,)()(/)i j j i j I x y I y I x y =+()(/)i j i I x I y x =+(/)(),(/)()j i j i j i p y x p y p x y p x ==(,)()()i j i j I x y I x I y =+当互相独立时,i j x yx i y jx iy j将一粒棋子随意地放在8*8的正方形棋盘的某方格内；涉及两个随机事件。
{}1112881/64,1/64,...,1/64,,...,x y x y x y XY P ⎡⎤=⎢⎥⎣⎦联合自信息量为2(,)log (,)1log 664i j i j I x y p x y bit =-=-=x i 相对y j 的条件自信息量为2(|)log (|)(,)1/64log log 3()1/8i j i j i j j I x y p x y p x y bit p y =-=-=-=已知棋子所在方格的行，棋子所在列的位置？11110(),(),()1()1,()1,()1i j i j m n n mij i j i j j i p x p y p x y p x p y p x y ====≤≤===∑∑∑∑其中，1111,...,,...,(),...,(),...,()i j m n i j m n x y x y x y XY P p x y p x y p x y ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1212,,...,(),(),...,()n n y y y Y P p y p y p y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦一般地11(/)1,(/)1m n i jj i i j p x y p y x ====∑∑0(/),(/)1,j i i j p y x p x y ≤≤11(,)(),(,)()m i j ji n i j ij p x y p y p x y p x ====∑∑y j (,)()(/)()(/)i j i j i j i j p x y p x p y x p y p x y ==1(,)(/),(,)(,)(/)(,)i j i j m i ji i j j i n i jp x y p x y p x y p x y p y x p x y ===∑∑思考题•有12块银元，其中有一块是假的。
真假银元从外观看完全相同，但假银元的重量与真银元略有不同。
–求证，用一架天平称3次即可找出假银元，并知道假银元是轻是重。
2.2.2平均自信息量一个离散随机变量X ，以不同的取值概率有N 个可能取值,11,...,,...,()(),...,(),...,()i n i n x x x X P x p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦i i i 1(x )log log p(x )p(x )I ==-是一个随机变量，不能用来作为整个信源的信息测度。
定义2.4 随机变量I(x i )的数学期望定义为平均自信息量，又称作离散信源X 的信息熵，简称熵。
•熵函数的自变量是X,表示信源整体。
集X 的平均自信息量表示集X 中事件出现的平均不确定性。
即集X 中每出现一个事件平均给出的信息量。
•熵这个名词是香农从物理学中的统计热力学借用过来的，在物理学中热熵是表示分子混乱程度的一个物理量。
1()[()]()log ()ni i i i H X E I x p x p x ===-∑例：袋内100个球，其中80个红的，20个白的，若随机摸取一个，猜测其颜色，求平均摸取一次所能获得的自信息量。
12()0.80.2x x X P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦概率空间11(x )log (x )log0.8I P =-=-22(x )log (x )log0.2I P =-=-随机模取n 次后总共所获得的信息量为1122()(x )()(x )np x I np x I +平均模取1次所获得的信息量为[][]11221()()(x )()(x )()log ()()log ()H X np x I np x I np x p x p x p x =+=-+熵从平均意义上表征信源的总体特征——平均不确定性.随机摸取n 次红球出现次数为np(x1),白球出现次数为np(x2)理解BIT二进制信源，如果0和1两个符号出现的概率都是0.5，这个信源平均每输出一个符号，我们就得到1bit 信息。
熵的单位与公式中的对数取底有关。
H(X)以2为底，通信中最常用，单位比特（bit ）；H e (X)以e 为底，理论推导中较方便，单位奈特（nat ）；()(0)log (0)(1)log (1)0.5log0.50.5log0.51()H X p p p p bit =--=--=定义2.5 联合熵1111(,)(,)(,)(,)log (,)nmi j i j i j n mi j i j i j H X Y p x y I x y p x y p x y ======-∑∑∑∑j i y x 联合离散符号集合XY 上的每个元素对的联合自信息量的数学期望。
定义2.6 条件熵•在已知随机变量Y 的条件下，随机变量X 的熵称为集X 对集Y 的条件熵。
是联合集XY 上条件自信息量的数学期望。
是已知一随机变量，对另一个随机变量的不确定性的量度当X 表示信源的输出，Y 表示信宿的输入时，条件熵H(X/Y)可表示信宿在收到Y 后，信源X 仍然存在的不确定度，即信道的损失。
11(,(/)[(/)]log (/))i j n mi j i j i j p H X Y E I x y p x x y y ====-∑∑求条件熵为什么要用联合概率加权？11(/)[(/)](,)log (/)n mi j i j i j i j H X Y E I x y p x y p x y ====-∑∑1(/)()(/)mj j j H X Y p y H X y ==∑1(/)(/)(/)nj i j i j i H X y p x y I x y ==∑11()(/)(/)mnj i j i j j i p y p x y I x y ===∑∑11(,)(/)m ni j i j j i p x y I x y ===∑∑}1,0{∈(/)(,)log (/)ijijijH X Y p x y p x y =-∑∑(,)(/)()i j i j j p x y p x y p y =例：已知X ，Yp(0,0)=p(1,1)=1/8,p(0,1)=p(1,0)=3/8,计算条件熵H(X/Y)。
,XY 的联合概率为：解：根据条件熵公式(,)i j ip x y =∑11333311(/)log log log log 0.406H X Y bit =----=（）0001011311()(,)(,),()8822p y p x y p x y p y =+=+==0000100(,)1/813(/),(/)()1/244p x y p x y p x y p y ====110113(/),(/)44p x y p x y ==(,)()(/)()(/)H X Y H X H Y X H Y H X Y =+=+命题2.1 联合熵等于信息熵加上条件熵。