信息论第二章课件ITC2_ver1.1

A=(a1,a2,…,an), B=(b1,b2,…,bn), 0<λ<1
34
H(λA+(1-λ)B) > λ H(A)+(1-λ)H(B)
作业：证明熵函数的上凸性。

一维离散信源的信息熵 信息熵的性质 极值性(1)
Jensen不等式
H甲 > H乙

26
信息熵的基本性质

一维离散信源的信息熵 信息熵的性质
对称性 确定性 递增性 非负性 极值性 上凸性 扩展性 独立可加性 条件可加性
条件熵及其性质
一维信源的数学模型及分类 一维信源的数学模型 一维信源的数学抽象 研究内容：信源可能的消息和消息的不确定性
3
数学抽象：
样本空间＋概率测度 概率空间[X, P]

一维信源的数学模型及分类 一维信源的数学模型 概率空间的要求(对一维多维都适用) 样本空间 样本空间包含所有消息 消息两两不相容
9
思考：找到或构造一个消息数无限但可数的离散信源

一维信源的数学模型及分类 一维信源的分类 一维连续信源(1)
10
样本空间X是连续
样本空间的消息数不仅无限多而且不可数

扔一颗均匀的骰子
8
消息定义为i点朝上xi 对应概率为pi=1/6
x x x x x ⎡X⎤ ⎡ 1 2 3 4 5 ⎤ ⎢P⎥ = ⎢ 1 1 1 1 1 ⎥ ⎣ ⎦ ⎢6 6 6 6 6⎥ ⎦ ⎣

一维信源的数学模型及分类 一维信源的分类 一维离散信源举例(2)

4
概率 样本空间的消息概率之和为1

一维信源的数学模型及分类 一维信源的分类 一维离散信源 样本空间X 是离散集合
5
X的元素个数有限或者可数
[偶数、自然数谁多？——康托尔集合论]

一维离散信源的信息熵 信息熵的概念 信息熵的定义(2)
24
⎡ 1 ⎤ H ( X ) = −∑ pi log pi = E ⎢log ⎥ p( xi ) ⎦ i =1 ⎣
n
表示输出消息前，信源的平均不确定性
物理含义
表示输出消息后，每个符号所携带的平均信息量

i =1
n

一维离散信源的信息熵 信息熵的概念 自信息
22
I ( xi ) = log
1 = − log p ( xi ) p ( xi )
这是一个正数
自变量为p(xi)

一维离散信源的信息熵 信息熵的概念 信息熵的例子－打靶续集
25
甲
⎡A A ⎤ ⎥ ⎢ 0.5 0.5 ⎦ ⎣
乙
⎡ A A ⎤ ⎢ ⎥ 0.99 0.01 ⎦ ⎣
H 甲 = −0.5 log 0.5 − 0.5 log 0.5 = 1
H 乙 = −0.99 log 0.99 − 0.01 log 0.01 = 0.081

一维离散信源的信息熵 熵的推导 打靶试验
17
甲
⎡A A ⎤ ⎥ ⎢ ⎣0.5 0.5 ⎦
⎡ A A ⎤ ⎢ ⎥ 0.99 0.01 ⎦ ⎣
与概率分布有关
乙
不确定性(信息量) H Entropy
等概率时应该最大

1
第二章 离散信源及其信息测度
一维信源的数学模型及分类 一维离散信源的信息熵 信息熵的基本性质 离散无记忆的扩展信源 离散平稳信源 马尔可夫信源 信源剩余度与自然语言的熵

2
一维信源的数学模型及分类

一维离散信源的信息熵 信息熵的性质 递增性
越琐碎越烦人 熵是衡量烦人程度的一个量
30
∑p
i =1
n
i
=1
∑q
j =1
m
j
= pn
qm q1 q2 H ( p1 , p2 ,..., pn−1 , q1 , q2 ,...,qm ) = H ( p1 , p2 ,.., pn−1 , pn ) + pn H ( , ,..., ) pn pn pn
一维离散信源的信息熵 信息熵的概念 信息熵的定义(1)
23
⎡ 1 ⎤ H ( X ) = −∑ pi log pi = E ⎢log ⎥ p( xi ) ⎦ i =1 ⎣
n
这是一个正数 自信息量的数学期望 Shannon的信息熵是直接从三个性质推导出来的

i =1
n
只与概率空间结构有关，与各概率的顺序无关。

一维离散信源的信息熵 信息熵的性质 确定性
29
H (1,0) = H (0,1) = H (1,0,0,...,0) = 0
消息一定的信源没有不确定性，没有信息量。

32

一维离散信源的信息熵
信息熵的性质 上凸性(1)
f(x) B
33
A x
曲线f(x)任意取两点A、B，AB之间的函数值在线段AB之上。

一维离散信源的信息熵 信息熵的性质 上凸性(2)
⎡ A2 ⎢ p2 ⎢ ⎣ p 2 + p3
p1 p2 p3
X1
A3 p3 p 2 + p3 ⎤ ⎥ ⎥ ⎦
+
Step2
X2
p1 p2 p2+p3 p3
p3 p2 , ) H( p1, p2 , p3 ) = H( p1, p2 + p3 ) + ( p2 + p3 )H( p2 + p3 p2 + p3
乙
甲乙谁中靶不确定性更大？

一维离散信源的信息熵 熵的推导 打靶试验
16
甲
⎡A A ⎤ ⎥ ⎢ ⎣0.5 0.5 ⎦
⎡ A A ⎤ ⎢ ⎥ 0.99 0.01 ⎦ ⎣
乙
在甲乙射击之前，到甲乙打完之后， 一次打靶从谁哪里获得的信息更多？
一维离散信源的信息熵 熵的推导 公理1
(考虑极端情形)
18
对有n个等概率结果的试验，H是n的单调上升函数

一维离散信源的信息熵 熵的推导 分步试验
Step1
19
X
⎡A1 A2 A3 ⎤ ⎢p p p ⎥ ⎣ 1 2 3⎦
⎡A B ⎤ ⎢p p + p ⎥ ⎣ 1 2 3⎦
分拆
公理2：一个试验分成相继的两个试验时，未分之前的H是分步之后H的加权和。
p3 p2 , ) H( p1, p2 , p3 ) = H( p1, p2 + p3 ) + ( p2 + p3 )H( p2 + p3 p2 + p3
作业：用熵定义式证明熵的递增性。

一维信源的数学模型及分类 一维信源的分类 一维离散信源(1) X的元素个数有限
6
⎡X ⎤ ⎡x1 x2 ... xk ⎤ ⎢ P⎥ = ⎢ p p ... p ⎥ k⎦ ⎣ ⎦ ⎣ 1 2
∑p
i =1
n
i
= 1 概率：规一化

一维信源的数学模型及分类 一维信源的分类 一维离散信源(2) X的元素个数无限但可数

一维离散信源的信息熵 熵的推导
20
公理2 一个试验分成相继的两个试验时，未分之前的H是分步之后H的 加权和。
ቤተ መጻሕፍቲ ባይዱ
H( p1, p2 , p3 ) = H( p1, p2 + p3 ) + ( p2 + p3 )H(
p p2 , 3 ) p2 + p3 p2 + p3
一维信源的数学模型及分类 一维信源的分类 一维连续信源(2)
11
⎡ X ⎤ ⎡(a, b)⎤ ⎢ p ( x ) ⎥ = ⎢ p ( x) ⎥ ⎣ ⎦ ⎣ ⎦
∫
b
a
p ( x ) dx = 1
每次只输出一个消息，但消息数不可数。 p(x)为概率密度函数 例：任何一个时刻的电压分布等。


一维离散信源的信息熵 熵的推导
21
公理1：对有n个等概率结果的试验，H是n的单调上升函数； 公理2：一个试验分成相继的两个试验时，未分之前的H是分步之后H的加权和； 公理3：H是概率p(Ai)的连续函数。
H = − C ∑ p i log p i
一维离散信源的信息熵
信息熵的性质
31
1 ⎤ ⎡X ⎤ ⎡0 =⎢ ⎢ P ⎥ ω 1-ω ⎥ ⎣ ⎦ ⎣ ⎦
H ( X ) = −ω log ω − (1 − ω ) log(1 − ω )
非负性 极值性 上凸性

一维离散信源的信息熵 信息熵的性质 非负性 0≤pi≤1 log pi≤0 H(X)≥0 0≤pi
27
从定义直接得到
记住一维熵函数的图象
小概率事件对熵影响小

一维离散信源的信息熵 信息熵的性质 对称性
28
H ( p1 , p 2 ,..., p n ) = −∑ pi log pi = H ( pl1 , pl 2 ,.., p ln )
一维离散信源的信息熵 信息熵的性质 极值性(2)
0≤ x ≤1 和为1 和为1的正数
36
ϕ(x) = −x logx
上凸函数
xi = pi
Jensen不等式
λi =
1 n
1 n 1 1 − ∑ p i log p i ≤ − log n i =1 n n
1 1 H ( p1 , p 2 ,..., p n ) ≤ log n = H ( ,..., ) n n
12
一维离散信源的信息熵

13
一维离散信源的信息熵
注意 本节讨论的是消息数有限的一维离散熵 消息数无限(包括可数离散、连续)以后讨论

一维离散信源的信息熵 熵的推导 打靶试验
14