信息论第二章1PPT课件

1. 信息熵——平均自信息量
定义自信息的数学期望为信源的平均自 信息量，称信息熵。
1
q
H(X
)
E
log
P(ai
)
i 1
P(ai
) log
P(ai
)
2. 信息熵的物理含义 (1) H(X) 表示信源输出每个消息所提供
的平均信息量； (2) H(X) 表示信源输出前信源的平均不
确定性； (3) H(X) 可表征变量X(输出消息)的随
(1) f ( p应i ) 是先验概率 的P(a单i ) 调递减函数，
即 P(a1) 时 P, (a2 )
f [P(a1)] f [P(a2 )]
(2) 当 P(ai )时 1, f ( pi ) 0
(3) 当 P(ai ) 时 0, f ( pi )
(4) 两个独立事件的联合信息量应等于它们分
例2.4 甲地天气构成的信源空间
X
P( x)
晴， 阴， 大雨， 小雨
1
，
1，
1，
1
2 4
8
8
则
H ( X ) 7 1.75 bit
4
X ' 晴， 阴， 大雨， 小雨
P( x) 1， 0， 0， 0
H ( X ) 0 bit
X ' ' 晴， 阴， 大雨， 小雨
P( x)
机性。
说明：
X
P(
x
)
a1 , 0.99
a2 0.01
I (a1 ) 0.0145 I (a2 ) 6.6439 H ( X ) 0.0808
Y
P
(
y)
b1 0.5
b2 0.5
I (b1 ) 1 I (b2 ) 1 H (Y ) 1
(1)每个消息所提供的平均信息量（Y大） (2)信源的平均不确定性 (Y大) (3)信源输出的随机性 (Y大)
1
，
4
1， 4
1， 4
1
4
H ( X ) 4 1 log 4 2 bit 4
例2.4 乙地天气构成的信源空间
Y
P ( y)
获得了信息量。
例2.1 8个灯泡 x1 , x2 ,串联, x，8 已知一个灯 泡损坏，分析用万用表检查获得信息量 的过程。
(1) 未检查前的损坏可能性
1 P1( x) 8
其不确定性
I [ P1 (
x)]
log
1 1
3 bit
8
(2) 第一次测量后，可知4个灯泡之一是损
1
坏的，可能性
P2 ( x) 4
{a1 , a2 , a3 , a4 , a5 , a6 }
P(X
a1 )
Pቤተ መጻሕፍቲ ባይዱX
a2 )
P(X
a6 )
1 6
数学模型：一维离散随机变量 X
X
P(
x )
a1 p(a1 )
q
且
P(ai ) 1
i 1
a2 p(a2 )
aq p(aq )
例 掷色子
X
P(
x
)
a1 1 6
a2 1
6
a3 1
➢ 单个符号的离散信源的数学模型为
X a1,
a2, , aq
P( x) P(a1), P(a2 ), , P(aq )
q
P(ai ) 1
i 1
2.2.1 自信息
在绪论学习中，给出某消息自信息的定义
为：
I (ai
)
log
1 P(ai
)
获得信息量的大小与不确定性消除的多
少有关，消除对某事件发生的不确定性就
数学模型:一维连续信号变量X
X (a, b)
P(
x
)
p(
x
)
或
R
P(
x)
实数 概率密度
且
b
p( x)dx 1
或
a
p( x )dx 1
R
2.2 离散信源的信息熵
2.2.1 自信息 2.2.2 信息熵
2.2 离散信源的信息熵
➢ 本节讨论输出单个符号消息的信源的 信息测度—自信息和信息熵。
6
a4 1
6
a5 1
6
a6 1
6
6
P(ai ) 1
i 1
P(ai ) 是先验概率 ( i=1,2, …,q ) 特点： 消息数有限 （q个）
每次必定输出一个消息（完备）
2.1.2 连续信源(一个消息)
定义:可能输出的消息数是无限的或不可 数的,每次只输出一个消息。
举例:语音输出信号、压力信号等
3. 自信息的单位取决于对数所选取的底
底数 2，单位比特 底数 e，单位奈特 底数10，单位哈特
(bit) binary unit
(nat) nature unit
(Hart) 人名 Hartley
1奈特=1.44比特 1哈特=3.32比特
2.2.2 信息熵
前面定义的自信息是信源发出某一消息 所含有的信息量，不同消息信息量将不同， 则不I能(ai作) 为信源的信息测度。
不确定性
I[P2 ( x)]
log 2
1 1
2 bit
4
不确定性减少了！ 获信息量
I[P1( x)] I[P2 ( x)] 1 bit
(3) 第二次测量后，可知2个灯泡之一是坏
的可能性 不确定性 获信息量
1
P3 ( x) 2
1
I[P3 ( x)] log2 1 1 bit
2
I[P2 ( x)] I[P3 ( x)] 1 bit
别的信息量之和。
f [ p(a, b)] f [ p(a)] f [ p(b)]
log 1 log 1 log 1 log 1
P(a, b)
P(a)P(b)
P(a)
P(b)
2. 自信息函数 I(ai ) 的含义
事件 ai 发生前，表示事件 ai 发生的不确定性。
事件 ai 发生后，表示事件 ai 所含有（或所提 供）的信息量。
第二章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度
2.1 信源的数学模型及分类
2.1.1 离散信源（一个消息） 2.1.2 连续信源 (一个消息)
(4) 第三次测量后，可能性 P4 ( x) 1
不确定性
I[P4 ( x)]
log 2
1 1
0
获信息量 I[P3 ( x)] I[P4 ( x)] 1 bit
收到消息后获得的信息量=不确定性减少量
=信源消息含信息量（收后无不确定性）
1、自信息函数应满足的条件：I(ai )
I (ai ) f [P(ai )] f (Pi )
2.1 信源的数学模型及分类
➢ 信源产生消息、消息携带信息。 ➢ 研究信源各种可能的输出及输出的不确
定性，不研究信源的物理结构。
2.1.1 离散信源（一个消息）
定义：可能输出的消息数是有限的或可数 的，每次只输出一个消息，即两两不兼 容。
举例：掷色子出现1点用a1表示……
输出的消息只能取自符号集 A :