第2章 离散信源熵

1
0 p(ai ), p(bj ), p(bj ai ), p(ai b j ), p(ai b j ) 1
8
2
3 4 5 6
p(a ) 1, p(b ) 1, p(b
i 1 i j 1 j j 1
n
m
m
j
ai ) 1,
p(a
i 1
n
i
b j ) 1, p (ai b j ) 1
单位：比特(2为底)、奈特、笛特（哈特）.三者之间的关系如下：
1nat log 2 e 1 .433bit 1bit 0 .693nat
1Hart log 2 10 3 .322bit
1bit 0 .301Hart
由式(2.2.3)可知，一个以等概率出现的二进制码元(0,1)所包含的 自信息量为1bit。
Leabharlann Baidu

(2.2.4)
0 p(aibj ) 1(i 1,2, , n; j 1,2, , m),
p(a b ) 1
i 1 j 1 i j
n
m
I (ai b j ) log p(ai b j )
代入式(2.2.3)，有
p(aib j ) p(ai ) p(b j ) 当 X 与 Y 相互独立时有：
23
证明：自然对数具有性质 当 x 0时， ln x x 1 ，并且当且仅当 x 1 时，该式取等号。
图2.2.3 自然对数的性质
24
n n 1 1 H ( X ) log n p(ai )log p(ai )log n p(ai )log p(ai ) i 1 np(ai ) i 1 i 1 n
故有 H ( X ) log n ，式中 p(ai ) 1。
n
1 1 当且仅当 x 1 ，即 p(ai ) 时，上式等号成立。 n np(ai )
i 1
对于单符号离散信源，当信源呈等概率分布时具有最大熵。
25
例
一般二元信源的熵
H ( X ) [ p log p (1 p) log(1 p)]
p(ai b j ) p(ai b j )
n
p(a b )
i 1 i j
, p(b j ai )
p(ai b j )
p( a b )
j 1 i j
9
m
1.自信息量
信息量
自信息量
联合 自信息量
条件 自信息量
10
自信息量：
I (ai ) log p(ai )
(2.2.3)
其中 p ( ai )满足
0 p(ai ) 1, p(ai ) 1
i 1 n
(2.2.1)
(2.2.2)
需要注意的是：大写字母X、Y、Z 代表随机变量，指的是信
源整体。带下标的小写字母: a i、 bk、 cl , 代表随机事件的 某一结果或信源的某个元素。两者不可混淆。 7
2.2.2 自信息量及其性质
条 件 熵
信 源 熵
联 合 熵
17
1. 信源熵的定义
1 信源熵 已知单符号离散无记忆信源的数学模型
X a1 , a2 , , ai , , an P ( X ) p ( a ), p ( a ), , p ( a ), , p ( a ) 1 2 i n
j 1 i 1
m
n
p(a b ) p(b ), p(a b ) p(a )
i 1 i j j j 1 i j i
n
m
p(ai bj ) p(bj ) p(ai bj ) p(ai ) p(bj ai )
当 X 与 Y 相互独立时
p(aib j ) p(ai ) p(b j ), p(b j ai ) p(b j ), p(ai b j ) p(ai )
随机变量X、Y分别取值于集合
{a1 , a2 , , ai , , an }, {b1 , b2 , , bj , , bm }
联合随机变量 XY 取值于集合
{ai b j | i 1, 2,
, n, j 1, 2,
, m}
记 p(ai bj ) P( X ai , Y b j ) ，无条件概率、条件概率、联合 概率满足下面一些性质和关系：
1 令x ，引用 ln x x 1, x 0，并注意 log x ln x log e ，得 np(ai ) n n 1 1 n H ( X ) log n [ p(ai )]log e [ p(ai )] 0 i 1 n i 1 n i 1
i 1 j 1 i 1 j 1 n m n m
H (X Y )
X
Y
H (Y X )
X
Y
H ( XY )
X
Y
22
熵的文氏图表示
2. 信源熵的基本性质和定理
1 非负性
H ( X ) H [ p(a1 ), p(a2 ), , p(an )] p(ai ) log p(ai )
i 1 n
2
对称性
H ( X ) H [ p(a1 ), p(a2 ), , p(an )] H [ p(a2 ), p(a1 ), , p(an )]
3
最大离散熵定理
信源中包含n个不同离散消息时，信源熵H(X)有
H ( X ) log 2 n
当且仅当X中各个消息出现的概率全相等时，上式取等号。
(2.2.12)
1 1 当 p (0) p (1) 时， 有 : I (0) I (1) log 2 log 2 2 1bit 2 2
11
例[2.2.1]
某地二月份天气的概率分布统计如下：
a ( 晴 ), a ( 阴 ), a ( 雨 ), a ( 雪 ) 1 2 3 4 X 1 1 1 P( X ) 1 , , , 4 8 8 2
I (aib j ) log p (aib j ) log p (ai )p ( b j ai ) I (ai ) I (b j ai ) log p(b j )p( ai b j ) I (b j ) I (ai b j )
16
2.2.3 信源熵及其性质
熵
这四种气候的自信息量分别为 :
I ( a1 ) 1 bit，I ( a 2 ) 2bit，
I ( a3 ) 3bit，I ( a 4 ) 3bit。
12
2.自信息量的性质
1
I ( ai ) 是非负值。
图2.2.1 对数曲线
13
2 当 p ( a i ) 1时， I ( a i ) 0
3
信息度量的方法有：结构度量、统计度量、语义度量、
语用度量、模糊度量等等。最常用的方法是统计度量。它用
事件统计发生概率的对数描述事物的不确定性，得到消息的
信息量，建立熵的概念。熵概念是香农信息论最基本最重要 的概念。
举例：考研 从随机变量出发来研究信息，正是香农信息论的基 本假说
4
1.1
基
本
概
念
I (aib j ) log p(ai ) log p(b j ) I (ai ) I (b j )
(2.2.5)
15
4.条件自信息量
I (ai b j ) log p(ai b j ) I (bj ai ) log p(bj ai )
不确定度表示含有多少信息，信息量表示 随机事件发生后可以得到多少信息。 联合自信息量和条件自信息也满足非负和单调递减性 ，同时， 它们也都是随机变量，其值随着变量 ai、 b j 的变化而变化。 自信息量、条件自信息量和联合自信息量之间有如下关系式：
27
5
确定性
H (1, 0) H (1, 0, , 0) H (0,1, , 0) 0
第 2 章
离 散 信 源 熵
1
1.1
基
本
概
念
第2章
2.2
离散信源熵的基本概念和性质
2.3
多 符号 离 散 平 稳 信 源 熵
2
信 源
信源 编码
加 密
信道 编码
信 道
信道 译码
解 密
信源 译码
信 宿
图1.3.1 通信系统基本模型 通信系统中有一样东西很奇特，收者有所得，送者并无所失。 这东西到底是什么？我们能不能度量它？而它与物质大不相同，处 处存在又看不见摸不着，怎么度量？选择我们已经知道这个东西就 是“信息”。由上图可见，通信系统的源头是信源。我们就从容易 计量的离散信源入手研究信息。 信息论是在信息可以度量的前提下，研究有效地、可靠地、 安全地传递信息的科学。
（2.2.7）
信源的信息熵；香农熵；无条件熵；熵函数；熵。 单位：比特/符号。
19
例[2.2.2]
继续讨论第一节的例题，即某地二月份天气信源为
a ( 晴 ), a ( 阴 ), a ( 雨 ), a ( 雪 ) 1 2 3 4 X 1 1 1 P( X ) 1 , , , 4 8 8 2
其中 0 p ( ai ) 1, i 1,2, , n, 且 p ( ai ) 1
i 1
n
这里的符号是指代表信源整体的X
18
各离散消息自信息量的数学期望，即信源 的平均信息量。
信源熵
n 1 H ( X ) E[ I (ai )] E[log2 ] p(ai ) log2 p(ai ) p(ai ) i 1
信源熵H(X)表示信源输出前，信源的平均不确定度。
信源熵H(X)反映了变量X的随机性。
m n m n
3
2 条件熵
H ( X Y ) E[ I (ai b j )] p(aib j ) I (ai b j ) p(aib j )log p(ai b j )
j 1 i 1 j 1 i 1
6
对于离散随机变量，取值于集合
a1
, a 2 , , ai , , a n
对任一 a i 记 p ( ai ) P ( X ai ) 单符号离散信源的数学模型为
, ai , , an X a1 , a2 , P( X ) p(a ), p(a ), , p(a ), , p(a ) 1 2 i n
由式(2.2.7)的定义，该信源的熵为
1 1 1 1 1 1 H ( X ) log2 log2 ( log2 ) 2 1.75(bit sign) 2 2 4 4 8 8
20
总括起来，信源熵有三种物理含义：
1 信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。 2
H (Y X ) E[ I (b j ai )] p(aib j )log p(b j ai )
i 1 j 1
n
m
(2.2.8) (2.2.9)
21
3 联合熵
H ( XY ) p(aib j ) I (aib j ) p(aib j )log p(aib j )
第2章
2.2
离散信源熵的基本概念和性质
2.3
多 符号 离 散 平 稳 信 源 熵
5
2.2.1 单符号离散信源的数学模型 信源
信道
信宿
噪声
干扰源
简单通信系统模型 离散信源：信源输出的是一个个符号，这些符号的取值 是有限的或可数的。 单符号离散信源：只涉及一个随机事件的离散信源。可 用离散随机变量来描述。
图2.2.4 N=2时，熵与概率的关系
26
4
扩展性
lim H n 1 [ p(a1 ), p(a2 ),
0
, p(an ) , p(an 1 ) ] , p(an )]
H n [ p(a1 ), p(a2 ),
0
lim log 0
虽然概率很小的事件出现后，给予接收者的信 息量很大，但对熵的贡献很小，可以忽略不计。
3 当 p ( a i ) 0时， I ( a i )
4
值得注意的是： ai 是一个随机量，而
I ( ai )是 p ( ai ) 的单调递减函数。
I (ai ) 是 ai 的函数，
所以自信息量也是
一个随机变量，它
没有确定的值。
图2.2.2 自信息量曲线
14
3.联合自信息量
, a1bm , , an b1 , , an bm XY a1b1 , P( XY ) p(a1b1 ), , p(a1bm ), , p(an b1 ), , p(an bm )