第2章信源与信息熵

a2 X a1 P( x) 0.88 0.12
Y b1 b2 P( y ) 0.5 0.5
H(X)=-0.88log0.88-0.12log0.12=0.529bit/符号 H(Y)=-0.5log0.5-0.5log0.5=1bit/符号
若2个符号不独立：
I (ai , b j ) log[ P(ai ) P(b j ai )] log P(ai ) log P(b j ai ) I (ai ) I (b j ai )
普通高等教育“十五”国家级规划教材《信息论与编码》
13
2.2离散信源熵与互信息
例1 设在一正方形棋盘上共有64个方格，如果甲将 一粒棋子随意地放在棋盘中的某方格内，让乙猜 测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格 的顺序号。 （2）将方格按行和列编号，甲将棋子所在的方 格的行（或列）编号告诉乙，再令乙猜测棋子所 在列（或行）所在的位置。
当p=1/2
X 000 001 111 1 1 1 P ( X ) 8 8 8
普通高等教育“十五”国家级规划教材《信息论与编码》
7

离散序列有记忆信源
P( X 1 , X 2 ,, X N ) P( X N X 1 ,, X N 1 ) P( X 1 ,, X N 1 )
i, j
普通高等教育“十五”国家级规划教材《信息论与编码》
25
2.2离散信源熵与互信息
例：若有6行8列的棋形方格，现有两个质点A和B， 分别以等概率落入任一方格内，但不能落入同一 方格内，求A，B同时都落入的平均信息量。
普通高等教育“十五”国家级规划教材《信息论与编码》
26
2.2离散信源熵与互信息
第2章 信源与信息熵



信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》
1
2.1信源的描述与分类

信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源
i 1 j 1 n m
m
j 1
普通高等教育“十五”国家级规划教材《信息论与编码》
23
2.2离散信源熵与互信息
例：已知信源X和Y都是由0和1两个符号构成，XY 的联合概率为： P(a1=0,b1=0)=P(a2=1,b2=1)=1/8 P(a1=0,b2=1)=P(a2=1,b1=0)=3/8 计算条件熵 H ( X Y )

对于接收到符号bj后，对发送符号ai保留的不确定 性
普通高等教育“十五”国家级规划教材《信息论与编码》
I (ai b j ) log P(ai b j )
21
2.2离散信源熵与互信息
离散信源条件熵 对于接收到符号bj后，对整个集合X保留的平均不 确定性

H ( X b j ) E X {[ I ( P ai b j )]} P(ai b j ) log P(ai b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
14
2.2离散信源熵与互信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内， 因此棋子在棋盘中所处位置为二维等概率分布
1 p ( xi , y j ) 64
（1）联合（自）信息量为
1 I ( xi , y j ) log 2 p( xi , y j ) log 2 6bit 64
P( X ) P( X 1 X 2 X L ) P( X 1 ) P( X 2 ) P( X L ) [ P( X )]L
普通高等教育“十五”国家级规划教材《信息论与编码》
6
以3位PCM信源为例
X 000 001 111 3 2 3 P 1 1 P( X ) P0 P0 P
普通高等教育“十五”国家级规划教材《信息论与编码》
3
2.1信源描述与分类
描述：通过概率空间描述 单符号离散无记忆信源

a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n
例如：二进制数字与数据信源
X 0 P( x) P 0
12

可加性。2个符号的联合信息量
I (ai , b j ) log P(ai , b j )
若2个符号独立：
I (ai , b j ) log[ P(ai ) P(b j )] log P(ai ) log P(b j ) I (ai ) I (b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
9
2.2离散信源熵与互信息

定义：联合概率空间中任一联合事件的联合（自） 信息量为： 1 I (ai , b j ) log log P(ai , b j ) P(ai , b j )
定义：联合概率空间中，事件ai在事件bj给定条件 下的条件（自）信息量为：

离散信源平均互信息
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
普通高等教育“十五”国家级规划教材《信息论与编码》
20
2.2离散信源熵与互信息
三、离散信源条件熵 假设有两个集合X和Y
a2 an X a1 P( x) P( a ) P( a ) P( a ) 1 2 n b2 bm Y b1 P( y) P(b ) P(b ) P(b ) 1 2 m
普通高等教育“十五”国家级规划教材《信息论与编码》
24
2.2离散信源熵与互信息
四、离散信源联合熵

定义：对于给定离散概率空间表示的信源所定义 的随机变量I（x，y)的数学期望为集合X和集合Y 的信源联合熵，单位为比特/序列
H ( XY ) E[ I ( xy)] p( xi , y j )log p( xi , y j )
信源的基本特性是具有随机不确定性

普通高等教育“十五”国家级规划教材《信息论与编码》
2
2.1信源特性与分类

分类
（1）离散信源：时间上和幅度上都离散 连续信源：时间上或幅度上连续 （2）无记忆信源：信源输出的符号相互独立 有记忆信源：信源输出的符号相互关联 （3）单符号离散信源：信源输出一个符号表示一个信息 符号序列信源：信源输出两个或两个以上的符号表 示一个信息
i
普通高等教育“十五”国家级规划教材《信息论与编码》
18
2.2离散信源熵与互信息


含义：
信源输出符号后提供的平均信息量 信源输出符号前，存在的平均不确定性，是固有 的。 反映了信源的随机性

普通高等教育“十五”国家级规划教材《信息论与编码》
19
2.2离散信源熵与互信息
例2. 有两个信源，概率空间分别为
5
b
2.1信源描述与分类

离散序列无记忆信源
X (a1 , a1 , a1 ) (a1 , a1 , a2 ) (an , an , an ) P ( a , a a ) P ( a a a ) P ( a , a a ) P ( X ) 1 2 2 2 n n n 1 1
假设有两个集合X和Y

对于接收到符号bj后，获得的发送符号ai的信息量
普通高等教育“十五”国家级规划教材《信息论与编码》 P( ai )
I (ai , b j ) I (aHale Waihona Puke Baidu ) I (ai b j ) log
P(ai b j )
X x1 x2 P 0.8 0.2
普通高等教育“十五”国家级规划教材《信息论与编码》
17
2.2离散信源熵与互信息
I ( x1 ) log 2 p( x1 ) log 2 0.8bit I ( x2 ) log 2 p( x2 ) log 2 0.2bit N 次后所获得的信息量为 I Np( x1 ) I ( x1 ) Np( x2 ) I ( x2 ) ( 0.8log 2 0.8 0.2 log 2 0.2) N 平均每次所获得的信息量为 I p( x1 ) I ( x1 ) p( x2 ) I ( x2 ) p ( xi ) log p ( xi )
2.2离散信源熵与互信息
一、自信息

定义：对于给定的离散概率空间表示的信源， x=ai事件所对应的（自）信息为
1 I (ai ) log log P(ai ) P(ai )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
P( X N X 1 ,, X N 1 ) P( X N 1 X 1 ,, X N 2 ) P( X 1 ,, X N 2)
P( X N X 1 ,, X 1 ) P( X 2 X 1 ) P( X 1 )
普通高等教育“十五”国家级规划教材《信息论与编码》
8

1 I (ai b j ) log log P(ai b j ) P(ai b j )
普通高等教育“十五”国家级规划教材《信息论与编码》
10
2.2离散信源熵与互信息

含义
信源输出符号ai后提供的信息量 信源输出符号ai前，存在的不确定性，是固有的。
普通高等教育“十五”国家级规划教材《信息论与编码》
i 1
n
普通高等教育“十五”国家级规划教材《信息论与编码》
22
2.2离散信源熵与互信息
离散信源条件熵 对于接收到集合Y后，对整个集合X保留的平均不 确定性

H ( X Y ) EY [ H ( X b j )] P(b j )H ( X b j )
P(b j )P(ai b j ) log P(ai b j )

定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi )log p( xi)
i
普通高等教育“十五”国家级规划教材《信息论与编码》
16
2.2离散信源熵与互信息
例2. 一个布袋内放100个球，其中80个球为红色， 20球为白色。若随机摸取一个球，猜测其颜色， 求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为
1 0 1 P 1 2
1 1 2
4
普通高等教育“十五”国家级规划教材《信息论与编码》
2.1信源描述与分类

单符号连续无记忆信源
X ( a, b) p ( x) p ( x) X
满足 p X ( x)dx 1
a
普通高等教育“十五”国家级规划教材《信息论与编码》
（2）条件（自）信息量为
I ( xi / y j ) log2 p( xi / y j ) log2 p( xi , y j ) 1 log2 3bit p( y j ) 8
15
普通高等教育“十五”国家级规划教材《信息论与编码》
2.2离散信源熵与互信息
二、单符号离散信源熵
11
2.2离散信源熵与互信息


性质
当P(ai)=1时，I(ai)=0; 当P(ai)=0时，I (ai ) 非负性，即 I (ai ) 0 单调递减性。若 P(a1 ) P(a2 ) ，则 I (a1 ) I (a2 )


普通高等教育“十五”国家级规划教材《信息论与编码》