第2章 信源与信息熵
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
29
2.2离散信源熵与互信息
Eg1 设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子 所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的 顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的 行（或列）编号告诉乙，再令乙猜测棋子所在列（或 行）所在的位置。
以3位PCM信源为例
, U 111 U L U 000, U 001 3 2 3 p(u) p0 , p p , p 0 1 1
9
2.1信源描述与分类
当p=1/2
, U 111 U L U 000, U 001 1 , 1 p(u ) 1 , 8 8 8
31
（2）条件（自）信息量为
2.2离散信源熵与互信息
Eg2. 一个布袋内放100个球，其中80个球为红色，20 球为白色。若随机摸取一个球，猜测其颜色，求平均 摸取一次所获得的（自）信息量。 解：随机事件的概率空间为
X x1 x 2 P 0.8 0.2
32
直观推导信息测度
信息I应该是消息概率p的递降函数
pi , I ( pi ) , 且当pi 0时, I ( pi ) pi , I ( pi ) , 且当pi 1时, I ( pi ) 0
由两个不同的消Fra Baidu bibliotek（相互统计独立）所提供的信息等 于它们分别提供信息之和（可加性）
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
13
2.1信源描述与分类
• 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进 行分析，现方法将矢量转化为状态变量。 定义状态：
lim p p j k p j 0
(k ) ij i 0
p j pi pij
p
j
j
1
19
2.1信源描述与分类
• 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态 转移矩阵为P，其稳态分布为wj
w
j
j
1
WP W
20
2.1信源描述与分类
不可约性，对于任意一对I和j， 都存在 至少一个k，使pij(k)>0. 非周期性，所有pij(n)>0的n中没有比1大 的公因子。 定理：设P是某一马尔可夫链的状态转 移矩阵，则该稳态分布存在的充要条件 是存在一个正整数N，使矩阵PN中的所 有元素均大于零。
5
2.1信源特性与分类
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
6
2.1信源描述与分类
• 描述：通过概率空间描述
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
1
2.1信源的描述与分类
• 信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源 • 信源的基本特性是具有随机不确定性
2
2.1信源特性与分类
• 分类
时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源
3
2.1信源特性与分类
• 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色放回布袋， 再取另一个球。
30
2.2离散信源熵与互信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此 棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为
1 p ( xi , y j ) 64
1 I ( xi , y j ) log 2 p( xi , y j ) log 2 6bit 64 p( xi , y j ) 1 I ( xi / y j ) log2 p( xi / y j ) log2 log2 3bit p( y j ) 8
28
2.2离散信源熵与互信息
• 联合自信息、条件自信息与自信息间的关系
p ( x, y ) p ( x ) p ( y / x ) p ( y ) p ( x / y ) I ( x, y ) log p( x, y ) log p( x) p( y / x) log p( x) log p( y / x) I ( x) I ( y / x) 当x和y相互独立 I ( xy) I ( x) I ( y ) 推广 I ( x1 x2 x N ) I ( x1 ) I ( x2 / x1 ) I ( x N / x1 x2 x N 1 )
26
2.2离散信源熵与互信息
定义：对于给定的离散概率空间表示的信 源，x=ai事件所对应的（自）信息为
1 I ( xi ai ) log p( xi ) log p( xi )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
• 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两 个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
p( X1 , X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X L1 )
12
2.1信源描述与分类
pij (m, n) PS n s j / S m si Ps j / si pij (m, n) 0 pij (m, n) 1 j
15
2.1信源描述与分类
• 马尔可夫信源 特别关心n-m=1情况，pij(m,m+1)
pij (m) PS m 1 s j / S m si pij pij 0 pij 1 j k步转移概率为: (k ) (k ) pij (m) PS m k j / S m i pij
i
33
2.2离散信源熵与互信息
• 单符号离散信源熵
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi ) log p( xi )
i
34
2.2离散信源熵与互信息
• 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随 机变量I（x/y)在集合X上的数学期望为给定y条件下信 源的条件熵，单位为比特/序列
27
2.2离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）信 息量为：
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
定义：联合概率空间中，事件x在事件y给定条件下的 条件（自）信息量为：
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
7
2.1信源描述与分类
连续信源
U (a, b) p(u ) p(u )
u U (,), p(u )为概率密度函数
8
2.1信源描述与分类
离散序列信源
U L U u1 , U u 2 , U u n L p(u ) p(u 2 ), p(u n L ) p(u1 ),
p( X1, X 2 ,, X l , X L ) p( X1 ) p( X 2 ) p( X L )
4
2.1信源特性与分类
• 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两 个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
p( X1 , X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X L1 )
2.1信源描述与分类
• 信息量
自信息量 联合自信息量 条件自信息量
• 单符号离散信源熵
符号熵 条件熵 联合熵
24
2.1信源描述与分类
• 信息
– 不确定性的消除
• 信息的度量
– 随机性、概率 – 相互独立符合事件概率相乘、信息相加
• 熵
– 事件集的平均不确定性
25
2.2离散信源熵与互信息
21
2.1信源描述与分类
• Eg. 一个相对编码器，求平稳分布
X +
Y
T
22
2.1信源描述与分类
• Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态 00 01
S1(00)
1/2 0
S2(01)
1/2 0
S3(10)
0 1/3
S4(11)
0 2/3
10
11
1/4
0
3/4
0
0
1/5
0
4/5
23
17
2.1信源描述与分类
• 马尔可夫信源 k步转移概率pij(k)与l步和k-l步转移概率 之间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态I转移到状态j的概率 与m无关，则称这类MovKov链为齐次
对于齐次马尔可夫链，一步转移概率完 全决定了k步转移概率。
18
2.1信源描述与分类
• 马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在 不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
2.2离散信源熵与互信息
I ( x1 ) log2 p( x1 ) log2 0.8bit I ( x 2 ) log2 p( x 2 ) log2 0.2bit N次后所获得的信息量为 I Np ( x1 ) I ( x1 ) Np ( x 2 ) I ( x 2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息 量为 I p( x1 ) I ( x1 ) p( x 2 ) I ( x 2 ) p( xi ) log p( xi )
单符号离散信源
U U u1 , U u 2 , , U u n p2 , , pn p(u ) p1 ,
例如：对二进制数字与数据信源
U 0, p p0 ,
0, 1 1 1 1 p1 , 2 2
10
2.1信源描述与分类
• 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色放回布袋， 再取另一个球。
p( X1, X 2 ,, X l , X L ) p( X1 ) p( X 2 ) p( X L )
11
2.1信源描述与分类
16
2.1信源描述与分类
• 马尔可夫信源 系统在任一时刻可处于状态空间的任意 一状态，状态转移时，转移概率是一个 矩阵， 一步转移转移矩阵为 p { pij , i, j S} p11 p12 p1Q p p 2Q P 21 pQ1 pQ 2 pQQ
si ( xi1, xi 2 , xim ) xij A a1,an
信源在某一时刻出现符号概率xj与信源 此时所处状态si有关，用条件概率表示 p(xj/si),状态转移概率表示为p(sj/si)
14
2.1信源描述与分类
• 马尔可夫信源 更一般，经过n-m步后转移至sj的概率
2.2离散信源熵与互信息
Eg1 设在一正方形棋盘上共有64个方格，如果甲将一 粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子 所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的 顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的 行（或列）编号告诉乙，再令乙猜测棋子所在列（或 行）所在的位置。
以3位PCM信源为例
, U 111 U L U 000, U 001 3 2 3 p(u) p0 , p p , p 0 1 1
9
2.1信源描述与分类
当p=1/2
, U 111 U L U 000, U 001 1 , 1 p(u ) 1 , 8 8 8
31
（2）条件（自）信息量为
2.2离散信源熵与互信息
Eg2. 一个布袋内放100个球，其中80个球为红色，20 球为白色。若随机摸取一个球，猜测其颜色，求平均 摸取一次所获得的（自）信息量。 解：随机事件的概率空间为
X x1 x 2 P 0.8 0.2
32
直观推导信息测度
信息I应该是消息概率p的递降函数
pi , I ( pi ) , 且当pi 0时, I ( pi ) pi , I ( pi ) , 且当pi 1时, I ( pi ) 0
由两个不同的消Fra Baidu bibliotek（相互统计独立）所提供的信息等 于它们分别提供信息之和（可加性）
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
13
2.1信源描述与分类
• 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进 行分析，现方法将矢量转化为状态变量。 定义状态：
lim p p j k p j 0
(k ) ij i 0
p j pi pij
p
j
j
1
19
2.1信源描述与分类
• 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态 转移矩阵为P，其稳态分布为wj
w
j
j
1
WP W
20
2.1信源描述与分类
不可约性，对于任意一对I和j， 都存在 至少一个k，使pij(k)>0. 非周期性，所有pij(n)>0的n中没有比1大 的公因子。 定理：设P是某一马尔可夫链的状态转 移矩阵，则该稳态分布存在的充要条件 是存在一个正整数N，使矩阵PN中的所 有元素均大于零。
5
2.1信源特性与分类
• 马尔可夫信源 当信源的记忆长度为m+1时，该时该发 出的符号与前m个符号有关联性，而与 更前面的符号无关。
p( X1, X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X Lm )
6
2.1信源描述与分类
• 描述：通过概率空间描述
第2章 信源与信息熵
信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度
1
2.1信源的描述与分类
• 信源是产生消息（符号）、消息序列和连 续消息的来源。从数学上，由于消息的不 确定性，因此，信源是产生随机变量、随 机序列和随机过程的源 • 信源的基本特性是具有随机不确定性
2
2.1信源特性与分类
• 分类
时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源
3
2.1信源特性与分类
• 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色放回布袋， 再取另一个球。
30
2.2离散信源熵与互信息
解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此 棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为
1 p ( xi , y j ) 64
1 I ( xi , y j ) log 2 p( xi , y j ) log 2 6bit 64 p( xi , y j ) 1 I ( xi / y j ) log2 p( xi / y j ) log2 log2 3bit p( y j ) 8
28
2.2离散信源熵与互信息
• 联合自信息、条件自信息与自信息间的关系
p ( x, y ) p ( x ) p ( y / x ) p ( y ) p ( x / y ) I ( x, y ) log p( x, y ) log p( x) p( y / x) log p( x) log p( y / x) I ( x) I ( y / x) 当x和y相互独立 I ( xy) I ( x) I ( y ) 推广 I ( x1 x2 x N ) I ( x1 ) I ( x2 / x1 ) I ( x N / x1 x2 x N 1 )
26
2.2离散信源熵与互信息
定义：对于给定的离散概率空间表示的信 源，x=ai事件所对应的（自）信息为
1 I ( xi ai ) log p( xi ) log p( xi )
以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit
• 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两 个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
p( X1 , X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X L1 )
12
2.1信源描述与分类
pij (m, n) PS n s j / S m si Ps j / si pij (m, n) 0 pij (m, n) 1 j
15
2.1信源描述与分类
• 马尔可夫信源 特别关心n-m=1情况，pij(m,m+1)
pij (m) PS m 1 s j / S m si pij pij 0 pij 1 j k步转移概率为: (k ) (k ) pij (m) PS m k j / S m i pij
i
33
2.2离散信源熵与互信息
• 单符号离散信源熵
定义：对于给定离散概率空间表示的信源 所定义的随机变量I的数学期望为信源的信 息熵，单位为比特/符号
H ( X ) E[ I ( x)] p( xi ) log p( xi )
i
34
2.2离散信源熵与互信息
• 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随 机变量I（x/y)在集合X上的数学期望为给定y条件下信 源的条件熵，单位为比特/序列
27
2.2离散信源熵与互信息
定义：联合概率空间中任一联合事件的联合（自）信 息量为：
1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )
定义：联合概率空间中，事件x在事件y给定条件下的 条件（自）信息量为：
1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )
7
2.1信源描述与分类
连续信源
U (a, b) p(u ) p(u )
u U (,), p(u )为概率密度函数
8
2.1信源描述与分类
离散序列信源
U L U u1 , U u 2 , U u n L p(u ) p(u 2 ), p(u n L ) p(u1 ),
p( X1, X 2 ,, X l , X L ) p( X1 ) p( X 2 ) p( X L )
4
2.1信源特性与分类
• 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两 个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色不放回布袋， 再取另一个球。
p( X1 , X 2 ,, X L ) p( X1 ) p( X 2 / X1 ) p( X L / X1 X L1 )
2.1信源描述与分类
• 信息量
自信息量 联合自信息量 条件自信息量
• 单符号离散信源熵
符号熵 条件熵 联合熵
24
2.1信源描述与分类
• 信息
– 不确定性的消除
• 信息的度量
– 随机性、概率 – 相互独立符合事件概率相乘、信息相加
• 熵
– 事件集的平均不确定性
25
2.2离散信源熵与互信息
21
2.1信源描述与分类
• Eg. 一个相对编码器，求平稳分布
X +
Y
T
22
2.1信源描述与分类
• Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态 00 01
S1(00)
1/2 0
S2(01)
1/2 0
S3(10)
0 1/3
S4(11)
0 2/3
10
11
1/4
0
3/4
0
0
1/5
0
4/5
23
17
2.1信源描述与分类
• 马尔可夫信源 k步转移概率pij(k)与l步和k-l步转移概率 之间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态I转移到状态j的概率 与m无关，则称这类MovKov链为齐次
对于齐次马尔可夫链，一步转移概率完 全决定了k步转移概率。
18
2.1信源描述与分类
• 马尔可夫信源 定义：若齐次马尔可夫链对一切I,j存在 不依赖于I的极限，则称其具有遍历性， pj称为平稳分布
2.2离散信源熵与互信息
I ( x1 ) log2 p( x1 ) log2 0.8bit I ( x 2 ) log2 p( x 2 ) log2 0.2bit N次后所获得的信息量为 I Np ( x1 ) I ( x1 ) Np ( x 2 ) I ( x 2 ) (0.8 log2 0.8 0.2 log2 0.2) N 平均每次所获得的信息 量为 I p( x1 ) I ( x1 ) p( x 2 ) I ( x 2 ) p( xi ) log p( xi )
单符号离散信源
U U u1 , U u 2 , , U u n p2 , , pn p(u ) p1 ,
例如：对二进制数字与数据信源
U 0, p p0 ,
0, 1 1 1 1 p1 , 2 2
10
2.1信源描述与分类
• 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由 两个球的颜色组成的消息就是符号序列。 若先取出一个球，记下颜色放回布袋， 再取另一个球。
p( X1, X 2 ,, X l , X L ) p( X1 ) p( X 2 ) p( X L )
11
2.1信源描述与分类
16
2.1信源描述与分类
• 马尔可夫信源 系统在任一时刻可处于状态空间的任意 一状态，状态转移时，转移概率是一个 矩阵， 一步转移转移矩阵为 p { pij , i, j S} p11 p12 p1Q p p 2Q P 21 pQ1 pQ 2 pQQ
si ( xi1, xi 2 , xim ) xij A a1,an
信源在某一时刻出现符号概率xj与信源 此时所处状态si有关，用条件概率表示 p(xj/si),状态转移概率表示为p(sj/si)
14
2.1信源描述与分类
• 马尔可夫信源 更一般，经过n-m步后转移至sj的概率