第三章 信源熵(3)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
H =H m 1 H3
i
Wi H X | si 5 1 1 5 H 0.8,0.2 H 0.5,0.5 H 0.5,0.5 H 0.8,0.2 14 7 7 14 0.8 比特/符号
p ak p si p ak | si
第三章 信源及信源熵(3)
上节课回顾
马尔可夫链基础知识 什么是马尔可夫链? 转移概率---转移概率矩阵 平稳性 遍历性
马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔
可夫链, 简记为 { X n X ( n), n 0,1,2,}.
转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
对于齐次遍历的马尔可夫链,其状态 si 由 xi xi xi 唯一确定,所以
1 2 m
p(s j | si ) p( xim1 | xi1 xi2 xim ) p( xim1 | si )
H m 1 H ( X m 1 | X 1 X 2 X m ) E p( xim1 | xi1 xi2 xim ) E p( xim1 | si )
3、信源剩余度
H 1 1 H0
信源的剩余度来自两个方面:一是信源符号间的 相关性,相关程度越大,符号间的依赖关系越长, H 信源的 越小;另一方面是信源输出消息的不 等概分布使信源的 H减小。当信源输出符号间 不存在相关性并且输出消息为等概分布时信源的 H0 最大,等于 。对于一般平稳信源来说,其极 H H 限熵 远小于 。 H 0
0.8 W1 +0.5 W3 = W1 0.2 W +0.5 W = W 1 3 2 0.5 W2 +0.2 W4 = W3 0.5 W +0.8 W = W 2 4 4 W1 +W2 +W3 +W4 =1
求出
W1 =W4 =
5 1 ,W2 =W3 = 14 7
所以,
对于一般的 m 阶马尔可夫信源,它的概率空间可以表 示成:
X x1 xi xq p( x | x x x ) im1 i1 i2 im P X
令 si xi xi xi , i1, i2 ,, im 1, 2, , q 马尔可夫信源的状态空间:
从提高信息传输效率的观点出发,人们总是 希望尽量去掉剩余度。比如发电报,我们都知道 尽可能把电文写的简洁些以去除相关性。但冗余 度大的消息具有比较强的抗干扰性。从我们的第 五章开始,将讨论信源编码和信道编码,信源编 码是减少或消除信源的剩余度以提高信息的传输 效率,而信道编码则通过增加冗余度来提高消息 传输的抗干扰能力。
例3
一阶马尔可夫信源的状态图如下图所示。信源X的 符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布; (2) 求信源的熵H∞。 (3)求当P=0或P=1时信源的熵 ,并说明理由
P 0 P P P 2 P P
1
3.7 信源剩余度与自然语言的熵
1、关于离散信源熵的总结: 实际信源可能是非平稳的有记忆随机序列信源; 其极限熵是不一定存在的;解决的方法是假设其为离 散平稳随机序列信源,极限熵存在,但求解困难;进 一步假设其为m阶Markov信源,用其m阶条件熵近 似;再进一步假设为一阶Markov信源,用其一阶条 件熵来近似;最简化的信源是离散无记忆信源,其熵 为H(x);最后还可以假定为等概的离散无记忆信源, 其熵H(x); 它们之间的关系可以表示为:
H m 1 H 2 ( x2 x ) 1
log q
log q H0 ( x) H1 ( x) H11 ( x) H 21 ( x) H m1 ( x) H
2、熵的相对率(一个信源的熵率与具有相同符号 集的最大熵的比值)
H H0
H 0 log q
为马氏链在时刻 处于状态ai条件下, 在时刻 m n m
转移到状态a j的转移概率.
Байду номын сангаас稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.
遍历性 定义 设齐次马氏链的状态空 间为 I , 若对于所有
的ai , a j I , 转移概率Pij ( n)存在极限
由此可见,信源共有2^2=4种状态 S:{S1=00,S2=01,S3=10,S4=11}
0:0.8 1:0.2 01 1:0.5
00
0:0.5 1:0.5 11 1:0.8
0:0.5 10 0:0.2
由上例可知,m阶马尔可夫信源符号集共有q个符号, 则信源共有 m 个不同状态。信源在某一时刻时,必然处于 q 某一种状态,等到下一个字符输出时,转移到另外一个状态。
若 j 1, 则称 ( 1 , 2 ,)为链的极限分布 .
本节课内容
马尔科夫信源 信源的相关性和剩余度
3.6
马尔可夫信源
马尔可夫信源是一类相对简单的有记 忆信源,信源在某一时刻发出某一符号 的概率除与该符号有关外,只与此前发 出的有限个符号有关。因此我们把前面 若干个符号看作一个状态,可以认为信 源在某一时刻发出某一符号的概率除了 与该符号有关外,只与该时刻信源所处 的状态有关,而与过去的状态无关。信 源发出一个符号后,信源所处的状态即 发生改变,这些状态的变化组成了马氏 链。
图
马尔可夫信源
例1 设一个二元一阶的马尔可夫信源,信源符号集为 x={0,1},信源输出符号的条件概率为:
p(0|0)=0.25, p(0|1)=0.5, p(1|0)=0.75, p(1|1)=0.5
求状态转移概率
例2:二阶马尔可夫信源,原始符号集为{1,0}, 条件概率定为:P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5
为了更经济有效的传送信息,需要尽 量压缩信源的剩余度,压缩剩余度的方法 是尽量减小符号间的相关性,并且尽可能 的使信源输出消息等概率分布。
当冗余度=0时,信源的熵=极大熵 H 0 ,表明 信源符号之间:(1)统计独立无记忆;(2)各符号 等概分布。因此,冗余度可衡量信源输出的符 号序列中各符号之间的依赖程度。 例:以符号是英文字母的信源为例,英文字母加 上空格共有27个,则最大熵为
i
符号的平稳概率分布为:
p 0 0.8 p s1 0.5 p s2 0.5 p s3 0.2 p s4 0.5 p 1 0.2 p s1 0.5 p s2 0.5 p s3 0.8 p s4 0.5
H 0.29 H0
1 0.71
这说明,写英语文章时,71%是由语言结构定好 的,是多余成分,只有29%是写文章的人可以自 由选择的。直观的说,100页英文书,理论上看 仅有29页是有效的,其余71页可以压缩掉,这压 缩掉的文字可以根据英文的统计特性来恢复。 信源的冗余度表示信源的可压缩程度。
(不依赖于i ) n 1 2 2 1 n 或 P ( n) P ( n ) 1 2 则称此链具有遍历性.
j
lim Pij ( n) j
j j j
qm i 1 im1 1
i
q
p( si ) p ( xim1 | si ) log p( xim1 | si )
p ( si ) H ( X | si ) p ( si ) p ( s j | si ) log p ( s j | si )
i j
例3 求例2中的二阶马尔可夫信源的极限熵。 解:这4种状态是不可约的非周期长返态,因 此是遍历的。 设状态的平稳分布为(w1,w2,w3,w4),根据马 尔可夫链遍历的充分条件:WP=W,得
H0 X log2 27 4.76
Bit/符号
但实际上,用英文字母组成单词,再由单词 组成句子时,英文字母并不是等概率出现, 此时有:
1 H1 pi log 4.03 pi i 1
27
Bit/符号 Bit/符号 Bit/符号
H 2 3.32 H 3 3.1
因此,在信源所输出的序列中依赖关系越复杂, 信息熵就越小。实际上,英文信源的信息熵还 要小得多,一般认为 H 。因此,信息效 1.4 率和冗余度为:
1 2 m
,从而得到
s1 si s q m p( s j | si )
状态空间由所有状态及状态间的状态转移概率组成。 通过引入状态转移概率,可以将对马尔可夫信源的研究转 化为对马尔可夫链的研究。
下面计算遍历的m阶马尔可夫信源的熵率。 当时间足够长后,遍历的马尔可夫信源可 以视作平稳信源来处理,又因为m阶马尔可 夫信源发出的符号只与最近的m个符号有关, H 所以极限熵 等于条件熵 。 H m1
i
Wi H X | si 5 1 1 5 H 0.8,0.2 H 0.5,0.5 H 0.5,0.5 H 0.8,0.2 14 7 7 14 0.8 比特/符号
p ak p si p ak | si
第三章 信源及信源熵(3)
上节课回顾
马尔可夫链基础知识 什么是马尔可夫链? 转移概率---转移概率矩阵 平稳性 遍历性
马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔
可夫链, 简记为 { X n X ( n), n 0,1,2,}.
转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
对于齐次遍历的马尔可夫链,其状态 si 由 xi xi xi 唯一确定,所以
1 2 m
p(s j | si ) p( xim1 | xi1 xi2 xim ) p( xim1 | si )
H m 1 H ( X m 1 | X 1 X 2 X m ) E p( xim1 | xi1 xi2 xim ) E p( xim1 | si )
3、信源剩余度
H 1 1 H0
信源的剩余度来自两个方面:一是信源符号间的 相关性,相关程度越大,符号间的依赖关系越长, H 信源的 越小;另一方面是信源输出消息的不 等概分布使信源的 H减小。当信源输出符号间 不存在相关性并且输出消息为等概分布时信源的 H0 最大,等于 。对于一般平稳信源来说,其极 H H 限熵 远小于 。 H 0
0.8 W1 +0.5 W3 = W1 0.2 W +0.5 W = W 1 3 2 0.5 W2 +0.2 W4 = W3 0.5 W +0.8 W = W 2 4 4 W1 +W2 +W3 +W4 =1
求出
W1 =W4 =
5 1 ,W2 =W3 = 14 7
所以,
对于一般的 m 阶马尔可夫信源,它的概率空间可以表 示成:
X x1 xi xq p( x | x x x ) im1 i1 i2 im P X
令 si xi xi xi , i1, i2 ,, im 1, 2, , q 马尔可夫信源的状态空间:
从提高信息传输效率的观点出发,人们总是 希望尽量去掉剩余度。比如发电报,我们都知道 尽可能把电文写的简洁些以去除相关性。但冗余 度大的消息具有比较强的抗干扰性。从我们的第 五章开始,将讨论信源编码和信道编码,信源编 码是减少或消除信源的剩余度以提高信息的传输 效率,而信道编码则通过增加冗余度来提高消息 传输的抗干扰能力。
例3
一阶马尔可夫信源的状态图如下图所示。信源X的 符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布; (2) 求信源的熵H∞。 (3)求当P=0或P=1时信源的熵 ,并说明理由
P 0 P P P 2 P P
1
3.7 信源剩余度与自然语言的熵
1、关于离散信源熵的总结: 实际信源可能是非平稳的有记忆随机序列信源; 其极限熵是不一定存在的;解决的方法是假设其为离 散平稳随机序列信源,极限熵存在,但求解困难;进 一步假设其为m阶Markov信源,用其m阶条件熵近 似;再进一步假设为一阶Markov信源,用其一阶条 件熵来近似;最简化的信源是离散无记忆信源,其熵 为H(x);最后还可以假定为等概的离散无记忆信源, 其熵H(x); 它们之间的关系可以表示为:
H m 1 H 2 ( x2 x ) 1
log q
log q H0 ( x) H1 ( x) H11 ( x) H 21 ( x) H m1 ( x) H
2、熵的相对率(一个信源的熵率与具有相同符号 集的最大熵的比值)
H H0
H 0 log q
为马氏链在时刻 处于状态ai条件下, 在时刻 m n m
转移到状态a j的转移概率.
Байду номын сангаас稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.
遍历性 定义 设齐次马氏链的状态空 间为 I , 若对于所有
的ai , a j I , 转移概率Pij ( n)存在极限
由此可见,信源共有2^2=4种状态 S:{S1=00,S2=01,S3=10,S4=11}
0:0.8 1:0.2 01 1:0.5
00
0:0.5 1:0.5 11 1:0.8
0:0.5 10 0:0.2
由上例可知,m阶马尔可夫信源符号集共有q个符号, 则信源共有 m 个不同状态。信源在某一时刻时,必然处于 q 某一种状态,等到下一个字符输出时,转移到另外一个状态。
若 j 1, 则称 ( 1 , 2 ,)为链的极限分布 .
本节课内容
马尔科夫信源 信源的相关性和剩余度
3.6
马尔可夫信源
马尔可夫信源是一类相对简单的有记 忆信源,信源在某一时刻发出某一符号 的概率除与该符号有关外,只与此前发 出的有限个符号有关。因此我们把前面 若干个符号看作一个状态,可以认为信 源在某一时刻发出某一符号的概率除了 与该符号有关外,只与该时刻信源所处 的状态有关,而与过去的状态无关。信 源发出一个符号后,信源所处的状态即 发生改变,这些状态的变化组成了马氏 链。
图
马尔可夫信源
例1 设一个二元一阶的马尔可夫信源,信源符号集为 x={0,1},信源输出符号的条件概率为:
p(0|0)=0.25, p(0|1)=0.5, p(1|0)=0.75, p(1|1)=0.5
求状态转移概率
例2:二阶马尔可夫信源,原始符号集为{1,0}, 条件概率定为:P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5
为了更经济有效的传送信息,需要尽 量压缩信源的剩余度,压缩剩余度的方法 是尽量减小符号间的相关性,并且尽可能 的使信源输出消息等概率分布。
当冗余度=0时,信源的熵=极大熵 H 0 ,表明 信源符号之间:(1)统计独立无记忆;(2)各符号 等概分布。因此,冗余度可衡量信源输出的符 号序列中各符号之间的依赖程度。 例:以符号是英文字母的信源为例,英文字母加 上空格共有27个,则最大熵为
i
符号的平稳概率分布为:
p 0 0.8 p s1 0.5 p s2 0.5 p s3 0.2 p s4 0.5 p 1 0.2 p s1 0.5 p s2 0.5 p s3 0.8 p s4 0.5
H 0.29 H0
1 0.71
这说明,写英语文章时,71%是由语言结构定好 的,是多余成分,只有29%是写文章的人可以自 由选择的。直观的说,100页英文书,理论上看 仅有29页是有效的,其余71页可以压缩掉,这压 缩掉的文字可以根据英文的统计特性来恢复。 信源的冗余度表示信源的可压缩程度。
(不依赖于i ) n 1 2 2 1 n 或 P ( n) P ( n ) 1 2 则称此链具有遍历性.
j
lim Pij ( n) j
j j j
qm i 1 im1 1
i
q
p( si ) p ( xim1 | si ) log p( xim1 | si )
p ( si ) H ( X | si ) p ( si ) p ( s j | si ) log p ( s j | si )
i j
例3 求例2中的二阶马尔可夫信源的极限熵。 解:这4种状态是不可约的非周期长返态,因 此是遍历的。 设状态的平稳分布为(w1,w2,w3,w4),根据马 尔可夫链遍历的充分条件:WP=W,得
H0 X log2 27 4.76
Bit/符号
但实际上,用英文字母组成单词,再由单词 组成句子时,英文字母并不是等概率出现, 此时有:
1 H1 pi log 4.03 pi i 1
27
Bit/符号 Bit/符号 Bit/符号
H 2 3.32 H 3 3.1
因此,在信源所输出的序列中依赖关系越复杂, 信息熵就越小。实际上,英文信源的信息熵还 要小得多,一般认为 H 。因此,信息效 1.4 率和冗余度为:
1 2 m
,从而得到
s1 si s q m p( s j | si )
状态空间由所有状态及状态间的状态转移概率组成。 通过引入状态转移概率,可以将对马尔可夫信源的研究转 化为对马尔可夫链的研究。
下面计算遍历的m阶马尔可夫信源的熵率。 当时间足够长后,遍历的马尔可夫信源可 以视作平稳信源来处理,又因为m阶马尔可 夫信源发出的符号只与最近的m个符号有关, H 所以极限熵 等于条件熵 。 H m1