第4章 马尔科夫信源的熵率
信息论讲义4
1、关于离散信源熵的总结 实际信源可能是非平稳的有记忆随机序列信源，其极限熵H∞不存在。 解决的方法是假设其为离散平稳随机序列信源，极限熵存在，但求解困难； 进一步假设其为m阶Markov信源，用其m阶条件熵Hm+1来近似，近似程度的 高低取决于记忆长度m 的大小； 最简单的是记忆长度 m =1的马尔可夫信源，其熵Hm+1=H2=H(X2|X1) 再进一步简化，可设信源为无记忆信源，信源符号有一定的概率分布。这时 可用信源的平均自信息量H1=H(X)来近似。 最后可假定是等概分布的离散无记忆信源，用最大熵H0 来近似。
补充：文本隐写技术
– 法轮功的信息传递：使用文本隐写工具软件Snow。
– 该软件使用公开对称加密算法ICE对秘密信息进行加密，再使用基于 行末不可见字符的文本隐写方法把秘密信息隐藏在文本中。
– 这种使用隐写技术传递隐秘信息的方法使得政府许多常规侦察方法失 去效果，从而使得相关职能部门对这些不法分子进行的不法活动更加 难以采取预防措施，给国家安全、社会稳定和经济的发展带来了严峻 的挑战。
补充：文本隐写技术
• 4)基于文件格式的文本隐写技术
• 该类方法利用文件格式中通常允许存在一定冗余的特性， 在文件格式中加入一些隐藏的信息。比如附加编码法， 是在文件中附加经过编码后的隐藏信息；PDF注释法， 是在PDF文件格式的注释部分加入编码后的隐藏信息等。
补充：文本本都当作一个独立的m阶时齐遍历马尔可夫信 源，以该文本中的单词作为信源符号；即检测方法只考虑每一篇文 本内部单词间的关系，而不将该文本与其所属的语种的总体特征进 行对比。 • 一般传统意义上关于文本的剩余度是指将某种自然语言作为信源并 计算该语言的剩余度，每个单独的文本只是作为该信源的一个输出。
信源及信源熵介绍
2.2.1 自信息量
2. 不确定度 定义：随机事件的不确定度在数量上等于它的 自信息量．
说明:
a. 两者的单位相同，但含义却不相同。 b. 具有某种概率分布的随机事件不管发生与否，都存在
不确定度，不确定度表征了该事件的特性，而自信息 量是在该事件发生后给予观察者的信息量。
15
2.2.1 自信息量
22
2) 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也 是非负值，且0 p（xi）1，故信源的平均不确定度H（X） 也是非负量。
3) 平均不确定度H（X）的定义公式与热力学中熵的表示形 式相同，所以又把H（X）称为信源X的熵。熵是在平均意 义上来表征信源的总体特性的，可以表征信源的平均不确 定度。
2
p(xi ) log 2 p(xi ) i 1
= 0.72比特/次 说明：
1) 自信息量I（x1）和I（x2）只是表征信源中各个 符号的不确定度，一个信源总是包含着多个符 号消息，各个符号消息又按概率空间的先验概 率分布，因而各个符号的自信息量就不同。所 以自信息量不能作为信源总体的信息量。
=3 × 105 × 3.32 比特/画面
25
有一篇千字文章，假定每字可从万字表中任选， 则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文 可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32
1．3 × 104 比特／千字文
离散消息的信源，如文字、数字、数据等符号都是
离散消息。
{ 离散信源
离散无记忆信源 离散有记忆信源
{ {
5
发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
信息论基础理论与应用3极限熵及马科夫信源
均满足完备性条件
4
P(ai | a4 ) 1
i 1
i 1
所以，已知前面一个符号X1=ai信源输出下一个符号的平 均不确定性，即信息熵为:
q
H ( X 2 |X 1 ai ) P(a j | ai ) log P(a j | ai )
j 1
上式是对下一个符号aj的可能取值进行统计平均。而前一 个符号X1取值范围是｛a1,a2,a3,a4｝中的任一个。对于某
时间起点无关，即
P(xi xi1 ) P(x j x j1 ) （i、j为任意整数且i≠j）
则信源称为二维平稳信源。 • 上述等式表示任何时刻信源连续发出二个符号的 联合概率分布也完全相等。
以此类推，如果各维联合概率分布均与时间起点
无关，既当t=i, t=j（i、j为任意整数且i≠j）
时有：
log
P(ai
)
q
P(ai ) log P(ai ) H ( X 1)
i 1
二维平稳信源的信息熵(6)
从上面的推导得： H(X1X2)=H(X1)+H(X2|X1) P(X1X 2) P(X1)P(X 2 | X1)
同理可以证明： H(X1X2)=H(X2)+H(X1|X2)
44
P(ai )P(a j | ai ) log P(a j | ai )
i1 j1
44
P(ai a j ) log P(a j | ai )
i1 j1
此值为二维平稳信源的条件熵
根据概率关系展开式，我们可以得到联合熵与条件熵 的关系式
二维平稳信源的信息熵(5)
根据概率关系展开式，我们可以得到联合熵与条件熵的关系式
信息论汇总马尔科夫信源
• Wj ：马尔可夫链一个平稳分布，
• Wj [或p(sj)]就是系统此时处于状态sj概率。
信息论汇总马尔科夫信源
18
18/32
例4
Wi pij W j
i
0.6W0 0.4W0
0.3W1 0.7W1
0.2W2 0.8W2
W0 W1
W2
W0 W1 W2 1
W0 0.3571, W1 0.1429, W2 0.5
信息论汇总马尔科夫信源
0/0.4
1/0.6
so
1/0.2
s1
0/0.3 1/0.7
s2
0/0.8
0.6 0.4 0 p(s j | si ) 0.3 0 0.7
0.2 0 0.8
19
19/32
• 例5：有一个二元二阶马尔可夫信源,其信源符
号集为{0，1}，已知符号条件概率：
p(0|00) = 1/2 p(1|00)=1/2 p(0|01) = 1/3 p(1|01)=2/3 p(0|10) = 1/4 p(1|10)=3/4 p(0|11) = 1/5 p(1|11)=4/5
(0)0.3
s1
•
抵达状态s1和s2 : 若处于s1 ,以0.3和0.7概率发
(0)0.5
s0
出0和1抵达s3和s4
(1)0.5
(1)0.7 (0)0.4
• 若处于s2,以0.4和0.6概率发 出0和1抵达s5和s6
s2 (1)0.6
00 s3
01 s4 10 s5 11 s6
25
信息论汇总马尔科夫信源
p(s1 | s1) p(s4 | s4) 0.8,
p(s3 | s2) p(s1 | s3) p(s4 | s2) p(s4 | s2) p(s2 | s3) 0.5;
随机过程的熵率
例子
例4.1.1 考虑两状态的马氏链，其转移概率矩阵为
P
=
⎛1−α α
⎜ ⎝
β
1− β
⎞ ⎟ ⎠
如图4.1所示，求平稳分布。
图4.1 两状态的马氏链
第四章 随机过程的熵率
§4.2 熵率 Entropy Rate
定义 假设信源字母序列长度为n，并用(X1, X2,…, Xn)表 示，这是一个随机向量，该随机矢量的联合熵为：
3、如果各维联合概率分布均与时间起点无关，那么，信源 是完全平稳。这时有： p(xi) = p(xj) p(xi xi+1) = p(xj xj+1) …… p(xi xi+1 … xi+n ) = p(xj xj+1 … xi+n )
第四章 随机过程的熵率
联合概率与条件概率的关系
p(xixi+1) = p(xi )p(xi+1 | xi ) p(xixi+1xi+2) = p(xi ) p(xi+1 | xi ) p(xi+2 | xixi+1) ⋅⋅⋅⋅⋅⋅ p(xixi+1...xi+n) = p(xi ) p(xi+1 | xi )⋅⋅⋅ p(xi+n | xixi+1 ⋅⋅⋅ xi+n−1)
随机序列中的每个随机变量仅依赖于它的前一个随机变 量，而条件独立于它前面的所有随机变量，这样的过程 称为马尔科夫过程。
第四章 随机过程的熵率
马尔科夫链
定义：如果对n=1,2,…,及所有的 x1, x2,…, xn∈X，有：
Pr{Xn+1=xn+1| Xn=xn, Xn-1=xn-1, …, X1=x1}=Pr{Xn+1=xn+1|
马尔可夫信源极限熵求解方法解析
马尔可夫信源极限熵求解方法解析作者：蔡春梅来源：《无线互联科技》2013年第12期摘要：本文首先给出了马尔可夫信源及其极限熵的定义，然后通过一个实例详细解析了马尔可夫信源极限熵的求解方法，最后对马尔可夫信源特点及其极限熵的求解步骤进行了总结。
关键词：马尔可夫信源；极限熵；极限概率信源是什么？通俗的说，信源就是信息的来源。
在我们现实生活中，信源无处不在，文字、声音、图像、数据……。
在信息论与编码理论中，把信源统一定义为产生消息符号、消息符号序列、或产生连续消息的来源，在数学上表示，信源则是产生随机变量X，随机序列X 或随机过程x（t）源。
若信源在不同的时刻发出的符号或符号序列之间有相互依赖关系，这类信源称为有记忆信源。
通常，符号之间的相关性用联合概率或条件概率来描述。
但是，当信源发出的某个符号只与这个符号之前的一个符号或之前的多个符号有关，而与更前面的符号无关时，我们可把它视为一种特殊的有记忆信源，即马尔可夫信源。
1 马尔可夫信源⑴马尔可夫信源。
我们说实际的信源一般都是有记忆的信源，而且这种有记忆信源在任一时刻发出符号的概率通常只与前面若干个符号有关，而与更前面的符号无关，因此我们可以认为信源在某一时刻发出的符号与信源的状态有关。
若信源输出的符号序列和状态序列满足下述的两个条件：某一时刻信源的输出仅与信源的当前状态有关；信源的状态只由当前的输出符号和前一时刻信源状态唯一确定。
我们称这样的信源为马尔可夫信源。
⑵马尔可夫信源的极限熵。
若信源以长度为N输出符号序列，则信源的平均符号熵为，其中是信源的矢量熵。
当N→∞时，，此时称为信源的极限熵。
极限熵是真正描述实际信源熵的表达方式。
它规定了平稳离散有记忆信源输出符号序列中平均每个信源符号的熵值，代表了一般离散有记忆信源平均每发出一个符号所提供的信息量。
事实上，当信源记忆长度很长，趋于无穷大的时候，要计算联合熵或极限熵是很困难的，它需要测定信源的无穷阶联合概率和条件概率，这是很难达到的，因此，我们在实际计算时，我们往往只考虑有限记忆信源的熵，用有限的条件熵或平均符号熵作为极限熵的近似值。
马尔可夫信源极限熵求解方法解析
马尔可夫信源极限熵求解方法解析作者：蔡春梅来源：《无线互联科技》2013年第12期摘要：本文首先给出了马尔可夫信源及其极限熵的定义，然后通过一个实例详细解析了马尔可夫信源极限熵的求解方法，最后对马尔可夫信源特点及其极限熵的求解步骤进行了总结。
关键词：马尔可夫信源；极限熵；极限概率信源是什么？通俗的说，信源就是信息的来源。
在我们现实生活中，信源无处不在，文字、声音、图像、数据……。
在信息论与编码理论中，把信源统一定义为产生消息符号、消息符号序列、或产生连续消息的来源，在数学上表示，信源则是产生随机变量X，随机序列X 或随机过程x（t）源。
若信源在不同的时刻发出的符号或符号序列之间有相互依赖关系，这类信源称为有记忆信源。
通常，符号之间的相关性用联合概率或条件概率来描述。
但是，当信源发出的某个符号只与这个符号之前的一个符号或之前的多个符号有关，而与更前面的符号无关时，我们可把它视为一种特殊的有记忆信源，即马尔可夫信源。
1 马尔可夫信源⑴马尔可夫信源。
我们说实际的信源一般都是有记忆的信源，而且这种有记忆信源在任一时刻发出符号的概率通常只与前面若干个符号有关，而与更前面的符号无关，因此我们可以认为信源在某一时刻发出的符号与信源的状态有关。
若信源输出的符号序列和状态序列满足下述的两个条件：某一时刻信源的输出仅与信源的当前状态有关；信源的状态只由当前的输出符号和前一时刻信源状态唯一确定。
我们称这样的信源为马尔可夫信源。
⑵马尔可夫信源的极限熵。
若信源以长度为N输出符号序列，则信源的平均符号熵为，其中是信源的矢量熵。
当N→∞时，，此时称为信源的极限熵。
极限熵是真正描述实际信源熵的表达方式。
它规定了平稳离散有记忆信源输出符号序列中平均每个信源符号的熵值，代表了一般离散有记忆信源平均每发出一个符号所提供的信息量。
事实上，当信源记忆长度很长，趋于无穷大的时候，要计算联合熵或极限熵是很困难的，它需要测定信源的无穷阶联合概率和条件概率，这是很难达到的，因此，我们在实际计算时，我们往往只考虑有限记忆信源的熵，用有限的条件熵或平均符号熵作为极限熵的近似值。
信源与信源熵4
11
• 信源的序列熵
9 2 H (Χ) H ( X ) p(ai )log p (ai ) 3bit / 序列 i 1
• 平均每个符号(消息)熵为
1 H 2 (X) H (X) 1.5bit / 符号 2
12
2.3 离散序列信源熵
• 2.3.1 离散无记忆信源的序列熵 • 2.3.2 离散有记忆信源的序列熵
{
{发出符号序列的无记忆信源 发出符号序列的有记忆信源 { 发出符号序列的马尔可夫信源
发出单个符号的无记忆信源
4
离散无记忆信源的序列熵
• 发出单个符号的信源
X 1 2 3 4 5 6 P 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6
• 当前后符号无依存关系时,有下列推论：
H ( X1 , X 2 ) H ( X1 ) H ( X 2 ) H ( X 1 | X 2 ) H ( X 1 ), H ( X 2 | X 1 ) H ( X 2 )
14
• 若信源输出一个L长序列,则信源的序列熵为 H ( X ) H ( X 1 , X 2 , , X L ) H ( X 1 ) H ( X 2 | X 1 ) H ( X L | X L 1 , , X 1 )
a1
a2
a0
1/4
a1
1/18
a2
0
1/18
0
1/3
1/18
1/18 7/36
H(X2| X1)＜H(X1) H ( X ) H ( X 1 ) p(ai ) log p(ai ) 1.543bit信源的条件熵比无依 / 符号 赖时的熵H(X)减少了 i 0 0.671 比 特 , 这 正 是 因 为符号之间有依赖性 所造成的结果。 • 当考虑符号之间有依赖性时,计算得条件熵
利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。
利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。
1.引言1.1 概述在文章的概述部分，我们将介绍马尔可夫信源及其在信息论中的应用。
马尔可夫信源是一类特殊的随机过程，其生成的信源符号之间存在一种特定的依赖关系。
该依赖关系表明，在给定前一时刻状态的情况下，当前时刻的状态独立于过去时刻的状态。
本文旨在使用状态极限概率和状态一步转移概率这两个重要概念，来求解m阶马尔可夫信源的极限熵。
状态极限概率表示在信源信号长度趋于无穷大时，信源处于某一状态的概率。
而状态一步转移概率则描述了信源当前状态到下一时刻状态的转换概率。
通过分析马尔可夫信源的状态极限概率和状态一步转移概率，可以得到信源的极限熵。
极限熵是指在给定无限长信源观测序列的情况下，信源每个符号所携带的平均不确定度。
它是一种对信源信息量的度量，能够反映信源的不确定程度和信息压缩效率。
在本文的正文部分，我们将详细介绍状态极限概率和状态一步转移概率的计算方法，并利用这些概率来推导m阶马尔可夫信源的极限熵的计算公式。
通过理论分析和实例说明，我们将展示该方法的有效性和实用性。
最后，在结论部分，我们将总结文章的主要内容，并进一步讨论该方法的应用前景和局限性。
我们希望本文的研究对于马尔可夫信源的极限熵求解方法提供一种新的思路和途径，为信息论领域的研究和应用做出一定的贡献。
文章结构部分的内容，可以详细介绍文章的组织结构和各个章节的主要内容。
以下是一个可能的内容示例：1.2 文章结构文章按照以下结构进行组织：引言：本节将简要概述文章的主题和研究目的，为读者提供一个大致的研究背景和框架。
同时，将介绍文章的结构和每个章节的主要内容。
正文：本部分是文章的核心部分，包含了两个主要章节，分别是状态极限概率和状态一步转移概率。
- 章节2.1 状态极限概率：这一章节将介绍马尔可夫信源及其状态极限概率的概念。
首先，我们将解释什么是马尔可夫信源和其基本特征。
接着，我们会详细讨论状态极限概率的计算方法，并给出具体的算法和示例。
信息论马尔科夫信源
p( s j ) 0, p( s j ) 1
i 1
的唯一解。
例
二阶马尔可夫信源{00 01 10 11}，求状态转移概 率和极限熵。
p(e1/e1)= p(x1/e1)=p(0/00)=0.8
p(e2/e1)= p(x2/e1)=p(1/00)=0.2 p(e3/e2)= p(x1/e2)=p(0/01)=0.5 p(e4/e2)= p(x2/e2)=p(1/01)=0.5 p(e1/e3)= p(x1/e3)=p(0/10)=0.5 p(e2/e3)= p(x2/e3)=p(1/10)=0.5
3、m阶马尔可夫信源
（1）定义 在任何时刻l，符号发出的概率只与前面m个符号有关，把m个 符号看做信源在l时刻的状态。因为原始信源符号集共有n个符 号，则有记忆信源可以有nm个不同的状态，分别对应于nm个
长度为m的序列。这时，信源输出依赖长度为m+1的随机序列
就转化为对应的状态序列，而这种状态序列符合马尔可夫链的 性质，称为m阶马尔可夫信源。 n—信源符号集 nm—信源不同的状态数
2.2.3 马尔可夫信源
1、定义 在实际问题中，试图限制记忆长度，就是说任何时刻信源发 出符号的概率只与前面已经发出的m个符号有关，而与更前 面发出的符号无关，即马尔可夫信源。 以信源输出符号序列内各符号间条件概率来反映记忆特性 的一类信源。
输出符号序列：X 1 X 2 X l 1 X l
m+1—信源输出依赖长度；
（2）数学模型
x1 x2 xn X P( X m1 xkm1 ) p( ) X1 X m xk1 xkm
令
k1 , k2 ,, km1 ,2,, n 1
马尔可夫信源的信息熵
电子信息工程学院
信息论
2. 6 马尔可夫信源
若当这些概率和时刻L无关，既满足
P(xl ak | sl Ei ) Pak | Ei
Pij P Ej | Ei
则成为时齐的或齐次的。此时，信源的状态序列服从时齐马 尔可夫链。
若时齐马尔可夫链对一切 Ei , E j存在不依赖于Ei 的极限
信息论
2. 6 马尔可夫信源
非平稳离散信源：描述信源输出消息的随机序列X 是非平稳的随机序列——马尔可夫信源
输出的随机序列X中各随机变量之间有依赖关系。 但记忆长度有限且满足马尔可夫链的性质，因此可 以用马尔科夫链来处理。
本节将讨论这类信源及其信息熵。
电子信息工程学院
信息论
2. 6Байду номын сангаас马尔可夫信源
p(1/ 00) p(0 /11) 0.2, p(0 / 01) p(1/ 01) p(0 /10) p(1/10) 0.5
确定该马氏源的状态，写出状态转移矩阵，画出信源的状态转移 图。
电子信息工程学院
a a k1 k2
aq
akm
)
(k1, k2, , km , km1 1, 2, , q)
并满足
0 P(akm1 | a a k1 k2 akm ) 1 且
q
P(akm1 | a a k1 k2
km1 1
akm ) 1
(k1, k2, , km, km1 1, 2, , q)
lim
N
Pij
Pj
，且满足
Pj
0; Pj
Pij ; Pj
i0
马尔科夫信源
∑ P (m, m + n) = 1, i = 1, 2,…
j =1 ij
∞
当Pij(m,m+n)与m无关时，称马尔科夫链 (m,m+n)与 为齐次马尔科夫链，通常说的马尔科夫 齐次马尔科夫链，通常说的马尔科夫 链都是指齐次马尔科夫链。
马尔可夫信源
例：二阶马尔可夫信源，原始符号集为{1,0}， 条件概率定为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5 由此可见，信源共有2^2=4种状态 E：{e1=00,e2=01,e3=10,e4=11} 状态之间有转移概率， p(e2/e1)=p(e3/e4)=0.2 p(e2/e4)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5 P(e1/e1)=p(e4/e4)=0.8
多符号离散平稳信源
根据信息熵的定义，可得： （1）联合熵
H ( X 1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j )
i =1 j =1Fra bibliotekqq
可以表征信源输出长度为2的平均不确定性，或所含 有的信息量。因此可以用 1/ 2 H ( X 1 X 2 )作为二维平稳信 源的信息熵的近似值
e2 0 e3 0 e4 1 e5 1 4
1
1 2
1 4 1 2 3 4
0
1 4
0 1 2
1 4 1 2 1 4
e1
e2
e3
e4
e5
e1 1 1 0 1 0 2 4 4 e2 0 1 1 0 0 2 2 e3 0 3 1 0 0 4 4 e4 由图中可得状态的一步转移概率： 由图中可得状态的一步转移概率： 0 0 0 0 1 e5 0 0 0 3 1 4 4 该信源满足马尔可夫信源定义。 该信源满足马尔可夫信源定义。
2.4马尔可夫信源
2.4马尔可夫信源如果信源的前个不同的序列值，决定信源下一时刻发送某个符号的概率，这类信源输出符号时不仅与信源的符号集有关（与普通信源类似），而且还与信源状态有关（即前m 个符号有关）,所以要引入信源状态的概念。
设信源所处的状态为：}{ej e e S ,...2,1∈在信源每一状态下可能输出的符号为：{}n x x x X ,...2,1∈而且一般每一时刻信源发出一个符号后，所处的状态发生转移，信源输出的随机符号序列为：X1,X2,…X t-1, X t ,…信源所处的状态序列为： S1,S2,…S t-1, S t ,…设在第时刻信源处于状态时，输出符号的概率给定（在马尔可夫信源中这是已知值）为： p t (x k /e i )= p(X t =x k /S t =e i )另外设信源在的前一时刻时刻处于状态，而在时刻转移到的状态，转移概率为：p t(e j/e i)= p(S t=e j/S t-1=e i)如果信源输出的符号和所处的状态满足下面两条，则称为马尔可夫信源:1．某时刻信源输出哪个符号只与此时信源所处的状态有关，而与以前的状态以及以前的输出符号均无关。
2．信源某时刻所处的状态，由当前的输出符号和前一时刻信源的状态唯一确定。
可见状态的转移依赖于发出的信源符号和此时的信源序列的状态，因为条件概率是已经给定的，所以状态的转移必以一定的概率进行。
在确定的情况下，原状态转换到下一状态，则显然状态的一步转移概率与有下列关系：p(e j/e i)= p t(x k/e i)可以用状态转移图，条件概率矩阵以及状态的一步转移概率矩阵描述马尔可夫信源特性。
各态历经定理：所谓各态历经性是指经过若干时间后，处于各状态的概率与初始状态无关，即稳定下来了。
具有各态历经性的阶马尔可夫信源，其状态极限概率可由式（2.4.3）求出，再进一步和已知的据式（2.4.2）求出阶马尔可夫信源的熵。
[例2.4.1]马尔可夫信源（在稳定后）是用状态概率分布及各状态下发出符号的概率作为已知条件来研究信源的熵，其状态概率只有在稳定以后才是确定的，也就是说马尔可夫信源的状态转移图（例如图2.4.1）原来是变的，经过一定时间才稳定下来（成为稳定的图），而马尔可夫信源各状态的概率，在起始时与到了后来稳定时完全可以不相同。
第4章习题解答
4。
1 某集源按P （0)=3/4，P(1）=1/4的概率产生统计独立的二元序列.(1) 试求N 0，使当N>N 0时有： P ｛｜I(a i )/N －H(S ）｜ ≥0.05}≤0.01其中H （S)是信源的熵。
(2)试求当N= N 0时典型序列集G εN 中含有的信源序列个数.解：(1) H(S)= —∑Pi ㏒Pi= -3/4㏒(3/4)—1/4㏒(1/4） =0.811 比特/符号根据契比雪夫不等式，对于任意ε＞0，当N ＞N0时，P ｛∣I(αi)/N – H(S ）∣≥ε｝≤D[I(Si ）］/N ε2现有ε=0.05,欲证原式，只要 D ［I(Si ）]/N ε2≤0。
01根据信源，D ［I （Si)]=∑P （Si ）［㏒P(Si)］2– H 2（S)=3/4（㏒3/4)2+1/4（㏒1/4)2—(0。
811)2=0。
471∴N0= D[I(Si)]/0。
01ε2=0.471/0。
01×（0.05)2=18840(2) 序列G εN 是所有N 长的ε典型序列集合，（1-δ）2N ［H （S ）—ε]≤‖G εN ‖≤2N[H （S ）-ε]0.99×214342。
5≤‖G εN ‖≤216226。
54。
2 设无记忆二元信源，其概率为P1=0.005, P0=0。
995.信源输出N ＝100的二元序列.在长为N ＝100的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。
（1）求码字所需的最小长度。
（2）计算式（4.27a ）中的ε。
(3）考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率PE 是多少？若从契比雪夫不等式（4。
22）考虑，PE 应是多少？试加以比较。
解：（1）无记忆二元信源()⎢⎣⎡⎥⎦⎤=⎢⎣⎡⎥⎦⎤005.0995.01,0i s P S N=100的扩展信源()()()()()⎢⎢⎢⎣⎡⎥⎥⎦⎤⨯⨯=====⎢⎢⎣⎡⎥⎦⎤--N N N N NN N N i N N N P S 005.0,005.0995.0005.0995.0,995.0111,1011010001121221，，，，，－ ααααα 现只对含有3个或小于3个“1”的各信源序列构成一一对应的一组二元等长码。
马尔可夫信源的熵分类法
&"$"+
有 )&$ #"% ｛)&% ｝ ， 序列 ’ &’ ’… ’ " 属于第 & 类。
) $ !
, ! ’
（&） （’）信源某 # 时刻所处的状态由当前的输出符号 时刻信源的状态惟一确定， 即 和前一（##!） （’ #$(* " ’ ##!$()， ! "#$%&） $ …， 0$. ,。 （)）
（!)）
此处，()$ （%& %& … %& ） ， …， …， & !， & ’， & ,$!， ’， . ，)$!， ’，
"
(， ()， (*! (，
!， %! + 。
’
判别方法描述
设共有 4 个类 , 阶马尔可夫随机序列的样本集，
则此信源称为马尔可夫信源。 定义 !
, 阶有记忆离散信源的数学模型可由一
组信源符号集和一组条件概率确定：
…， 第 &（& $!， ’， 5）类的样本为 ， （+）
& & "& !! "!’ … "!5 …，
均符号熵 ( ! 与 第 & ! 类 的 极 限 熵 ( ( 的 距 离 ， ! &! $ ) ( ! *
与类 ’ 的距离 & 比特
.8’9 .8’. .8&9 .8&. .8.9 . .8.’ .8.3 .8.2 .8.; .8&. .8&’ .8&3
与类 & 的距离 & 比特
% ! （ …， 则若 )&!$ #+, ｛ ) %&（ #$） *!& #$）) ｝， & !"#， *， $， "
第4章 马尔科夫信源的熵率
第4章 马尔科夫信源的熵率 1、m阶马尔科夫信源 定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源 马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m m阶马尔科夫信源符号序列的长度N=m+1
马尔科夫信源的熵率
表示
a2 L anm+1 Xm+1 / X1X2 LXm a1 P(X / X X LX ) = P(a ) P(a ) L P(a ) 2 m+1 1 2 m nm+1 1
P(0/ 00) = P(00/ 00) = P(s1 / s1) = 0.8
0.8 s1 0.2 0.5 s2 0.5 s4 s3
P(1/ 00) = P(01/ 00) = P(s2 / s1) = 0.2 P(0/ 01) = P(10/ 01) = P(s3 / s2 ) = 0.5
P(1/ 01) = P(11/ 01) = P(s4 / s2 ) = 0.5
P(1/11) = P(11/11) = P(s4 / s4 ) = 0.8
马尔科夫信源的熵率
2、m阶马尔科夫链的遍历定理
马尔科夫链的遍历 从任何一个状态出发，可以通过有限步到达任何 其他状态，该马尔科夫链是遍历的
1
非遍历的马尔科夫链存在吸收态 非遍历马尔科夫链的例子
s2
s1 0.5 0.5 s3
例1
X3 / X1X2 0/ 00 1/ 00 0/ 01 1/ 01 0/10 1/10 0/11 1/11 P(X / X X ) = 0.8 0.2 0.5 0.5 0.5 0.5 0.2 0.8 3 1 2
3马尔可夫链,随机过程的熵速率
3 讲上讲要点z互信息z凸性和凹性z Jensen不等式z信息不等式z数据处理定理本讲概要z Fano不等式z随机过程，熵率z马尔可夫链z图上的随机游动z隐式马尔可夫模型阅读：第四章简要复习z 互信息()()()Y X H X H Y X I |;−=()()()()∑=yx Y X Y X Y X y P x P y x P y x P ,,,,log,()Y X Y X P P P D ||,=z 互信息的链式准则()()()12121|;;;,X Y X I Y X I Y X X I +=z()0||≥q p Dz 熵()X H 是的凹函数；X P 对给定的，互信息X Y P |()Y X I ;是的凹函数；对给定的，互信息X P X P ()Y X I ;是的凸函数。
X Y P |z ()(Z X I Y X I Z Y X ;;≥⇒→→)Fano 引理假设有两个随机变量序列X 和Y ，Fano 引理给出了基于Y 估计X 时的误差界限我们可以得到X 的估计量()Y g X=ˆ错误概率为()X XP P r e ≠=ˆ设有关于误差E 的指示函数，当X X ˆ=时为1，其他为0，则有，()0==E P P eFano 引理：()()()Y X H P E H e |1log ≥−+χFano 引理的证明()()()Y X E H Y X H Y X E H ,|||,+=()Y X H |=()()()Y E X H Y E H Y X E H ,|||,+=()()Y E X H E H ,|+≤ ()E H =()Y E X H P e ,1|=+()()Y E H P e,0|1=−+()()Y E X H P E H e ,1|=+= ()()1|=+≤E X H P E H e()()1log −+≤χe P E Hχ越大，越接近上界。
随机过程z 一个随机过程是一个时间序列或者随机变量序列,是一个从Ω到的映射,...,10X X ∞χz 一个随机过程是用联合分布函数表征：(),,...,,10,...,,10n X X X X X X P n(),,...,,10n n x x x χ∈ 对 n=0,1,…z 一个随机过程的熵为(),...,21X X H()()...|121++=X X H X H ()...,...|11++−i i X X X H难点z 无穷多项求和z 一般来说，所有项是不同的的熵速率一个随机过程的熵速率定义为：()n n X H n1lim∞→ 如果极限存在。
一阶马尔可夫信源熵的计算
一阶马尔可夫信源熵的计算马尔可夫信源是一类特殊的概率信源，其输出符号的概率分布只与前一个符号相关。
一阶马尔可夫信源是指输出符号的概率分布仅与前一个符号有关。
在信息论中，熵是对信源输出符号分布的度量，表示该信源的不确定性和随机性。
一阶马尔可夫信源熵的计算方法如下：首先，我们需要统计该信源输出符号的频数，得到每个符号出现的次数。
然后，将每个符号的频数除以总的符号个数，得到每个符号的概率。
接下来，对于每个符号，计算其概率的负对数，并乘以该符号的概率，最后将所有符号的结果相加。
下面以一个简单的例子来说明一阶马尔可夫信源熵的计算过程。
假设我们有一个一阶马尔可夫信源，输出符号集合为{A, B, C}。
我们观测到的输出序列为ABBACABBAC，现在我们来计算该信源的熵。
首先，统计每个符号的频数：A出现的次数为4，B出现的次数为6，C出现的次数为2。
然后，计算每个符号的概率：P(A) = 4/12 = 1/3，P(B) = 6/12 = 1/2，P(C) = 2/12 = 1/6。
接下来，计算每个符号的负对数并乘以概率：H(A) = -(1/3) * log2(1/3) ≈ 0.5288，H(B) = -(1/2) * log2(1/2) = 0.5，H(C) = -(1/6) * log2(1/6) ≈ 0.6500。
最后，将所有符号的结果相加：H = H(A) + H(B) + H(C) ≈ 0.5288 + 0.5 + 0.6500 ≈ 1.6788。
因此，该一阶马尔可夫信源的熵为约1.6788。
通过计算一阶马尔可夫信源的熵，我们可以了解到该信源输出符号的不确定性和随机性。
熵越大，表示该信源的输出符号越随机，信息量也就越大；相反，熵越小，表示输出符号的概率分布越集中，信息量也就越小。
一阶马尔可夫信源熵的计算方法可以应用于各种具体的实际问题中。
比如，我们可以用马尔可夫模型研究自然语言的概率分布，进而计算文本的熵，从而衡量文本的随机性和信息量；我们也可以用马尔可夫链来建模股票市场，计算股票价格的熵，以了解市场的不确定性和波动性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
马尔科夫信源的熵率
H∞ = lim H(XN / X1X2 LXN−1) = H(Xm+1 / X1X2 LXm)
N→∞
n
= −∑∑L ∑P(xi1 xi2 Lxim+1 ) log P(xim+1 / xi1 xi2 Lxim )
i1 =1i 2 =1
n n
n
n
i m+1 =1
= −∑∑L ∑P(xi1 xi2 Lxim )P(xim+1 / xi1 xi2 Lxim )log P(xim+1 / xi1 xi2 Lxim )
P(1/11) = P(11/11) = P(s4 / s4 ) = 0.8
马尔科夫信源的熵率
2、m阶马尔科夫链的遍历定理
马尔科夫链的遍历 从任何一个状态出发，可以通过有限步到达任何 其他状态，该马尔科夫链是遍历的
1
非遍历的马尔科夫链存在吸收态 非遍历马尔科夫链的例子
s2
s1 0.5 0.5 s3
马尔科夫信源的熵率
0.2P(s1) − 0.5P(s3) = 0 0.2P(s1) − P(s2 ) + 0.5P(s3) = 0 0.5P(s2 ) − P(s3) + 0.2P(s4 ) = 0 0.5P(s2 ) − 0.2P(s4 ) = 0
完备性
P(s1) + P(s2 ) + P(s3) + P(s4 ) =1
引入状态S
过态S取值于集合 s1,s2,L,snm } { si = xi1 xi2 Lxim i =1,2,L, nm i1,i2,L,im =1,2,L, n
现 S取 于 合 s1,s2,L,snm } 态 值 集 { sj = xj1 xj=1,2,L, nm j1, j2,L, jm =1,2,L, n
其中，ai = xim+1 / xi1 xi2 Lxim
n
i =1,2,L, n
m+1
i1,i2,L,im+1 =1,2,L, n
0 ≤ P(ai ) = P(xim+1 / xi1 xi2 Lxim ) ≤ 1
且 ∑P(xim+1 / xi1 xi2 Lxim ) =1
i m+1 =1
马尔科夫信源的熵率
马尔科夫信源的熵率
第4章 马尔科夫信源的熵率 1、m阶马尔科夫信源 定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源 马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m m阶马尔科夫信源符号序列的长度N=m+1
马尔科夫信源的熵率
表示
a2 L anm+1 Xm+1 / X1X2 LXm a1 P(X / X X LX ) = P(a ) P(a ) L P(a ) 2 m+1 1 2 m nm+1 1
马尔科夫信源的熵率
P(0/10) = P(00/10) = P(s1 / s3) = 0.5
0.8 s1
P(1/10) = P(01/10) = P(s2 / s3) = 0.5
P(0/11) = P(10/11) = P(s3 / s4 ) = 0.2
0.2 0.5 0.5 s2 0.5 0.5 s4 0.8 s3 0.2
0.5 0.5 s4 1
马尔科夫信源的熵率
马尔科夫链的遍历定理
P(sj ) = ∑P(si )P(sj / si )
i =1
nm
nm
j =1,2,L, nm
0 ≤ P(sj ) ≤1 ，且∑P(sj ) =1
j=1
3、m阶马尔科夫信源的极限熵
即使N→∞，m阶马尔科夫信源符号序列的有效长 度只有m+1
马尔科夫信源的熵率
P(ai ) = P(xim+1 / xi1 xi2 Lxim ) = P(xi2 xi3 Lxim+1 / xi1 xi2 Lxim ) = P(xj1 xj2 Lxjm / xi1 xi2 Lxim ) = P(sj / si )
用状态表示的m阶马尔科夫信源等效于用状态转移 图描述的马尔科夫链
5 P(s1) = P(s4 ) = 14 2 P(s2 ) = P(s3) = 14
马尔科夫信源的熵率
H∞ = H2+1 = H3 = −∑∑P(si )P(sj / si )log P(sj / si )
i =1 j=1
4
4
5 2 = −[ (0.8log 0.8 + 0.2log 0.2) + (0.5log 0.5 + 0.5log 0.5) 14 14 2 5 + (0.5log 0.5 + 0.5log 0.5) + (0.2log 0.2 + 0.8log 0.8)] 14 14
= 0.8(bit / sym ) bol
例1
X3 / X1X2 0/ 00 1/ 00 0/ 01 1/ 01 0/10 1/10 0/11 1/11 P(X / X X ) = 0.8 0.2 0.5 0.5 0.5 0.5 0.2 0.8 3 1 2
状态转移图
马尔科夫信源的熵率
设状态s1=00、s2=01、s3=10、s4=11
P(s3) = P(s1)P(s3 / s1) + P(s2 )P(s3 / s2 ) + P(s3)P(s3 / s3) + P(s4 )P(s3 / s4 ) = 0.5P(s2 ) + 0.2P(s4 )
P(s4 ) = P(s1)P(s4 / s1) + P(s2 )P(s4 / s2 ) + P(s3)P(s4 / s3) + P(s4 )P(s4 / s4 ) = 0.5P(s2 ) + 0.8P(s4 )
马尔科夫信源的熵率
强调m阶马尔科夫信源的长度特征，一般其极限熵 H∞记为Hm+1
H∞ = Hm+1 = −∑∑P(si )P(sj / si ) log P(sj / si )
i =1 j=1 nm nm
例2
图示二元二阶马尔科夫信源的极限熵
马尔科夫信源的熵率
遍历定理
P(s1) = P(s1)P(s1 / s1) + P(s2 )P(s1 / s2 ) + P(s3)P(s1 / s3) + P(s4 )P(s1 / s4 ) = 0.8P(s1) + 0.5P(s3)
0.8 s1
0.2 0.5 0.5 s2 0.5 0.5 s4 0.8 s3 0.2
P(s2 ) = P(s1)P(s2 / s1) + P(s2 )P(s2 / s2 ) + P(s3)P(s2 / s3) + P(s4 )P(s2 / s4 ) = 0.2P(s1) + 0.5P(s3)
马尔科夫信源的熵率
P(0/ 00) = P(00/ 00) = P(s1 / s1) = 0.8
0.8 s1 0.2 0.5 s2 0.5 s4 s3
P(1/ 00) = P(01/ 00) = P(s2 / s1) = 0.2 P(0/ 01) = P(10/ 01) = P(s3 / s2 ) = 0.5
P(1/ 01) = P(11/ 01) = P(s4 / s2 ) = 0.5
i1 =1i 2 =1 i m+1 =1
n
其中P(xi1 xi2 Lxim ) = P(si ) P(xim+1 / xi1 xi2 Lxim ) = P(xi2 xi3 Lxim+1 / xi1 xi2 Lxim ) = P(xj1 xj2 Lxjm / xi1 xi2 Lxim ) = P(sj / si )