马尔可夫信源极限熵
信息论总复习题目
二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。
()()()1lgbc a H x p x dx p x =⎰------3分 ()lg b a =-bit/自由度-------2分三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz ，信道噪声为高斯白噪声。
(1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。
(2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？(3)如果信道带宽降为0.5MHz ，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？1) ()10lg 1NR c S =+------3分64.3910=⨯b/s---1分2) ()610 1.2710lg 1NR cS ==⨯+Hz---3分3) 21c wNR S =-=440----3分四、(16分)已知信源共7个符号消息，其概率空间为()12345670.20.170.20.170.150.100.01S s s s s s s s P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 试用霍夫曼编码法编成二进制变长码。
并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。
要求写出详细的编码过程和计算过程。
2 01 S1 0.22 00 S3 0.23 111 S2 0.173 110 S4 0.173 101 S5 0.154 1001 S6 0.104 1000 S7 0.010.20.110.150.170.170.20.260.170.170.20.20.340.20.20.260.260.340.40.60.41.0------6分712.71i i i L P τ===∑位----2分()721log 2.61i i i H s P P ===∑bit/符号--------2分2log 2.71R r τ==’bit/码字--------2分()20.963log H s rητ==----------2分()0.963H s R τ==bit/码元--------2分五、(16分)设一个离散无记忆信源的概率空间为()120.50.5X a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 它们通过干扰信道，信道输出端的接收符号集为Y =[b 1,b 2]，已知信源传输概率如下图所示。
信息论马尔科夫信源
X1 X 2 X N 1 )
lim { p( xk1 xk2 xk N ) log p(
N k1 1 k 2 1 k N 1
n
n
xk N
xk1 xk2 xk N 1
)}
lim {
N
k N m 1
p( x
k N 1
n
n
k N m k N m1
3、m阶马尔可夫信源
（1）定义 在任何时刻l，符号发出的概率只与前面m个符号有关，把m个 符号看做信源在l时刻的状态。因为原始信源符号集共有n个符 号，则有记忆信源可以有nm个不同的状态，分别对应于nm个
长度为m的序列。这时，信源输出依赖长度为m+1的随机序列
就转化为对应的状态序列，而这种状态序列符合马尔可夫链的 性质，称为m阶马尔可夫信源。 n—信源符号集 nm—信源不同的状态数
称信源的随机状态序列服从马尔可夫链
如果条件概率与l无关, 称为时齐的。
pl (
xk
si
) p(
xk
si
)
pl (
sj si
) p(
sj si
)
2、状态转移图 在状态转移图上， 每个圆圈代表一种状态， 状态之间的有向线段表某一状态向另一状态的转移。 有向线一侧的符号和数字分别代表发出的符号和条件概率。
p(e3/e4)= p(x1/e4)=p(0/11)=0.2
p(e4/e4)= p(x2/e4)=p(1/11)=0.8
求出稳定状态下的 p(ej),称为状态极限概率. 将一步转移概率代
入上式得:
p(e1)=0.8 p(e1)+0.5 p(e3) p(e2)=0.2 p(e1)+0.5 p(e3)
信息论基础理论与应用3极限熵及马科夫信源
均满足完备性条件
4
P(ai | a4 ) 1
i 1
i 1
所以，已知前面一个符号X1=ai信源输出下一个符号的平 均不确定性，即信息熵为:
q
H ( X 2 |X 1 ai ) P(a j | ai ) log P(a j | ai )
j 1
上式是对下一个符号aj的可能取值进行统计平均。而前一 个符号X1取值范围是｛a1,a2,a3,a4｝中的任一个。对于某
时间起点无关，即
P(xi xi1 ) P(x j x j1 ) （i、j为任意整数且i≠j）
则信源称为二维平稳信源。 • 上述等式表示任何时刻信源连续发出二个符号的 联合概率分布也完全相等。
以此类推，如果各维联合概率分布均与时间起点
无关，既当t=i, t=j（i、j为任意整数且i≠j）
时有：
log
P(ai
)
q
P(ai ) log P(ai ) H ( X 1)
i 1
二维平稳信源的信息熵(6)
从上面的推导得： H(X1X2)=H(X1)+H(X2|X1) P(X1X 2) P(X1)P(X 2 | X1)
同理可以证明： H(X1X2)=H(X2)+H(X1|X2)
44
P(ai )P(a j | ai ) log P(a j | ai )
i1 j1
44
P(ai a j ) log P(a j | ai )
i1 j1
此值为二维平稳信源的条件熵
根据概率关系展开式，我们可以得到联合熵与条件熵 的关系式
二维平稳信源的信息熵(5)
根据概率关系展开式，我们可以得到联合熵与条件熵的关系式
第8讲Markov信源
得 状 态 转 移 概 率
其他状态转移概率均为零
二阶平稳Markov信源的例子解答 二阶平稳Markov信源的例子解答 Markov
根据上述状态转移概率结果画出状态转移图如下
1/2 s1:00 1/2 1/4 s4:11 4/5 1/5 s3:10 1/3 3/4 2/3 s2:01
由Markov链知识可得出信源的状态转移概率矩阵， P=[pij]=[p(sj|si)]，以及达到平稳状态以后，处于sj 的 概率p(sj) .即：
设信源符号集X={a1, …,ar}，所处状态空间 设信源符号集 ，所处状态空间S={s1, …,sj}，在初 ， 始状态下，设信源每发出一个符号产生一种新的状态， 始状态下，设信源每发出一个符号产生一种新的状态，若符号 序列和状态序列满足： 序列和状态序列满足： 某时刻发出符号仅与当前信源状态有关，而与更前无关； (1). 某时刻发出符号仅与当前信源状态有关，而与更前无关； (2). 某时刻信源所处的状态仅与前一时刻所处的状态和当前符 号有关。 号有关。 则称该信源为Markov信源。 则称该信源为Markov信源。 Markov信源
这样由三元信 X ∈{0,1,2}得到的状态空间 e1, e2 , e3}和 源 { 相应的一步转 移概率构成的一阶 马尔可夫信源模型 为 ee2e3 1 p(ej / ei ) i, j =1,2,3 且∑(ej / ei ) =1
j =1 3
马尔可夫信源极限熵求解方法解析
马尔可夫信源极限熵求解方法解析作者：蔡春梅来源：《无线互联科技》2013年第12期摘要：本文首先给出了马尔可夫信源及其极限熵的定义，然后通过一个实例详细解析了马尔可夫信源极限熵的求解方法，最后对马尔可夫信源特点及其极限熵的求解步骤进行了总结。
关键词：马尔可夫信源；极限熵；极限概率信源是什么？通俗的说，信源就是信息的来源。
在我们现实生活中，信源无处不在，文字、声音、图像、数据……。
在信息论与编码理论中，把信源统一定义为产生消息符号、消息符号序列、或产生连续消息的来源，在数学上表示，信源则是产生随机变量X，随机序列X 或随机过程x（t）源。
若信源在不同的时刻发出的符号或符号序列之间有相互依赖关系，这类信源称为有记忆信源。
通常，符号之间的相关性用联合概率或条件概率来描述。
但是，当信源发出的某个符号只与这个符号之前的一个符号或之前的多个符号有关，而与更前面的符号无关时，我们可把它视为一种特殊的有记忆信源，即马尔可夫信源。
1 马尔可夫信源⑴马尔可夫信源。
我们说实际的信源一般都是有记忆的信源，而且这种有记忆信源在任一时刻发出符号的概率通常只与前面若干个符号有关，而与更前面的符号无关，因此我们可以认为信源在某一时刻发出的符号与信源的状态有关。
若信源输出的符号序列和状态序列满足下述的两个条件：某一时刻信源的输出仅与信源的当前状态有关；信源的状态只由当前的输出符号和前一时刻信源状态唯一确定。
我们称这样的信源为马尔可夫信源。
⑵马尔可夫信源的极限熵。
若信源以长度为N输出符号序列，则信源的平均符号熵为，其中是信源的矢量熵。
当N→∞时，，此时称为信源的极限熵。
极限熵是真正描述实际信源熵的表达方式。
它规定了平稳离散有记忆信源输出符号序列中平均每个信源符号的熵值，代表了一般离散有记忆信源平均每发出一个符号所提供的信息量。
事实上，当信源记忆长度很长，趋于无穷大的时候，要计算联合熵或极限熵是很困难的，它需要测定信源的无穷阶联合概率和条件概率，这是很难达到的，因此，我们在实际计算时，我们往往只考虑有限记忆信源的熵，用有限的条件熵或平均符号熵作为极限熵的近似值。
3.4_马尔可夫信源
信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系3.4 马尔可夫信源离散信源中有一类特殊的信源，其信源输出的符号序列中符号之间的依赖关系是有限的，并且满足马尔可夫链的性质，因此可用马尔可夫链来处理。
任何时刻信源符号发生的概率只与前面已经发生过的若干个符号有关，而与更前面的符号无关。
3.5.2课上要求：课本P641.【定义】若离散平稳信源在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早些时刻发出的符号无关，这类信源称为马尔可夫（MovKov）信源。
2.【数学描述】如果随机变量序列X 中的任一时刻(n +1)的随机变量X n +1只依赖于前面已经发生的n 个随机变量X 1X 2…X n ，与更前面的随机变量无关，则称这种信源为n 阶马尔可夫信源。
其概率分布表示为：)|()|(21211221n i i i i i i i i n i i x x x x p x x x x x x x x p ---++---=3.【特殊说明】①n阶马尔可夫信源只与前面发出的n个符号有关，即关联长度为n+1。
②当n=1时，即任何时刻信源符号发生的概率只与前面一个符号有关，则称为一阶马尔可夫信源。
二、相关概念1.状态【定义】把排在指定符号前面与它相关联的n个符号定义为该符号的状态。
【数目】n阶马尔可夫信源可以有q n种不同的状态。
当前时刻输出的符号1.状态【举例】序列的状态是由信源的符号构成的。
•比如二元二阶马尔可夫信源有四个状态：{0，1} {00，01，10，11}前一时刻输出的符号2.状态转移设离散平稳有记忆信源的状态集为S={S1,S2,…,S J}，在每一状态下输出的符,a2,…,a q}，并认为每一时刻号X∈A={a1，当信源发出一个符号后，信源所处的状态将会发生转移。
【注意】本课程只研究时齐马尔可夫信源，即状态转移过程与时间无关。
1.前提假设信源输出符号序列为：x 1, x 2, … , x l -1, x l , …。
ch06马尔可夫信源
Review of the last lecture
问题2&3:
• H(X)/矢量熵= H(X1X2…XN-1XN)/联合熵表示平均发一个消息 （由N个符号组成）提供的信息量。 • 平均符号熵：信源平均每发一个符号提供的信息量为
H N (X ) =
1 N
H (X1X 2 … X N )
• 极限熵：当N→∞时，平均符号熵取极限值称之为极限熵 或极限信息量。用H∞表示，即
• 这里利用了m阶马尔可夫信源“有限记忆长度”的根本特 性，使无限大参数N变为有限值m，把求极限熵的问题变 成了一个求m阶条件熵的问题。 • 状态一步转移概率p(ej /ei)是给定或测定的。求解Hm+1条件 熵的关键就是要得到p(ei)(i=1,2,…,nm) 。 p(ei)是马尔可夫 信源稳定后(N→∞)各状态的极限概率。 • 有限状态的马尔可夫链：状态空间的状态是有限的。 • 可列状态的马尔可夫链：状态空间I是{0,±1,±2,…}。
k =1
由图中看出： P( S = e / X = x , S = e ) = 0 ⎧ l 2 l 1 l −1 1
⎪ P( S = e / X = x , S = e ) = 1 l 1 l 1 l −1 1 ⎪ ⎪ ⎨ P( S l = e2 / X l = x2 , S l −1 = e1 ) = 1 ⎪ P( S = e / X = x , S = e ) = 0 l 3 l 2 l −1 1 ⎪ ⎪ ⎩
H ∞ = lim
N →∞
1 N
H (X1X 2 … X N )
Review of the last lecture
• 极限熵的存在性：当离散有记忆信源是平稳信源时，从 数学上可以证明，极限熵是存在的，且等于关联长度 N→∞时，条件熵H(XN/X1X2…XN-1)的极限值，即
第2章信源熵--马尔科夫信源及极限熵
信源熵
四、马尔科夫信源及其极限熵
1、马尔科夫信源
定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源。
马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m 。* m阶马尔科夫信源符号序列的长度N=m+1。
信源熵
信源熵
中华人民共和国
中国
*华人民*和国
*国
信源熵 抽象描述
实际信源抽象为N维离散平稳信源，H∞是其熵率， 即从理论上看，只要传送H∞就可以了。 但是这必须掌握信源的全部统计特性，这显然是 不现实的。实际中，只能掌握有限记忆长度m， 其熵率用Hm+1近似，即需要传送Hm+1 与理论值相比，多传送了Hm+1-H∞ 由于Hm+1>H∞，表现在信息传输上存在冗余。
信源熵
0.2P(s1 ) 0.5P(s3 ) 0 0.2P(s1 ) P(s 2 ) 0.5P(s3 ) 0 0.5P(s 2 ) P(s3 ) 0.2P(s 4 ) 0 0.5P(s 2 ) 0.2P(s 4 ) 0
完备性
P(s1 ) P(s2 ) P(s3 ) P(s4 ) 1
信源熵
定义
信源的m阶极限熵Hm+1与N-1阶极限熵H∞的相对差 为该信源的冗余度，也叫剩余度。
信源熵
马尔可夫链的应用 排队理论和统计学中的建模，还可作为信号模型用 于熵编码技术，如算术编码 著名的LZMA数据压缩算法就使用了马尔可夫链与 类似于算术编码的区间编码。 生物学应用， 人口过程，可以帮助模拟生物人口过程的建模。 隐蔽马尔可夫模型还被用于生物信息学，用以编 码区域或基因预测。 马尔可夫链最近的应用是在地理统计学 （geostatistics）中,被称为是“马尔可夫链地理 统计学”。仍在发展过程中。
2-6 第2章 2.2.4-5 马尔可夫信源
信源输出的随机符号序列为X1 X 2 X l , X l X ( x1 , x2 , xn ), l 1, 2, 信源所处的状态序列为S1S 2 Sl , Sl S (e1 , e2 , eJ ), l 1, 2,
3
马尔可夫信源定义
定义 若信源输出的 符号序列 和 状态序列 满足下述条件则称此信源为马尔可夫信源 1、某一时刻l 信源的输出仅与信源的当前状态有关，即 p ( X l xk Sl e j , X l 1 xk1 , Sl 1 ei ,) p ( X l xk Sl e j ) 其中，xk、xk1 A；ei、e j S 2、信源的状态只由当前的输出符号和前一时刻信源状态 唯一确定，即 1 p ( Sl ei X l xk , Sl 1 e j ) 0
6
马尔可夫链状态转移图-例题
通常我们用马尔可夫 链的状态转移图来描 述马尔可夫信源。
例 一个二进制一阶马尔可夫信源， 信源符号集为X {0,1}， 条件概率为 p (0 0) 0.25, p(0 1) 0.5, p (1 0) 0.75, p(1 1) 0.5, q 2, m 1, 所以e1 0, e 2 1.
i j
其中p (e j )是马尔可夫链的平稳分布。 p (e j )为极限概率，满足方程组 p (e j ) p (ei ) p (e j / ei ) Nhomakorabeai 1 nm
( j 1, 2,..., n m )
及条件 p (e j ) 0,
p (e
j 1
nm
j
) 1
15
计算此马尔可夫信源熵-例题
N
H ( X m1 X 1 , X 2 ,, X m ) H m1 即m阶马尔可夫信源的极限 熵等于m阶条件熵。 13
利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。
利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。
1.引言1.1 概述在文章的概述部分，我们将介绍马尔可夫信源及其在信息论中的应用。
马尔可夫信源是一类特殊的随机过程，其生成的信源符号之间存在一种特定的依赖关系。
该依赖关系表明，在给定前一时刻状态的情况下，当前时刻的状态独立于过去时刻的状态。
本文旨在使用状态极限概率和状态一步转移概率这两个重要概念，来求解m阶马尔可夫信源的极限熵。
状态极限概率表示在信源信号长度趋于无穷大时，信源处于某一状态的概率。
而状态一步转移概率则描述了信源当前状态到下一时刻状态的转换概率。
通过分析马尔可夫信源的状态极限概率和状态一步转移概率，可以得到信源的极限熵。
极限熵是指在给定无限长信源观测序列的情况下，信源每个符号所携带的平均不确定度。
它是一种对信源信息量的度量，能够反映信源的不确定程度和信息压缩效率。
在本文的正文部分，我们将详细介绍状态极限概率和状态一步转移概率的计算方法，并利用这些概率来推导m阶马尔可夫信源的极限熵的计算公式。
通过理论分析和实例说明，我们将展示该方法的有效性和实用性。
最后，在结论部分，我们将总结文章的主要内容，并进一步讨论该方法的应用前景和局限性。
我们希望本文的研究对于马尔可夫信源的极限熵求解方法提供一种新的思路和途径，为信息论领域的研究和应用做出一定的贡献。
文章结构部分的内容，可以详细介绍文章的组织结构和各个章节的主要内容。
以下是一个可能的内容示例：1.2 文章结构文章按照以下结构进行组织：引言：本节将简要概述文章的主题和研究目的，为读者提供一个大致的研究背景和框架。
同时，将介绍文章的结构和每个章节的主要内容。
正文：本部分是文章的核心部分，包含了两个主要章节，分别是状态极限概率和状态一步转移概率。
- 章节2.1 状态极限概率：这一章节将介绍马尔可夫信源及其状态极限概率的概念。
首先，我们将解释什么是马尔可夫信源和其基本特征。
接着，我们会详细讨论状态极限概率的计算方法，并给出具体的算法和示例。
2-6_第2章马尔可夫信源
信源输出 0 状态跳变 0 E1 1 E2 1 E4 0 E3 1 E2 0 E3 0 E1 0 E1 1 E2
22
m阶马尔可夫信源
对于m阶马尔可夫信源，状态的定义已经给出， 状态转移图也可以很容易的画出 例：二元二阶马尔可夫信源，样本空间为(0, 1)，条件概率为：
2
马尔可夫信源－研究意义
虽然马尔可夫信源是一个非平稳的信源， 但是当马尔可夫信源进入稳定状态后，就 可以看成一个平稳信源 马尔可夫信源熵的求解，只需要知道与前 面N－1个分量的相互关系，即只需要知道 N维条件概率分布即可，受约束程度大大 降低
3
有限状态马尔可夫链
定义 设{Sn, n N }为一随机序列，表示状态序列，时间参数集N {0， 1， 2， }，其取值空间E {E1，E 2， EJ}，若对所有n N ， 有 P{Sn Ein | Sn 1 Ein 1, Sn 2 Ein 2, , S 1 Ei1} P{Sn Ein | Sn 1 Ein 1} 则称{Sn, n N }为马尔可夫链。 其意义是： 系统在现在时刻n 1处于状态Ein 1，那么将来时刻n的状态Ein 与过去时刻n 2, n 3,...,1的状态Ein 2,..., Ei1无关， 仅与现在时刻n 1的状态Ein 1有关。 即，已知系统的现在，那么系统的将来与过去无关。 这种特性称为马尔可夫特性。
0
E2
E1 0
2
1
E3
14
马尔可夫信源－基本概念
马尔可夫信源输出的符号序列Xl完全由信源所处的 状态Sl决定。所以，可将信源的输出符号系列变换 成状态系列，将信源输出符号的不确定性问题变成 信源状态的转换问题
第4章 马尔科夫信源的熵率
第4章 马尔科夫信源的熵率 1、m阶马尔科夫信源 定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源 马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m m阶马尔科夫信源符号序列的长度N=m+1
马尔科夫信源的熵率
表示
a2 L anm+1 Xm+1 / X1X2 LXm a1 P(X / X X LX ) = P(a ) P(a ) L P(a ) 2 m+1 1 2 m nm+1 1
P(0/ 00) = P(00/ 00) = P(s1 / s1) = 0.8
0.8 s1 0.2 0.5 s2 0.5 s4 s3
P(1/ 00) = P(01/ 00) = P(s2 / s1) = 0.2 P(0/ 01) = P(10/ 01) = P(s3 / s2 ) = 0.5
P(1/ 01) = P(11/ 01) = P(s4 / s2 ) = 0.5
P(1/11) = P(11/11) = P(s4 / s4 ) = 0.8
马尔科夫信源的熵率
2、m阶马尔科夫链的遍历定理
马尔科夫链的遍历 从任何一个状态出发，可以通过有限步到达任何 其他状态，该马尔科夫链是遍历的
1
非遍历的马尔科夫链存在吸收态 非遍历马尔科夫链的例子
s2
s1 0.5 0.5 s3
例1
X3 / X1X2 0/ 00 1/ 00 0/ 01 1/ 01 0/10 1/10 0/11 1/11 P(X / X X ) = 0.8 0.2 0.5 0.5 0.5 0.5 0.2 0.8 3 1 2
马尔可夫信源的熵分类法
&"$"+
有 )&$ #"% ｛)&% ｝ ， 序列 ’ &’ ’… ’ " 属于第 & 类。
) $ !
, ! ’
（&） （’）信源某 # 时刻所处的状态由当前的输出符号 时刻信源的状态惟一确定， 即 和前一（##!） （’ #$(* " ’ ##!$()， ! "#$%&） $ …， 0$. ,。 （)）
（!)）
此处，()$ （%& %& … %& ） ， …， …， & !， & ’， & ,$!， ’， . ，)$!， ’，
"
(， ()， (*! (，
!， %! + 。
’
判别方法描述
设共有 4 个类 , 阶马尔可夫随机序列的样本集，
则此信源称为马尔可夫信源。 定义 !
, 阶有记忆离散信源的数学模型可由一
组信源符号集和一组条件概率确定：
…， 第 &（& $!， ’， 5）类的样本为 ， （+）
& & "& !! "!’ … "!5 …，
均符号熵 ( ! 与 第 & ! 类 的 极 限 熵 ( ( 的 距 离 ， ! &! $ ) ( ! *
与类 ’ 的距离 & 比特
.8’9 .8’. .8&9 .8&. .8.9 . .8.’ .8.3 .8.2 .8.; .8&. .8&’ .8&3
与类 & 的距离 & 比特
% ! （ …， 则若 )&!$ #+, ｛ ) %&（ #$） *!& #$）) ｝， & !"#， *， $， "
马尔可夫信源
从而得到马尔可夫信源状态空间
e1
e2
...
enm
p ej / ei
13
HUST --- Information and Coding Theory
马尔可夫信源与马尔可夫链
其状态e由（x
i
i1
,
xi2
,
L
, xim）唯一确定，
因此p(xkm1 xkm ,L , xk1 ) p(xkm1 ei ) 信源发出xkm1 ,状态变为ej ,
其意义是： 系统在现在时刻n 1处于状态Sin 1，那么将来时刻n的状态Sin 与过去时刻n 2, n 3,...,1的状态Sin 2,..., Si1无关， 仅与现在时刻n 1的状态Sin 1有关。 即，已知系统的现在，那么系统的将来与过去无关。 这种特性称为马尔可夫特性。
2
HUST --- Information and Coding Theory
基本（一步）转移概率
当n m 1时，pij(m, m 1)即为一步转移概率。 一般， 把pij(m, m 1)记为pij(m)，m 0, 称为基本转移概率。
pij(m)=P X m1 j | X m i i, j S
pij(m)中m表示基本转移概率与时刻m有关。
4
HUST --- Information and Coding Theory
18
HUST --- Information and Coding Theory
马尔可夫信源-例题
例 设有一个二进制二阶马尔可夫信源， 信源符号集为{0,1}，条件概率为 p(0 00) p(111) 0.8， p(1 00) p(0 11) 0.2， p(0 01) p(0 10) p(1 01) p(110) 0.5 试求其平稳分布和极限熵。
马尔可夫信源的信息熵
2. 6 马尔可夫信源
非平稳离散信源：描述信源输出消息的随机序列X 是非平稳的随机序列——马尔可夫信源
输出的随机序列X中各随机变量之间有依赖关系。 但记忆长度有限且满足马尔可夫链的性质，因此可 以用马尔科夫链来处理。
本节将讨论这类信源及其信息熵。
电子信息工程学院
信息论
2. 6 马尔可夫信源
电子信息工程学院
信息论
2. 6 马尔可夫信源
若当这些概率和时刻L无关，既满足
P(xl ak | sl Ei ) Pak | Ei
Pij P Ej | Ei
则成为时齐的或齐次的。此时，信源的状态序列服从时齐马 尔可夫链。
若时齐马尔可夫链对一切 Ei , E j存在不依赖于Ei 的极限
P xi | x1x2 xi2 xi1 P xi | xi2 xi1
i 3
而且 P xi | xi2 xi1 P x3 | x1x2 i 3
求：①信源状态转移情况和相应概率； ②画出完整的二阶马尔可夫信源状态转移图； ③求平稳分布概率； ④马尔科夫信源达到稳定后，0和1的分布概率。
0
0 0.2 0.8
1: 0.2 S1
0：0 .5 1: 0.5
0：0 .5 S2
1：0 .5
0：0 .2
状态转移图(如右图所示)：
S3
1：0 .8
电子信息工程学院
信息论 2. 6 马尔可夫信源
2.6.2(1)马尔可夫信源的信息熵
时齐的、遍历的马尔可夫信源的熵
J
H Q Ei H X | Ei i 1
E j E
QEj 1
E j E
极限熵计算
2.11黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。
设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H ∞(X);(3) 分别求上述两种信源的剩余度，比较H(X)和H ∞(X)的大小，并说明其物理含义。
解：(1)symbolbit x p x p X H ii i / 881.010log )7.0log 7.03.0log 3.0()(log )()(2=+-=-=∑(2)p(黑/黑)=0.8e1e2p(白/白)=0.9p(白/黑)=0.2symbolbit e e p e e p e p H e p e p e p e p e p e p e p e p e p e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p i ji j i j i / 553.010log )9.0log 9.0321.0log 1.0322.0log 2.0318.0log 8.031()/(log )/()(3/2)(3/1)(1)()()(2)()(2.0)(9.0)()(1.0)(8.0)()/()()/()()()/()()/()()(221211212221112122222121111=⨯+⨯+⨯+⨯-=-=⎩⎨⎧==⎩⎨⎧=+=⎩⎨⎧+=+=⎩⎨⎧+=+=∑∑∞(3)%7.442log 553.02log %9.112log 881.02log 2200122001=-=-==-=-=∞∞H H H H H H ηη H(X) > H ∞(X)表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章信源与信息熵香农信息论的基本点用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。
信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类.单符号信源概率空间描述自信息量单位：bit（一个比特表示一个等概率的二进制符号信息量）自信息量与不确定度的关系✓不确定度:⏹随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不相同．⏹一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小。
⏹一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大。
⏹若是确定性事件，出现概率为1，则它包含的不确定度为0。
✓说明:⏹具有某种概率分布的随机事件不管发生与否，都存在不确定度，⏹不确定度表征了该事件的特性，⏹而自信息量是在该事件发生后给予观察者的信息量。
联合自信息量为：条件自信息量为：信源熵=【信源的平均不确定度】=【平均自信息量】条件熵：∑∑==ij i j i ji j i j i y x p y x p y x I y x p Y X H )|(log ),()|(),()/(,联合熵∑∑==ij i j i ji j i j i y x p y x p y x I y x p Y X H ),(log ),(),(),(),(,联合熵、条件熵与信源熵的关系H(XY)=H(X)+H(Y/X)，H(XY)=H(Y)+H(X/Y) 互信息定义：后验概率与先验概率比值的对数)()/(log);(i j i j i x p y x p y x I =平均互信息量∑==yx x p y x p y x p Y X I ,)()/(log),();(疑义度条件熵H(X/Y)：信道上的干扰和噪声所造成的对信源符号x 的平均不确定度． 噪声熵或散布度条件熵H(Y/X)：可看作唯一地确定信道噪声所需要的平均信息量．互信息量与熵的关系 H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X)≥H(X/Y)，H(Y)≥H(Y/X) I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY) H(XY)≤H(X)+H(Y)信息不增性：数据处理过程中只会失掉一些信息，绝不会创造出新的信息． 最大熵定理(1) 限峰功率最大熵定理：对于定义域为有限的随机矢量X ，当它是均匀分布时，具有最大熵。
(2) 限平均功率最大熵定理：若连续变量 X 的方差一定 ，当它是正态分布时具有最大熵。
信源的序列熵：（请注意：序列X 的多种写法！）H(X L )＝H(X 1X 2…X L )＝H(X 1)＋H(X 2/X 1)＋…＋H(X L /X 1X 2…X L-1) 平均每个符号的熵为)X X H(X 1)(L 21 LX H L =若当信源退化为无记忆时，有()()L 21L 21X H X H )H(X )X X H(X )( ++==X H 若进一步又满足平稳性时，则有)H(X )(1L X H = 推广结论马尔可夫信源✓ 表述有记忆信源要比表述无记忆信源困难得多。
实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。
为此，可以限制随机序列的记忆长度。
✓ 当记忆长度为m+1时，称这种有记忆信源为m 阶马尔可夫信源。
也就是信源每次发出的符号只与前m 个符号有关，与更前面的符号无关。
稳态分布概率定义：若齐次马尔可夫链对一切i,j 存在不依赖于i 的极限，则称其具有遍历性，Wj 称为稳态分布概率马尔可夫信源极限熵：∑∑⋅==∞ii i ii i s X H W s X H s p H )/()/()()(X())/s p(x )log /s p(x X/s H i j ji j i ∑-=其中，冗余度：它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度).)()(11:)()(:X H X H X H X H m m ∞∞-=-==ηγη定义冗余度定义信息效率其中：H ∞(X)为信源实际熵，Hm(X)信源最大熵。
习题2 信源与信息熵习题2-12.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。
解：✓ 状态图如下✓ 状态转移矩阵为：✓ 设状态u1，u2，u3稳定后的概率分别为W1，W2、W3✓ 由1231WP W W W W =⎧⎨++=⎩， 得：1231132231231112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩✓ 计算可得：1231025925625W W W ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩习题2-22.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。
画出状态图，并计算各状态的稳态概率。
解： 因是二阶马尔可夫信源,此信源任何时刻发出的符号只与前两个符号有关,而与更前面的符号无关。
如原来状态为00,则此时刻只可能发出符号0或1,下一时刻只能转移到00,01状态,由于处于00状态发符号0的概率为0.8,处在00状态时发符号1的概率为0.2,转移到01状态,(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==✓ 于是可以列出转移概率矩阵：0.80.200000.50.50.50.500000.20.8p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭✓ 状态图为：✓ 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有✓ 由411i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 13113224324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩✓ 计算得到12345141717514W W W W ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩习题2-3同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-==⨯= (3) 两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbol bit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=习题2-52.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：✓ 已知：在女大学生中有75%是身高160厘米以上的 即： 75.0)/(11=x y p✓ 求：身高160厘米以上的某女孩是大学生的信息量，即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log)/(log )/(11111111=⨯-=-=-=习题2-122.12 两个实验X 和Y ，X={x1 x2 x3},Y={y1 y2 y3},l 联合概率(),i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r rr r ⎛⎫⎛⎫⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭（1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？（3）在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：联合概率(,)i j p x y 为XY（1）22221(,)(,)log (,)724112log 4log 24log 4247244i j i j ijH X Y p x y p x y ==⨯+⨯+∑=2.3bit/符号（2）21()3log 3 1.583H Y =⨯= （bit/符号） （3） (|)(,)() 2.3 1.58H X Y H X Y H Y =-=- = 0.72（bit/符号）习题2-14在一个二进制信道中，信源消息集 X={0,1}，且 P(0)=P(1),信宿的消息集 Y={0,1},信道传输概率 P （y=1 | x=0）=1/4, P(y=0 | x=1)=1/8。