信息论报告

马尔科夫信源熵的研究

第1章引言

第1章引言

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。信息是系统传输和处理的对象，它载荷于语言、文字、数据、图像、影视、信号等之中，是研究信息处理和传输的规律，首先要对信息进行定量的描述，即信息的度量，这是信息论研究的出发点。但要对通常含义下的信息（如知识、情报、消息等）给出一个统一的度量是困难的，因为它涉及主观和客观两个标准，而迄今为止最成功、应用最广泛的是建立在概率模型基础上的信息度量，进而建立在此种信息量基础上的信息论成功的解决了信息处理和可靠传输中的一系列理论问题。信息论也是马尔科夫链的一个很重要的应用领域。

在信息论的发展过程中，Shannon作了很大贡献，他于1948年发表了一篇具有里程碑性质的论文——“通信的数学理论"，这是世界上首次将通讯过程建立了数学模型的论文，这篇论文和他于1949年发表的另一篇论文一起，奠定了现代信息论的基础。熵是信息论的基本概念之一，它表示信源的平均不确定，有些物理学家甚至认为信息论就是熵的理论，熵率是一种极限熵，它描述了信源平均不确定性的一种变化趋势，在此基础上，许多科学家又采取了不同的研究途径进一步发展了信息论。

1

马尔科夫信源熵的研究

2

第2章 马尔科夫信源及其熵的求解

2.1 马尔科夫过程概述

马尔科夫过程是一类常见的，重要的随机过程，它有着极为深厚的理论基础，如拓扑学、函数论、泛函分析、近世代数和几何学。又有着广泛的应用空间，其主要应用于排队论，存储模型，更新模型，信息理论和数学计算等方面。由于马尔科夫过程在物理学、生物科学、信息理论、自动控制、工程技术及数值计算等方面起到的异乎寻常的作用，使得人们越来越重视马尔科夫过程的理论及其应用的研究。这一类随机过程的特点是：当过程在时刻靠所处的状态已知，则过程在靠以后所处状态与过程“以前所处状态无关，这个特性叫无后效性，也叫做马尔科夫性。通俗地说，就是“已知现在，将来和过去无关”。若马尔科夫过程(){},X t t T ∈的状态空间S 为R 中的可列集，则称(){},X t t T ∈为马尔科夫链。若T 为可列离散集，则称(){},X t t T ∈为离散参数马尔科夫链；若T 为连续的，则称(){},X t t T ∈为连续参数马尔科夫链。本文主要研究离散参数马尔科夫链，其严格数学定义将在后文给出。

自1907年苏联数学家A ．A ．Markov 引出马尔科夫链的概念，并开始研究以来，世界各国数学家对马尔科夫链的研究可以说盛久不衰。如研究有限或可数马尔科夫链，研究马尔科夫链及随机稳定性，以及对马尔科夫链基础知识的研究。

熵定理是信息论中最基本的定理，也称为Shannon ．McMillan ．Breiman 定理，亦称作渐近均分割性(AEP)。渐近均分割性首先是由Shannon 在1948年的开创性论文中进行了论述，他证明了有限齐次遍历马氏信源熵密度依概率收敛于常数，随后，就有许多数学家将此定理做了推广，McMillan 证明了有限平稳遍历信源的相对熵密度平均收敛于常数，其实这个常数就是熵率。Chuang ．K ．L 将定理推广到可数字母表情形，证明了平稳遍历信源几乎处处收敛于其熵率，Mayml ，Perez 和Kieffer 证明了当序列连续取值且遍历时的1L 收敛性，Barron 和Orey 证明了实值遍历过程的几乎处处收敛性，Algoet 和Cover 给出了Shannon ．McMillan ．Breiman 定理的三明治证法。

第2章马尔科夫信源熵及其求解

3

2.2 马尔科夫信源及其极限熵

设一般信源所处的状态{}12j ,,,s E E E E ∈= ，每一状态下可能输出的符号

{}12X ,,,q A a a a ∈= ，并认为每一时刻，当信源发出一个符号后信源所处的状态

将发生转移。信源输出的随机符号序列为121,,,,,l l x x x x - ；信源所处的状态序列为121,,,,,l l s s s s - 。在第l 时刻，信源处于状态i E 时，输出k a 的概率为

()|i k i i P x a s E ==。

另设在第1l -时刻信源处于状态i E ，在下一时刻l ，状态i E 转移到j E 的状态，

转移概率为

()()1|ij i j i i P l P s E s E -=== (2.1)

若这些概率与时刻l 无关，即满足：

()()()()1||||l j l i j i ij l k l i k i P s E s E P E E P P x a s E P a E -⎫====⎪⎬===⎪⎭ (2.2)

这时称为时齐的，即此信源状态序列服从时齐马尔科夫链。

定义1若信源输出的符号序列和信源所处的状态满足下列两个条件：

1) 某一时刻，信源符号的输出只与此时刻信源所处的状态有关，而与以前

的状态及以前的输出符号都无关，即

()()11|,,,|l k l i l k l j l k l i P x a s E x a s E P x a s E --=======

(2.3) 当具有时齐性时，有()()||l k l i k i P x a s E P a E ===及()|1k k i a A P a E ∈=∑。

2) 信源某l 时刻所处的状态由当前的输出符号和前一()1l -时刻信源的状

态唯一确定，即

()10,,,|,1,.

i j l i l i l k E E E P s E s E x a a A -∈⎧====⎨∈⎩ (2.4)

则此信源为马尔科夫信源。

定义2 m 阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定：

()11212121|,,,,,1,2,m m q k k k k m m a a a X P a a a a k k k k q ++⎡⎤⎢⎥=⎢⎥⎣⎦

= (2.5)

并满足