马尔科夫理论浅析

隐马模型基本要素及基本三问题
综上所述，我们可以得到隐马尔科夫的基本要素，即一个五元组{S,N,A,B,PI}；
S：隐藏状态集合；
N：观察状态集合；
A：隐藏状态间的转移概率矩阵；
B：输出矩阵（即隐藏状态到输出状态的概率）；
PI：初始概率分布（隐藏状态的初始概率分布）；
其中，A,B,PI称为隐马尔科夫的参数，用X表示。
层次分析法是将决策问题按总目标、各层子目标、评价准则直至具体的备投方案的顺序分解为不同的层次结构，然后得用求解判断矩阵特征向量的办法，求得每一层次的各元素对上一层次某元素的优先权重，最后再加权和的方法递阶归并各备择方案对总目标的最终权重，此最终权重最大者即为最优方案。这里所谓“优先权重”是一种相对的量度，它表明各备择方案在某一特点的评价准则或子目标，标下优越程度的相对量度，以及各子目标对上一层目标而言重要程度的相对量度。层次分析法比较适合于具有分层交错评价指标的目标系统，而且目标值又难于定量描述的决策问题。其用法是构造判断矩阵，求出其最大特征值。及其所对应的特征向量W，归一化后，即为某一层次指标对于上一层次某相关指标的相对重要性权值。
这串数字叫做可见状态链。但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。在这个例子里，这串隐含状态链就是你用的骰子的序列。比如，隐含状态链有可能是：D6 D8 D8 D6 D4 D8 D6 D6 D4 D8
一般来说，HMM中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之间存在转换概率（transition probability）。在我们这个例子里，D6的下一个状态是D4，D6，D8的概率都是1/3。D4，D8的下一个状态是D4，D6，D8的转换概率也都一样是1/3。这样设定是为了最开始容易说清楚，但是我们其实是可以随意设定转换概率的。比如，我们可以这样定义，D6后面不能接D4，D6后面是D6的概率是0.9，是D8的概率是0.1。这样就是一个新的HMM。
Pij( t) = P{ Xt + 1= xj| X0= x0,X1= x1,…,Xt - 1= xi-1,Xt = xi}
= P{ Xt + 1= xj| Xt= xi}。
马尔科夫矩阵及其计算：
看一个简单的例子，两个状态K和L。现在发生概率转移。设四个转移概率Pkl，Pkk，Pll，Plk分别为1/2, 1/2, 2/5, 3/5.
马尔科夫链是最简单的马尔科夫过程。一般的马尔科夫过程所研究的时间是无限的，是连续变量，其数值是连续不断的，相邻两值之间可做无限分割，且做研究的状态也是无限多的。而马尔科夫链的时间参数取离散数值。
马尔科夫过程有两个性质：
1.“无后效性”，即事物将来的状态及其出现的概率的大小，只取决于该事物现在所处的状态，而与以前时间的状态无关。
以跳蛙为例，青蛙下一次所在的荷叶位置与他之前所在的荷叶位置无关，只和他现在所在的荷叶位置有关。
2.“遍历性”，是指不管事物现在出于什么状态，在较长时间内，马尔科夫过程逐渐趋于稳定状况，而且与初始状况无关。
四个分类:按其状态空间I和时间参数集T是连续还是离散
四类：
时间参数T
状态空间I
离散
连续
离散
马尔科夫链
如果明天是否有雨仅与今天的天气（是否有雨）有关，而与过去的天气无关，并设今日下雨，明日有雨的概率为=0.7，今日无雨明日有雨的概率为=0.4，又假定把有雨称为０状态天气，把无雨称为１状态天气；求今日有雨第四日仍然有雨的概率。
提示：
解：
(n)表示n时的状态天气，则(n)是以{0，1}为状态空间的齐次马尔可夫链，它的一步转移矩阵为
马尔科夫理论浅析
引子：
1.随机变量Xn表示第n年某个人的健康状况，Xn=1表示健康，Xn=2表示疾病，n=0，1……用ai（n）表示第n年处于状态i的概率，i=1，2，即ai（n）=p（Xn=i）.用Pij表示今年处于的状态i，明年的状态j的概率，i，j=1,2，即Pij=P(Xn+1=j|Xn=i).ai(n)称为状态转移概率。
2.典型的跳蛙例子，Xn表示第n次跳青蛙所处的荷叶，第一次荷叶i，第二次荷叶j。（i，j=1,2,3,4……）.Pij表示状态转移概率，就是第n次在i荷叶上，第n+1次在j荷叶上，这个事情发生的概率。Pij=P(Xn+1=j｜Xn=i)。
以上例子的时间和状态的参数都是离散的，并且状态随着时间的变化随时变化，这样的过程称之为马尔科夫链。
同样的，尽管可见状态之间没有转换概率，但是隐含状态和可见状态之间有一个概率叫做输出概率（emission probability）。就我们的例子来说，六面骰（D6）产生1的输出概率是1/6。产生2，3，4，5，6的概率也都是1/6。我们同样可以对输出概率进行其他定义。比如，我有一个被赌场动过手脚的六面骰子，掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10。
同隐形马尔科夫理论相似，都是具有不确定性的随机过程。
3.层次分析法
所谓层次分析法，是指将一个复杂的多目标决策问题作为一个系统，将目标分解为多个目标或准则，进而分解为多指标（或准则、约束）的若干层次，通过定性指标模糊量化方法算出层次单排序（权数）和总排序，以作为目标（多指标）、多方案优化决策的系统方法。
开始掷骰子时，我们先从三个骰子里挑一个，挑到每一个骰子的概率都是1/3。然后我们掷骰子，得到一个数字，1，2，3，4，5，6，7，8中的一个。不停的重复上述过程，我们会得到一串数字，每个数字都是1，2，3，4，5，6，7，8中的一个。例如我们可能得到这么一串数字（掷骰子10次）：1 6 3 5 2 7 3 5 2 4
E2P21 P22 P23…P2n
P=E3P31 P32 P33…P3n
┆┆┆┆┆
EnPn1 Pn2 Pn3 ຫໍສະໝຸດ Baidunn
这样的矩阵叫做一步转移概率矩阵。
此矩阵具有以下两个性质：
（1）非负性，Pij>0,I,j=1,2……n.
（2）行元素和为1
如果不是经过一步而是经过k步得到的转移概率。就称为k步转移概率。
2.灰色模型预测
如果一个系统具有层次、结构关系的模糊性，动态变化的随机性，指标数据的不完备或不确定性，则称这些特性为灰色性。具有灰色性的系统称为灰色系统。对灰色系统建立的预测模型称为灰色模型(Grey Model)，简称GM模型，它揭示了系统内部事物连续发展变化的过程。
灰色理论认为系统的行为现象尽管是朦胧的，数据是复杂的，但它毕竟是有序的，是有整体功能的。灰数的生成，就是从杂乱中寻找出规律。同时，灰色理论建立的是生成数据模型，不是原始数据模型，因此，灰色预测是一种对含有不确定因素的系统进行预测的方法。
在预测中常常是结合马尔科夫的概率转移矩阵进行计算。
由上述问题可以引出隐马尔科夫的三个基本问题的其中两个，下文中为了简便，将隐马尔科夫模型简称为HMM(Hiden Markov Model)。
HMM的三个基本问题是：
1.给定模型（五元组），求某个观察序列O的概率
2.给定模型和观察序列O，求可能性最大的隐藏状态序列。
3.对于给定的观察序列O，调整HMM的参数，使观察序列出现的概率最大。
假设有三个不同的骰子。第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8.
马尔科夫序列
连续
可列马尔科夫过程
马尔科夫过程
其中马尔科夫链是以马尔科夫性为核心概念的时间和状态均为离散的随机过程。而在我们经济的预测中时间和空间往往都是有限的。所以重点是马尔科夫链。
数学表达：
如果随机过程{ Xt, t∈T} ,满足条件: Xi=xi,即过程在时刻t处于状态xi,那么在下个时刻t + 1处于xj的概率是固定的Pij( t) :
}，（ ）
称之为切普曼-柯尔莫哥洛夫方程式（C-K方程）
m=1时就是一步转移概率。
实际应用
对马尔可夫过程的演变趋势和状态加以分析，用于预测事物未来状态的研究，称为马尔科夫预测法。
特点：
1、简便性，无需大量统计资料
2、随机性，无法确切预知未来状态
3、局限性，只适合马尔可夫过程
应用举例：天气预报的预测问题。
则一步转移概率矩阵为
两步转移
四步转移矩阵
所以今日有雨第四日仍有雨的改路是Poo4=0.5749
相关模型：
1.隐形马尔代夫模型
隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。
它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程----具有一定状态数的隐马尔可夫链和显示随机函数集。
Pkk=1/2
K
Pkl=1/2 Plk=3/5
L
Pll=2/5
据此我们可以列出一个简单的矩阵
K L
K 1/21/2
P=
L 3/5 2/5
以此类推到一般情况，
系统的状态空间为E={E1，E2……En}，而每一个时间系统只能处于其中一个状态，因此每一个状态都有n个转向。
E1E2E3…En
E1P11 P12 P13…P1n