马尔科夫模型预测方法的研究及其应用

ａｐｐｌｙ ｉｎｔｏ ｒｅｇｒｅｓｓｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｅａｒｃｈ，ｗｈｉｃｈ ｓｅｅｋ ｔｏ ｔｈｅ ｃｏｍｐｒｏｍｉｓｅｄ ｍｅｔｈｏｄ
ｂｅｔｗｅｅｎ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｃｏｍｐｌｅｘｉｔｙ ａｎｄ ｔｈｅ ｓｔｕｄｙ ｐｒｅｃｉｓｉｏｎ，ｇｅｔｔｉｎｇ
ｔｈｅ ｍｏｓｔ ｏｐｔｉｍｉｓｅ ａｂｉｌｉｔｙ．Ｈｏｗｅｖｅｒ，ｗｈｅｎ ｄｏ ｒｅｇｒｅｓｓｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｕｐｐｏｒｔ
ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ｂｅｃａｕｓｅ ｉｔ’Ｓ ｄｉｆｆｉｃｕｌｔ ｔｏ ｃｈｏｏｓｅ ｆｕｎｃｔｉｏｎ ｐａｒａｍｅｔｅｒｓ，ａｎｄ ｔｈｅ
１１ｌｅ ｄｉｓｓｅｒｔａｔｉｏｎ ｉｎｃｌｕｄｅｓ：
１．Ｔｈｉｓ ｔｈｅｓｉｓ ｒｅｖｉｅｗ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｐｒｏｃｅｓｓ ｏｆ Ｍａｒｋｏｖ ｔｈｅｏｒｙ，ｆｉｒｓｔ ｏｆ ａｌｌ ｉｎｔｒｏｄｕｃｅ ｔｈｅ ｂａｓｉｃ ｃｏｎｃｅｐ ａｎｄ ｒｅｌａｔｅｄ ｔｈｅｏｒｅｍ ｏｆ Ｍａｒｋｏｖ ｔｈｅｏｒｙ，ｃａｒｒｉｅｄ ｏｎ ｔｈｅ ｄｅｔａｉｌｅｄ ａｎａｌｙｓｉｓ ｔｏ ｔｈｅ ｃｏｎｃｒｅｔｅ ｓｔｒｕｃｔｕｒｅ ｍｅｔｈｏｄ ｏｆ Ｍａｒｋｏｖ ｍｏｄｅｌ ｗｈｉｃｈ ｉｎｃｌｕｄｅ Ｍａｒｋｏｖ ｃｈａｉｎ ｍｏｄｅｌ ａｎｄ Ｈｉｄｄｅｎ Ｍａｒｋｏｖｉａｎ ｍｏｄｅｌ，ｓｉｍｕｌｔａｎｅｏｕｓｌｙ ｒｅｖｉｅｗ ａｎｄ ｓｕｍｍａｒｙ ｔｏ ｔｈｅ Ｍａｒｋｏｖ ｍｏｄｅｌｓ ｉｎ ａｃｔｕａｌ ｐｒｏｂｌｅｍ ａｐｐｌｉｃａｔｉｏｎ．
（保密的学位论文在解密后适用本授权书）
学位论文作者签名：伽刚 导师签名：Ｒ熏辱
签字日期：列／年歹月ｚ９日
签字日期： 纱，Ｊ年 朋习’
学位论文作者毕业去向：
工作单位： 通讯地址：
电话： 邮编：
拟样本的分布函数，而实际上所得的样本都是有限的，因此应用神经网络在回归 预测方面存在先天的缺陷。随后产生了基于统计学习理论之上的支持向量机在回 归预测方面的研究，它通过在机器学习中的结构复杂性和学习精度之间寻求折衷 的方法，获得最优泛化能力。但是，运用支持向量机进行回归预测研究时，由于 核函数参数的选择比较困难，且支持向量机回归算法的复杂性导致该算法的训练 速度较慢、对大规模分类问题训练时间长等问题一直成为该方法无法弥补的缺 陷。
ＩＩＩ
ｍｕｌｔｉｐｌｅ ｒｅｇｒｅｓｓｉｏｎ’Ｓ ｍｅｔｈｏｄ ｄｅｔｅｒｍｉｎｅｄ Ｍａｒｋｏｖ ｔｒａｎｓｉｔｉｏｎ ｍａｔｒｉｘ，ｔｏ ｃｏｎｓｔｒｕｃｔ ｔｈｅ ｍａｒｏｋｖ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ，ａｎｄ ｔｈｅｎ ａｐｐｌｉｅｓ ｔｈｉｓ ｍｏｄｅｌ ｉｎｔｏ ｐｒｅｄｉｃｔ ｔｈｅ ａｓｓｉｇｎｍｅｎｔ ｏｆ ｎａｔｉｏｎａｌ ｉｎｃｏｍｅ，ｇｅｔｔｉｎｇ ｇｏｏｄ ｒｅｓｕｌｔ．Ａｔ ｔｈｅ ｓａｍｅ ｔｉｍｅ，Ｉ ｕｎｉｆｙ ｔｈｅ Ｍａｒｋｏｖ ｍｏｄｅｌ ａｎｄ
ｐｒｅｄｉｃｔｉｏｎ ｍｅｔｈｏｄｓ．Ｂｅｃａｕｓｅ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ｔｈｏｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｓ ＳＯ ｓｉｍｐｌｅ ａｎｄ
ｅａｓｙ ｔｏ ｉｎｐｌｅｍｅｎｔ，ｗｈｉｃｈ ｈａｓ ｐｌａｙｅｄ ｔｈｅ ｖｉｔａｌ ｒｏｌｅｓ ｉｎ ｔｈｅ ｒｅｇｒｅｓｓｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ａｔ ｏｎｅ
２．Ｔｈｉｓ ｐａｐｅｒ ｍａｉｎｌｙ ｄｉｓｃｕｓｓｅｄ ｔｈｅ ｒｅｇｒｅｓｓｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｅａｒｃｈ，ｆｉｒｓｔ ｏｆ ａｌｌ ｄｉｓｃｕｓｓｉｏｎ ｉｎ ｔｈｅ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｐｐｌｉｅｓｄ ｉｎｔｏ ｒｅｇｒｅｓｓｉｏｎ ｐｒｅｄｉｃｔｉｏｎ．
３．本文的重点工作是在两个方面，第一个方面是在进行回归预测的方面，将 马尔科夫模型和多元回归分析方法结合起来，构造了多元回归马尔科夫模型，提 出了多元回归马尔科夫算法，并将其应用于国民收入分配的预测方面。同时还将 马尔科夫模型和经济学上的体制转换模型结合，构造基于马尔科夫理论（模型） 的转换回归算法，并将其应用于ＵＣＩ数据集中数据进行验证，并且和支持向量 机回归算法进行分析，得到了误差小、训练时间短的良好结果。第二个方面，本 文将ＥＭ算法和隐马尔科夫模型进行结合，构造了基于ＦＭ算法的隐马尔科夫模 型，提出了ＥＭ．ＨＭＭ算法，并将其应用于孟德尔的基因遗传定律上，通过６组 实验，分别用一对独立的等位基因、两对等位基因和三对等位基因在生物的二倍 体和四倍体上应用ＥＭ．ＨＭＭ算法进行实验得到新的模型，从而更好的反映基因 的遗传规律。
ｏｆ ｔｈｅ ａｄｖａｎｃｅｄ ｃｈａｒａｃｔｅｒｓ ｏｆ ｔｈｏｓｅ ｍｏｄｅｌ，ｗｈｉｃｈ ｈａｓ ａｒｏｕｓｅｄ ｔｈｅ ｉｎ ａｎｄ ｏｕｔ ｏｆ
ａｂｒｏａｄ ｓｃｈｏｌａｒ＇ｓ ｕｎｉｖｅｒｓａｌ ｉｎｔｅｒｅｓｔ．Ｃｕｒｒｅｎｔｌｙ，Ｍａｒｋｏｖ ｍｏｄｅｌｓ ｈａｖｅ ｂｅｅｎ ａｐｐｌｉｅｄ ｔｏ ｓｐｅｅｃｈ ｒｅｃｏｇｎａｔｉｏｎ、ｓｔｏｃｋ ｐｒｅｄｉｃｔｉｏｎ、ｅｎｖｉｒｏｎｍｅｎｔ ｑｕａｌｉｔｙ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｓｅｃｕｒｉｔｙ ａｎｄ ＳＯ ｏｎ．Ｔｈｅ ｍｅｔｈｏｄ ｏｆ ｔｈｏｓｅ ｃｏｎｃｒｅｔｅ ｅｘａｍｐｌｅｓ ｉｓ ｔｈａｔ ｕｓｉｎｇ ｉｎｉｔｉａｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ ａｎｄ ｔｈｅ ｔｒａｎｓｉｔｉｏｎ ｍａｔｒｉｘ ｔｏ ｃｏｎｓｔｒｕｃｔ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ ａｎｄ ｔｈｅｎ ｄｏｎｇ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｃｏｎｃｒｅｔｅ ｐｒｏｂｌｅｍｓ．
关键词：马尔科夫模型；回归预测；ＥＭ．ＨＭＭ模型；神经网络；遗传定律
ＩＩ
Ａｂｓｔｒａｃｔ
Ａｂｓｔｒａｃｔ
Ｗｉｔｈ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ Ｍａｒｋｏｖ ｔｈｅｏｒｙ，ｄｅｖｅｌｏｐｉｎｇ ｔｈｅ Ｍａｒｋｏｖ ｍｏｄｅｌｓ ｂａｓｅｄ ｏｎ ｔｈｉｓ ｔｈｅｏｒｙ ｗｈｉｃｈ ｉｎｃｌｕｄｅｄ Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｄｅｌ ａｎｄ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ．Ｂｅｃａｕｓｅ
ｔｈｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍｏｄｅｌ ｉｎ ｔｈｅ ｅｃｏｎｏｍｉｃ ｔｏ ｃｏｎｓｔｒｕｃｔ Ｍａｒｋｏｖ ｓｗｉｔｃｈ ｒｅｇｒｅｓｓｉｏｎ
Ｍｏｄｅｌｓ，ｔｈｒｏｕｇｈ ｅｘｐｅｒｉｍｅｎｔｓ ｇｅｔ ｌｏｗ ｅｒｒｏｒ ａｎｄ ｌｏｗ ｒｕｎｎｉｎｇ ｔｉｍｅ．Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ，ｔｈｉｓ ｐａｐｅｒ ｕｎｉｆｉｅｄ ｔｈｅ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ａｎｄ ｔｈｅ ＥＭ ａｌｇｏｒｉｔｈｍ，ｔｏ ｃｏｎｓｔｒｕｃｔ ｔｈｅ ＥＭ—ＨＭＭ ｍｏｄｅｌ ａｎｄ ｒｅｌｅｖａｎｔ ａｌｇｏｒｉｔｈｍ，ａｎｄ ａｐｐｌｉｅｄ ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｉｎｔｏ ｔｈｅ ｂｉｏｌｏｇｉｃａｌ ｇｅｎｅ ｈｅｒｅｄｉｔｙ ｌａｗ．
Байду номын сангаас
ｎｅｔｗｏｒｋ ｅｓｔａｂｌｉｓｈｅｄ ｉｎ ｔｈｅ ｔｈｅｏｒｙ ｏｆ ｇｒａｄｕａｌｌｙ ｗｈｉｃｈ ｎｅｅｄ ｍａｎｙ ｉｎｆｉｎｉｔｅ ｓａｍｐｌｅｓ ｔｏ
ｓａｍｐｌｅ ｇｅｔ ｔｈｅ ｒｅａｌ ｓｉｍｕｌａｔｉｏｎ
ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ，ｂｕｔ ｉｎ ｆａｃｔ ｔｈｅ ｓａｍｐｌｅｓ ｉｓ
独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的
他人已经发表或撰写过的研究成果，也不包含为获得蹴或其他教育机 研究成果。．据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其
构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献
均已在论文中作了明确的说明并表示谢意。
本文的主要工作包括：
安徽大学硕士学位论文
马尔科夫模型预测方法的研究及其应用
１．本文回顾了马尔科夫理论的发展历程，介绍了马尔科夫理论的基本概念和 相关的定理，对马尔科夫模型（马尔科夫链模型和隐马尔科夫模型）的具体构造 方法和它的基本算法进行了详细的剖析，同时对马尔科夫模型在实际问题中的应 用进行了回顾与总结。
学位论文作者签名：饧或夥 签字日期：汐ｆ／年歹月矽日
学位论文版权使用授权书
本学位论文作者完全了解缴关保留’使用学位论文的规定＇有权保
留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。
本人授权翰以将学位论文的全部或部分内容编入有关数据库进行检索，可
以采用影印、缩印或扫描等复制手段保存、汇编学位论文。
ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｔｈｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｒｅｇｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍ ｃａｕｓｅ ｔｏ ｔｈｅ ｓｌｏｗ
ｒｕｎｎｉｎｇ ｔｉｍｅ．Ｔｈｅ ｔｒａｉｎｉｎｇ ｔｉｍｅ ｉｓ ＳＯ ｌｏｎｇ ｏｎ ｌａｒｇｅ—ｓｃａｌｅ ｃｌａｓｓｉｆｉｅｄ ｑｕｅｓｔｉｏｎ，ｗｈｉｃｈ
ｌｉｍｉｔｅｄ，ｔｈｅｒｅｆｏｒｅ ｔｈｅ ａｐｐｌｙ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｂａｓｅｄ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｈａｖｅ ｃｏｎｇｅｎｉｔａｌ
ｆｌａｗ．Ａｆｔｅｒ ｔｈａｔ，ｔｈｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｂａｓｅｄ ｏｎ ｓｔａｔｉｓｔｉｃｓ ｔｈｅｏｒｙ ｏｆ ｌｅａｒｎｉｎｇ
ｂｅｃｏｍｅ ｔｈｅ ｆｌａｗ ｔｈａｔ ｔｈｉｓ ｍｅｔｈｏｄ ｉｓ ｕｎａｂｌｅ ｔｏ ｍａｋｅ ｕｐ． Ｂｅｃａｕｓｅ ｔｈｅ ｓｔａｂｌｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｏｆ Ｍａｒｋｏｖ ｔｈｅｏｒｙ，ｔｈｉｓ ｔｈｅｓｉｓ ｐｒｏｐｏｓｅｄ ｔｈｅ
ｍｅｔｈｏｄ ｔｈａｔ ｕｎｉｆｉｅｓ ｔｈｅ Ｍａｒｋｏｖ ｔｈｅｏｒｙ ａｎｄ ｔｈｅ ｍｅｔｈｏｄ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｐｒｅｄｉｃｔｉｏｎ，ｕｓｉｎｇ
由于马尔科夫理论具有平稳性的特性，本文提出将马尔科夫理论与回归预测 的方法结合起来，通过多元回归的方法来确定马尔科夫模型的状态转移矩阵，构 造多元回归的马尔科夫模型，然后将该模型应用到国民收入的分配预测上来，得 到较好的结果。同时还将马尔科夫模型与经济学上的体制转换模型相结合，构造 马尔科夫转换回归模型，通过实验得出了这个模型具有误差低、数据训练时间短 的优点。同时本文还将隐马尔科夫模型和ＥＭ算法相结合，构造了ＥＭ—ＨＭＭ模型及 其相应的算法，并将其应用于生物的基因遗传定律上。
２．本文讨论了回归预测方面的研究，首先对人工神经网络在回归预测方面的 研究进行了探讨，对ＢＰ神经网络、径向基神经网络、广义回归神经网络在回归 预测方面的研究进行具体的分析与探讨，得出了神经网络在回归预测方法具有网 络结构难以确定、存在过学习、容易陷入局部极值自身无法客服的缺点。其次对 基于统计学习理论中的经典算法ＳＶＭ算法进行探讨，对ＳＶＭ算法在回归预测 上的应用进行了详细的阐述。通过分析得到ＳＶＭ算法存在核函数参数难于选择、 训练速度慢等自身无法弥补的缺点，从而进行新的回归预测算法的探求与研究。
ｔｉｍｅ．Ｈｏｗｅｖｅｒ，ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ｔｈｏｓｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｓ ＳＯ ｄｉｆｆｉｃｕｌｔｙ ｄｅｔｅｒｍｉｎｅｄ ａｎｄ
ｅａｓｙ ｔｏ ｆａｌｌ ｉｎｔｏ ｌｏｃａｌ ｅｘｔｒｅｍｎｍ，ｗｈｉｃｈ ｌｉｍｉｔ ｔｈｅｉｒ ｄｅｖｅｌｏｐｍｅｎｔ．Ｍｏｒｅｏｖｅｒ，ｔｈｏｓｅ ｎｅｕｒａｌ
Ｉｎ ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ Ｍａｃｈｃｅ Ｌｅａｒｎｉｎｇ，ｔｈｅ ｍｅｔｈｏｄ ｏｆ ｐｒｅｄｉｃｔｉｏｎ ｈａｓ ｂｅｅｎ ｔｏ ｈｏｔ ｓｐｏｔ
ａｍｏｎｇ ｔｈｅ ｉｎ ａｎｄ ｏｕｔ ｏｆ ａｂｒｏａｄ，ｓｕｃｈ ａｓ ｔｈｅ ｒｅｇｒｅｓｓｉｏｎ ｏｆ ＢＰ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ｔｈｅ ｒｅｇｒｅｓｓｉｏｎ ｏｆ ｒａｄｉａｌ ｎｅｕａｌ ｎｅｔｗｏｒｋ、Ｇｅｎｅｒａｌｉｚｅｄ Ｒｅｇｒｅｓｓｉｏｎ ｎｅｕａｌ ｎｅｔｗｏｒｋ ａｎｄ ｏｔｈｅｒ