混合模型的贝叶斯分析与选择.

新疆大学毕业论文(设计)

题目:混合模型的贝叶斯分析与选择指导老师: 吴黎军

学生姓名：蔡敏

所属院系：数学与系统科学学院

专业：数学与应用数学

班级：应数11-1班

完成日期：2015年5月28日

声明

本人蔡敏声明该毕业论文（设计）是本人在吴黎军老师指导下独立完成的，本人拥有自主知识产权，没有抄袭、剽窃他人成果，由此造成的知识产权纠纷由本人负责．

声明人（签名）：

年月日

蔡敏在吴黎军老师的指导下，按照任务书的内容，独立完成了该毕业论文（设计），吴黎军老师已经详细审阅该毕业论文（设计）．

指导教师（签名）：

年月日

新疆大学

毕业论文（设计）任务书

班级：应数11-1班姓名：蔡敏

论文（设计）题目：混合模型的贝叶斯分析与选择

专题：统计

要求完成的内容： 1.介绍混合模型的基本概念以及研究混合模型

的基本方法.

2.介绍EM算法，以及基于其算法的改进算法

EM算法.

3.利用EM算法对混合正态模型进行参数估计；

利用SEM算法对混合Gamma模型进行参数

估计.

发题日期：2014年3月10日完成日期：2015 年5月28日实习实训单位：无地点：无

论文页数：23页；图纸张数：无

指导教师：吴黎军

教研室主任：吴黎军

院长：滕志东

摘要

混合模型可以作为许多工程实际问题的数学模型，具有重要的理论以及实际意义。在理论方面的研究主要集中在混合模型参数的估计和混合分量个数的估计。本文主要通过贝叶斯方法以及极大似然方法，在混合分量已知的情况下，对正态混合模型以及Gamma混合模型的参数估计进行了理论推导。其主要内容为：首先我们简单地介绍了混合模型以及研究混合模型的两种主要方法，之后基于EM算法对混合正态模型进行了参数估计的理论推导。我们发现虽然EM算法有算法简单易理解，且易通过编程来实现的优点。但该算法对初值的依赖性较大，且收敛速度慢。因此我们提出了改进之后的SEM算法，即在原来EM算法中加入了随机步来改善EM算法，使其收敛速度快，且不依赖于初始参数值。并利用该算法对两个Gamma混合模型的参数估计进行了理论推导。最后我们采用贝叶斯估计对二元正态混合模型的参数进行了估计，以及对基于MCMC算法的混合正态参数模型的参数估计的过程做了简要的介绍。通过运用不同的方法对混合模型的参数估计进行理论推导，为其在实际中的运用奠定了理论基础。

关键字：混合模型；正态混合模型；Gamma混合模型；EM算法

ABSTRACT

Mixture model can be used as the mathematical model in the engineer fields，so the study of mixture model is significant,In study of theory,there are two problems.One is parameter estimation，the other is estimation of groups number.This paper mainly through the Bayesian method and maximum likelihood method, In the condition of known in mixed component, estimate the parameter of Gaussian mixture model and the Gamma mixed model.Main content is:First we simply introduce the hybrid model mixed models, and the two main methods, then based on EM algorithm for Gaussian mixture model parameter estimation theory is derived.We found that although the EM algorithm is easy to understand, and the advantage of easy realized through programming.But the dependence on initial value is bigger, the algorithm and the slow convergence speed.So we proposed that the improved SEM algorithm, which joined the random walk in the original EM algorithm to improve the EM algorithm, the convergence speed, and is not dependent on the initial parameter values.And by using the algorithm of two Gamma mixed in the parameter estimation of the model. Finally we use Bayesian estimation for binary parameters of Gaussian mixture model are estimated, and based on the mixture of MCMC algorithm is the process of the parameter estimation of the model parameters are briefly introduced.By using different methods of hybrid model parameter estimation theory, for its laid a theoretical basis for the application in practice.

Key Words: Mixture model; Gaussian mixture model; Gamma mixture model; EM algorithm.