数学建模常用统计方法
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数学建模常用统计方法
1.1多元回归
1、方法概述:
在研究变量之间的相互影响关系模型时候,用到这类方法,具体地说:其可以定量地描述某一现象和某些因素之间的函数关系,将各变量的已知值带入回归方程可以求出因变量的估计值,从而可以进行预测等相关研究。
2、分类
分为两类:多元线性回归和非线性线性回归;其中非线性回归可以通过一定的变化转化为线性回归,比如:y=lnx 可以转化为 y=u u=lnx来解决;所以这里主要说明多元线性回归应该注意的问题。
3、注意事项
在做回归的时候,一定要注意两件事:
(1) 回归方程的显著性检验(可以通过sas和spss来解决)
(2) 回归系数的显著性检验(可以通过sas和spss来解决)
检验是很多学生在建模中不注意的地方,好的检验结果可以体现出你模型的优劣,是完整论文的体现,所以这点大家一定要注意。
4、使用步骤:
(1)根据已知条件的数据,通过预处理得出图像的大致趋势或者数据之间的大致关系;
(2)选取适当的回归方程;
(3)拟合回归参数;
(4)回归方程显著性检验及回归系数显著性检验
(5)进行后继研究(如:预测等)
这种模型的的特点是直观,容易理解。
这体现在:动态聚类图可以很直观地体现出来~
当然,这只是直观的一个方面~
2、分类
聚类有两种类型:
(1) Q型聚类:即对样本聚类;
(2) R型聚类:即对变量聚类;
聚类方法:
(1) 最短距离法
(2) 最长距离法
(3) 中间距离法
(4) 重心法
(5) 类平均法
(6) 可变类平均法
(7) 可变法
(8) 利差平均和法
在具体做题中,适当选取方法;
3、注意事项
在样本量比较大时,要得到聚类结果就显得不是很容易,这时需要根据背景知识和
相关的其他方法辅助处理。
还需要注意的是:如果总体样本的显著性差异不是特别大的时候,使用的时候也要
注意~
4、方法步骤
(1)首先把每个样本自成一类;
2)选取适当的衡量标准,得到衡量矩阵,比如说:距离矩阵或相似性矩阵,找到矩
阵中最小的元素,将该元素对应的两个类归为一类, (4)重复第2步,直到只剩下一个类; (4)重复第2步,直到只剩下一个类;
补充:聚类分析是一种无监督的分类,下面将介绍有监督的“分类”。我简单说明下,无监督学习和有监督学习是什么
无监督学习:发现的知识是未知的
而有监督学习:发现的知识是已知的
或者这么说吧:
有监督学习是对一个已知模型做优化,而无监督学习是从数据中挖掘模型他们在分类中应用比较广泛
(非数值分类)
如果是数值分类就是预测了,这点要注意
1.3数据分类
1、方法概述
数据分类是一种典型的有监督的机器学习方法,其目的是从一组已知类别的数据中发现分类模型,以预测新数据的未知类别。
这里需要说明的是:预测和分类是有区别的,预测是对数据的预测,而分类是类别的预测。
2、类别
方法:
(1)神经网路
(2)决策树(这里不再阐述,有兴趣的同学,可以参考数据挖掘和数据仓库相关书籍)
3、注意事项
1》神经网路适用于下列情况的分类:
(1) 数据量比较小,缺少足够的样本建立数学模型;
(2) 数据的结构难以用传统的统计方法来描述
(3) 分类模型难以表示为传统的统计模型
这里主要介绍以上三点,其他的情况大家可以自己总结~
2》神经网路的优点:
分类准确度高,并行分布处理能力强,
对噪声数据有较强的鲁棒性和容错能力
能够充分逼近复杂的非线性关系,具备联想记忆的功能等。
3》神经网路缺点:
需要大量的参数,不能观察中间学习过程,输出结果较难解释,会影响到结果的可信度,需要较长的学习时间,当数据量较大的时候,学习速度会制约其应用。
4、步骤
这里只做简略说明,具体步骤,大家可以查阅《神经网路》《数据挖掘》等相关书籍 (1)初始化全系数
(2)输入训练样本
(3)计算实际输出值
(4)计算实际输出值和期望输出值之间的误差
(5)用误差去修改权系数
(6)判断是否满足终止条件,如果满足终止,否则进入第二步 .4判别分析
1、概述
其是基于已知类别的训练样本,对未知类别的样本判别的一种统计方法,也是一种有监督的学习方法,是分类的一个子方法~
具体是:在研究已经过分类的样本基础上,根据某些判别分析方法建立判别式,然后对未知分类的样本进行分类~
2、分类
根据判别分析方法的不同,可分为下面几类:
(1) 距离判别法
(2) Fisher判别法
(3) Bayes判别法
(4) 逐步判别法
关于这几类的方法的介绍,大家可以参考《多元统计学》,其中比较常用的是bayes判别法和逐步判别法
3、注意事项:
判别分析主要针对的是有监督学习的分类问题。共有四种方法,这里重点注意其优缺点:\(1) 距离判别方法简单容易理解,但是它将总体等概率看待,没有差异性; (2) Bayes判别法有效地解决了距离判别法的不足,即:其考虑了先验概率——所以通常这种方法在实际中应用比较多~
(3) 在进行判别分析之前,应首先检验各类均值是不是有差异(因为判别分析要求给定的样本数据必须有明显的差异),如果检验后某两个总体的差异不明显,应将这两个总体合为一个总体,再由剩下的互不相同的总体重现建立判别分析函数。 (4) 这里说明下Fisher判别法和bayes判别法的使用要求:两者对总体的数据的分布要求不同,具体的,Fisher要求对数据分布没有特殊要求,而bayes则要求数据分布是多元正态分布,但实际中却没有这么严格~
(5)这种方法可以利用spss,sas等软件来轻松实现