什么是统计建模和统计建模大赛
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
更新时间:2008年05月09日 00:00:00
什么是统计建模和统计建模大赛
□荣智/文
国家统计局定于2008年开展面向全国政府统计系统的职业技能竞赛活动——统计建模大赛,各省、自治区、直辖市统计局及国家统计局机关将分别组队参加比赛。大赛对于提高统计队伍的职业素养和专业能力,培养统计工作者的创新精神、团队意识,塑造积极进取、团结合作的统计文化具有重要意义。
一、什么是统计建模
统计建模是以计算机统计分析软件为工具,利用各种统计分析方法对批量数据建立统计模型和探索处理的过程,用于揭示数据背后的因素,诠释社会经济现象,或对经济和社会发展作出预测或判断。随着计算机和网络技术的快速普及和广泛发展,我们面对着数据和信息爆炸的挑战,如何迅速有效地将数据提升为信息、知识和智能,是统计工作者面临的重要课题。而统计建模将统计方法、计算机技术完美结合,带动以数据分析为导向的统计思维,发现和挖掘数据背后的规律,为经济社会的发展提供更好更多的统计信息。
大赛题目一般来源于社会、经济和管理科学等方面经过适当简化加工的实际问题,不要求参赛者预先掌握深入的专门知识,只需要学过统计专业的基本内容,较为熟练地掌握统计分析方法,并且具备一定的统计工作经验。题目有较大的灵活性供参赛者发挥其创造能力。参赛者应根据题目要求,完成一篇包括模型的假设、建立和求解、计算方法的设计及计算机实现、结果的分析和检验、模型的改进等方面的论文(即答卷)。大赛评奖以假设的合理性、建模的创造性、结果的正确性和文字表述的清晰程度为主要标准。
我们从下面一个例子,看一看什么是统计建模。
案例:从交通事故数据能够得到什么结论?
基本数据:各省市自治区改革开放以来的交通事故数据。数据应该包括机动车(货运,大客车、小轿车、农用车、拖拉机、各种摩托车和工程车等)、非机动车(自行车、三轮车)、其他(如电动、加力自行车和机动三轮车,虽然可能非法)、残疾人车、兽力车、行人等等;数据也应该包括事故等级,事故个数、死亡人数、财产损失、受伤人数等;肇事者的职业、年龄、驾龄、教育程度、是否酒后驾车(很重要!)、是否疲劳驾车、是否打手机、车速、路况(街道、普通公路、等级公路、高速公路)、事故时间段等等(这些都是交管部门的标准记录)。数据应该覆盖至少10年(最好有月度数据)。
附加数据:各省市自治区相应年份的经济资料,包括各种道路的里程、各种机动车的保有数等。
问题:
1.找出各种车辆的各种事故的概率(及影响因素)、这些事故数量的影响变量(比如年龄因素、是否喝酒、山区或闹市区、时间段、何种道路、车辆种类,等等)。
2.找出在什么因素(变量)下最容易出事、什么因素(变量)下最容易造成重大人身伤害、什么因素(变量)造成财产损失最大。
3.找出各省市自治区事故的各自特点,并且按照事故模式把各省市自治区分类,同时按照经济分类进行比较。说明交通事故与经济发展之间的关系。
4.找出各地和全国事故的趋势,以及这些趋势与经济(包括道路里程、机动车数量等)之间的关系。并且对未来事故进行预测。
5.对各省市自治区,根据各种与交通事故相关的变量进行排序。
要求:一切根据数据。任何所采用的统计方法要说明条件和假定。任何输出的结果要有说明和解释。
根据上述案例,不难形成这样一个判断:在一定意义上,统计建模是一种命题作文,它有以下几个特点:
一是统计建模从经济社会发展的实际情况出发,找出事物发展的趋势和规律,如果脱离了这一点,统计建模也就失去了意义。
二是统计建模从数据出发,找出数据之间的联系,用数据说话,数据是统计建模最大的特质。
三是统计建模将统计分析方法和计算机技术有效结合,包括收集数据、利用统计分析软件对数据进行分析等。
四是统计建模涉及数据收集、整理、分析等方面,对建模者的能力要求较为全面。
二、竞赛中的常见题型
赛题题型通常包括三个部分:
(一)实际问题背景
问题可以是社会、经济、管理、生活、环境、自然现象、工程技术方面的问题,也可以是现代科学中出现的新问题。任何问题都可以成为统计建模的问题。
(二)若干假设条件
有如下几种情况:
1.只有过程、规则等定性假设,无具体定量数据;
2.给出若干实测或统计数据;
3.给出若干参数或图形;
4.蕴涵着某些机动、可发挥的补充假设条件,参赛者可以根据需要自己收集或模拟产生数据。
(三)要求回答的问题
往往有几个问题,而且经常没有唯一的答案。一般有以下两种:
1.比较确定性的答案(基本答案);
2.更细致或更高层次的讨论结果(往往是讨论最优方案的提法和结果)。
三、统计建模的步骤
(一)明确问题。统计建模强调问题导向,因此,首先要明确需要求解的问题。
(二)收集信息:在明确问题的基础上,根据题目的要求,从可用的数据库中收集和整理出各种必要的信息。
(三)模型假设:利用统计分析方法,对问题做出必要的、合理的假设,使问题的主要特征凸现出来,忽略问题的次要方面。
(四)模型构建:根据所做的假设以及事物之间的联系,构造各种量之间的关系,把问题转化为统计分析问题,注意要尽量采用适当的统计分析模型及方法。
(五)模型求解:利用构建的模型进行计算,并得到与问题有关的一些信
息。如果必要,可对问题作出进一步的简化或提出进一步的假设。
(六)模型分析:对所得到的信息进行分析,形成判断,特别要注意当数据变化时所得结果是否稳定。
(七)结果检验:分析所得结果的实际意义,与实际情况进行比较,看是否符合实际,如果不够理想,应该修改、补充假设,或重新建模。
(八)撰写论文:在上述基础上形成论文,论文应包括问题的阐述、假设的叙述、模型构建的过程、模型求解结果、主要结论以及对结论的评价。
四、论文的基本内容
提交的论文应包括三个部分:
(一)标题、摘要部分
题目——写出较确切的题目
摘要——200-300字,包括模型的主要特点、建模方法和主要结果。
(二)主体部分
1.问题提出,问题分析。
2.模型建立:
(1)提出假设条件,明确概念,引进参数;
(2)模型构建;
(3)模型求解。
3.计算方法设计和计算机实现。
4.主要的结论或发现。
5.结果分析与检验。
6.讨论——模型的优缺点,结果的意义。
7.参考文献。
(三)附录部分
计算程序,框图。
各种求解演算过程,计算中间结果。
各种图形、表格。
五、统计建模比赛
(一)对参赛人员的要求
统计建模大赛以小组为单位,每小组3人,要共同完成好统计的命题作文,需要小组成员合理分工、密切配合。典型的分工是:数据收集和处理、统计分析方法和模型、论文写作。但分工其实不用那么明确,小组之间的讨论、交流、互动最为重要。
一般来讲,小组中一定要有一个人能熟练掌握多种统计分析方法,善于思考问题;一定要有一个人能熟练掌握指定的统计分析软件,善于做数据分析,一定要有一个人有较好的文笔、缜密的逻辑,善于把小组的工作呈现出来。
(二)比赛环境