数据挖掘技术在高校学生成绩分析中的应用

Technology &Economy in Areas of Communications交通科技与经济2008年第3期(总第47期)数据挖掘技术在高校学生成绩分析中的应用刘宇阳(黑龙江工程学院计算机科学与技术系,黑龙江哈尔滨150050)摘　要:数据挖掘是数据仓库技术中的重要技术之一,也是计算机行业中发展最快的领域之一,它使数据库技术进入了一个更高级的阶段,并迅速扩大成为一个独立的领域。

在讨论目前高校教学中存在问题的基础上,简单介绍粗糙集理论及数据挖掘技术。

以高校学生成绩为例,提出基于粗糙集理论的数据挖掘技术在高校学生成绩分析中应用的解决方案。

关键词:数据挖掘;粗糙集理论;数据仓库;学生成绩分析中图分类号:O128 文献标识码:A 文章编号:100825696(2008)0320065203Application of Data Mining T echnology of U niversity Students ’G radesL IU Yu 2yang(Department of Computer Science and Technology ,Heilongjiang Institute of Technology ,Harbin 150050,China )Abstract :Data mining is one of t he important technology in t he data storage technology and one of t he fas 2test developing domain in t he comp uter industry ,it makes t he database technology come into a more ad 2vanced stage ,and rapidly extended an independent domain.On t he base of discussing t he current problems and a brief int roduction of rough set t heory and data mining technology ,t he procedures which adopt data mining technology are p ut forward ,taking university st udent ’s grades as an example.K ey w ords :data mining ;rough set t heory ;data storage ;analysis of st udent s ’grades收稿日期:2008201217作者简介:刘宇阳(1975～),男,讲师,研究方向:计算机数据库. 在高校学生成绩管理中,影响学生学习成绩的因素很多,因此要进行综合分析。

传统分析无非是得到均值、方差、信度、效度和区别显著性检验等,往往还是基于教学本身。

其实,还有一些教学中不易察觉的因素和教学以外的因素影响学生学习成绩,这些都需要进一步分析,从而得出结论,供教学管理人员做出相应的决策。

这些信息是无法从传统的学生成绩分析方法中获得,但可以通过从20世纪90年代中期兴起的数据挖掘技术中获得,从而找到影响学生学习成绩的真实原因,制定相应措施,提高教学效果。

1　基于粗糙集理论的数据挖掘技术数据挖掘就是从大量的、不完全的、有噪声的、模糊的数据中,提取隐含在其中的、以前未知的、并具有潜在可用模式的过程。

如何对复杂的、不完整数据进行分析、推理,发现数据间的关系,如何提取有用的模式,简化信息处理,如何确定不精确、不完备知识的表达,这是数据挖掘要解决的最重要任务。

粗糙集(Rough Set )理论是波兰科学家Pawlak 在1982年提出的,借鉴了逻辑学和哲学中不精确、模糊的各种定义,针对知识库提出不精确范畴等概念,并在此基础上形成了完整的理论体系———粗糙集理论。

粗糙集理论是建立在分类机制的基础上的,它将分类理解为在特定空间上的不可分辨(等价)关系,而不可分辨关系又构成了对该空间的划分。

粗糙集理论作为一种新的分析和处理不精确、不一致、不完整信息和知识的数学工具,正好可以满足数据挖掘中数据特征的需求。

因此,粗糙集理论正越来越广泛的应用于数据挖掘领域。

数据挖掘是一种决策支持过程,是深层次的数据信息分析方法,将数据挖掘技术应用于教学非常有益,它可以全面地分析学生成绩与各种因素之间隐藏的内在联系。

比如,经过对学生成绩相关数据库系统的分析,数据挖掘工具可以问答诸如“哪些因素对学生的学习成绩可能有影响”等类似的问题,这是传统方法无法达到的。

通过数据挖掘分析,其结果可能给教学带来一定的收获。

2　解决方案在这里,提出采用数据挖掘中的分类算法,将大量的数据转化为分类规则,从而更好地分析这些数据,步骤如图1所示。

第一步:确定挖掘对象及目标。

清晰地定义出问题,认清数据挖掘的目的是数据挖掘的重要一步。

虽然挖掘的最后结果不可预测,但要探索的问题应是有预见的。

第二步:数据采集。

这是一个工作量较大、占据时间较多的阶段。

教师需要在以往的教学实践中,以各种途径收集数据信息。

第三步:数据预处理。

将教师收集到的不同的数据信息集成并转换为一个分析数据模型,这一数据模型是针对算法交通科技与经济 第10卷图1　分类挖掘实施流程而准备的,不同的算法可能需要不同的分析数据模型。

第四步:数据分类挖掘。

分类挖掘的目的是为了建立一个分类模型。

首先要选择合适的挖掘算法,并使用合适的程序设计软件实现这一算法,接着对所得到的经过转换的数据进行挖掘。

第五步:分类规则结果分析。

这一步主要解释和评估分类结果。

第六步:知识的使用。

将分析所得到的知识集成到教师的教学环节中去,教师可利用所得知识改进教学策略,进一步指导教学。

3　方案实施实例3.1　确定挖掘对象及目标 以计算机系的学生为研究对象,希望能够根据学生的平时基本学习情况(如学习兴趣、学习前的知识掌握情况、课堂学习效果、课后上机时间量等)探讨出哪些因素对学习成绩有影响,并用所获得的分析结果指导今后的教学工作。

3.2　数据采集1)学生基本信息。

数据结构如下:学号、姓名、性别、籍贯、所属院系、专业、班级,这些信息可以通过学校的学生关系系统获得。

2)学生调查信息。

内容包括学号、学习兴趣、学习前的知识掌握情况、课堂学习效果、课后上机时间量等。

这些信息主要采用调查问卷,由学生填写。

为了解决大量的数据统计问题,同时考虑人工统计的数据有较高出错率,可制作一个网上教学在线调查系统。

3)成绩。

成绩数据库中包括了学生的平时成绩、考试成绩和总评成绩,这个数据库由教师在教学过程中产生。

3.3　数据预处理1)数据集成。

就是将来自多个数据源的数据合并到一起。

本研究中,将数据采集得到的多个数据库文件,利用数据库技术生成学生成绩分析基本数据库,如图2所示。

2)数据清理。

数据清理的主要工作就是填补遗漏的数据值。

在学生成绩分析基本数据库中我们看到,有一些我们感兴趣的属性缺少属性值,对于这些空缺,可以使用数据清理技术来填补。

有很多种方法可以为属性填写空缺值:①忽略元组。

当类标号缺少或元组有多个属性缺少值时通常采图2　学生成绩分析基本数据库的建立用这种方法;②人工填写空缺值。

一般地说,该方法很费时,并且当数据集很大、缺少很多值时,该方法可能行不通;③使用一个全局常量填充空缺值。

将空缺的属性值用同一个常数(如“Unkown ”)替换。

但是,如果空缺值都用“Unkown ”替换,挖掘程序可能会误以为它们形成了一个有趣的概念,因它们都具有相同的值———“Unkown ”。

因此,尽管该方法简单,这里并不推荐;④使用属性的平均值填充空缺值;⑤使用与给定元组属同一类的所有样本的平均值;⑥使用最可能的值填充空缺值。

可以用回归方法、贝叶斯方法或决策树归纳确定。

在本例中,采用忽略元组的方法删除没有参加考试或学生填写的在线调查数据中有大量空缺项的记录。

对于其他个别空缺,因为总的记录数不算太多,空缺值较少,可采用人工填充的方法,填充原则是以该记录的其他属性值作为筛选条件,在数据库中进行筛选,选择多数属性值填充该空缺。

3)数据转换。

数据转换主要是对数据进行规格化操作。

大多数属性属于离散值属性,只有个别连续值属性(如平时成绩、考试成绩和总评成绩属性)需进行离散化处理。

使用概念分层技术,可以将连续值属性转换为离散值属性(即离散化)。

直方图分析是一种较简单的离散化方法,分为等宽分箱和等深分箱两类。

等宽分箱将属性值划分成相等的部分或区间。

在等深分箱中,值被划分使得每个部分包括尽可能相同个数的样本。

平时成绩属性数据分布的直方图,如图3所示。

在这里,使用等深分箱进行离散化,将上述成绩属性的所有值分为3类:成绩从0～65分属于“较差”,65～85分属于“中”,85分以上属于“较好”。

平时成绩的等深分箱直方图,如图4所示。

・66・　第3期刘宇阳:数据挖掘技术在高校学生成绩分析中的应用另外,对于一些属性值较多的属性,使用概念分层,用高层次概念替换低层次概念,可减少属性值的数目。

4)数据消减。

数据消减的目的是缩小所挖掘数据的规模,但却不会影响(或基本不影响)最终的挖掘结果。

在这里,采用消减维数的方法,即从初始特征属性中找出真正有用的特征属性以减少数据挖掘时要考虑的特征属性或变量个数。

由于学生信息表中的属性字段很多,本文为了便于分类挖掘,删除了籍贯、班别这2个与成绩属性相关性不大的属性,从而生成新的学生成绩分析基本数据表S。

3.4　数据分类挖掘首先我们对学生成绩分析基本数据表S采用如下算法进行属性约简,然后对得到的学生成绩分析约简数据表S’进行值约简,得到分类规则。

3.4.1　属性约简令M为学生成绩分析基本数据表S的差别矩阵,M中的元素表示为M ij,M ij称为项。

设M中的项M ij共有K类,将每一类M ij置于区分数组DA中,da(t)为DA中的元素,对应每一类M ij,p(t)表示每一类M ij的个数,t=1,2,…, K。

C={C1,C2,…,C n}是S中所有属性的集合,其中任一属性C r∈C。

令f(C r)是DA中任一属性C r的属性频率函数,则有f(C r)=f(C r)+|C|/|da(t)|×p(t),其中绝对值表示集合中元素的个数。

算法描述如下:step1:cone=U{|da(t)|=1},R=core;step2:Q={da(t)|da(t)∩R=φ,t=1,2,…,k},B=C -R;step3:若Q=φ,转step6,否则,转step4;step4:对所有C r∈B,计算f(C r),并且令f(C v)=maxr {f(C r)}。