电路分析MOOC后台数据分析与挖掘
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第16卷㊀第5期2018年10月实验科学与技术
ExperimentScienceandTechnology
VoL 16No 5Oct 2018
实验技术
电路分析MOOC后台数据分析与挖掘
刘㊀喆ꎬ赵伟宇ꎬ陈晓行ꎬ汪㊀玲ꎬ吴㊀涛ꎬ董爱军ꎬ郑㊀虎ꎬ钟洪声ꎬ崔红玲ꎬ宋亚梅
(电子科技大学电子科学与工程学院ꎬ四川成都611731)
摘要㊀为了发现MOOC课程学习者的学习规律和趋势ꎬ该文利用电子科技大学电路分析基础MOOC课程后台数据ꎬ从参与者类型㊁课程各知识点关联分析㊁学习效果预测等方面ꎬ进行了详细的数据挖掘与分析ꎮ分析结果表明:学习者参与测试和讨论次数越多ꎬ则获得MOOC证书的可能性越大ꎻ 基尔霍夫定理和参考方向 知识点的掌握程度与课程各单元测试成绩之间存在着很强的关联性ꎻ利用各知识点和单元测试成绩ꎬ建立的线性模型ꎬ可以很好地预测学习效果ꎻ与其他MOOC课程一样ꎬ该电路分析基础课的MOOC也具有讨论积极性欠缺的问题ꎮ该文的数据挖掘工作为进一步提升学习效果㊁优化MOOC课程结构提供了重要的依据ꎮ
关㊀键㊀词㊀大规模在线开放课堂ꎻ数据挖掘ꎻ关联分析ꎻ电路分析课程
中图分类号㊀TP181
文献标志码㊀A
doi:10 3969/j issn 1672-4550 2018 05 004
DataAnalysisandMiningofMOOCDataFromCircuitAnalysisCourse
LIUZheꎬZHAOWeiyuꎬCHENXiaoxingꎬWANGLingꎬWUTaoꎬDONGAijunꎬZHENGHuꎬ
ZHONGHongshengꎬCUIHonglingꎬandSONGYamei
(SchoolofElectronicScienceandEngineeringꎬUniversityofElectronicScienceandTechnologyofChinaꎬChengdu611731ꎬChina)
Abstract㊀InordertofindthelearningrulesandtrendsoftheMOOCcourselearnersꎬthispaperusesthebackgrounddataoftheMOOCcourseofthecircuitanalysisfoundationoftheUniversityofElectronicScienceandTechnologyofChinaꎬandmakesdetaileddataminingandanalysisfromthetypesofparticipantsꎬthecorrelationanalysisofeachknowledgepointinthecourseꎬthepredictionofthelearningeffectandsoon.Thetypesofparticipantsꎬtheassociationanalysisofdifferenttopicsinthecourseꎬaswellasthean ̄ticipationofthefinaltestinggradesareaddressedinthepaper.Throughthedataminingworkꎬthefollowinginterestingconclusionscanbereached.FirstꎬthemorethelearnersparticipateinthetestanddiscussionꎬthehigherthepossibilityofobtainingtheMOOCcertificate.Secondꎬthereisstrongassociationbetweenthemasteryofthe Kirchhofftheoremtestandthereferencedirection knowl ̄edgepointandtheunittestresults.ThirdꎬitcanpredictthelearningeffectverywelllikeotherMOOCcoursesꎬwhichalsolacktheenthusiasmtodiscuss.Thedatamininginthispaperprovidesanimportantbasisforfurtherenhancingthelearningeffectandoptimi ̄zingthestructureofMOOCcourse.
Keywords㊀MOOCꎻdataminingꎻassociationanalysisꎻcircuitanalysiscourse
收稿日期:2017-01-04ꎻ修改日期:2017-03-22
基金项目:电子科技大学电子科学与工程学院教学改革研究项目(DGJY2016015)ꎮ作者简介:刘喆(1978-)ꎬ女ꎬ博士ꎬ副教授ꎬ主要从事信号处理及电路分析教学研究ꎮ
㊀㊀大规模在线开放课堂(massiveonlineopen
classꎬMOOC)ꎬ又称为慕课ꎬ是利用高校的课程资源以及开放的网络媒体进行知识传播的一种新兴方式[1]ꎮ该方式自2011年在斯坦福大学开展以来[2]ꎬMOOC一直处于井喷式发展的阶段ꎬ正在迅速改变着传统的教学与学习方式ꎮ目前MOOC的主流平台有edX㊁Coursera㊁Udacity以及中国大学MOOC等ꎬ各主流平台上开设的MOOC课程数目至今已经达到数千门之多ꎬMOOC参与者累计达到百万之多ꎮ
MOOC得以快速发展的重要原因在于其可以打
破传统课堂的时空界限ꎬ为学习者提供一个开放㊁无界的学习课堂ꎮ与此同时ꎬMOOC还具备另一重大优势ꎬ即其具备对学习参与者学习行为数据的记录功能ꎬ可以为教师和课程设计者提供大量的后台数据ꎮ这些数据中隐含着大量有价值的信息ꎬ有效利用MOOC数据㊁充分挖掘出有用信息ꎬ可以为提升MOOC学习效果㊁优化课程结构并提高教学质量提供重要的依据ꎬ因此MOOC数据挖掘与分析已成为当前MOOC研究领域最为关注的课
第16卷㊀第5期刘㊀喆ꎬ等:电路分析MOOC后台数据分析与挖掘
题和研究热点[3-5]ꎮ
目前ꎬMOOC数据挖掘工作都是利用MOOC平台提供的后台数据展开ꎮ文献[6]针对edX提供的2012~2013年两年的开放数据ꎬ分析了课程参与者类型以及影响MOOC成绩的因素ꎻ文献[7]则针对Coursera平台上的六门课程数据ꎬ对参与者分类ꎬ并通过记录的学习者观看视频次数㊁参与测试次数等数据ꎬ分析学习行为与学习效果之间的关系ꎻ文献[8]针对东北大学高级语言课程数据课的MOOC课程中100个学生的学习行为记录ꎬ分析学习行为之间以及学习行为与成绩之间的关系ꎻ文献[9]基于清华大学 学堂在线 电路分析课程的数据进行ꎬ使用logit和tobit模型ꎬ分析了课程参与度与完成度之间的关系ꎻ此外ꎬ文献[10]还针对Couresea三门课程的论坛讨论内容进行了情感分析ꎮ由此可见ꎬ目前的MOOC数据分析研究ꎬ集中于分析MOOC参与者类型㊁MOOC成绩的影响因素㊁情感分析以及学习行为等较为全局的概括分析ꎬ但针对构成一门MOOC课程各个知识点的学习效果数据统计㊁关联分析和预测等研究则较少ꎮ而针对各个知识点数据的详细分析更有助于教学者发现课程参与者学习规律和趋势ꎬ因此相关研究对进一步优化MOOC课程㊁提升学习效果具有重要的指导意义ꎮ
电子科技大学电路分析基础MOOC(以下简称电路MOOC)第一期课程于2016年2月至7月在 中国大学MOOC平台 上线ꎬ该门课程的MOOC后台详细记录了课程参与者在各个知识点的测试参与人数㊁测试成绩ꎬ以及在线讨论参与情况等数据ꎮ由于测试成绩是衡量MOOC学习效果的重要标准ꎬ因此本文围绕各知识点测试成绩ꎬ从以下四个方面进行了详细的挖掘与分析:1)统计分析了电路MOOC参与者参加测试的次数与通过测试人数之间的关系ꎻ
2)根据参加测试㊁讨论的频繁程度ꎬ把电路MOOC的参与者进行类型划分ꎬ并统计分析了各类型参与者的学习效果ꎻ3)对电路MOOC各知识点测验成绩进行关联性分析ꎻ4)利用各个知识点测试成绩ꎬ对综合测试成绩的趋势进行预测ꎮ
2㊀电路MOOC数据挖掘与分析
2 1㊀电路MOOC数据统计分析
电路MOOC第一期课程先后共有19393人注册了课程的学习ꎬ其中退选539人ꎬ实际注册18854人ꎮ电路MOOC课程主要由课程视频㊁测试以及讨论区三部分组成ꎮ课程内容由直流电阻电路㊁动态电路暂态分析和正弦稳态电路分析三个基本单元构成ꎬ共涵盖16个知识点ꎮ为了便于教学者掌握学习效果ꎬ针对每个知识点和基本单元都设计了测验ꎬ并在课程结束前进行了综合测试ꎮ本次电路MOOC共2316人获得证书ꎬ占注册人数的12 3%ꎮ如表1所示ꎬ列出了该课程的基本信息统计结果ꎮ
表1㊀电路MOOC课程信息统计
项目内容课程开设时间结束时间课时时长课程负荷统计电路分析基础2016-02-222016-06-2419周4-6小时每周项目内容测验次数视频次数证书要求注册人数获得证书人数统计20次56次综合测评188542316
㊀㊀为了便于后续的数据挖掘分析ꎬ针对各个知识点测试㊁单元测试及综合测试用数字1~20进行编号ꎬ对应关系如表2所示ꎮ
如图1所示ꎬ给出了各次测验参加人数的统计图ꎬ横坐标为各次测试的编号ꎮ由图可知ꎬ每次测验参加的人数波动不大ꎬ平均人数为2140人ꎬ每次测验参与者平均人数占注册者总人数的比例约11%ꎮ未参加任何测试的人数为15827人ꎬ而参加一次以上测验的人数为3027人ꎬ占注册总人数的比例约16%ꎮ
表2㊀电路MOOC测验内容及编号对应表
71
实验科学与技术2018年10月表2(续表)
㊀㊀如图2
人数与取得证书的人数的对比图ꎬ其中横坐标为总的参加测试的次数ꎬ蓝色和绿色柱状条分别表示1~20的测验次数所对应的参加测试人数以及其中取得证书的人数ꎮ需要说明的是ꎬ电路MOOC注册者是否可以得到MOOC证书ꎬ是由各次测试成绩加权平均得到的MOOC最终成绩决定ꎬMOOC最终成绩大于60分者才可以获得MOOC证书ꎬ即完成课程ꎬ因此参加测验次数为0的学习者是无法获得证书的ꎬ其人数未在图2中给出ꎮ由图可以发现ꎬ当学习者参加测试次数较少时ꎬ如小于8次ꎬ则其中只有很小比例能够取得证书ꎻ而参加测试次数越多ꎬ如10次以上的参与者ꎬ最终获取证书的可能性越大ꎮ因此ꎬ从以上统计结果可知ꎬ参加测试次数越多的学习者ꎬ越可能获得MOOC证书ꎬ反之亦然ꎮ
㊀㊀㊀图1㊀各次测验参加者人数统计
㊀㊀图2㊀参加者完成测验次数与完成课程人数统计
由于MOOC学习人数和最终获得证书的人数普遍远低于课程的注册人数ꎬ从表1中的 注册人数 和 获得证书人数 就可以看出ꎬ最终获得证书的人数或有成绩的人数最多只占注册者的
12 3%ꎬ因此非常有必要对MOOC课程参与者的参与行为与获得证书的关系进行分析ꎮ考虑到测试与讨论是MOOC两个最为重要的参与行为ꎬ为此ꎬ以参加测试与讨论的次数作为衡量参与者积极程度的指标ꎬ按照表3中的标准将学习者参与类型分为以下5种类型ꎮ
1)NO-SHOWS:只注册ꎬ不参与测试和讨论ꎮ2)OBERSERS:偶尔参与测试㊁讨论ꎮ3)DROPIN:偶尔参与测试㊁经常参与讨论ꎮ4)INACTIVE:经常参与测试㊁不常讨论ꎮ5)ACTIVE:经常参与测试和讨论ꎮ
表3㊀MOOC参与者类型划分标准
MOOC类型参加测试/次参加讨论/次NO-SHOWS00
OBERSERS大于0且小于10大于0且小于10DROPIN大于0且小于10大于等于10次INACTIVE大于等于10次大于0且小于10ACTIVE大于等于10次大于等于10次㊀㊀在这次电路MOOC课程中ꎬ参与讨论的人数为1006人ꎬ其中参加讨论10次以上者有640人ꎬ讨论次数在10次以下且大于0次的有366人ꎮ参与测验的人数为3016人ꎬ其中参与测验在10次及以上的有2285人ꎮ根据这些统计数据ꎬ以及表3的MOOC学习类型分析标准ꎬ可以得到5种MOOC参与者类型人数及各类型参与者获得证书的比例ꎬ统计结果如表4所示ꎮ
由表4可以发现ꎬ电路MOOC参与者中ꎬ注册后不参加任何学习活动的NO-SHOWS人数最多ꎬ占注册人数的83 4%ꎻ此外ꎬ所占比例多的
81
第16卷㊀第5期刘㊀喆ꎬ等:电路分析MOOC后台数据分析与挖掘
是INACTIVE类型的参与者ꎬ这种类型的参与者会经常参加测验ꎬ却很少在讨论区发言讨论ꎮ因此电路MOOC存在 注册人数多㊁积极参与人数少以及不积极讨论 的现象ꎬ这也是MOOC课程的普遍共有问题[6-10]ꎮ
此外ꎬ表4还表明ꎬ各类型参与者中ꎬ获得证书比例最高的ꎬ是ACTIVE类型的学习者ꎬ占该类型学习者的96 3%ꎻ获得证书比例次高的ꎬ是IN ̄ACTIVE类型的学习者ꎬ占该类型学习者的89 1%ꎬ这两类学习者的差异在于是否积极参与讨论ꎮ对比可知ꎬ能够积极参与讨论的学习者ꎬ更易获得证书ꎮ这也说明ꎬ积极参与讨论的ACTIVE学习者比INACTIVE在MOOC学习中投入更多ꎬ课程学习效果也越好ꎮ因此如何优化课程设计ꎬ让更多的学习者积极参与到讨论与测试中是MOOC课程提供者的重要任务之一ꎮ
2 3㊀MOOC数据关联性分析
为了分析电路MOOC各知识点之间的关联性ꎬ本节利用本次课程后台获得的前19次测试成绩数据进行关联性分析ꎮ
关联性分析处理的流程图如图3所示ꎮ处理步骤共分为数据获取㊁数据预处理㊁构建频繁项集以及建立关联规则4个步骤ꎮ首先ꎬ通过中国大学MOOC网站电路MOOC教师后台得到各次测试成绩数据ꎮ而后进行数据预处理ꎬ该步骤主要包括:1)对于未参加测试的学习者记录进行清除ꎻ2)对测试成绩进行等级划分ꎬ将测试成绩分为三个等级ꎬ大于80分为优秀ꎬ成绩位于60~80分之间为及格ꎬ小于60分为不及格ꎬ将这三个等级分别用A㊁B㊁C标记ꎮ㊀㊀在构建频繁项集步骤中ꎬ主要使用Python语言编写的Aprori算法代码ꎬ从各次测试成绩数据中利用Apropri算法找出频繁项集ꎬ并计算出支持度(Support)㊁置信度(Confidence)ꎮ而后通过频繁项集ꎬ根据最小支持度阈值㊁最小置信度阈值ꎬ获取关联规则(Association
Rule)ꎮ
图3㊀关联分析流程图
如表5所示ꎬ给出了满足最小支持度阈值65%㊁最小置信度阈值75%的强关联规则ꎮ表5关联规则中的数字是各次测验的编号ꎬA代表测验成绩等级为优秀ꎮ以表5中第一条规则为例ꎬ其支持度为83 8%ꎬ表示有83 8%的学习者是同时在编号19和编号17的测验中获得优秀成绩ꎮ同时ꎬ置信度为96 9%意味着在编号19的测验中获得优秀的参与者里面ꎬ有96 9%的参与者也在编号17的测验中获得优秀ꎮ
图4给出了测试成绩关联分析结果示意图ꎬ图中用虚线表示支持度小于70%的关联规则ꎬ用较粗的实线条表示较强的关联规则ꎮ从图中可以明显地看出ꎬ编号17~19的三次单元测试之间存在着很强的关联规则ꎬ学习者在任何一个单元中获得优秀ꎬ都很有可能在其他两个单元中获得优秀ꎮ此外ꎬ编号为1的 基尔霍夫定律及参考方向 优秀也与这三个单元优秀之间有较强的关联规则ꎬ即 基尔霍夫定律和参考方向 这一知识点掌握得好ꎬ则在这三次单元测验中就有更大可能性获得优秀ꎮ由于 基尔霍夫定律和参考方向 知识点是电路MOOC课程的基础出发点ꎬ因此这些关联规则也具有很强的合理性ꎮ
表4㊀MOOC学习类型及人数统计
人数统计
类型
NO-SHOWSOBERSERSDROPININACTIVEACTIVE
各类型参与者人数/人15728766751720565各类型参与者获得证书人数/人010661532544各类型参与者获得证书人数/%013 8889 196 3
表5㊀测试成绩之间的关联规则
91
实验科学与技术2018年10月表5(续表)
图4㊀各次测试成绩关联规则示意图
2 4㊀预测拟合
在电路MOOC的20次测试中ꎬ课程结束之前的综合测试在MOOC成绩的占比最重ꎬ因此综合测试的成绩对最终MOOC学习效果评价的影响最大ꎮ而在综合考试之前ꎬ所有知识点都已完成ꎬ会预留一段时间给学习者进行综合复习ꎮ为了给教学者和参与者提供预警提示ꎬ以便调整复习安排ꎬ本节将从课程的各个知识点和基本单元的测试成绩数据中预测综合测试成绩的趋势ꎬ利用课程后台获得的前19次测验成绩对第20次MOOC综合测试成绩进行预测拟合ꎮ
预测拟合的处理流程图如图5所示
ꎮ处理步骤包含数据获取㊁数据预处理㊁特征选择㊁拟合回归㊁交叉验证5个步骤ꎮ其中前两个步骤与关联分析中的对应步骤相同ꎮ㊀㊀特征选择使用了递归特征消除(regressionfea ̄tureeliminationꎬRFE)方法[11]进行特征降维ꎮ拟合回归使用了线性模型ꎬ并采用了三种拟合方法进行拟合ꎬ分别是线性判别分析(lineardiscrimi ̄nationanalysisꎬLDA)㊁罗杰斯特回归(Logisticre ̄gressionꎬLR)ꎬ以及支持向量机(supportvectorma ̄chineꎬSVM)ꎬ这些拟合算法都是使用Python语言实现的ꎮ交叉验证使用了K-FOLD交叉验证实现ꎬ得到拟合误差结果ꎮ
图5㊀预测拟合流程图
预处理后的数据以19次测验成绩为特征ꎬ利用RFE进行特征选择ꎬ以系数0 25为阈值ꎬ可以从19个特征中选择得到13个特征ꎬ被去除的特征有编号为3㊁8㊁9㊁5㊁11㊁12的测验成绩ꎮ利用特征选择后的13个特征进行数据拟合ꎬ并采用K-FOLD方法进行交叉验证ꎬ选择K=5ꎮ如表6所示ꎬ列出了各个模型的性能参数ꎬ共使用4个指标衡量性能:准确率(Accuracy)㊁精确度(Preci ̄sion)㊁召回率(Recall)和F得分(F-score)ꎮ由表6可知ꎬ三种线性回归方法都可以获得较好的预测效果ꎬ因此线性回归模型可以用来在MOOC综合测试之前预测成绩ꎬ为学习者和教学者提供有益的预警和指导ꎮ
表6㊀预测回归误差表
AccuracyPrecisionRecallF-scoreLR0 7690790 6999050 7690790 707097LDA0 7596870 6928350 7596870 708094SVM0 7605980 6005570 7605980 670027
2 5㊀电路MOOC课程改进思路
根据以上电路MOOC数据挖掘结果可以发现ꎬ参与程度最高的学习者ꎬ即参加测试㊁讨论次数最多的ACTIVE类型学习者ꎬ最有可能获得好的学习效果ꎻ课程知识点之间㊁单元测试之间ꎬ存在关联性ꎬ如 基尔霍夫定理和参考方向 知识点的掌握程度与课程各单元测试成绩之间存在着很强的关联性ꎻ利用各知识点作业成绩和单元测试成绩ꎬ可以对期末成绩进行较为准确的预测ꎮ以上数据挖掘结果为进一步的MOOC教学改
02
第16卷㊀第5期刘㊀喆ꎬ等:电路分析MOOC后台数据分析与挖掘
革提供了重要依据与参考ꎮ因此ꎬ为提升电路MOOC教学效果ꎬ可从以下3点对今后的课程教学进行改进提升ꎮ
1)采用多种手段提升学习者的MOOC学习积极性和参与度ꎮ如在MOOC课程内容中加入可提升积极性的设计元素ꎬ采用更贴近学生的形式进行教学ꎮ
2)充分利用课程各知识点的关联性ꎬ更合理设计课程知识点㊁优化课程内容安排ꎬ同时充实并优化课程测试题库ꎬ以获得更好的学习效果ꎮ3)进一步建立并完善MOOC成绩的预测与反馈机制ꎬ在学习过程中ꎬ为教师及学习者提供重要的学习效果反馈与成绩预警ꎬ便于及时了解学习效果㊁尽早调整学习方法与教学策略ꎮ
3㊀结束语
本文对电子科技大学电路MOOC后台数据围绕各知识点测试成绩进行了数据挖掘与分析ꎬ以测试成绩作为衡量学习效果的重要指标ꎬ挖掘了学习效果与参与度之间的关系ꎬ发现参与程度最高的学习者ꎬ即参加测试㊁讨论次数最多的ACTIVE类型学习与者ꎬ最有可能获得好的学习效果 通过测试并取得MOOC证书ꎻ然而电路MOOC与其他MOOC课程一样具有注册人数多㊁积极参与人数少以及只学习不讨论的共有特点ꎬ大大影响了MOOC课程的学习效果ꎻ进一步分析了各次测试成绩之间的关联性ꎬ发现 基尔霍夫定理和参考方向 知识点的掌握程度与课程各单元测试成绩之间存在着很强的关联性ꎻ最后研究了MOOC综合测试成绩的预测模型ꎮ本文的分析结果为进一步改进㊁优化MOOC教学提供了重要的理论依据ꎮ
参考文献
[1]PAPPANOL.TheyearoftheMOOC.TheNewYorkTimes[EB/OL].(2014-03-20).[2016-09-02].
http://www nytimes com/2012/11/04/education/edlife/
massive-open-online-courses-are-multiplying-at-
a-rapid-pace.html?pagewanted=all&_r=0. [2]CHRISTENSENGꎬSTEINMETZAꎬALCORNB.TheMOOCphenomenon:whotakesmassiveopenonlinecour ̄sesandwhy?[DB/OL].(2013-11-06)[2016-09-02].http://papers.ssrn com/sol3/papers.cfm?ab ̄stract_id=2350964.[3]张羽ꎬ李越.基于MOOCs大数据的学习分析和教育测量介绍[J].清华大学教育研究ꎬ2013ꎬ34(4):22-26.
[4]GASEVICDꎬKOVANOVICVꎬJOKSIMOVICSꎬetal.Whereisresearchonmassiveopenonlinecoursesheaded?AdataanalysisoftheMOOCresearchinitiative[J].Theinternationalreviewofresearchinopenanddistancelearn ̄ingꎬ2014ꎬ15(5):134-176.
[5]BAKERR.S.Educationaldatamining:anadvanceforintelligentsystemsineducation[J].IEEEIntelligentSys ̄temsꎬ2014ꎬ29(3):78-82.
[6]BRESLOWLꎬPRITCHARDDEꎬDEBOERJ.StudyinglearningintheworldwideclassroomresearchintoedX sfirstMOOC2012[J].Research&PracticeinAssess ̄mentꎬ2013(8):13-25.
[7]蒋卓轩ꎬ张岩ꎬ李晓明.基于MOOC数据的学习行为分析与预测[J].计算机研究与发展ꎬ2015ꎬ52(3):1-14.
[8]李帅ꎬ张岩峰ꎬ于戈ꎬ等.MOOC平台学习行为数据的采集与分析[J].中国科技论文ꎬ2015(20):2373-2376.
[9]李曼丽ꎬ徐舜平ꎬ孙梦.MOOC学习者课程学习行为分析 以电路原理课程为例[J].开放教育研究ꎬ2015ꎬ21(2):63-69.
[10]WENMꎬYANGDꎬROSEC.SentimentanalysisinMOOCdiscussionforumswhatdoesittellus?[C]//Pro ̄
ceedingsofthe7thInternationalConferenceonEducational
DataMining.London:UnitedKingdomꎬ2014:130-
137.
[11]张良均ꎬ王路ꎬ谭立云ꎬ等.PYTHON数据分析与挖掘实战[M].北京:机械工业出版社ꎬ2015:
85-89.
[12]Wikipedia.Cross-validation(statistics)[DB/OL].
[2016-09-02].https://en wikipedia org/wiki/
Cross-validation_(statistics).
[13]高地.MOOC热的冷思考 国际上对MOOCs课程教学六大问题的审思[J].远程教育杂志ꎬ2014
(2):39-47.
[14]贾积有ꎬ缪静敏ꎬ汪琼.MOOC学习行为及效果的大数据分析 以北大6门MOOC为例[J].工业和
信息化教育ꎬ2014(9):23-29.
编辑㊀张俊
12。