在线开放课程学习质量评价指标体系构建与应用(成亚玲,谭爱平)

摘
要：在混合式教学模式基本流程、在线开放课程学习质量评价逻辑的基础上，构建了
基于数据驱动的在线开放课程学习质量评价体系。

评价体系从课前学情预测、课中迭代监测、课后反馈提升等维度，对影响学习质量的14个因素进行了深入挖掘分析。

最后将本评价体系应用在“C 语言程序设计”课程中，研究结果表明：投入度高的学习者其学习参与度越高，学习成绩越好；学习能力强的学习者其创新能力并不一定强；在线开放课程中实施混合式教学对学习者顺利完成学习目标具有重要保障作用。

关键词：在线开放课程；混合式教学；学习质量评价；指标体系；MOOC 中图分类号：G712
文献标识码：A
文章编号：1674－9154（2020）01－0062－08
*基金项目：湖南省哲学社科基金项目“基于学习分析的在线开放课程学习预测及干预研究”（编号：18YBG008）；
中央电化教育馆教育信息技术研究课题“数据挖掘与学习分析在智慧课堂中的应用研究”（编号：186140057）；教育部职业院校信息化教指委课题“混合学习视域下在线开放课程学习行为数据模型研究”（编号：2018LXB0231）；湖南工业职院教育教学研究项目“混合学习视域下在线开放课程学习评价指标体系构建研究”（编号：GYKYS2018004）。

作者简介：成亚玲（1981—），湖南工业职业技术学院信息工程学院，副教授，研究方向：课程与教学论、教育学；谭爱平（1979—），湖南工业职业技术学院信息工程学院，副教授，研究方向：数据挖掘。

收稿日期：2019-11-15
在线开放课程学习质量
评价指标体系构建与应用
*
成亚玲
谭爱平
（湖南工业职业技术学院，湖南长沙410208）
一、问题的提出
我国积极探索在线开放课程建设，如国家层面成立了教育部在线教育研究中心，企业行业层面先后成立了中国大学MOOC 、MOOC 中国联盟、智慧职教MOOC 、网易云课堂等，高校层面成立了学堂在线、好大学在线、优课联盟等。

在线开放课程因其学习方式泛在化、教学组织灵活、资源多样性、评价方式多元化备受学习者青睐，正变革传统教与学的形态。

虽然在线开放课程在很大程度上有效缓解了教学资源供需矛盾，促进了教育公平性而受到社会各界广泛关注和追捧，但也显露出一些问题：如何进一步提高学习效率、降低学习成本、提高学习完成率是近年来学习者比较关注的问题。

同时，伴随着在线开放课程催生出海量时间尺度密集、空间尺度多样、价值尺度多元的教育大数据，[1]如何利用大数据、人工智能等新一代信息技术挖掘出海
量数据背后隐藏的有用信息和规律，有效开展教学过程监测、改进学习评价、改善教与学的过程、提高学习成效等，是当前教育界关注的热点问题。

虽然在《教育部关于加强高等学校在线开放课程建设应用与管理的意见》（教高〔2015〕3号）、[2]《信息技术学习、教育和培训在线课程》国家标准（GB ／T36642-2018）[3]等文件中，都鼓励高校建设在线开放课程，并从课程建设、管理、学分认定、评价等维度对在线开放课程建设原则、评价原则和评价方案做出了顶层设计框架，但是在线开放课程的学习效果评价体系在具体实施过程中，因涉及到具体学科特点、课程性质、学习环境、学习者对象等诸多因素影响，需要针对在线开放课程制订科学的学习质量评价体系。

二、文献综述
通过文献分析发现，国内外学者对课程学习质
教育管理
量或教学质量评价相关研究不少，主要体现在以下
五个方面：第一，教学质量管理研究。

许俊生基于
绩效管理理念构建教学质量保障体系并进行了实践
探索；[4]李响等人从教学质量管理体系、质量控
制、内部审核、改进机制为核心探讨了全面教学质
量管理架构；[5]Laura Czerniewicz、陈波分别从MOOC制作质量与在线课程平台管理、资源易用性、学习体验等方面提高在线课程管理。

[6][7]第
二，课堂教学效果评估研究。

如李聪从教学行为、
学习行为两个方面构建课堂教学效果评价的指标体
系；[8]刘华构建了适用于知识目标和解决实践问题
为核心的两套发展性课堂教学评价指标。

[9]第三，
教学质量评价研究。

吴兆明从教育管理者、教师、
学生获得感三个维度进行各层面教学质量诊断与改
进；[10]王昌辉在分析教学质量评价对象、教学内容
基础上，应用理实一体化的方法对教学质量评价模
式进行了实证研究；[11]黄利文基于利益相关者视
角，以六合分析法构建了教学质量评价模式，并应
用监测数据对教学质量进行了实证研究。

[12]第四，
教学质量影响因素研究。

刘洪海基于课证赛融通视
角对高职教学质量要素进行了整合优化研究；[13]成
亚玲等从学习满意度角度对翻转课程教学质量提升
进行了深入研究并提出了相应建议措施；[14]丁澍等
从主观评价、客观评价两个方面对影响学生成绩的
因素深入研究。

[15]第五，教学评价指标体系研究。

杨浩、李逢庆结合混合式教学实施流程，构建了高
校混合式教学质量评价指标体系的一般模型并应用
实践。

[16][17]
诚然，现有研究从教学质量管理、课堂教学效
果、学习质量影响因素、教学评价指标体系等方面
进行了大量研究，但是存在着诸如鲜有将学习评价
与教学过程各环节进行深度融合、过程性评价与终
结性评价有待系统化和科学化、评价结果及时反馈
与可视化有待进一步加强等问题。

本研究将在信息
技术助力下，全面采集学习者线上、线下学习行为
数据和线上、线下学习测评数据，并将学习评价融
入到混合式教学的各个阶段，深度挖掘学习者学习
过程数据和学习结果数据，构建基于数据驱动的
在线开放课程学习质量评价指标体系，为不同课
程的教师开展混合教学提供可借鉴的学习质量评价指标。

三、在线开放课程学习质量评价体系构建的理论基础
（一）混合式教学理论
混合式教学强调将传统面授课堂与线上课堂优势结合起来，为适当的对象，以适当的传播媒体，通过适当的方式，提供适当的学习内容，以最小的投入获得较高的学习收益。

[18]在混合式教学过程中，既要发挥教学者引导、启发、监控教学过程的主导作用，又要充分体现学习者作为学习主体的主动性、积极性与创造性。

[19]鉴于此，混合式教学评价既要充分体现教学者、学习者、学习同伴在评价中的作用，又要将传统课堂团队协作等线下评价与线上评价相结合，强调学生协作探究能力培养与个性化发展。

（二）协作学习理论
协作学习强调学习共同体的作用，倡导以小组或团队的形式开展学习活动，相互协作完成特定的学习任务以达到共同的学习目标。

学习者被划分成不同的协作小组，小组成员之间通过相互协商共同完成学习任务，以此达成共识、提升技能。

[20]由于学习者在小组中的角色不同，协作学习评价通常采取协作组评价和个体评价。

同时，协作学习的评价将形成性评价与总结性评价、定性评价与定量评价等各种方法优势进行充分融合，是一种多元化的评价，这为混合式学习活动中小组探究性学习活动评价提供了思路和方法。

（三）成果导向的教育理念
成果导向教育理念由Spady等人提出后，迅速成为国际教育改革的主流理念。

[21]成果导向教育理念以学习成果为导向，注重学习者技能与能力提升，并以可观察、可测量、可应用的模式贯穿在学生培养过程中，能适应社会特别是企业对人才的需求。

成果导向教育理念倡导“教为不教、学为学会”，[22]打破“以教师为中心”的传统教学方法，将课堂回归学生，强调学生学习的过程性及学习成果的比较性，促进教学者因材施教、学习者自主学习。

因此，在线开放课程学习质量评价指标体系在关注学习者知识建构的过程性评价和终结性评价，还应关注其学习成果评价。

教育管理
四、在线开放课程学习评价指标体系的构建（一）在线开放课程混合式教学模式基本流程笔者在《基于慕课的混合学习教学设计探讨》一文提出“课前导学、课中研学、课后拓学”的三段式混合教学模式，[23]在本研究中笔者结合刘邦奇《智慧课堂数据挖掘分析与应用实证研究》、[24]李逢庆《混合式教学质量评价体系的构建与实践》[25]等文献综合构建出在线开放课程混合教学基本流程，即为“三阶段、十二环节”（见图1）。

课前导学阶段（线上课堂）：通过生动有趣的方式将学习者引导进入课前导学阶段。

首先，在学习环境、学习需求、学习内容和学习者特征等学情分析基础上，教学者向学习者推送音频视频等资料，学习者通过预习新知初步感知学习内容；其次，教学者下发任务单让学习者进行自主学习，延伸学习内容、激发学习兴趣、探讨项目问题；最后，学习者完成平台推送的导学测评并将导学阶段学习疑难点、学习体会进行记录，以便教师在课中研究阶段进行个性化指导。

课中研学阶段（线下课堂）：首先，对导学阶段出现的疑难问题进行有针对性的指导；其次，教学者进行当堂学习任务导入、明确重难点及注意事项，学习者以小组为单位进行协作探究学习，教学者加以适当点拨提高学习效果；最后，学习者进行学习成果展示，对尚存疑问进行反思和总结，并完成课堂达标测评等内容。

课后拓学阶段（线上、线下课堂）：此阶段主要是学习者通过拓展项目训练提高对知识、技能的拓展应用；教学者根据线上测评数据、学习行为数
据和线下课堂表现情况，向学习者推送个性化学习拓展资源和个性化学习路径，提高学习者学习效能。

通过优化混合教学模式，以达到教学精准化、学习个性化、评测智能化和管理科学化。

[26]
（二）在线开放课程学习质量评价的逻辑框架基于在线开放课程混合教学的基本流程，采取“线上线下并进、定性定量结合”的方式，根据学习内容和学习发生阶段的不同，在线开放课程学习质量评价从课前、课中、课后三个方面分别进行设计，对学习者学习过程和学习结果进行监控与评价，其评价逻辑（见图2）。

评价的终极目标是为了改进，学习评价通过精准分析、解释并及时反馈才能真正实现教与学的改进。

[27]
课前导学阶段即学情预测阶段：教师利用
MOOC 平台及学习管理系统、大数据等信息技术采
集学习者学习原始数据（登陆平台日志、观看视频次数、时长、发帖、回帖数等），通过技术手段筛选出学习者学习动机、已学知识基础、学习偏好、学习状态及情景状态数据；同时，结合课前导学测评数据，通过学习分析和数据挖掘等技术对学习者现有学习情况、未来学习状况进行画像。

基于画像，教师能精准地识别学习者的认知水平、学习兴趣，预测学习者在接下来学习中的潜在问题和风险，以促使教师实时调整教学策略、实施有效的教学干预，促进因材施教；通过画像，学习者能公正客观地审视自己现有的学习状况和接下来学习状态，以便调整自己的学习策略，提高学习的有效性。

课中研学即迭代监测阶段：利用MOOC 平台数据采集工具、智慧课堂物联网传感设备采集学习者
图1在线开放课程混合教学流程
研学内
化
课前导学课后拓学
引发问题
解决问题
应用迁移
拓学提升
导学反
馈
拓展项目练习个性化资源推送学习路径荐引深度反思探究学习导学疑难问题解惑
任务导入导学测评学情分析任务单导学（深学）
视频导学（浅学）课中研学
成果展示实时评测
教育管理
线上线下学习行为、学习轨迹、情感表现、生生交互、师生交互、课堂实时测评等数据。

通过挖掘分析这些数据，教师可以精准诊断学习者的学习进度、学习缺陷及进一步的学习需求；同时，教师还可以了解当前的教学策略、教学模式是否适合，进而改进教学。

最后，教学者向学习者推送适合的个性化学习资源和学习路径。

通过及时监测和精准反馈，促进教师更加精准地开展个性化的教学。

课后拓学即提升改进阶段：此阶段通过拓展项目训练对已学内容进行拓展、迁移应用。

通过项目学习目标完成度、学习预期和学习满意度等对项目学习进行教学评一体化发展性评估，具体从学习产出评估、[28]学习增值评估[29]两个方面对学习质量进行评价，发出学习质量预警，并进一步进行归因分析，从而引发教与学的改进、提高学习效能。

（三）在线开放课程学习质量评价指标的构建评价指标的遴选与体系构建是一个较为复杂、严谨且不断完善的过程。

首先，通过问卷调查、多轮专家访谈等方式，初步确定在线开放课程学习质量评价初选指标。

然后，应用德尔菲法对初选指标
进行修正；最后，采用层次分析法确定各指标的权重。

由于评价指标的权重受到课程性质、教学实施过程、教学环境、学生对象等因素影响，教师可根据课程实际、专家指导建议综合确定评价标准体系。

本研究基于在线开放课程混合学习教学流程、学习质量评价逻辑框架以及参考孙洪涛的课程综合评价参考模型、[30]郑勤华的学习者综合评价参考模型、[31]陈耀华的教师综合评价参考模型[32]等，从评价维度、评价指标、观测点、评价主体等方面对在线开放课程学习的课前、课中、课后三个阶段进行评价体系的构建（见表1）。

课前阶段主要从投入度、参与度、学习能力、导学测评4个一级指标和9个指标观测点进行构建；课中阶段主要从学生的投入度、参与度、贡献度、协作创新、学习能力、
实时测评6个一级指标和19个观测点进行构建；课后阶段主要从知识迁移、能力提升、学习反思和自我效能感4个一级指标和5个观测点进行构建。

从评价体系可以看出，在线开放课程学习评价采取线上线下考核并进、定性与定量结合、形成性与总结性评价相结合方式进行，注重学习全过程的状态监
图2在线开放课程学习质量评价逻辑
课前学情预测
课中
迭代监测
课后
提升改进
学习行为相关数据
导学测评数据
MOOC 平台线上、线下课堂学习行为
学习轨迹情感表现课堂实时测评
线上、线下课堂学习目标达成度拓展项目提升
学习预期和满意度
分析
学习分析数据挖掘
精准反馈、优化精准教与个性化学
学情分析知识基础学习动机学习兴趣情境状态导学学习情况
数据挖掘分析学习偏好/风格学习进程知识缺陷进一步学习需求
推送学习质量预警
学习产出评估
学习增值评估
学习质量预警
学习分析数据挖掘
实时反馈驱动有效教和学
教师：
预测学习潜在问题和风险精准识别学生认识水平、学习兴趣调整教学设计和策略，实施干预学生：客观认识自己
调整学习策略
促进精准教和个性化学
学生：教师：调整教学策略
改进教学模式
定制个性化学习资源学习路径客观自我评价调整学习策略
个性化学习
提升教学效果归因分析教与学的改进
即时监测
教育管理
控与评价。

表1在线开放课程学习评价指标体系
五、在线开放课程学习质量评价体系的应用
（一）研究实施过程
1.研究样本选择
本研究以湖南工业职业技术学院“C语言程序设计”课程为例，基于智慧职教MOOC平台、智慧教室开展混合式教学，实验样本以软件技术专业、电气自动化专业和电子信息工程专业2018级283名
学生为研究对象，前期学生已基于智慧职教MOOC 平台完成了“计算机与互联网应用”课程的混合式学习，对线上、线下混合式教学流程有较好的体验和掌握、具备了相应学习技能和信息素养。

“C语言程序设计”课程为软件技术专业、电气自动化专业和电子信息工程专业的专业基础课程，总课时分别为60学时、56学时、56学时，课程学习周期为
14～15周，第15或第16周进行期末综合测评。

2.学习质量评价量化计算方法
本研究学习质量评价量化按照表1所示评价指标体系进行质量评价，具体量化计算公式如下所示：课程考核总成绩=课前导学成绩（30%）+课中研学（50%）+课后拓学（20%）。

课前导学成绩=投入度（40%）+参与度（20%）+学习能力（15%）+导学测评（25%），其中，投入度成绩=登陆平台次数（20%）+观看视频次数（30%）+观看视频时长（30%）+疑难知识点是否标注（20%），参与度成绩=发帖、回帖数（50%）+学习任务完成度（50%），导学测评成绩=知识理解掌握程度（80%）+导学目标达成度（20%）。

课中研学成绩=投入度（15%）+参与度（20%）+贡献度（15%）+协作创新（15%）+学习能力（15%）+实时测评（20%）。

其中，投入度成绩=时间投入（20%）+行为投入（30%）+认知投入（30%）+（20%）情感投入，参与度成绩=课堂互动主动性（40%）+探究深入程度（30%）+学习任务完成度（30%），贡献度成绩=上传共享资源次数（30%）+发起研修活动次数（40%）+团队协作中的贡献度（30%），协作创新成绩=团队协作积极性（40%）+自主探究积极性（40%）+创新思维与创新成果（20%），学习能力成绩=自主学习能力（20%）+探究问题能力（30%）+沟通表达能力（30%）+作品展示效果（20%），实时测评成绩=学习平台实时测评（30%）+线下课堂学习任务测评（70%）。

课后拓学成绩=知识迁移（30%）+能力提升（30%）+学习反思（20%）+自我效能感（20%），其中，自我效能感成绩=学习目标达成度（60%）+学习满意度（40%）。

评价维度课前导学（30%）
课中研学（50%）课后拓学（20%）
评价指标
投入度
参与度
学习能力
导学测评
投入度
参与度
贡献度
协作创新
学习能力
实时测评
知识迁移
能力提升
学习反思
自我效能感
权重
（%）
40
20
15
25
15
20
15
15
15
20
30
30
20
20
观测点
登陆平台次数
观看视频次数
观看视频时长
疑难知识点是否标注
发帖、回帖数
学习任务完成度
自主学习能力
知识理解掌握程度
导学目标达成度
时间投入
行为投入
认知投入
情感投入
课堂互动主动性
小组讨论、探究深入
程度
学习任务完成度
上传共享资源次数
发起研修活动次数
团队协作、探究中的
贡献度
团队协作积极性
自主探究积极性
创新思维与创新成果
自主学习能力
探究问题、解决问题
能力
沟通表达能力
作品展示效果
学习平台实时测评
线下课堂学习任务测评
拓展学习项目完成度
实践问题分析、解决
能力
学习总结与反思
学习目标达成度
学习满意度
权重
（%）
20
30
30
20
50
50
100
80
20
20
30
30
20
40
30
30
30
40
30
40
40
20
20
30
30
20
30
70
100
100
100
60
40
评价主体
教师
教师
教师
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
学生
学生
学生
学生
学生
学生
学生
学生
学生
学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
教师、学生
学生教育管理
3.信度与效度分析
本研究基于学习质量评价量化具体公式，对课前导学阶段影响学习者成绩的4个影响因素、课中研学阶段影响学习者成绩的6个影响因素和课后拓学阶段影响学习者成绩的4个影响因素为研究对象。

将283名学生学习过程数据和学习结果数据导入SPSS23进行统计分析，对课前、课中、课后三个阶段学习者成绩的影响因素进行可靠性计算，分析发现三个阶段的Cronbach's Alpha系数分别为0.842、0.802、0.829（见表2），表明本研究构建的在线开放课程学习质量评价体系指标具有较高的可信度。

表2克隆巴赫系数分析
同时，通过KMO检验和Bartlet球形检验，[33] KMO值为0.749，高于建议值0.5，表明在线开放课程学习质量评价体系指标具有较好的结构效度。

（二）研究结果
1.学习者的投入度、参与度与学习总成绩相关性分析
通过皮尔逊相关性（Pearson correlation coefficient）检验[34]可以发现（见表3），学习投入度成绩与总成绩的皮尔逊相关系数为0.784，二者具有较强的相关性，且在0.01水平上显著相关；学习参与度成绩与总成绩的皮尔逊相关系数为0.732，二者具有较强的相关性，且在0.01水平上显著相关；同时，学习投入度成绩与学习参与度成绩的相关性系数为0.713，而且在0.01水平上（双侧）显著相关；可以看出学习投入度成绩、学习参与度成绩均与总成绩具有较强相关性，且在0.01水平上（双侧）显著。

这表明投入度高的学习者，其学习参与度也较高，学习成绩也越好，反之亦然；这也与心理学研究结论一致，即学习主动投入，其积极参与度成绩也就越高，且能显著影响学习者的学习成绩。

该研究结论的启示是教学组织者在开放课程混合教学实施过程中，建立高效、趣味性强的线上、线下互动活动规则，激发学习者兴趣、促进其自主学习、协作学习过程中的主动性和积极性，以提高学习效能。

表3学习者投入度、参与度与学习总成绩相关性分析
注：**.在.01水平（双侧）上显著相关；*.在0.05水平（双侧）上显著相关（下同）。

2.学习者的学习能力、协作创新与学习总成绩相关性
学习能力评价主要体现在自主学习能力、探究问题和解决问题能力、沟通表达能力等方面，经分析发现，学习能力成绩与总成绩的皮尔逊相关系数为0.867（见表4），二者具有很强的相关性，且在0.01水平上显著相关，表明学习能力强的学习者，一般情况下其学习成绩比较好。

学习创新评价主要体现在团队协作积极性、自主探究、创新思维和创新成果等方面，其与总成绩的皮尔逊相关性系数为0.631，且在0.01水平上显著相关，表明学习创新评价与总成绩具有较强的相关性；但也有个别情况例外，深究其因主要是个别学习者在学习过程中过于关注创新而偏移了学习目标。

学习能力评价与学习创新评价的相关性系数仅为0.430，而且相关性不显著，表明学习能力强的学习者，其创新能力并不一定强。

该研究结论的启示是在线开放课程实施混合教学过程中，教学者在培养学习者学习能力提升的同时，也应注重其创新能力的培养，促使学习者全面健康发展。

表4学习能力评价、创新评价与学习总成绩相关性分析
3.学习过程评价和终结性评价相关分析
由于学习过程的动态性和复杂性，本研究基于智慧职教MOOC平台（线上）和智慧教室（线下）开展混合式教学。

通过MOOC平台数据采集工具和智慧教室物联网感知设备，伴随式采集学习者的全过程学习数据（学习行为数据、情绪数据、生理数据等），结合课前导学测评数据、课中实时监测数
克隆巴赫α系数总成绩
0.854
课前导学成绩
0.842
课中研学成绩
0.822
课后拓学成绩
0.809
学习投入度成绩
学习参与度成绩
课程总成绩
学习投入度成绩
1
.713**
.784**
学习参与度成绩
.713**
1
.762**
课程总成绩
.784**
.762**
1
学习能力评价
学习创新评价
课程总成绩
学习能力评价
1
.430
.867**
学习创新评价
.430
1
.631**
课程总成绩
.867**
.631**
1
教育管理。