mooc课程评论可视化分析系统构建--以中国大学mooc平台为例

收稿日期:２０１９－１１－２６
∗本文系赛尔网络下一代互联网创新项目 融合评论标签的个性化学习资源推荐关键技术研究 (项目编号:ＮＧＩＩ２０１７０５２２)和赛尔网络下一代互联网创新项目 面向慕课课程评论的情感标签信息抽取关键技术研究 (项目编号:ＮＧＩＩ２０１８０５０９)成果之一ꎮ作者简介:张文德(１９６２ )ꎬ男ꎬ博士ꎬ博士生导师ꎬ教授ꎬ研究方向为信息管理㊁计算机网络ꎻ黄禹(１９９４ )ꎬ男ꎬ２０１７级硕士研
究生ꎬ研究方向为信息管理ꎮ
ＭＯＯＣ课程评论可视化分析系统构建∗
以中国大学ＭＯＯＣ平台为例
张文德１㊀黄㊀禹１ꎬ２
(１.福州大学信息管理研究所㊀福建福州㊀３５０１１６)
(２.福州大学图书馆㊀福建福州㊀３５０１１６)
摘㊀要:[目的/意义]旨在为学习者㊁教学者㊁平台管理者决策提供支持ꎮ[方法/过程]从学习者㊁教学者㊁平台管理者需求出发ꎬ设计了慕课课程评论可视化分析系统的框架ꎬ并通过Ｐｙｔｈｏｎ语言对各模块进行实现ꎮ[结果/结论]设计与实现的慕课课程评论可视化分析系统通过对课程评论相关信息的自动化统计ꎬ能够直观展示出慕课课程常规数据的可视化以及基于课程评论的主题发现可视化ꎮ
关键词:ＭＯＯＣꎻ课程评论ꎻ可视化
中图分类号:ＴＰ３９１㊀㊀㊀㊀文献标识码:Ａ㊀㊀㊀㊀ｄｏｉ:１０.３９６９/ｊ.ｉｓｓｎ.１００５－８０９５.２０２０.０５.００９
ＣｏｎｓｔｒｕｃｔｉｏｎｏｆＶｉｓｕａｌｉｚｅｄＡｎａｌｙｓｉｓＳｙｓｔｅｍｆｏｒＭＯＯＣＣｏｕｒｓｅＲｅｖｉｅｗ:
ＣａｓｅＳｔｕｄｙｏｆＭＯＯＣＰｌａｔｆｏｒｍｏｆＣｈｉｎｅｓｅＵｎｉｖｅｒｓｉｔｉｅｓ
ＺｈａｎｇＷｅｎｄｅ１㊀ＨｕａｎｇＹｕ１ꎬ２
(１.ＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＭａｎａｇｅｍｅｎｔ ＦｕｚｈｏｕＵｎｉｖｅｒｓｉｔｙ ＦｕｚｈｏｕＦｕｊｉａｎ３５０１１６)
(２.ＦｕｚｈｏｕＵｎｉｖｅｒｓｉｔｙＬｉｂｒａｒｙ ＦｕｚｈｏｕＦｕｊｉａｎ３５０１１６)
Ａｂｓｔｒａｃｔ:[Ｐｕｒｐｏｓｅ/ｓｉｇｎｉｆｉｃａｎｃｅ]Ｔｈｅｐａｐｅｒｉｓｔｏｐｒｏｖｉｄｅｓｕｐｐｏｒｔｆｏｒｔｈｅｄｅｃｉｓｉｏｎｍａｋｉｎｇｏｆｌｅａｒｎｅｒｓ ｅｄｕｃａｔｏｒｓａｎｄｐｌａｔｆｏｒｍｍａｎ￣
ａｇｅｒｓ.[Ｍｅｔｈｏｄ/ｐｒｏｃｅｓｓ]Ｂａｓｅｄｏｎｔｈｅｎｅｅｄｓｏｆｌｅａｒｎｅｒｓ ｅｄｕｃａｔｏｒｓａｎｄｐｌａｔｆｏｒｍｍａｎａｇｅｒｓ ｔｈｅｐａｐｅｒｄｅｓｉｇｎｓｔｈｅｆｒａｍｅｗｏｒｋｏｆｖｉｓｕａｌ￣
ｉｚｅｄａｎａｌｙｓｉｓｓｙｓｔｅｍｏｆＭＯＯＣｃｏｕｒｓｅｒｅｖｉｅｗｓａｎｄｉｍｐｌｅｍｅｎｔｓｅａｃｈｍｏｄｕｌｅｉｎＰｙｔｈｏｎｌａｎｇｕａｇｅ.[Ｒｅｓｕｌｔ/ｃｏｎｃｌｕｓｉｏｎ]ＶｉｓｕａｌｉｚｅｄａｎａｌｙｓｉｓｓｙｓｔｅｍｏｆＭＯＯＣｃｏｕｒｓｅｒｅｖｉｅｗｄｅｓｉｇｎｅｄａｎｄｉｍｐｌｅｍｅｎｔｅｄｉｎｔｈｉｓｐａｐｅｒｃａｎｖｉｓｕａｌｌｙｄｅｍｏｎｓｔｒａｔｅｔｈｅｖｉｓｕａｌｉｚａｔｉｏｎｏｆｔｈｅｒｅｇｕｌａｒｄａｔａｏｆＭＯＯＣｃｏｕｒｓｅａｎｄｔｈｅｔｏｐｉｃｄｉｓｃｏｖｅｒｙｖｉｓｕａｌｉｚａｔｉｏｎｂａｓｅｄｏｎｔｈｅｃｏｕｒｓｅｒｅｖｉｅｗｓｔｈｒｏｕｇｈｔｈｅａｕｔｏｍａｔｉｃｓｔａｔｉｓｔｉｃｓｏｆｉｎｆｏｒｍａｔｉｏｎｒｅｌａｔｅｄｔｏ
ｔｈｅｃｏｕｒｓｅｒｅｖｉｅｗｓ.
Ｋｅｙｗｏｒｄｓ:ＭＯＯＣꎻｃｏｕｒｓｅｒｅｖｉｅｗꎻｖｉｓｕａｌｉｚｅｄａｎａｌｙｓｉｓ
０㊀引言
２０１２年以来ꎬ大规模开放网络课程(Ｍａｓｓｉｖｅ
ＯｐｅｎＯｎｌｉｎｅＣｏｕｒｓｅｓꎬＭＯＯＣ)在世界范围内迅速兴起ꎮ根据国际知名第三方在线教育机构ＣｌａｓｓＣｅｎ￣ｔｒａｌ数据ꎬ截至２０１８年底ꎬ全球已有９００多所大学推出了至少一门ＭＯＯＣ课程ꎬ全球ＭＯＯＣ课程数量为
１.１４万ꎬ比２０１７年增加了约２０００门课程ꎻＭＯＯＣ平台学习者用户注册数量由２０１７年的７.８千万人增长至２０１８年的１.０１亿人ꎬ增长率达２９.５％[１]ꎮ随着
ＭＯＯＣ的发展ꎬ课程数量不断增加ꎬ课程趋向同质化ꎮ为了给学习者提供学习支持ꎬ帮助学习者了解课程和筛选对自己有价值的课程ꎬ众多ＭＯＯＣ平台相继为学习者提供了课程评价功能ꎮ学习者可以在这些ＭＯＯＣ平台上发表对ＭＯＯＣ平台㊁课程内容㊁授课教师等课程相关内容的评论ꎮ这些课程评论蕴含了很多有价值的信息ꎬ在为学习者选择所要学习的课程提供决策参考的同时ꎬ不仅授课教师提升教学水平提供反馈ꎬ而且向ＭＯＯＣ平台管理者优化学
９
５２０２０年５月Ｍａｙ２０２０㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀情报探索ＩｎｆｏｒｍａｔｉｏｎＲｅｓｅａｒｃｈ㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀
第５期(总２７１期)
Ｎｏ.５(ＳｅｒｉａｌＮｏ.２７１)
习体验提供建议ꎮ
１㊀基于在线课程评论的相关研究现状
１.１㊀国内研究现状
目前ꎬ国内针对在线课程评论文本的研究还相对较少ꎮ刘三女牙[２]等人通过高频词汇分析课程评论内容并通过ＬＤＡ模型实现对学习者话题的挖掘ꎮ杨丽[３]在对情感倾向识别研究的基础上ꎬ提出在线课程评论样本处理与特征提取的方法ꎮ谷欣[４]从课程和学生两个层面切入ꎬ分别探讨其外显行为和内隐行为在内的ＭＯＯＣ学习行为规律ꎬ并在此基础上构建了课程和学生两个不同视角的学习行为分析模型ꎮ牛闯[５]针对在线课程评论的内容发散性㊁表达模式多样性等问题ꎬ提出了 依存分析 观点提取 观点聚合 的观点抽取方法ꎬ实现对评论观点的有效抽取ꎮ李凡[６]在其论文中利用情感分析技术对ＭＯＯＣ评论信息进行研究ꎬ得出了适应于教育领域评论文本的情感分析算法ꎮ另外ꎬ吴林静[７]等从大数据的视角ꎬ应用语义分析的方法对慕课评论进行了分析和挖掘ꎬ提出了面向大数据的慕课语义分析模型ꎬ从而更好地利用慕课评论ꎮ
１.２㊀国外研究现状
相较于国内ꎬ国外基于在线课程评论的研究较丰富ꎬ研究人员从不同视角ꎬ运用不同方法挖掘课程评论深层次内涵ꎮ其中ꎬＧｕｏ[８]等人运用深度学习技术实现一种课程评论语义和情感的提出方法ꎬ以便能从大量的评论中识别出课程求助性质的评论ꎮＬｉ[９]针对慕课学习者的评论数据ꎬ从人口统计学的角度建模挖掘分析自律学习策略在不同文化族群间对学习满意度的影响程度ꎮＤａｌｉｐｉ[１０]等为了解决慕课课程辍学率较高的难题ꎬ利用机器学习方法对ＭＯＯＣ学习者的评论信息进行深度挖掘ꎬ以此预测和解释学生的辍学问题ꎮ而Ｎｉｅ[１１]等人则从学习者的评论信息入手ꎬ利用一种基于标准化规则库㊁专家反馈㊁数据挖掘和情感检测的层次分析法(ＡＨＰ)来系统性地评估ＭＯＯＣ课程的质量ꎮ另外ꎬ在ＭＯＯＣ信息可视化方面ꎬＡｉｃｈａＢａｋｋｉ[１２]及其团队设计开发了一款ＭＯＯＣＣＡＴ的慕课课程教学可视化工具ꎬ用以辅助教师的教学课程ꎬ但并未涉及到对课程评论的可视化部门ꎮ
综上ꎬ该领域的研究主要集中于评论文本的话题挖掘以及情感分析ꎬ针对ＭＯＯＣ课程评论可视化相关的内容却鲜有人涉及ꎮ而数据可视化技术却能将大数据直观地向用户展示ꎬ使其通过可视化图表明晰隐藏在数据背后的信息并转化为相关知识[１３]ꎮ基于此ꎬ本文从ＭＯＯＣ课程评论相关属性的可视化分析出发ꎬ构建一套ＭＯＯＣ课程评论可视化系统ꎬ通过对课程评论相关信息的自动化统计可视化分析ꎬ直观展示出ＭＯＯＣ课程的大致情况ꎬ以期能为相关研究提供参考ꎮ
２㊀ＭＯＯＣ课程评论可视化分析系统框架
ＭＯＯＣ课程评论可视化分析系统ꎬ主要针对的是中国大学ＭＯＯＣ平台的课程评论数据的可视化分析ꎮ整个系统采用Ｂ/Ｓ架构ꎬ分为评论信息采集㊁数据预处理㊁可视化分析三个子模块ꎮ其系统的功能结构及实现过程框架如图１所示ꎮ本系统的业务流程:首先ꎬ通过评论信息采集子模块ＭＯＯＣ平台的课程评价页面内解析出指定的课程评论数据ꎬ并存储至数据库中ꎻ然后ꎬ数据预处理子模块对数据进行数据清洗得到规范数据ꎻ最后ꎬ将清洗完毕的数据导入可视化分析子模块以实现对ＭＯＯＣ评论信息的可视化分析
ꎮ
图１㊀系统功能结构及实现过程框架
２.１㊀评论信息采集子模块
评论信息采集模块的主要功能是对中国大学ＭＯＯＣ网站上的相关内容进行采集ꎬ包括从网站上获取到课程的名称㊁所属大类㊁授课教师等课程属性以及学生评论信息中学生昵称㊁评论内容㊁对课程的评分㊁评论获赞数㊁评论时间㊁课程班次等学生评论属性ꎮ并将这些数据存储至数据库ꎮ
２.２㊀数据预处理子模块
数据预处理模块的主要功能是将采集到的课程评论数据进行数据清理ꎬ包括对文本中所含的Ｈｔｍｌ标签㊁无意义的英文字符以及数字字符㊁表情颜文字字符处理ꎬ并进行分词处理形成规范数据ꎮ同时ꎬ对后续的可视化分析中需要用到的停用词表进行设计ꎮ２.３㊀可视化分析子模块
可视化分析模块的主要功能是将预处理后的规范化课程评论数据通过统计分析对常规数据进行可
０６
２０２０年５月情报探索第５期(总２７１期)
视化ꎬ包括对课程大类信息的统计分析以及具体课程的统计分析ꎮ其次ꎬ还拥有对评论文本的主题发现的分析ꎬ并通过可视化接口将分析结果展示至用户界面ꎮ
３　ＭＯＯＣ课程评论可视化分析系统实现３.１㊀数据采集
通过对中国大学ＭＯＯＣ平台的网页源代码结构
进行分析ꎬ发现其课程评价信息都是通过Ａｊａｘ实现异步加载ꎬ并以文本形式保存的ꎮ因此ꎬ需要通过编写特定的网络爬虫程序来实现相关数据的采集ꎮ本模块通过编写ｐｙｔｈｏｎ网络爬虫脚本ꎬ使用Ｓｅｌｅｎｉｕｍ自动化测序工具调用ＷｅｂＤｒｉｖｅｒ来实现模拟登陆中国大学ＭＯＯＣ平台ꎬ抓取需要的课程评论数据并保存至本地数据库ꎮ数据采集流程如图２所示ꎮ
图２所示的数据采集流程中ꎬ所使用的数据采集策略为广度优先策略ꎬ即通过定位到中国大学ＭＯＯＣ平台的课程分类网址(如计算机类课程网址:ｈｔｔｐｓ://ｗｗｗ.ｉｃｏｕｒｓｅ１６３.ｏｒｇ/ｃａｔｅｇｏｒｙ/ｃｏｍｐｕｔｅｒ)ꎬ再对该页面的源码进行爬取获取到具体课程的网址ꎮ
该爬取流程最重要的步骤是通过Ｓｅｌｅｎｉｕｍ调用ＷｅｂＤｒｉｖｅｒ启动本地浏览器ꎬ
以实现对人工操作的模图２㊀数据采集流程
拟ꎮ由于该课程平台数据为动态加载ꎬ因此需要模拟人为的点击操作ꎬ来获取实时返回的动态数据ꎬ再通过Ｘｐａｔｈ来获取定位节点数据ꎮ需要爬取的部分数据在源码结构中的位置如图３所示
ꎮ
图３㊀部分属性在源码中的定位
㊀㊀图３中ꎬ学生昵称 ＳｕｎＨａｎｘｉ ㊁评论内容 考研成功~~~姥姥真棒~~~ 等均为本文所构建的可视化分析系统所需要的关键实验数据ꎮ因此ꎬ在爬虫程序解析到该页面源码后ꎬ需要通过ｐｙｔｈｏｎ调用
ｐｙｑｕｅｒｙ以实现对相应字符串的定位与匹配ꎬ从而进一步解析出需要的课程评论的相关数据ꎬ并将这些数据存储到本地数据库之中ꎮ实现该流程的关键代码如图４所示
ꎮ
图４㊀评论数据解析关键代码
１
６２０２０年５月张文德等:ＭＯＯＣ课程评论可视化分析系统构建第５期(总２７１期)
㊀㊀上述代码分别从页面中解析提取出评论的课程名称㊁授课教师㊁学生昵称㊁课程评分㊁评论内容㊁评论获赞数㊁评论发表时间以及开课班次这些属性ꎬ之后将爬取后的数据存储到本地的ＭｙＳＱＬ数据库之中ꎮ爬取后存储的数据如图５所示
ꎮ
图５㊀爬取数据实例
３.２㊀ＭＯＯＣ评论预处理
(１)数据清洗ꎮ由于爬下来的内容中可能带有很
多ＨＴＭＬ标签ꎬ需要去掉ꎮ少量的非文本内容可以直
接用Ｐｙｔｈｏｎ的正则表达式(ｒｅ)删除ꎬ复杂的则可以用
ＢｅａｕｔｉｆｕｌＳｏｕｐ库来去除ꎮ除ＨＴＭＬ标签外ꎬ语料中还
有部分表情符号回答和无意义的数字英文字符标点
回答ꎬ这些数据对模型训练很不利ꎬ也需要去掉ꎮ
(２)停用词表设计ꎮ获取到的课程评论数据中ꎬ
停用词(ＳｔｏｐＷｏｒｄｓ)如语气词㊁代词等在所有文本
中的频率分布相近ꎬ一方面ꎬ这样增加了文本之间的
相似程度ꎬ不利于聚成不同的类ꎻ另一方面ꎬ停用词
使用频率极高ꎬ会占用对聚类有意义的特征词的密
度ꎬ造成特征词不明显ꎬ因此需要去掉ꎮ本文所用停
用词表是对哈工大停用词词库㊁四川大学机器学习
智能实验室停用词库㊁百度停用词表等停用词表进
行合并与筛选而形成ꎮ同时考虑到ＭＯＯＣ课程下语
境的突出性ꎬ保留一些表示程度的副词ꎬ如 很 非
常 相当 明显地 突出 强调 等构建ＭＯＯＣ
课程停用词表作为补充ꎮ
３.３㊀ＭＯＯＣ评论可视化分析
(１)常规数据可视化ꎮ常规数据可视化是指对
ＭＯＯＣ课程评论数据依据各字段属性来进行统计分
析并可视化展示ꎮ主要分为对课程大类的可视化分
析以及对单一课程的可视化分析两大类ꎮ其中ꎬ对
课程大类的可视化分析主要包括对类型中每门课程
的参与人数的自动化统计分析㊁类型中课程得分的
自动化统计㊁类型下同类课程教师情况统计等ꎮ而
对单一课程的可视化分析则是针对具体课程的可视
化分析ꎬ主要包括学生对课程的评分分布可视化㊁课
程活跃度的时间分布可视化等ꎮ如图６所示的是以
计算机大类下的课程评论数据来进行的常规数据可
视化分析ꎬ展示出该类下 参与评论人数最多的
ＴＯＰ１０课程 的具体情况ꎬ可以看到计算机类下参与
人数最多的课程分别为 ｐｙｔｈｏｎ语言程序设计
程
图６㊀计算机类课程评论人数ＴＯＰ１０课程可视化
２６
２０２０年５月情报探索第５期(总２７１期)
序设计入门 Ｃ语言 大学计算机 人工智能实践:Ｔｅｎｓｏｒｆｔｌｏｗ笔记 零基础学Ｊａｖａ 大学计算机基础 Ｏｆｆｉｃｅ高级应用 ｐｙｔｈｏｎ网络爬虫与信息爬取 数据结构 以及 信息检索 ꎬ通过直方图将
上述信息进行可视化展示ꎬ形象直观ꎮ而图７所示的是 Ｐｙｔｈｏｎ语言程序设计课程 这门课程评论信息数量随时间变化的可视化分析情况ꎬ由此展现出该课程的活跃度的时间分布
ꎮ
图７㊀ｐｙｔｈｏｎ语言程序设计课程活跃度分布可视化
㊀㊀
(２)主题发现可视化ꎮ本系统所构建的可视化
分析模块内ꎬ基于评论内容的主题模型可视化旨在从清洗完毕的ＭＯＯＣ课程评论信息中发掘出评论的关键词以及主题信息ꎬ并通过一定的模型计算方法ꎬ形成有效的聚类主题ꎬ最后可视化展示ꎮ而隐狄利克雷分布模型(ＬａｔｅｎｔＤｉｒｉｃｈｌｅｔＡｌｌｏｃａｔｉｏｎꎬＬＤＡ)作为一种无监督模式的机器学习方法ꎬ通过文档㊁主题㊁词三层贝叶斯概率为核心结构发现文本隐含模式ꎬ其并不是简单的词频统计ꎬ而是将文本内容作为是
主题的多项式分布ꎬ且每个主题又可以看作是词项的多项式分布ꎬ从而模仿模拟文档的生成过程ꎬ计算出文档中隐藏的主题组成和词项的主题标签[１４]ꎮ
因此ꎬ本系统基于ＬＤＡ主题模型来实现对ＭＯＯＣ评论数据的主题发现ꎬ并通过ｐｙｔｈｏｎ编写代码集成ＬＤＡｖｉｓ[１５]以实现在系统内对评论内容主题模型信息的可视化ꎮ具体评论内容主题模型可视化结果如图８所示
ꎮ
图８㊀评论内容主题模型可视化
３
６２０２０年５月张文德等:ＭＯＯＣ课程评论可视化分析系统构建第５期(总２７１期)
㊀㊀其中ꎬ左图为ＬＤＡ模型的主题建模结果ꎮ每一个圆圈表示一个主题ꎬ圆圈的大小表示包含该主题的文本内容的规模ꎬ圆圈的距离表示主题之间的相似度大小ꎮ当选中其中一个主题时ꎬ在右图中呈现出该主题内排名前Ｎ位的词项ꎮ浅色柱形表示词项属于该主题的概率大小ꎬ深色柱形表示词项和该主题的相关度ꎮ
４　结语
随着在线课程规模的迅速发展壮大ꎬ越来越多的人选择在ＭＯＯＣ平台上学习ꎬ并且也越来越习惯在平台上发表对课程平台㊁授课教师㊁课程内容㊁学习感悟的评论内容ꎮ为有效利用这些课程评论ꎬ本文设计与实现了一个基于中国大学ＭＯＯＣ平台的慕课课程评论可视化分析系统ꎬ该系统通过对中国大学ＭＯＯＣ课程评论的爬取㊁预处理实现对课程评论信息常规数据可视化以及主题发现可视化ꎮ
本系统旨在通过自动化采集㊁统计和可视化评论数据ꎬ跟踪学习者的学习状态ꎬ对课程的满意程度ꎬ以此为基础为学习者了解课程质量㊁教学者把握课程进度㊁平台管理者决策优化提供参考与支持ꎬ同时ꎬ也为构建基于其他慕课平台的课程评论可视化分析系统提供参考与借鉴ꎮ但本文设计与开发的ＭＯＯＣ课程评论可视化分析系统的功能还有待进一步拓展ꎮ具体来说ꎬ可以加入情感分析功能等ꎬ同时针对系统的界面还需要进一步优化ꎬ以达到更加美观的效果ꎮ
参考文献
[１]㊀纪九梅ꎬ王宇ꎬ欧阳嘉煜ꎬ等.２０１８慕课发展概要与未来趋势:以Ｃｏｕｒｓｅｒａ㊁ｅｄＸ㊁学堂在线㊁Ｕｄａｃｉｔｙ和ＦｕｔｕｒｅＬ￣ｅａｒｎ为例[Ｊ].中国远程教育ꎬ２０１９(９):１６－２５. [２]㊀刘三女牙ꎬ彭晛ꎬ刘智ꎬ等.面向ＭＯＯＣ课程评论的学习者话题挖掘研究[Ｊ].电化教育研究ꎬ２０１７ꎬ３８(１０):３０－３６.
[３]㊀杨丽.在线课程评论的情感倾向识别与话题挖掘技术[Ｊ].电子技术与软件工程ꎬ２０１８(１):１８５. [４]㊀谷欣.基于ＭＯＯＣ课程评论的学习行为分析研究.[Ｄ].武汉:华中师范大学ꎬ２０１８.
[５]㊀牛闯.支持评论挖掘的ＭＯＯＣ系统的设计与实现. [Ｄ].北京:北京邮电大学ꎬ２０１７.
[６]㊀李凡.基于ＭＯＯＣ评论的情感分析研究与系统实现.[Ｄ].北京:中央民族大学ꎬ２０１９.
[７]㊀吴林静ꎬ刘清堂ꎬ毛刚ꎬ等.大数据视角下的慕课评论语义分析模型及应用研究[Ｊ].电化教育研究ꎬ２０１７ꎬ３８(１１):４３－４８.
[８]㊀ＧＵＯＳＸꎬＳＵＮＸꎬＷＡＮＧＳＸꎬｅｔａｌ.Ａｔｔｅｎｔｉｏｎ－ＢａｓｅｄＣｈａｒａｃｔｅｒ－ＷｏｒｄＨｙｂｒｉｄＮｅｕｒａｌＮｅｔｗｏｒｋｓＷｉｔｈＳｅｍａｎｔｉｃａｎｄＳｔｒｕｃｔｕｒａｌＩｎｆｏｒｍａｔｉｏｎｆｏｒＩｄｅｎｔｉｆｙｉｎｇｏｆＵｒｇｅｎｔＰｏｓｔｓｉｎＭＯＯＣＤｉｓｃｕｓｓｉｏｎＦｏｒｕｍｓ[ＥＢ/ＯＬ].[２０１９－１０－１０].ｈｔｔｐ://ｉｅｅｅｘｐｌｏｒｅ.ｉｅｅｅ.ｏｒｇ/ｓｔａｍｐ/ｓｔａｍｐ.ｊｓｐ?ｔｐ＝＆ａｒｎｕｍｂｅｒ＝８７６４３４９＆ｉｓｎｕｍｂｅｒ＝８６００７０１.
[９]㊀ＬＩＫ.ＭＯＯＣｌｅａｒｎｅｒｓ ｄｅｍｏｇｒａｐｈｉｃｓꎬｓｅｌｆ－ｒｅｇｕｌａｔｅｄｌｅａｒｎｉｎｇｓｔｒａｔｅｇｙꎬｐｅｒｃｅｉｖｅｄｌｅａｒｎｉｎｇａｎｄｓａｔｉｓｆａｃｔｉｏｎ:Ａｓｔｒｕｃｔｕｒａｌｅｑｕａｔｉｏｎｍｏｄｅｌｉｎｇａｐｐｒｏａｃｈ[Ｊ].Ｃｏｍｐｕｔｅｒｓ＆Ｅｄｕｃａｔｉｏｎꎬ２０１９ꎬ１３２:１６－３０.
[１０]㊀ＤＡＬＩＰＩＦꎬＩＭＲＡＮＡＳꎬＫＡＳＴＲＡＴＩＺ.ＭＯＯＣｄｒｏｐ￣ｏｕｔｐｒｅｄｉｃｔｉｏｎｕｓｉｎｇｍａｃｈｉｎｅｌｅａｒｎｉｎｇｔｅｃｈｎｉｑｕｅｓ:Ｒｅｖｉｅｗａｎｄｒｅ￣ｓｅａｒｃｈｃｈａｌｌｅｎｇｅｓ[ＥＢ/ＯＬ].[２０１９－１０－１０].ｈｔｔｐ://ｉｅｅｅｘｐｌｏｒｅ.ｉｅｅｅ.ｏｒｇ/ｓｔａｍｐ/ｓｔａｍｐ.ｊｓｐ?ｔｐ＝＆ａｒｎｕｍｂｅｒ＝８３６３３４０＆ｉｓｎｕｍｂｅｒ＝８３６３０９０.
[１１]㊀ＮＩＥＹꎬＬＵＯＨ.ＤｉａｇｎｏｓｔｉｃＥｖａｌｕａｔｉｏｎｏｆＭＯＯＣｓＢａｓｅｄｏｎＬｅａｒｎｅｒＲｅｖｉｅｗｓ:ＴｈｅＡｎａｌｙｔｉｃＨｉｅｒａｒｃｈｙＰｒｏｃｅｓｓ(ＡＨＰ)Ａｐｐｒｏａｃｈ[ＥＢ/ＯＬ].[２０１９－１０－１０].ｈｔｔｐｓ://ｌｉｎｋ.ｓｐｒｉｎｇｅｒ.ｃｏｍ/ｃｈａｐｔｅｒ/１０.１００７/９７８－３－０３０－２１５６２－０＿２４. [１２]㊀ＢＡＫＫＩＡꎬＯＵＢＡＨＳＳＩＬꎬＧＥＯＲＧＥＳＥＢꎬｅｔａｌ.ＭＯＯＣＡＴ:ＡｖｉｓｕａｌａｕｔｈｏｒｉｎｇｔｏｏｌｉｎｔｈｅｃＭＯＯＣｃｏｎｔｅｘｔ[Ｊ].Ｅｄ￣ｕｃａｔｉｏｎａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｉｅｓꎬ２０１９ꎬ２４(２):１１８５－１２０９. [１３]㊀任磊ꎬ杜一ꎬ马帅ꎬ等.大数据可视分析综述[Ｊ].软件学报ꎬ２０１４ꎬ２５(９):１９０９－１９３６.
[１４]㊀孙国超ꎬ徐硕ꎬ乔晓东.主题模型可视化研究综述[Ｊ].情报工程ꎬ２０１５ꎬ１(６):５１－６１.
[１５]㊀ＳＩＥＶＥＲＴＣꎬＳＨＩＲＬＥＹＫ.ＬＤＡｖｉｓ:Ａｍｅｔｈｏｄｆｏｒｖｉｓｕａｌｉｚｉｎｇａｎｄｉｎｔｅｒｐｒｅｔｉｎｇｔｏｐｉｃｓ[Ｃ].ＢａｌｔｉｍｏｒｅꎬＭａｙｌａｎｄꎬＵＳＡ:ＡｓｓｏｃｉａｔｉｏｆｏｒＣｏｍｐｕｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓꎬ２０１４:６３－７０.
４６
２０２０年５月情报探索第５期(总２７１期)。