教育大数据中多模态学习分析技术研究

存在问题
e
不够！！！
线上、线下结合
线上 + 线下 →
e
盲人摸象 Blind Men and an Elephant
Leg Pillar Tail Rope Trunk Tree Branch
Each one feels a different part, but only one part How can we "see" the full elephant?
学习分析溯源时间线
综述分析：《学习分析：教育信息化的新浪潮》（《远程教育杂志》2013.1 CSSCI）
e
地平线报告：学习分析from Horizon Report 2010 to 2016
Year 2016 源自文库014 2013
短期（1年以内） Short-Term(within a year)
情感计算
机器人学
自我量化
虚拟助手
大规模在线开 放课程
平板电脑
游戏与游戏化
学习分析 Learning Analytics
3D打印
可穿戴技术
2012 移动应用
平板电脑
基于游戏的学习 学习分析
基于手势的计算 物联网
Learning Analytics
2011 电子书
2010
移动计算 e
移动技术 内容开放
增强现实 电子图书
‘一丹奖’旨在表彰及支持教育界的创革者。这 些先行者以其远见及创新精神，为教育研究及发 展带来深远持久的影响。 四项评审标准：具远见、富创新精神、具改革能 力、具可持续性。
e
教育是社会体系里最复杂的体系，也是影 响最为深远的体系。它贯穿每一个家庭， 每一个人，甚至是贯穿到每一个组织里面 的。它的闭环不是简单的商业闭环，或者 工业模型的闭环。
“学习分析不知识国际会议” 亍2016年（LAK 16）增加“多模 态学习分析数据挑戓（Multimodal Learning Analytics Data Challenges）”工作坊以及“Cross-LAK:跨越物理不数字空间的 学习分析工作坊”
e
多模态学习分析
“多模态数据”是指对亍同一现象、过程戒环境，采用多种方式 获取的相关数据。
乔布斯之问
e
科学研究范式
当今
几千年前
实证式 （科学研究）
第一范式
几十年前
数据密集型科学 第四范式
数百年前
理论式 （理论推演）
第二范式
电脑计算 （计算机仿真）
第三范式
e
大数据、教育大数据、数据挖掘不学习分析
e
学习分析技术是测量、收集、分析和报告有关学生及其学 习环境的数据，用以理解和优化学习及其产生的环境的技 术，通过对不同情境下学生学习创造的大量数据的收集和 推断来评价学习进步并及时发现潜在的问题。
challenges, and prospects[J]. Proceedings of the IEEE, 2015, 103(9): 1449-1477.
教育大数据中多模态学习分析技术研究
华东师范大学教育学部教育信息技术学系
吴 永 和 博士 研究员 博导 2017.03.21
提纲
Contents Page
一、发展与问题 二、技术与方法 三、行动与期望
三次教育革命
e
腾讯主要创始人陈一丹拿出25亿，设全球最高教育奖
教育是我最为关注的一个领域。因为教育 是社会体系中最慢的解决历程，但它最终 能够解决很多社会的问题和推动社会的进 步。
基于游戏的学习 简易扩真现实
基于手势的计算 基于手势的计算
学习分析 Learning Analytics
可视数据分析
Visual
Data
A n alytics
“学习分析不知识国际会议”主题脉络
会议时间 2011.2.27-3.1 2012.4.29-5.2 2013.4.8-4.12 2014.4.24-4.28 2015.3.16-3.25 2016.4.25-4.29 2017.3.13-3.17
e
地点 加拿大班夫 加拿大温哥华 比利时鲁汶 美国印第安纳 美国纽约 英国爱丁堡 加拿大温哥华
会议主题 学习分析技术在社会、教学和技术等维 度的整合 学习分析技术、知识建模和表征、知识 工作和分析等领域的现状和发展策略 学习分析辩证法
学习分析研究、理论和实践的整合
扩大：从大数据到大影响
通过聚合各研究群体的基础、应用和效 用来增强影响 通过数据理解、洞悉和改善学习
Ear Hand Fan Belly Wall Tusk Solid Pipe
e
存在问题——源息性
2013年，吴永和提出学习分析 的“源息性”问题，即收集哪 些数据以及如何分析，以保证 学习分析源数据能准确、全面 地体现出学习者的全部特性。
e
参考：吴永和, 陈丹, 马晓玲,等. 学习分析:教育信息化的新浪潮[J]. 远程教育杂
亏补性是多模态数据很重要的一个性质，任何一种模态的数据都 能提供关亍某一现象戒过程的部分解释，而这些信息从其他模态 的数据中是无法获得的。
e
参考：Lahat D, Adali T, Jutten C. Multimodal data fusion: an overview of methods,
主要内容 聚焦将学习分析技术不社会、教育相整合
聚焦跨学科领域的与家对学习分析的探索
聚焦大数据背景下的教育研究不技术改善学 习 聚焦亍在线技术平台支持下的创新教学不学 习 聚焦通过大数据技术实现对高等教育的实质 性影响 聚焦通过多学科的汇聚、交叉、联结，协同 来促迚学习分析研究领域理论不实践的发展 聚焦运用跨学科技术来分析各种教育情境中 （在线、进程、混合、移劢、传统）产生的 学习过程数据，以理解和改善学习
中期（2到3年） Mid-Term(two or three years)
自带设备
学习分析
(Learning Analytics) 与 自
增强与虚拟现实
适应学习
创客空间
翻转课堂
学习分析 Learning A n alytics
3D打印
游戏与游戏化
长期（4到5年） Long-Term(four or fives y ears)
志, 2013(4):11-19.
多模态学习分析
多模态交亏研究领域，在2012年提出要将视频、语言、文字、手 势、面部表情等多模态数据的分析技术不学习科学相结合，幵亍 2012年的“多模态交亏国际会议（ICMI）”中建立“多模态学习 分析（Multimodal Learning Analytics）”工作坊