数字人教育应用的演进、趋势与挑战
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数字人教育应用的演进、趋势与挑战作者:翟雪松吴庭辉李翠欣仇婷婷李艳
来源:《现代远程教育研究》2023年第06期
摘要:教育领域中的数字人是指存在于数字虚拟空间中,通过知识传递、社会交互等教育手段增强学习效果或学习感知觉的具象化虚拟人物的统称。
数字人无论是在技术迭代还是应用创新上都与互联网发展息息相关。
随着三次互联网形态的演进,教育领域中的数字人从支持知识单向传递、无情感关注、多媒体表征、弱交互行为向知识多向传递、重视情感关注、3D 或全息表征、多向交互转变。
技术支撑层面,教育领域中的数字人技术载体依然呈现欠智能、弱交互的特点,计算机视觉和拓展现实技术在教育中的应用明显增加。
实践赋能层面,数字人在增强教师智能教学和学生自主学习方面有积极作用,但目前应用主要集中在高等教育和K12教育阶段。
人本关注层面,数字人通过声音和形象两大设计要素影响学习者认知发展,通过识别、测量、干预来提升学习者的情感交互体验。
随着技术的不断更新迭代,数字人体现出类人化水平不断提高、身份可塑性逐渐增强、共情力持续提升的发展趋势,但其也面临算力保障不足、数字版权不清、导致教育弱化或学习惰性、引发伦理风险等挑战。
未来,数字人教育应用应重视开发人机协同模式,完善底层技术保障,立足育人根本目标,推动教育公平、高质量发展。
关键词:数字人;教育应用;互联网形态;教育数字化;生成式人工智能
中图分类号:G434 文献标识码:A 文章编号:1009-5195(2023)06-0041-10
doi10.3969/j.issn.1009-5195.2023.06.005
基金项目:国家自然科学基金面上项目“融合视觉健康的在线学习资源自适应表征及关键技术研究”(62177042);浙江省之江教育信息化研究院联合课题“教育元宇宙促进城乡教共体协同发展研究”(ZJY202201LH)。
作者简介:翟雪松,博士,研究员,博士生导师,浙江大学教育学院,杭州国际城市学研究中心浙江省城市治理研究中心(浙江杭州 310058);吴庭辉、李翠欣,硕士研究生,浙江大学教育学院(浙江杭州 310058);仇婷婷,博士研究生,浙江大学教育学院(浙江杭州310058);李艳(通讯作者),博士,教授,博士生导师,浙江大学教育学院(浙江杭州310058)。
一、数字人及其在教育应用中的优势
数字人(Digital Human,DH)的概念最早出现于信息科学领域,被定义为“计算机系统中能采取灵活、自主行动的数字代理”(Jennings,2000)。
当这一概念被迁移到教育领域后,主要是指存在于数字虚拟空间中,通过知识传递、社会交互等教育手段增强学习效果或学习感知觉的具象化虚拟人物的统称,包括数字教师和数字学生。
数字人可以在以下三个方面赋能教学。
第一,拓展学生学习能力。
传统课堂学习下,学习者的学习受时间、空间局限,但在数字学习环境下,学习者的学习可以实现多空间的跨越。
特别是在以GPT为代表的人工智能时代,生成式人工智能拓展了学习者的多维知识迁移能力。
未来教育不仅需要满足学习者突破时空限制的需求,更需要重视他们在交互中激发出认知提示(Cognitive Prompt)的重要灵感瞬间。
第二,增强具身交互性。
数字人的人机交互方式经历了从键盘控制到动捕交互,是具身交互从单一器官拓展到全身的表现。
先前研究发现,动捕技术通过捕捉师生行为形成动作参数和模型,并以数字人形式给出及时、个性化反馈,有助于提高学生的学习体验和效果(Alonso et al.,2021);此外,脑机接口技术作为数字学习新入口,可以将情感、认知与学习行为相匹配,为学习者提供更具冲击性和体验感的交互方式(翟雪松等,2022a;Jamil et al.,2021)。
第三,提升知识共创力度。
知识生产是教育的主要目的,知识共创是知识生产的主要形式。
基于信息化的双师课堂或同步课堂虽然强化了知识传递的效能,但依然是观影模式(Watching Model)。
数字人能有效将物理空间的隔阂打破,在统一平台形成协作模式。
学习者利用数字人进入学习空间可以在形式和心理上有意识地将“本我”拓展到“社区中的一员”,从而自发地为团队创造知识(Han,2020)。
二、互联网形态演进与数字人发展
教育数字化历程与互联网技术的发展息息相关。
三次互联网的形态演进过程中,数字人在知识传递、情感关注、表征方式、交互模式和交互程度上都存在差异,其与师生之间的关系也在不断演变(见图1)。
图1 教育领域数字人的发展演变
1.Web1.0时代的数字人:可读与弱交互
20世纪90年代末,门户网站开始在我国广泛流行,教育等领域也借互联网之风实现了海量资源共享,迎来了Web1.0时代(刘畅,2008)。
Web1.0的特征主要表现在“可读”和“弱交互”两个方面:首先,“可读”方面,教育资源以单向传输为主。
通信技术和数字基础设施的完善支撑了大规模、可复制和易传播的学习资源的网络化,拓宽了不同地区学生获取教学资源的通道。
然而,此时数字人的数字身份仅是互联网上简单阅读信息或搜索資源的凭证,大规模学
习群体仍需系统化、专业性的交互行为才能最大限度发挥资源的作用。
这个时期,部分教育工作者开发了基于给定算法程序和海量题库资源的智能教学系统。
其次,“弱交互”方面,充当数字教师的数字人,虽然能自动、高效地完成简单概念解答和用户反馈,但是由于非具象、弱交互、单向传递以及无情感交流的局限性,难以满足学习者主动学习的需求和最近发展区学习原则,因此学习者群体对可承载强交互功能的数字人的呼声越来越高。
2.Web2.0时代的数字人:具象化与双向交互
Web2.0的本质特征是参与、展示和信息互动,它的出现填补了Web1.0在参与、沟通、交流上的匮乏与不足(刘畅,2008)。
在教育领域,Web2.0时代的数字人多由非具象化转型为具象化,以2D或3D可视化的表征形式呈现,通过双向交互拉近师生之间的心理距离(Hong et al.,2014)。
同时,依托计算机视觉(Computer Vision)的数字人还可以通过人像特征识别,捕捉学习者的情绪、动作变化,并及时给予手势等教学反馈,满足学习者对过程的监控需求(Yung et al.,2015;Bringula et al.,2018)。
然而,Web2.0时代的数字人仍有较大局限性。
其一,囿于独立的课堂空间导致数据闭塞。
数字人与学习者之间有海量的交互数据,数据背后潜在的学习轨迹是勾勒学习者画像、预测未来学习成就的重要参照。
受制于学习空间的相对独立性和数字人接口的封闭性,数据包之间难以交流与传输,从而使学习者产生或接收的消息局限于一定范围,容易使其陷入信息茧房危机。
其二,弱智能化影响了学习体验。
学习化社会要求教育要能满足学习者多维度、深感情和全覆盖的学习趋向。
然而Web2.0的技术架构尚难以支撑个性化、多样化的学习认知和学习情感需求。
例如,不同性别的学生对拥有不同性别特征的数字人会呈现不同程度的情感态度(Makransky et al.,2019),而这一点在Web2.0时代仍无法大规模满足。
通过厘清数字人在不同学科、学段中的应用方案和规律,能为解决规模化和个性化之间的矛盾提供数据支撑。
3.Web3.0时代的数字人:类人化与多向交互
Web3.0支持跨媒体异构知识检索,以语义技术为核心提供教育资源推荐。
区块链、数字藏品和去中心化自治組织等构成了新一代互联网Web3.0的整个基础设施体系(杜雨等,2022),为重塑教育生态提供了新方向。
首先,Web3.0突破了Web2.0时代交互浅层的局限,支持师生之间或数字人之间多向交互。
Web3.0还是元宇宙持续发展的根基,以更逼真的表征形式允许师生以数字人身份进行互动,且重视学习情感的表达——以游戏化的方式打开教育,以悦趣化的互动取代灌输(翟雪松等,2022b)。
其次,以ChatGPT为代表的生成式人工智能极大地促进了数字人的智能发展。
例如,斯坦福大学联合谷歌公司构筑了一个虚拟的AI小镇,拥有25名基于ChatGPT-3.5 Turbo构建的数字居民。
这些数字人以类人方式生活、交互、学习和反思,只需要少量的初始设定就能自主构筑有序的关系网,并在交互过程中留下大量数字指纹,为后期的智能分析提供多维度的数据支撑(Park et al.,2023)。
此模式能加速或延迟模拟非真人玩家(Non-Player Character)的学习历程,从而为真实世界的学生制定试错成本最低的交互模式提供智能决策方案。
三、三次互联网浪潮下数字人教育应用的研究回顾
由前述可知,数字人无论是在技术迭代还是应用创新上都与互联网的革新息息相关。
已有研究发现,数字人对于教育的作用会受到知识类型、学段和设计要素等调节变量的影响(王雪等,2022;Dai et al.,2022),但不同调节变量之间的交互作用仍不清晰。
基于此,本研究拟以三次互联网发展为切入点进行系统性文献综述,通过对国内外主要学术文献的搜索、编码、分析,探讨在三次互联网浪潮下数字人是如何赋能教育实践的。
1.研究设计
本研究根据PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)要求(Moher et al.,2009),按照“文献检索—文献筛选—文献编码—结果分析”四个步骤展开综述。
(1)文献检索
首先,在搜索时间跨度上,研究按照三次互联网发展的关键时间节点,将检索时段划分为:1999年—2003年(Web1.0时代);2004年—2020年(Web2.0时代)和2021年—2022年(Web3.0时代)三个时间段。
其次,鉴于学者们对“数字人”的理解较为多元,本研究先以“数字人”(Digital Human)为主题词在中国知网、Web of Science(WOS)和EBSCO Host核心数据库中检索。
通过初步阅读和文献溯源,发现“虚拟人”“虚拟数字人”“虚拟教师”“虚拟导师”“虚拟化身”“智能导师”“教学代理”“动画代理”等检索主题词均与本研究主题相关。
因此,本研究在中国知网以上述中文检索词重新检索,共得到文献367篇(Web1.0时代20篇,Web2.0时代252篇,Web3.0时代95篇);在WOS和EBSCO Host以“Digital Human”“Virtual
Human”“Virtual Digital Human”“Virtual Teacher”“Virtual Tutor”“Virtual Avatar”“Intel ligent Tutor”“Pedagogical Agent”“Animated Agent”等英文检索词检索,共得到文献744篇(Web1.0时
代55篇,Web2.0时代578篇,Web3.0时代111篇)。
(2)文献筛选
根据PRISMA要求,本研究制定如下筛选标准:第一,研究主题须为本研究定义范畴下的数字人教育应用,剔除只讨论机器人、仿真人或真人教师的研究;第二,研究论文中须具体阐述数字人解决的教育问题、应用学科以及设计特征等要素,剔除只介绍数字人技术本身的研究;第三,研究论文须为全文可获得的学术文献;第四,研究论文须提供实证支持或深入的论证分析,剔除单纯的描述性分析文献。
每篇文献均经过三位拥有教育技术学科背景的专家审读。
最终经过四轮筛选以及手工剔除获得编码文献100篇,其中Web1.0时代有8篇,Web2.0时代有73篇,Web3.0时代有19篇。
具体筛选流程见图2。
(3)文献编码和分析
为了探究数字人的技术发展、形象表征、测量方法及其对不同学科、不同学段教师教学与学生学习的影响,研究将数字人编码维度确定为:研究问题、技术支撑、学科、学段、声音、形象和测量方法7个方面。
首先,研究从教育主体的角度将研究问题划分为智能教学和自主学习两大类。
智能教学是指数字人作用于教师,赋能教师教学力的研究,如辅助教学互动、课后表现评价以及及时教学反馈等(Veletsianos,2012;Hong et al.,2014;Harley et al.,2017)。
自主学习是指数字人作用于学生,辅助学生自主、积极地学习的研究,如自动问答、资源推荐、内容指导和学情反馈等(Tegos et al.,2015;Li et al.,2023)。
其次,在技术支撑维度上,为了使数字人更契合时代发展需求,研究在文献阅读和分析的基础上,将充当数字人“眼睛”的计算机视觉技术、充当数字人“耳朵和大脑”的自然语言处理技术以及优化数字人表征的拓展现实技术三者作为子维度,将基础技术如多媒体、语音、建模等技术归为“其他技术”(Ciolacu et al.,2020;Zhai et al.,2021;Hwang et al.,2022)。
最后,研究把应用学科分为文科和理科,把学段分为K12教育、高等教育、成人教育和特殊教育,把声音分为电脑合成和真人录制,把形象分为2D表征和3D表征,把测量方法分为访谈法、话语分析法、调查法和实验法。
表1呈现了文献在不同编码维度上的分布情况。
然而,Web2.0时代的数字人仍有较大局限性。
其一,囿于独立的课堂空间导致数据闭塞。
数字人与学习者之间有海量的交互数据,数据背后潜在的学习轨迹是勾勒学习者画像、预测未来学习成就的重要参照。
受制于学习空间的相对独立性和数字人接口的封闭性,数据包之间难以交流与传输,从而使学习者产生或接收的消息局限于一定范围,容易使其陷入信息茧房危机。
其二,弱智能化影响了学习体验。
学习化社会要求教育要能满足学习者多维度、深感情和全覆盖的学习趋向。
然而Web2.0的技术架构尚难以支撑个性化、多样化的学习认知和学习情感需求。
例如,不同性别的学生对拥有不同性别特征的数字人会呈现不同程度的情感态度(Makransky et al.,2019),而这一点在Web2.0时代仍无法大规模满足。
通过厘清数字人在不同学科、学段中的应用方案和规律,能为解决规模化和个性化之间的矛盾提供数据支撑。
3.Web3.0时代的数字人:类人化与多向交互
Web3.0支持跨媒体异构知识检索,以语义技术为核心提供教育资源推荐。
区块链、数字藏品和去中心化自治组织等构成了新一代互联网Web3.0的整个基础设施体系(杜雨等,2022),为重塑教育生态提供了新方向。
首先,Web3.0突破了Web2.0时代交互浅层的局限,支持师生之间或数字人之间多向交互。
Web3.0还是元宇宙持续发展的根基,以更逼真的表征形式允许师生以数字人身份进行互动,且重视学习情感的表达——以游戏化的方式打开教育,以悦趣化的互动取代灌输(翟雪松等,2022b)。
其次,以ChatGPT为代表的生成式人工智能极大地促进了数字人的智能发展。
例如,斯坦福大学联合谷歌公司构筑了一个虚拟的AI小镇,拥有25名基于ChatGPT-3.5 Turbo构建的数字居民。
这些数字人以类人方式生活、交互、学习和反思,只需要少量的初始设定就能自主构筑有序的关系网,并在交互过程中留下大量数字指纹,为后期的智能分析提供多维度的数据支撑(Park et al.,2023)。
此模式能加速或延迟
模拟非真人玩家(Non-Player Character)的学习历程,从而为真实世界的学生制定试错成本最低的交互模式提供智能决策方案。
三、三次互联网浪潮下数字人教育应用的研究回顾
由前述可知,数字人无论是在技术迭代还是应用创新上都与互联网的革新息息相关。
已有研究发现,数字人对于教育的作用会受到知识类型、学段和设计要素等调节变量的影响(王雪等,2022;Dai et al.,2022),但不同调节变量之间的交互作用仍不清晰。
基于此,本研究拟以三次互联网发展为切入点进行系统性文献综述,通过对国内外主要学术文献的搜索、编码、分析,探讨在三次互联网浪潮下数字人是如何赋能教育实践的。
1.研究设计
本研究根据PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)要求(Moher et al.,2009),按照“文献检索—文献筛选—文献编码—结果分析”四个步骤展开综述。
(1)文献检索
首先,在搜索时间跨度上,研究按照三次互联网发展的关键时间节点,将检索时段划分为:1999年—2003年(Web1.0时代);2004年—2020年(Web2.0时代)和2021年—2022年(Web3.0时代)三个时间段。
其次,鉴于学者们对“数字人”的理解较为多元,本研究先以“数字人”(Digital Human)为主题词在中国知网、Web of Science(WOS)和EBSCO Host核心数据库中检索。
通过初步阅读和文献溯源,发现“虚拟人”“虚拟数字人”“虚拟教师”“虚拟导师”“虚拟化身”“智能导师”“教学代理”“动画代理”等检索主题词均与本研究主题相关。
因此,本研究在中国知网以上述中文检索词重新检索,共得到文献367篇(Web1.0时代20篇,Web2.0时代252篇,Web3.0时代95篇);在WOS和EBSCO Host以“Digital Human”“Virtual
Human”“Virtual Digital Human”“Virtual Teacher”“Virtual Tutor”“Virtual Avatar”“Intelligent Tutor”“Pedagogical Agent”“Animated Agent”等英文检索词检索,共得到文献744篇(Web1.0时
代55篇,Web2.0时代578篇,Web3.0时代111篇)。
(2)文献筛选
根据PRISMA要求,本研究制定如下筛选标准:第一,研究主题须为本研究定义范畴下的数字人教育应用,剔除只讨论机器人、仿真人或真人教师的研究;第二,研究论文中须具体阐述数字人解决的教育问题、应用学科以及设计特征等要素,剔除只介绍数字人技术本身的研究;第三,研究论文须为全文可获得的学术文献;第四,研究论文须提供实证支持或深入的论证分析,剔除单纯的描述性分析文献。
每篇文献均经过三位拥有教育技术学科背景的专家审
读。
最终经过四轮筛选以及手工剔除获得编码文献100篇,其中Web1.0时代有8篇,Web2.0时代有73篇,Web3.0时代有19篇。
具体筛选流程见图2。
(3)文献编码和分析
为了探究数字人的技术发展、形象表征、测量方法及其对不同学科、不同学段教师教学与学生学习的影响,研究将数字人编码维度确定为:研究问题、技术支撑、学科、学段、声音、形象和测量方法7个方面。
首先,研究从教育主体的角度将研究问题划分为智能教学和自主学习两大类。
智能教学是指数字人作用于教师,赋能教师教学力的研究,如辅助教学互动、课后表现评价以及及时教学反馈等(Veletsianos,2012;Hong et al.,2014;Harley et al.,2017)。
自主学习是指数字人作用于学生,辅助学生自主、积极地学习的研究,如自动问答、资源推荐、内容指导和学情反馈等(Tegos et al.,2015;Li et al.,2023)。
其次,在技术支撑维度上,为了使数字人更契合时代发展需求,研究在文献阅读和分析的基础上,将充当数字人“眼睛”的计算机视觉技術、充当数字人“耳朵和大脑”的自然语言处理技术以及优化数字人表征的拓展现实技术三者作为子维度,将基础技术如多媒体、语音、建模等技术归为“其他技术”(Ciolacu et al.,2020;Zhai et al.,2021;Hwang et al.,2022)。
最后,研究把应用学科分为文科和理科,把学段分为K12教育、高等教育、成人教育和特殊教育,把声音分为电脑合成和真人录制,把形象分为2D表征和3D表征,把测量方法分为访谈法、话语分析法、调查法和实验法。
表1呈现了文献在不同编码维度上的分布情况。
然而,Web2.0时代的数字人仍有较大局限性。
其一,囿于独立的课堂空间导致数据闭塞。
数字人与学习者之间有海量的交互数据,数据背后潜在的学习轨迹是勾勒学习者画像、预测未来学习成就的重要参照。
受制于学习空间的相对独立性和数字人接口的封闭性,数据包之间难以交流与传输,从而使学习者产生或接收的消息局限于一定范围,容易使其陷入信息茧房危机。
其二,弱智能化影响了学习体验。
学习化社会要求教育要能满足学习者多维度、深感情和全覆盖的学习趋向。
然而Web2.0的技术架构尚难以支撑个性化、多样化的学习认知和学习情感需求。
例如,不同性别的学生对拥有不同性别特征的数字人会呈现不同程度的情感态度(Makransky et al.,2019),而这一点在Web2.0时代仍无法大规模满足。
通过厘清数字人在不同学科、学段中的应用方案和规律,能为解决规模化和个性化之间的矛盾提供数据支撑。
3.Web3.0时代的数字人:类人化与多向交互
Web3.0支持跨媒体异构知识检索,以语义技术为核心提供教育资源推荐。
区块链、数字藏品和去中心化自治组织等构成了新一代互联网Web3.0的整个基础设施体系(杜雨等,2022),为重塑教育生态提供了新方向。
首先,Web3.0突破了Web2.0时代交互浅层的局限,支持师生之间或数字人之间多向交互。
Web3.0还是元宇宙持续发展的根基,以更逼真的表征形式允许师生以数字人身份进行互动,且重视学习情感的表达——以游戏化的方式打开教育,以悦趣化的互动取代灌输(翟雪松等,2022b)。
其次,以ChatGPT为代表的生成式人工智能极大地促进了数字人的智能发展。
例如,斯坦福大学联合谷歌公司构筑了一个虚拟的AI小
镇,拥有25名基于ChatGPT-3.5 Turbo构建的数字居民。
这些数字人以类人方式生活、交互、学习和反思,只需要少量的初始设定就能自主构筑有序的关系网,并在交互过程中留下大量数字指纹,为后期的智能分析提供多维度的数据支撑(Park et al.,2023)。
此模式能加速或延迟模拟非真人玩家(Non-Player Character)的學习历程,从而为真实世界的学生制定试错成本最低的交互模式提供智能决策方案。
三、三次互联网浪潮下数字人教育应用的研究回顾
由前述可知,数字人无论是在技术迭代还是应用创新上都与互联网的革新息息相关。
已有研究发现,数字人对于教育的作用会受到知识类型、学段和设计要素等调节变量的影响(王雪等,2022;Dai et al.,2022),但不同调节变量之间的交互作用仍不清晰。
基于此,本研究拟以三次互联网发展为切入点进行系统性文献综述,通过对国内外主要学术文献的搜索、编码、分析,探讨在三次互联网浪潮下数字人是如何赋能教育实践的。
1.研究设计
本研究根据PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)要求(Moher et al.,2009),按照“文献检索—文献筛选—文献编码—结果分析”四个步骤展开综述。
(1)文献检索
首先,在搜索时间跨度上,研究按照三次互联网发展的关键时间节点,将检索时段划分为:1999年—2003年(Web1.0时代);2004年—2020年(Web2.0时代)和2021年—2022年(Web3.0时代)三个时间段。
其次,鉴于学者们对“数字人”的理解较为多元,本研究先以“数字人”(Digital Human)为主题词在中国知网、Web of Science(WOS)和EBSCO Host核心数据库中检索。
通过初步阅读和文献溯源,发现“虚拟人”“虚拟数字人”“虚拟教师”“虚拟导师”“虚拟化身”“智能导师”“教学代理”“动画代理”等检索主题词均与本研究主题相关。
因此,本研究在中国知网以上述中文检索词重新检索,共得到文献367篇(Web1.0时代20篇,Web2.0时代252篇,Web3.0时代95篇);在WOS和EBSCO Host以“Digital Human”“Virtual
Human”“Virtual Digital Human”“Virtual Teacher”“Virtual Tutor”“Virtual Avatar”“Intelligent Tutor”“Pedagogical Agent”“Animated Agent”等英文检索词检索,共得到文献744篇(Web1.0时代55篇,Web2.0时代578篇,Web3.0时代111篇)。
(2)文献筛选
根据PRISMA要求,本研究制定如下筛选标准:第一,研究主题须为本研究定义范畴下的数字人教育应用,剔除只讨论机器人、仿真人或真人教师的研究;第二,研究论文中须具体阐述数字人解决的教育问题、应用学科以及设计特征等要素,剔除只介绍数字人技术本身的研。