基于学习分析技术的问题解决能力评价研究

基于学习分析技术的问题解决能力评价研究21世纪作为知识经济时代,知识劳动、全球市场、远程连接、互融的文化传统重新组成了彼此联系的世界,当世界变得更加复杂和彼此关联,社会变迁也对人才提出了新的要求。个体如何快速适应复杂环境成为我们所处时代最亟待解决的技能需求,其中复杂问题解决能力作为最核心的高阶思维技能已引起全球范围内的广泛关注,联合国教科文组织、欧盟、澳洲、美国等先后颁布相关政策以促进对青少年问题解决能力的评价与培养,以期在未来全球化竞争中掌握优势。但由于实际问题解决的过程更多的是以内隐加工的形式进行,传统的“黑盒”测试仅能获得对问题解决能力总结性的评价,对任何决定背后的潜在原理、行为与运作机制的耦合性我们都无从得知。因此,如何探究问题解决的思维加工过程及其内部操作规则成为横亘在研究者们面前的难题。随着数字革命向数据革命的迈进,技术的优越性也被发挥到极致。除了电子技术联接实现的“智能化”特征之外,技术支持的过程观察更意味着我们可以观测那些可能会随机变化的细微行为,并产生以时间为标记的关于行为的足迹,为大规模实验和微观的观察提供了前所未有的机遇。结合新的计算方法和技术来挖掘和解读这些大量且相互联系的数据,研究者们能够获得更具洞察力和决策力的分析。在此背景之下,本研究在融合内隐认知、思维内容等特征的基础上,整合认知、非认知等因素,建立了符合反映问题解决过程心理映像的能力评价模型。并根据复杂问题解决背后的潜在原理设计了有效测量工具,依托于技术支持的过程观察实现对问题解决的多维度

分析。研究主要围绕以下四个部分展开：(1)深度剖析问题解决能力的内涵及心理加工过程,设计在线问题解决行为的逻辑表征方式。通过对问题解决过程的解构,从认知逻辑表征规则及行为符号的视角,设计在线行为表征策略与形式,并结合语言表层、文本命题、情境模式的三种表征思路,定义相关符号、方法、编码规范及概念模型。具体在构建在线行为的逻辑表征与问题解决过程的映射关系时,融合了空间连续性、功能相关性、文本的行文特性等动态表征关系,形成理解问题与文本阅读,选择解决程序与控件操作这两对映射关系来共同组建问题解决过程的心智模式,并形成问题解决过程、在线操作、知识建构的三层次逻辑映射结构。(2)提出多维数据分析的问题解决能力评价模型。在认知结构维度,设计了知识内容、知识组织方式、信息加工过程的三成分分析框架,该框架从微观、中观、宏观的视角解读了问题解决过程中的行动(action)、技能(skill)、表现(performance),形成对问题解决的行为过程、认知技能及表现结果的多层评价；在非认知维度,融入社会认知理论,形成环境-个体-行为的因果影响模型,探究非认知因素对问题解决能力的影响效果及作用机制。(3)基于系统开发法,设计计算机模拟的微观世界进行问题解决能力测试。整个测试系统采用浏览器／服务器(B/S)系统架构,前后端结合Adobe Flex的富英特网应用(Rich Internet Application, RIA)技术与JSP(Java Server Pages)技术共同实现,其中问题任务的设计基于线性结构方程及有限状态机的底层结构原理,融入动态链接表征技术来呈现问题情境中的复杂性与关联性,以促进深层理解。并通过

选取上海市某小学39名学生进行了预实验研究,形成对该测试系统的技术接受度及有效性验证。(4)基于以证据为中心的评价设计,形成了学习分析技术支持的问题解决能力评价。依托于开发的问题解决能力测试系统,选取了上海某小学三到五年级的554名学生开展正式实验,遵循设计的评价模型,对收集的过程数据采用了相应的技术展开多维分析。其中,认知结构的三个成分基于五个实践评价指标,即概念广度、正确性、整合性、可得性、信息加工策略展开。非认知影响因素则采用结构方程模型探讨多层因果关系及整体机制,并得到关于影响问题解决能力的关键因素及其直接、间接效应程度。依托于评价模型与测试系统的实证研究结果显示：上海的小学生问题解决能力大多处于元认知增强期与认知结构整合期,只有较少部分学生达到了认知结构淬炼期,而且仍然有少部分学生停留在概念发展期。具体的从知识内容掌握程度维度来看,男女生在整体水平上无显著差异,却在元认知能力上存在显著差异；年龄方面,三个年级的学生在认知、元认知及认知效率三个指标上都存在显著差异,这与我们关于9～12岁年龄的儿童处于大脑结构功能改变的重要时期这一假设吻合；在知识组织方式的维度上,被试学生在探究与理解、监控与反思技能上表现较好,在表述与构思技能上最薄弱；在信息加工模式的维度上,分别出现专家模式、自我调节、知识重构、无法找到问题的“差距”,缺乏元认知能力等显著的行为模式,为形成针对性的辅导提供证据。此外,在非认知影响因素方面的研究结论显示：个体特质(学习动机、学习情绪、自我调节)、功效期待(成就目标、任务价值、控制信念)、环

境支持(家长支持、教师支持)都对问题解决行为产生直接的正向影响；其中功效期待与个体特质又作为中介变量对问题解决行为有间接影响；而环境控制(家长控制、教师控制)对个体特质与功效期待存在直接负向影响,并通过这两个因子作为中介变量对问题解决行为产生间

接的负向影响。总体来说,功效期待对问题解决行为的总效应最大,

其次是个体特质与环境支持,而环境控制的负向影响也较显著。