认知诊断理论PPT精选文档

分数报告
分数报告： ✓ 属性掌握概率 ✓ 学习之路 ✓ 学习优势剖面图
17
常见的认知诊断模型
认知诊断模型 (Cognitive Diagnostic Model, CDM)
● 线性逻辑斯蒂克测验模型 (LLTM) (Fischer, 1973) ● 规则空间模型 (RSM) (Tatsuoka, 1983) ● 统一模型 (UM) (DiBello, Stout, & Roussos, 1995) ● 融合模型 (FM) (DiBello, Stout, & Roussos, 1995) ● “噪音输入，确定性‘与’门”模型 (NIDA) (Maris, 1999) ● “确定性输入，噪音‘与’门”模型 (DINA) (Junker & Sijstma, 2001) ● 属性层级模型 (AHM) (Leighton, Gierl, & Hunka, 2004) ● “确定性输入，噪音‘或’门” 模型 (DINO) (Templin & Henson, 2006) ● 广义的DINA模型 (G-DINA) (de la Torre, 2011)
2
认知诊断理论概述
1 认知诊断理论的背景与基础 2 Q矩阵的重要地位与规则空间模型 3 常见认知诊断模型介绍 4 认知诊断评估的结果报告 5 认知诊断评估对我国学业评价的启示
3
1、认知诊断理论的背景与基础
4
认知诊断理论的背景
❖ 教育问责制 (accountability in education)
11
测验分数的实质解构
传统测验
认知诊断测验
α [ 1 ,2 , ,K ]
单个总分
每个属性都有一个分数
Messi
ˆ 90
αˆ [110111]0
C.Ronaldo αˆ [011101]0
ˆ 90
12
传统测验理论认知诊断理论
20世纪80年代 20世纪60年代
传统测验理论
认知诊断理论 (CDT) 项目反应理论 (IRT) 概化理论 (GT) 经典测验理论 (CTT)
Accountability
5
认知诊断理论的背景
❖ 教育问责制 (accountability in education)
问责制涉及的核心问题
▪ 明确可行的教育目标和标准 ▪ 相应的法律法规体系 ▪ 责任共担的教育性问责取向 ▪ 教育评测（Assessment）的作用 ▪ 客观可靠的数据系统
6
认知诊断理论的背景
13
2、Q矩阵的重要地位与规则空间模型
14
题目属性关联矩阵Q
题目属性关联矩阵Q7×7 (行代表属性，列代表题目)
1
1
1
1
1
1
1
Βιβλιοθήκη Baidu
0
1
1
1
1
1
1
0
0
1
1
1
1
1
0
0
0
1
1
1
1
0
0
0
0
1
1
1
0
0
0
0
0
1
1
0
0
0
0
0
0
1
15
非统计的诊断方法
❖ 教师观察：教师根据学生作业或考试表现主观判断； ❖ 出声思维：根据Q矩阵界定的属性，对学生进行出声思维
项目反应理论：
1：项目水平模型 —项目反应函数 2：基于IRT的认知 诊断模型的基础
CTT和IRT都只能将被试进行排序，无法获得更多的测验信息！
9
认知心理学的发展
❖ 对被试问题解决过程的心理揭示
▪ 认知心理学
▪ 学科心理学
▪ 教育心理学
▪ 学习心理学
❖ 认知属性 (attribute)
▪ 知识点
▪ 技能
认知诊断理论
辛涛
中国基础教育质量监测协同创新中心 2016年8月24日
“现代统计分析方法与应用”高级研修班 @ 西南大学 重庆
《认知诊断理论》课程说明
时间段
授课内容
上午
认知诊断理论概述
8:30~11:30
晚上
认知诊断理论应用：认知诊断计算机化 自适应测验 (CD-CAT)
认知诊断实操部分：MATLAB软件的使 用
问责的含义
▪ Account：会计、账目清算；说明、解释 ▪ Accountability vs. Responsibility
教育问责的发展的脉络
▪ 80s’欧美教育文献的高频词 ▪ No Child Left Behind Act(2002) ▪ Educational Accountability vs. Educative
▪ 心理过程
10
认知心理学的发展 (续)
❖ 认知诊断的定义
▪ 对被试在测验所测属性或知识点 (如通分、借位与约 分等) 上的掌握水平进行分类 (掌握还是未掌握)
▪ 通过认知诊断方法或模型确定被试的不可直接观测的 认知结构或知识状态，确定被试已经掌握哪些属性，
哪些属性未掌握需要补救
除了二分，还可 以是多分的情况
❖ 教育问责制 (accountability in education)
▪ No Child Left Behind Act (2002)：强化测验在评估 中的作用；
▪ 加强结果评估 (consequential assessment) 与教学之 间的联系
▪ 学生 (测验分数)
学校与教师
❖ 形成性评估 (formative assessment)
考察； ❖ 费时费力，难以区分随机因素对被试作答造成的影响； ❖ 统计方法或测量方法：CTT & IRT CDT。
16
认知诊断评估的基本过程
认知分析
认知属性分析： ✓ 属性提取 ✓ 属性层级关系界定 ✓ 测验Q矩阵标识 ✓测验题目编制
模型选择
认知诊断模型： ✓ 模型选择 ✓ 参数估计 ✓ 统计收敛性 ✓ 模型数据拟合检验
7
K-12评估的革新
教育评估应该更好地反映学生的 学习，为教学提供反馈信息：
Cronbach’s (1957)：The Two Disciplines of Scientific Psychology
Glaser’s (1976)：conceptualization of an instructional psychology that would adapt instruction to students’ individual knowledge states
认知理论与心理计量模型的结合 (Glaser
& Silver, 1994; Pellegrino, Baxter, & Glaser,1999; Pellegrino, Chudowsky, & Glaser, 2001)
8
CTT与IRT分数的局限
传统统计分数
经典测验理论：
1：X = T + E 2：信度、效度、 难度和区分度为指 标