认知诊断理论 (辛涛)
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
●
● ● ● ● ● ● ● ●
线性逻辑斯蒂克测验模型 (LLTM) (Fischer, 1973)
规则空间模型 (RSM) (Tatsuoka, 1983) 统一模型 (UM) (DiBello, Stout, & Roussos, 1995) 融合模型 (FM) (DiBello, Stout, & Roussos, 1995) “噪音输入，确定性‘与’门”模型 (NIDA) (Maris, 1999) “确定性输入，噪音‘与’门”模型 (DINA) (Junker & Sijstma, 2001) 属性层级模型 (AHM) (Leighton, Gierl, & Hunka, 2004) “确定性输入，噪音‘或’门” 模型 (DINO) (Templin & Henson, 2006) 广义的DINA模型 (G-DINA) (de la Torre, 2011)
补偿型模型：多维两参数逻辑斯蒂克模型 (M2PLM) (Reckase, 2009) 非补偿型模型：多成分潜在特质模型 (MLTM) (Whitely, 1980)
19
认知诊断模型分类 (续)—图示
规则空间模型
多维IRT模型： 非补偿性模型： Whitely (1980) ：多 成分潜在特质模型 (MLTM) 补偿性模型： 多维正态肩形模 型 (MNO) 多维Logistic模型 (Reckase & McKinley, 1982, 1991, 1997) 潜类别模型：
点击添加标题
3PLM 题目参数值
匹 配 分 类 间接匹配：匹配 (θ, ζ) 对 理想反应模式 RSM (Tatsuoka, 1983, 1985)
25
认知诊断模型—规则空间模型
• 规则空间模型的主要步骤
Q矩阵理论部分
1. 确定属性与题目间的关系并编制事件Q矩阵 (incidence Q matrix) 2. 界定属性间的先决关系 (prerequisite)
LOGO
认知诊断理论
辛 涛
中国基础教育质量监测协同创新中心 2016年8月24日
“现代统计分析方法与应用”高级研修班 @ 西南大学 重庆
《认知诊断理论》课程说明
时间段
上午 8:30~11:30
授课内容
认知诊断理论概述 认知诊断理论应用：认知诊断计算机化 自适应测验 (CD-CAT) 认知诊断实操部分：MATLAB软件的使 用
认知诊断理论 (CDT)
20世纪60年代
项目反应理论 (IRT)
传统测验理论
概化理论 (GT)
经典测验理论 (CTT)
13
2、Q矩阵的重要地位与规则空间模型
14
题目属性关联矩阵Q
被 试 测 验
作答反应 矩阵
统计或测 量方法
被试的知 识状态
题目属性关联矩阵Q7×7 (行代表属性，列代表题目) 1 0 0 0 0 0 0 1 1 0 0 0 0 0 1 1 1 0 0 0 0 1 1 1 1 0 0 0 1 1 1 1 1 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1
R矩阵
某属性先决关系图
与右侧属性先决关系图相对应的A矩阵与R矩阵
29
认知诊断模型—规则空间模型
• 3 确定可能的属性掌握模式 (AMP)
考查K个属性，最多有2K - 1种AMP (不包括不掌握任何属性的零 向量) 将每种AMP看成矩阵的1列，所有2K - 1种AMP构成Qc矩阵 删除Qc矩阵中不符合属性先决关系的列，得到简化事件Qr矩阵 (reduced Q matrix)
15
非统计的诊断方法
教师观察：教师根据学生作业或考试表现主观判断；
出声思维：根据Q矩阵界定的属性，对学生进行出声思维
考察； 费时费力，难以区分随机因素对被试作答造成的影响； 统计方法或测量方法：CTT & IRT CDT。
16
认知诊断评估的基本过程
分数报告 模型选择 认知分析
& Silver, 1994; Pellegrino, Baxter, & Glaser,1999;
Pellegrino, Chudowsky, & Glaser, 2001)
8
CTT与IRT分数的局限
传统统计分数
经典测验理论：
1：X = T + E 2：信度、效度、 难度和区分度为指 标
项目反应理论：
认知诊断模型—规则空间模型
• 认知诊断问题对应于统计模式分类问题
将可观测的反应模式 (ORP) 与不可观测的认知结构 (CS) 或知识
状态 (KS) 或属性掌握模式 (AMP) 建立联系
由KS和测验蓝图Q可以确定理想反应模式 (IRP)。如果Q中包括可达
矩阵R，可保证KS与IRP之间的一一对应
1：项目水平模型 —项目反应函数 2：基于IRT的认知 诊断模型的基础
CTT和IRT都只能将被试进行排序，无法获得更多的测验信息！
9
认知心理学的发展
对被试问题解决过程的心理揭示
认知心理学 学科心理学 教育心理学
学习心理学
认知属性 (attribute)
知识点
技能 心理过程
得到R矩阵： R = (A+I)n
Tatsuoka使用的理论有：
• 图论 (计算邻接矩阵与可达矩阵等)
• 集合论 (确定偏序关系与包含关系等) • 抽象代数 (格、布尔格或布尔代数) • 布尔描述函数 (BDF)
28
认知诊断模型—规则空间模型
• 2 界定属性间的先决关系 (续)
给出属性先决关系，容易写出A矩阵和
Account：会计、账目清算；说明、解释
Accountability vs. Responsibility
教育问责的发展的脉络
80s’欧美教育文献的高频词
No Child Left Behind Act(2002) Educational Accountability vs. Educative Accountability
分数报告： 属性掌握概率 学习之路
认知诊断模型： 模型选择 参数估计 统计收敛性 模型数据拟合检验
认知属性分析： 属性提取 属性层级关系界定 测验Q矩阵标识 测验题目编制
学习优势剖面图
17
常见的认知诊断模型
认知诊断模型 (Cognitive Diagnostic Model, CDM)
18
认知诊断模型分类
• 没有显式的项目特征函数 (ICF)
规则空间模型 (RSM)
属性层级模型 (AHM) 严格意义上讲，RSM和AHM都不是统计模型而是分类模型
• 有显式的ICF
潜类别模型
DINA、DINO、NIDA、G-DINA，等等 验证性的多 维模型有效
多维项目反应理论 (MIRT) 模型
确定属性与题目之间的关系 编制事件Q矩阵 (incidence Q matrix)
假设有K个属性和m个题目，可将Q矩阵记为QK×m
Q 35
1 0 1 1 0 0 1 1 0 0 1 0 0 0 1
认知设计 矩阵
题目1考核属性1和3，题目2测量属性2，… ，题目5考核最后1个属性
维度上更为精细的领域分数 (domain score)
通过MIRT分析可以得到被试在每个分量表上的连续估计值用于 替代CDM提供的二分诊断结果 (掌握/未掌握)
丁树良等 (2012) 认为CDM 特别适用于形成性评估，因为它涉及的属性 较少且属性粒度也较小；但对于总结性评估 (如学年测验、高校招生考 试)，由于涉及的属性较多，往往使用能力 (能力粒度比属性粒度大) 而非 属性来标注Q矩阵，这时使用MIRT 进行诊断分析更为合适。
3. 确定可能的属性掌握模式 (AMP)
4. 计算理想反应模式 (IRP)
模式分类部分
5. 估计题目参数和被试参数
6. 建立二维的规则空间 7. 对实际作答模式进行分类并计算属性掌握概率 8. 检验分类的效度
26
认知诊断模型—规则空间模型
• 1 确定属性与题目间的关系
邀请学科专家、教学专家及测量学家对已编制好的测验进行分析
27
认知诊断模型—规则空间模型
• 2 界定属性间的先决关系
通过Q矩阵中行与行之间的关系比较得出属性间的先决关系
确定邻接矩阵A：仅反映属性间的直接先决关系 确定可达矩阵R：反映属性间的直接先决关系、间接关系及自反关系
• 对于不断增大的正整数n (n是1到K之间的数)，当 (A+I)n不再变化时，即可
5
认知诊断理论的背景
教育问责制 (accountability in education)
问责制涉及的核心问题
明确可行的教育目标和标准
相应的法律法规体系
责任共担的教育性问责取向 教育评测（Assessment）的作用 客观可靠的数据系统
6
认知诊断理论的背景
教育问责制 (accountability in education)
学习，为教学提供反馈信息：
Cronbach’s (1957)：The Two Disciplines of Scientific Psychology Glaser’s (1976)：conceptualization of an instructional psychology that would adapt instruction to students’ individual knowledge states 认知理论与心理计量模型的结合 (Glaser
• •
DINA模型
统一模型
认知 诊断 模型
(Unified Model)
•
融合模型
(Fusion Model)
属性层级模型
20
认知诊断模型分类 (续)
• 值得注意的几点：
与CDM一样，MIRT模型也具有认知诊ຫໍສະໝຸດ Baidu功能 (Embretson & Yang,
2013)
MIRT除了能够提供被试总的测验分数，还能提供被试在每个
No Child Left Behind Act (2002)：强化测验在评估中 的作用；
加强结果评估 (consequential assessment) 与教学之间
的联系
学生 (测验分数)
学校与教师
形成性评估 (formative assessment)
7
K-12评估的革新
教育评估应该更好地反映学生的
21
认知诊断模型—规则空间模型
• RSM的提出
Tatsuoka (1981, 1983) 对被试的错误规则进行分析，提出了一种
叫做规则空间的剖面图分析方法，成为了最初的规则空间思想的 雏形
从带符号的减法例子中找出47种规则，其中27种是错误规则
Tatsuoka (1985) 提出了RSM的成型构念
22
认知诊断模型—规则空间模型
• 最初的错误规则分析
错误规则1：改变括号里的符号，再按照正常的加法来完成题目 错误规则2：通过大的减去小的得到结果，然后用第一个数的符号作为结果符号 错误规则3：除简单的减法外，一律将减号变成加号处理 错误规则4：一律拿大数减去小数，然后将大数的符号作为结果符号
23
11
测验分数的实质解构
传统测验 认知诊断测验
单个总分
α [1 , 2 ,, K ]
每个属性都有一个分数
Messi ˆ 90
C. Ronaldo ˆ 90
ˆ [1101110 α ] ˆ [0111010 α ]
12
传统测验理论认知诊断理论
20世纪80年代
规则空间模型 (RSM) 通过维度化简技术将m维 (m代表题目数) IRP/ORP约简到二维的笛卡尔空间，从而建立ORP与IRP的关系
24
认知诊断模型—规则空间模型
• 认知诊断问题对应于统计模式分类问题 (续)
被试分类的基本思想
被试作答模式
广义距离 (孙佳楠, 2011, 2013)
直接匹配：匹配作答模式
晚上
2
认知诊断理论概述
认知诊断理论的背景与基础
Q矩阵的重要地位与规则空间模型 常见认知诊断模型介绍
1
2 3 4 5
认知诊断评估的结果报告
认知诊断评估对我国学业评价的启示
3
1、认知诊断理论的背景与基础
4
认知诊断理论的背景
教育问责制 (accountability in education)
问责的含义
10
认知心理学的发展 (续)
认知诊断的定义
对被试在测验所测属性或知识点 (如通分、借位与约
分等) 上的掌握水平进行分类 (掌握还是未掌握) 通过认知诊断方法或模型确定被试的不可直接观测的 认知结构或知识状态，确定被试已经掌握哪些属性， 哪些属性未掌握需要补救
除了二分，还可 以是多分的情况
● ● ● ● ● ● ● ●
线性逻辑斯蒂克测验模型 (LLTM) (Fischer, 1973)
规则空间模型 (RSM) (Tatsuoka, 1983) 统一模型 (UM) (DiBello, Stout, & Roussos, 1995) 融合模型 (FM) (DiBello, Stout, & Roussos, 1995) “噪音输入，确定性‘与’门”模型 (NIDA) (Maris, 1999) “确定性输入，噪音‘与’门”模型 (DINA) (Junker & Sijstma, 2001) 属性层级模型 (AHM) (Leighton, Gierl, & Hunka, 2004) “确定性输入，噪音‘或’门” 模型 (DINO) (Templin & Henson, 2006) 广义的DINA模型 (G-DINA) (de la Torre, 2011)
补偿型模型：多维两参数逻辑斯蒂克模型 (M2PLM) (Reckase, 2009) 非补偿型模型：多成分潜在特质模型 (MLTM) (Whitely, 1980)
19
认知诊断模型分类 (续)—图示
规则空间模型
多维IRT模型： 非补偿性模型： Whitely (1980) ：多 成分潜在特质模型 (MLTM) 补偿性模型： 多维正态肩形模 型 (MNO) 多维Logistic模型 (Reckase & McKinley, 1982, 1991, 1997) 潜类别模型：
点击添加标题
3PLM 题目参数值
匹 配 分 类 间接匹配：匹配 (θ, ζ) 对 理想反应模式 RSM (Tatsuoka, 1983, 1985)
25
认知诊断模型—规则空间模型
• 规则空间模型的主要步骤
Q矩阵理论部分
1. 确定属性与题目间的关系并编制事件Q矩阵 (incidence Q matrix) 2. 界定属性间的先决关系 (prerequisite)
LOGO
认知诊断理论
辛 涛
中国基础教育质量监测协同创新中心 2016年8月24日
“现代统计分析方法与应用”高级研修班 @ 西南大学 重庆
《认知诊断理论》课程说明
时间段
上午 8:30~11:30
授课内容
认知诊断理论概述 认知诊断理论应用：认知诊断计算机化 自适应测验 (CD-CAT) 认知诊断实操部分：MATLAB软件的使 用
认知诊断理论 (CDT)
20世纪60年代
项目反应理论 (IRT)
传统测验理论
概化理论 (GT)
经典测验理论 (CTT)
13
2、Q矩阵的重要地位与规则空间模型
14
题目属性关联矩阵Q
被 试 测 验
作答反应 矩阵
统计或测 量方法
被试的知 识状态
题目属性关联矩阵Q7×7 (行代表属性，列代表题目) 1 0 0 0 0 0 0 1 1 0 0 0 0 0 1 1 1 0 0 0 0 1 1 1 1 0 0 0 1 1 1 1 1 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1
R矩阵
某属性先决关系图
与右侧属性先决关系图相对应的A矩阵与R矩阵
29
认知诊断模型—规则空间模型
• 3 确定可能的属性掌握模式 (AMP)
考查K个属性，最多有2K - 1种AMP (不包括不掌握任何属性的零 向量) 将每种AMP看成矩阵的1列，所有2K - 1种AMP构成Qc矩阵 删除Qc矩阵中不符合属性先决关系的列，得到简化事件Qr矩阵 (reduced Q matrix)
15
非统计的诊断方法
教师观察：教师根据学生作业或考试表现主观判断；
出声思维：根据Q矩阵界定的属性，对学生进行出声思维
考察； 费时费力，难以区分随机因素对被试作答造成的影响； 统计方法或测量方法：CTT & IRT CDT。
16
认知诊断评估的基本过程
分数报告 模型选择 认知分析
& Silver, 1994; Pellegrino, Baxter, & Glaser,1999;
Pellegrino, Chudowsky, & Glaser, 2001)
8
CTT与IRT分数的局限
传统统计分数
经典测验理论：
1：X = T + E 2：信度、效度、 难度和区分度为指 标
项目反应理论：
认知诊断模型—规则空间模型
• 认知诊断问题对应于统计模式分类问题
将可观测的反应模式 (ORP) 与不可观测的认知结构 (CS) 或知识
状态 (KS) 或属性掌握模式 (AMP) 建立联系
由KS和测验蓝图Q可以确定理想反应模式 (IRP)。如果Q中包括可达
矩阵R，可保证KS与IRP之间的一一对应
1：项目水平模型 —项目反应函数 2：基于IRT的认知 诊断模型的基础
CTT和IRT都只能将被试进行排序，无法获得更多的测验信息！
9
认知心理学的发展
对被试问题解决过程的心理揭示
认知心理学 学科心理学 教育心理学
学习心理学
认知属性 (attribute)
知识点
技能 心理过程
得到R矩阵： R = (A+I)n
Tatsuoka使用的理论有：
• 图论 (计算邻接矩阵与可达矩阵等)
• 集合论 (确定偏序关系与包含关系等) • 抽象代数 (格、布尔格或布尔代数) • 布尔描述函数 (BDF)
28
认知诊断模型—规则空间模型
• 2 界定属性间的先决关系 (续)
给出属性先决关系，容易写出A矩阵和
Account：会计、账目清算；说明、解释
Accountability vs. Responsibility
教育问责的发展的脉络
80s’欧美教育文献的高频词
No Child Left Behind Act(2002) Educational Accountability vs. Educative Accountability
分数报告： 属性掌握概率 学习之路
认知诊断模型： 模型选择 参数估计 统计收敛性 模型数据拟合检验
认知属性分析： 属性提取 属性层级关系界定 测验Q矩阵标识 测验题目编制
学习优势剖面图
17
常见的认知诊断模型
认知诊断模型 (Cognitive Diagnostic Model, CDM)
18
认知诊断模型分类
• 没有显式的项目特征函数 (ICF)
规则空间模型 (RSM)
属性层级模型 (AHM) 严格意义上讲，RSM和AHM都不是统计模型而是分类模型
• 有显式的ICF
潜类别模型
DINA、DINO、NIDA、G-DINA，等等 验证性的多 维模型有效
多维项目反应理论 (MIRT) 模型
确定属性与题目之间的关系 编制事件Q矩阵 (incidence Q matrix)
假设有K个属性和m个题目，可将Q矩阵记为QK×m
Q 35
1 0 1 1 0 0 1 1 0 0 1 0 0 0 1
认知设计 矩阵
题目1考核属性1和3，题目2测量属性2，… ，题目5考核最后1个属性
维度上更为精细的领域分数 (domain score)
通过MIRT分析可以得到被试在每个分量表上的连续估计值用于 替代CDM提供的二分诊断结果 (掌握/未掌握)
丁树良等 (2012) 认为CDM 特别适用于形成性评估，因为它涉及的属性 较少且属性粒度也较小；但对于总结性评估 (如学年测验、高校招生考 试)，由于涉及的属性较多，往往使用能力 (能力粒度比属性粒度大) 而非 属性来标注Q矩阵，这时使用MIRT 进行诊断分析更为合适。
3. 确定可能的属性掌握模式 (AMP)
4. 计算理想反应模式 (IRP)
模式分类部分
5. 估计题目参数和被试参数
6. 建立二维的规则空间 7. 对实际作答模式进行分类并计算属性掌握概率 8. 检验分类的效度
26
认知诊断模型—规则空间模型
• 1 确定属性与题目间的关系
邀请学科专家、教学专家及测量学家对已编制好的测验进行分析
27
认知诊断模型—规则空间模型
• 2 界定属性间的先决关系
通过Q矩阵中行与行之间的关系比较得出属性间的先决关系
确定邻接矩阵A：仅反映属性间的直接先决关系 确定可达矩阵R：反映属性间的直接先决关系、间接关系及自反关系
• 对于不断增大的正整数n (n是1到K之间的数)，当 (A+I)n不再变化时，即可
5
认知诊断理论的背景
教育问责制 (accountability in education)
问责制涉及的核心问题
明确可行的教育目标和标准
相应的法律法规体系
责任共担的教育性问责取向 教育评测（Assessment）的作用 客观可靠的数据系统
6
认知诊断理论的背景
教育问责制 (accountability in education)
学习，为教学提供反馈信息：
Cronbach’s (1957)：The Two Disciplines of Scientific Psychology Glaser’s (1976)：conceptualization of an instructional psychology that would adapt instruction to students’ individual knowledge states 认知理论与心理计量模型的结合 (Glaser
• •
DINA模型
统一模型
认知 诊断 模型
(Unified Model)
•
融合模型
(Fusion Model)
属性层级模型
20
认知诊断模型分类 (续)
• 值得注意的几点：
与CDM一样，MIRT模型也具有认知诊ຫໍສະໝຸດ Baidu功能 (Embretson & Yang,
2013)
MIRT除了能够提供被试总的测验分数，还能提供被试在每个
No Child Left Behind Act (2002)：强化测验在评估中 的作用；
加强结果评估 (consequential assessment) 与教学之间
的联系
学生 (测验分数)
学校与教师
形成性评估 (formative assessment)
7
K-12评估的革新
教育评估应该更好地反映学生的
21
认知诊断模型—规则空间模型
• RSM的提出
Tatsuoka (1981, 1983) 对被试的错误规则进行分析，提出了一种
叫做规则空间的剖面图分析方法，成为了最初的规则空间思想的 雏形
从带符号的减法例子中找出47种规则，其中27种是错误规则
Tatsuoka (1985) 提出了RSM的成型构念
22
认知诊断模型—规则空间模型
• 最初的错误规则分析
错误规则1：改变括号里的符号，再按照正常的加法来完成题目 错误规则2：通过大的减去小的得到结果，然后用第一个数的符号作为结果符号 错误规则3：除简单的减法外，一律将减号变成加号处理 错误规则4：一律拿大数减去小数，然后将大数的符号作为结果符号
23
11
测验分数的实质解构
传统测验 认知诊断测验
单个总分
α [1 , 2 ,, K ]
每个属性都有一个分数
Messi ˆ 90
C. Ronaldo ˆ 90
ˆ [1101110 α ] ˆ [0111010 α ]
12
传统测验理论认知诊断理论
20世纪80年代
规则空间模型 (RSM) 通过维度化简技术将m维 (m代表题目数) IRP/ORP约简到二维的笛卡尔空间，从而建立ORP与IRP的关系
24
认知诊断模型—规则空间模型
• 认知诊断问题对应于统计模式分类问题 (续)
被试分类的基本思想
被试作答模式
广义距离 (孙佳楠, 2011, 2013)
直接匹配：匹配作答模式
晚上
2
认知诊断理论概述
认知诊断理论的背景与基础
Q矩阵的重要地位与规则空间模型 常见认知诊断模型介绍
1
2 3 4 5
认知诊断评估的结果报告
认知诊断评估对我国学业评价的启示
3
1、认知诊断理论的背景与基础
4
认知诊断理论的背景
教育问责制 (accountability in education)
问责的含义
10
认知心理学的发展 (续)
认知诊断的定义
对被试在测验所测属性或知识点 (如通分、借位与约
分等) 上的掌握水平进行分类 (掌握还是未掌握) 通过认知诊断方法或模型确定被试的不可直接观测的 认知结构或知识状态，确定被试已经掌握哪些属性， 哪些属性未掌握需要补救
除了二分，还可 以是多分的情况