6心理测量第六章经典测验理论——效度PPT课件
合集下载
心理测量第六章测量效度
构想效度的概念是1954年提出的，是处 理效度的一种新方法。
在心理学上，所谓构想是指用来解释人 类行为的理论框架或心理特质，它是心理 学中抽象的假设性的概念、特性或变量。 如智力、焦虑、内向、动机、创造性等都 可称为构想。
构想效度主要涉及的是心理学的理论概念 问题，是指测验对某一理论上的构想或特 质测量的程度，即测验的结果是否能证实 或解释某一理论的假设、术语或构想，解 释的程度如何。
3．考察测验的同质性可以为评估构想效度 提供证据。
这种方法以测验的内在一致性系数（比 如库德—理查逊的K-R20、K-R21公式以及 α系数等）为指标，判断测验测的是单一性 质还是多种性质，看它与所预期的结构的 相符度，也就是测验的同质性问题，从测 验的一致性就可以为构想效度提供证据。
（二）测验间方法
四、效度与信度的关系
（一）高信度是高效度的必要而非充分 的条件
（二）测验的效度受它的信度制约
信度系数的平方根是效度系数的最高限 度
第二节 内容效度
一、内容效度的性质 二、确定内容效度的方法 三、内容效度的特点 四、内容效度的应用与评价
一、内容效度的性质
内容效度指的是测验题目对欲测的有关 内容或行为范围取样的适当性，从而确定 测验是否是所欲测量的行为领域的代表性 取样。即测验用的测题对整个测验内容范 围的代表性程度。由于这种测验的效度主 要与测验内容有关，所以称内容效度。
（一）测验内方法
这类方法主要是通过研究测验内部构造 （如测验的内容、对题目作反应的过程、 以及题目间或分测验间的关系）来分析测 验的构想效度。
主要包括：
1．测验的内容效度可以作为构想效度的证 据。
对测验所取样的内容或行为范围确定后， 就可利用这些资料来定义测验所要测的构 想效度的性质。即确定了测验的内容效度 便提供了有关构想效度的证据。
在心理学上，所谓构想是指用来解释人 类行为的理论框架或心理特质，它是心理 学中抽象的假设性的概念、特性或变量。 如智力、焦虑、内向、动机、创造性等都 可称为构想。
构想效度主要涉及的是心理学的理论概念 问题，是指测验对某一理论上的构想或特 质测量的程度，即测验的结果是否能证实 或解释某一理论的假设、术语或构想，解 释的程度如何。
3．考察测验的同质性可以为评估构想效度 提供证据。
这种方法以测验的内在一致性系数（比 如库德—理查逊的K-R20、K-R21公式以及 α系数等）为指标，判断测验测的是单一性 质还是多种性质，看它与所预期的结构的 相符度，也就是测验的同质性问题，从测 验的一致性就可以为构想效度提供证据。
（二）测验间方法
四、效度与信度的关系
（一）高信度是高效度的必要而非充分 的条件
（二）测验的效度受它的信度制约
信度系数的平方根是效度系数的最高限 度
第二节 内容效度
一、内容效度的性质 二、确定内容效度的方法 三、内容效度的特点 四、内容效度的应用与评价
一、内容效度的性质
内容效度指的是测验题目对欲测的有关 内容或行为范围取样的适当性，从而确定 测验是否是所欲测量的行为领域的代表性 取样。即测验用的测题对整个测验内容范 围的代表性程度。由于这种测验的效度主 要与测验内容有关，所以称内容效度。
（一）测验内方法
这类方法主要是通过研究测验内部构造 （如测验的内容、对题目作反应的过程、 以及题目间或分测验间的关系）来分析测 验的构想效度。
主要包括：
1．测验的内容效度可以作为构想效度的证 据。
对测验所取样的内容或行为范围确定后， 就可利用这些资料来定义测验所要测的构 想效度的性质。即确定了测验的内容效度 便提供了有关构想效度的证据。
心理测量课件_第六章 效度
绩效度量
100% 80% 60% 40% 20% 0%
变异来源
效度 内部误差 时间抽样 未解释
被解释的变异比例
效度的种类
• 证明一个测验是有效的(validation)，必须 保证在以下三方面均是有效的
• 内容(content) • 效标关联或实证(criterion-related or empirical) • 构想或结构(construct) • 不能只独立地保证一方面。
• 会聚（辐合）效度(convergent validation)
– 如，一个艺术能力测验与其他艺术能力测验、创造力测验以 及去当地艺术博物馆的频率等有高相关
• 区分效度(discriminant validation)
– 如，一个艺术能力测验与耐力（力量）测验或与去体育馆的 频率等没有相关
14
因素分析
• 测验=预测源 • 行为=效标 • 效标效度是基于数据的( data based)
– 一个选拔测验与工作绩效的相关 – 一个成就测验与年级的相关 – 一个诚实测验与偷窃的相关
两种效标关联效度
• 预测效度(predictive validity)：
– 测验对未来表现预测 得有多好
– 他会患焦虑症吗？
效标的适当、缺陷与污染
• 效标适当(relevance)：实际测量的效标中应测量的部分 （B+E区）
• 效标缺陷(deficiency)：实际效标没有覆盖的终极效标 部分（A+D区）
• 效标污染(contamination)：实际效标中与要测量的东西 无关的部分（C+F区）
终极效标 A B C
E DF
• 其中使用的测验技术包括：结构化面 试，评价中心，纸笔考试（专业知识） 等。
心理测量学(详细)PPT课件
（二）教学目的 通过学习，要求学生掌握心理测量的基本知识、心理测量的编制和实施、以及良好
测量所要求具备的基本条件。更重要的是，通过本课程的学习要使学生熟练掌握不同 心理测量的实际应用。
（三）教学内容 本课程的主要教学内容有：心理测量的基本内涵及其评价和测量的一般步骤和方
法两部分。内容涉及一般测量解析，测量的要素及量表类型，测验信、效度、难度和 区分度，测量的一般步骤和方法，智力测验、人格测验等心理测验，以及心理测量的 综合应用和心理测量理论的新发展等内容。
6
第二章 经典测验理论的基本假设
教学要点： 通过本章的学习，掌握经典测验理论的基本假设，心里特之及其特性，
心里测量的误差和种类，以及真分数的含义等内容。 教学时数：[6学时]
教学内容： 一、心理特质（Trait）及其可测性假设
1．经典测验(Classical Test Theory ,CTT)理论 2．特质假设
3
二、测量的要素及量表类型 1．测量的要素 识记： 单位（Unit），参照点(Reference Point)，量表(Scale) 2．量表类型 （1）称名量表 称名变量只说明某一事物与其他事物在名称、类别或属性上的不同，并不说 明事物与事物之间差异的大小、顺序的先后及质的优劣。 （2）顺序变量 顺序变量是指可以就事物的某一属性的多少或大小按次序将各事物加以排列 的变量，具有等级性和次序性的特点。 （3）等距变量 等距变量除能表明量的相对大小外，还具有相等的单位。 （4）比率变量 比率变量除了具有量的大小、相等单位外，还有绝对零点。
5
（五）心理测量的道德准则 1．心理测量工作者的素质要求 （1）心理测量工作的知识结构.（2）对心理测量的态度 2．心理测量工作者的道德准则 （1）测验的保密和控制原则（2）测验中个人隐私的保护
测量所要求具备的基本条件。更重要的是，通过本课程的学习要使学生熟练掌握不同 心理测量的实际应用。
（三）教学内容 本课程的主要教学内容有：心理测量的基本内涵及其评价和测量的一般步骤和方
法两部分。内容涉及一般测量解析，测量的要素及量表类型，测验信、效度、难度和 区分度，测量的一般步骤和方法，智力测验、人格测验等心理测验，以及心理测量的 综合应用和心理测量理论的新发展等内容。
6
第二章 经典测验理论的基本假设
教学要点： 通过本章的学习，掌握经典测验理论的基本假设，心里特之及其特性，
心里测量的误差和种类，以及真分数的含义等内容。 教学时数：[6学时]
教学内容： 一、心理特质（Trait）及其可测性假设
1．经典测验(Classical Test Theory ,CTT)理论 2．特质假设
3
二、测量的要素及量表类型 1．测量的要素 识记： 单位（Unit），参照点(Reference Point)，量表(Scale) 2．量表类型 （1）称名量表 称名变量只说明某一事物与其他事物在名称、类别或属性上的不同，并不说 明事物与事物之间差异的大小、顺序的先后及质的优劣。 （2）顺序变量 顺序变量是指可以就事物的某一属性的多少或大小按次序将各事物加以排列 的变量，具有等级性和次序性的特点。 （3）等距变量 等距变量除能表明量的相对大小外，还具有相等的单位。 （4）比率变量 比率变量除了具有量的大小、相等单位外，还有绝对零点。
5
（五）心理测量的道德准则 1．心理测量工作者的素质要求 （1）心理测量工作的知识结构.（2）对心理测量的态度 2．心理测量工作者的道德准则 （1）测验的保密和控制原则（2）测验中个人隐私的保护
心理学《效度》课件
的东西，它在测量中占的比例大小即为效度。 Val= Sco2/ St2
2、效度性质
（1) 针对某种测验结果和目的的。是针对 测量的某种特殊的用途，不具普遍性。
（2)心理测验的效度只有程度差异，而不是 “全”或“无”的差别。因而只能用“高 效”“中等”“低效”来评价。
（3）效度指标特别是（SC02）不可能直接得 到的只能是一种间接的估计。
第四节 影响效度的因素
一、测验本身的因素 1、 测验中的词汇和句型不能太难 2、 题意应当清楚。 3、 测题应当适合要测量的结果。 4、 不能提供额外线索。 5、 测题的编制合理程度。 6、 选择题的答案不能有明显的组型。 7、 测量数量（能增加效度） 8、 测验的难度要适当。
二、测验实施方面和计分方面。 测验情景：如布置、材料的准备。 实施过程是否标准。 指导语是否将答题要求说清楚，是否按时限要
2、区分法（组的分类即T检验的差异） 根据被试在准则上的表现，将其分为不同的组别，
那么这些组在预测时也应该有显著差异。如果被证实 则说明这个预测的效度较高。 3、命中率法=录取成功人数/总录取人数。 4、败成比。 失败组超过成功组均数的得分人数与成功 组超成功组均数的人数比。败成比越小，则两组差异 越大。
好的效标的特点
有效性——能反应测验的目的 可靠性——效标必须有高的信度，稳定可靠 可操作——效标可客观测量 实用性——效标的测量简单、省时省力，经济实
用
第二节 内容效度和结构效度 。
1、验证和提高内容效度的方法 ： （1）专家评定法，让一组都非常熟悉测量内容的专家，用
逻辑法判断对所研究的领域的取样（测验测题）是否具有 代表性。（这与评分者信度相同因而评分者信度可作为测 验的确良效度指标） （2）比较法：与权威测验比较,如果相关高，就具高效度。 缺点： （1） 是一种符合性判断，缺少量化指标。 （2） 专家对有关问题的不同看法和侧重点会影响内容效度 的判断。 2、编制双向细目表。 测验前要做的第一件事就是尽可能明确而详尽地规定应 测量的领域，编制双向细目表。（适用于教育测验）
测验的效度(新教材)课件
综合多种方法进行评估
结构效度的评估需要综合考虑多种方法，包括内容效度、校标关联 效度和因子分析等，以获得全面的评估结果。
04
验证效度
验证效度的定义
验证效度
指测验在特定目的下对测量目标的代表性和准确性进行的评估。它反映了测验 结果与实际目标之间的关联程度。
定义解释
效度评估旨在确保测验真正测量了所需测量的内容，并且所得结果与实际情境 相符合。
性和可靠性。
因子分析
通过因子分析等方法，对测验的 结构进行统计检验，判断测验是
否符合预期的结构模型。
结构效度的注意事项
明确测量目标和概念定义
在评估结构效度之前，需要清晰地定义测量目标和所测量的概念 ，以确保测验内容与测量目标的一致性。
考虑测验的适用性
评估结构效度时，需要考虑测验的适用范围和适用人群，以确定测 验是否适用于特定的测量目的。
测验的效度(新教材)课件
contents
目录
• 测验效度的基本概念 • 内容效度 • 结构效度 • 验证效度 • 应用与实例
01
测验效度的基本概念
定义与意义
定义
测验效度指的是测验在多大程度 上准确地测量了所要测量的特性 与功能。
意义
测验效度是衡量测验质量的重要 指标，对于评估个体的能力、选 拔人才、诊断问题等具有重要意 义。
的一致性。
在编制测验时，应尽量选择具有 代表性的题目，并确保题目难度 适中，以提高测验的内容效度。
在评估内容效度时，应综合考虑 专家的意见和统计分析的结果， 以确保评估的准确性和可靠性。
03
结构效度
结构效度的定义
结构效度是指测验在多大程度上能够 测量出所要测量的理论结构和特质的 程度。它关注的是测验内容与测量目 标之间的对应关系。
结构效度的评估需要综合考虑多种方法，包括内容效度、校标关联 效度和因子分析等，以获得全面的评估结果。
04
验证效度
验证效度的定义
验证效度
指测验在特定目的下对测量目标的代表性和准确性进行的评估。它反映了测验 结果与实际目标之间的关联程度。
定义解释
效度评估旨在确保测验真正测量了所需测量的内容，并且所得结果与实际情境 相符合。
性和可靠性。
因子分析
通过因子分析等方法，对测验的 结构进行统计检验，判断测验是
否符合预期的结构模型。
结构效度的注意事项
明确测量目标和概念定义
在评估结构效度之前，需要清晰地定义测量目标和所测量的概念 ，以确保测验内容与测量目标的一致性。
考虑测验的适用性
评估结构效度时，需要考虑测验的适用范围和适用人群，以确定测 验是否适用于特定的测量目的。
测验的效度(新教材)课件
contents
目录
• 测验效度的基本概念 • 内容效度 • 结构效度 • 验证效度 • 应用与实例
01
测验效度的基本概念
定义与意义
定义
测验效度指的是测验在多大程度 上准确地测量了所要测量的特性 与功能。
意义
测验效度是衡量测验质量的重要 指标，对于评估个体的能力、选 拔人才、诊断问题等具有重要意 义。
的一致性。
在编制测验时，应尽量选择具有 代表性的题目，并确保题目难度 适中，以提高测验的内容效度。
在评估内容效度时，应综合考虑 专家的意见和统计分析的结果， 以确保评估的准确性和可靠性。
03
结构效度
结构效度的定义
结构效度是指测验在多大程度上能够 测量出所要测量的理论结构和特质的 程度。它关注的是测验内容与测量目 标之间的对应关系。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
23
二、效度的类型
2、内部证据：
• 分类：同时效度 预测效度
2020年9月28日
18
二、效度的类型
• 效标效度估计方法：
• a.相关法：计算测验分数（预测源分数）与 效标分数的相关系数。
• b.区分法：据被试在效标的表现将他们分 为成功与不成功两个组，而两组的测验分 数又有显著差异，则认为测验也能把效标 表现上表现好与不好的被试有效地区分开 来，测验就是有效的。
参照。
• 效标：衡量一个测验是否有效的外在标准。 通常是我们要预测的行为表现。
2020年9月28日
15
二、效度的类型
• 什么是好的效标？（四个条件）
a、有效性，效标必须是有效的标准
b、可靠性，效标要具有相对稳定性
c、客观性，当效标是主观标准时，要注意效 标污染
所谓效标污染就是被试的效标成绩由于评定 者知道其测验成绩而受到影响
d、实用性 2020年9月28日
16
• 常用的效标： • 1、学业成就 • 2、实际工作表现 • 3、临床诊断 • 4、特殊训练的成绩 • 5、等级评定 • 6、现有成熟测验
2020年9月28日
17
• 效标关联效度(Criterion-Related Validity) • 测验分数与某一外部效标间的一致性程度 • 效度系数：预测源和效标的相关系数。
2020年9月28日
22
二、效度的类型
• 构念效度常用方法： 1、因素效度： • 建立构念效度最为常用的方法 • （1）通过对变量（测验的所有项目,或者分测验）
进行因素分析，找到影响变量的共同因素，每个变 量在共同因素上的负荷量（即每个变量与共同因素 的相关），称做测验的因素效度
2020年9月28日
2020年9月28日
8
知识 理解 应用 分析 综合 评价 合计
第一章 3 4
6
3
2
2
20
第二章 3 3
6
4
2
2
20
第三章 5 5
8
5
4
3
30
第四章 3 3
5
4
3
2
20
第五章 1 2
3
2
1
1
10
合计 15 17 28 18 12 10 100
2020年9月28日9Fra bibliotek• （5）确定了每小格中的题目数量后，从相 应内容中按比例随机抽取测验题目。
2020年9月28日
19
C. 命中率
测验成功
效标成功 正确接受(A)
效标失败 错误接受(B)
测验失败 错误拒绝(C) 正确拒绝(D)
总命中率=A+D/N 正中率=A/N
2020年D9、月28功日 利率：U=B（Ns）—C（Nu）—S
20
二、效度的类型
➢构念效度 • 构念效度可定义为测验结果能够反映所要测
量的某个心理学构念的程度。也就是测验结 果对某特质理论解释程度。
2020年9月28日
21
确定构念效度的基本步骤 ：
• 从某一理论出发或者提出关于某一心理特质 的构念和假设。
• 设计和编制测验并进行施测
• 测验的结果采用相关或因素分析等方法进行 分析，验证测验结果与理论假设的相符程度， 即测验在多大程度上正确地验证了编制测验 的理论构想。
• 内容效度（content validity） 与内容相关的证据 • 效标效度（criterion-related validity） 与效标相关的证据
• 构念效度（construct validity） 与构念相关的证据
3种效度分类不是泾渭分明，而是在许多方面互相 重叠的，互相联系，互相支持的。
2020年9月28日
6
• 验证测验内容效度的程序 ：
• (1)确定所要测量的全部内容范围。
• (2)根据教育目标的要求，将测验目的 具体化为不同层次的测验目标。
2020年9月28日
7
• （3）确定每一层次测验目标在整个测验中 所占比重。
• （4）编制测验双向细目表
• 教育测验的目标一般采用布鲁姆( Bloom)教 育目标分类学中的分类标准将测验目标分成 知识、理解、应用、分析、综合、评价六个 层次。
2020年9月28日
4
二、效度的类型
➢内容效度 内容效度指测验题目对所要测量的内
容范围的代表性程度。实际上是说题目 取样的代表性问题。
2020年9月28日
5
二、效度的类型
• 判断内容效度的方法： 一、专家评判法：请有关专家对测验题目与原
定内容的吻合程度作出判断。看题目是否代 表了规定的内容。
主要依据专家的逻辑分析，所以内容效度 有时也叫逻辑效度。
• （6）请本专业的专家对测题的代表性、合 适性进行分析，并作必要的修改，直到多数 专家对测验的内容效度都满意为止。
2020年9月28日
10
二、统计方法 • 1、题目样本和总体的相关 • 2、重测法 • 3、复本信度 • 4、内容效度比
2020年9月28日
11
• 编制任何测验都要考虑内容效度
• 内容效度主要应用于学绩测验和成就测验
• 职业心理测验中，如果工作表现是能够明 确界定的 ，则考察测验的内容效度也是 适合的。
• 智力和人格测验而言，考察其内容效度不 适当。
2020年9月28日
12
二、效度的类型
• 表面效度（surface validity） 被试主观上觉得测验有效的程度
内容效度：专家对测验题目的判断
2020年9月28日
13
二、效度的类型
• 最佳行为测验（能力和成就测验），表面 效度要高
• 典型行为测验（如人格、态度测验），表 面效度要尽可能的低
2020年9月28日
14
二、效度的类型
➢效标效度/准则关联效度/实证效度
• 1.效标的概念
• 效标即效度标准(Validity Criterion)，是 指独立于测验结果，反映测验目的的行为
一、什么是效度？
• 效度(validity)就是指测量的有效性 测验对所要测量的特质准确测量的程度
两层含义： • 说测验能不能测到它要测的东西 • 测验对它的测量对象测量到什么程度
2020年9月28日
1
一、什么是效度？
• 公式：rxy=Sv2/ Sx2 • 从公式看效度也是一个理想的概念 • 实际中我们是通过寻求测验工具之外的
一些证据间接来证明或检验一个测验的 有效性
2020年9月28日
2
一、什么是效度？
1、效度是个相对概念
• 一种测量工具的效度只是对一定得测量目的 有效
• 有效也是一定程度上到相对有效 2、效度是测量的随机误差和系统误差的综合
反映
3、判断一个测量是否有效要从多方面来收集 证据
2020年9月28日
3
二、效度的类型