测验质量(效度)课件
合集下载
测验的效度(新教材)课件
综合多种方法进行评估
结构效度的评估需要综合考虑多种方法，包括内容效度、校标关联 效度和因子分析等，以获得全面的评估结果。
04
验证效度
验证效度的定义
验证效度
指测验在特定目的下对测量目标的代表性和准确性进行的评估。它反映了测验 结果与实际目标之间的关联程度。
定义解释
效度评估旨在确保测验真正测量了所需测量的内容，并且所得结果与实际情境 相符合。
性和可靠性。
因子分析
通过因子分析等方法，对测验的 结构进行统计检验，判断测验是
否符合预期的结构模型。
结构效度的注意事项
明确测量目标和概念定义
在评估结构效度之前，需要清晰地定义测量目标和所测量的概念 ，以确保测验内容与测量目标的一致性。
考虑测验的适用性
评估结构效度时，需要考虑测验的适用范围和适用人群，以确定测 验是否适用于特定的测量目的。
测验的效度(新教材)课件
contents
目录
• 测验效度的基本概念 • 内容效度 • 结构效度 • 验证效度 • 应用与实例
01
测验效度的基本概念
定义与意义
定义
测验效度指的是测验在多大程度 上准确地测量了所要测量的特性 与功能。
意义
测验效度是衡量测验质量的重要 指标，对于评估个体的能力、选 拔人才、诊断问题等具有重要意 义。
的一致性。
在编制测验时，应尽量选择具有 代表性的题目，并确保题目难度 适中，以提高测验的内容效度。
在评估内容效度时，应综合考虑 专家的意见和统计分析的结果， 以确保评估的准确性和可靠性。
03
结构效度
结构效度的定义
结构效度是指测验在多大程度上能够 测量出所要测量的理论结构和特质的 程度。它关注的是测验内容与测量目 标之间的对应关系。
结构效度的评估需要综合考虑多种方法，包括内容效度、校标关联 效度和因子分析等，以获得全面的评估结果。
04
验证效度
验证效度的定义
验证效度
指测验在特定目的下对测量目标的代表性和准确性进行的评估。它反映了测验 结果与实际目标之间的关联程度。
定义解释
效度评估旨在确保测验真正测量了所需测量的内容，并且所得结果与实际情境 相符合。
性和可靠性。
因子分析
通过因子分析等方法，对测验的 结构进行统计检验，判断测验是
否符合预期的结构模型。
结构效度的注意事项
明确测量目标和概念定义
在评估结构效度之前，需要清晰地定义测量目标和所测量的概念 ，以确保测验内容与测量目标的一致性。
考虑测验的适用性
评估结构效度时，需要考虑测验的适用范围和适用人群，以确定测 验是否适用于特定的测量目的。
测验的效度(新教材)课件
contents
目录
• 测验效度的基本概念 • 内容效度 • 结构效度 • 验证效度 • 应用与实例
01
测验效度的基本概念
定义与意义
定义
测验效度指的是测验在多大程度 上准确地测量了所要测量的特性 与功能。
意义
测验效度是衡量测验质量的重要 指标，对于评估个体的能力、选 拔人才、诊断问题等具有重要意 义。
的一致性。
在编制测验时，应尽量选择具有 代表性的题目，并确保题目难度 适中，以提高测验的内容效度。
在评估内容效度时，应综合考虑 专家的意见和统计分析的结果， 以确保评估的准确性和可靠性。
03
结构效度
结构效度的定义
结构效度是指测验在多大程度上能够 测量出所要测量的理论结构和特质的 程度。它关注的是测验内容与测量目 标之间的对应关系。
测验的效度
測驗的效度
林陳涌 國立台灣師範大學 生物學系
信度…...
信度所關心的是測驗分數的一致性或穩 定性。 一個具有良好信度的測驗，使用在不同 的主試者 評分者 時間 情境或使用 類似的問題，其所得的分數應該接近相 同或一致。 一般而言分數愈一致，受誤差的影響愈 小。所以信度主要在說明測驗分數中測 量誤差所佔的成分。
• 新編職業測驗 目前工作成績 • 新編生物成就測驗 在校生物月考成績
易於取得，故較易於考驗。此種效度可 用來取代收集資料的複雜方法。
預測效度
指測驗分數與實施測驗後一段時間所取 得的效標之間的相關，旨在使用測驗分 數預測個人在效標方面的未來表現。
• 新編職業測驗 • 錄取後一段時間後的工作成績
效標關聯效度
以經驗性的方法，研究測驗分數與一些 外在效標間的關係，故又可稱為經驗效 度或統計效度。 如果測驗分數和外在效標的相關愈高， 表示測驗愈能有效預測外在效標。 外在效標指測驗所要預測的某些行為或 量數。學業性向測驗以學校的學業成績 作為效標。 同時效度與預測效度
同時效度
指測驗分數與實施測驗同一個時間所取 得的效標之間的相關，旨在使用測驗分 數估計個人在效標方面的目前實際表現。
多項特質--多項方法分析--獲得構
念效度證據的方法六
採用多項特質--多項方法分析的基本條件
• 必須有兩種以上的測量方法測量兩種以上的 特質，其所測量的特質均一樣。
方法：M1. 人格量表 M2. 教師評定 特質：A. 成就性 B. 社會性 C. 獨立性
多項特質—多項方法分析矩陣 特質 方法 1 方法 2 A1 B1 C1 A2 B2 C2 A1 (.77) M1 B1 .40 （.81） C1 .31 .29 （.92） A2 .59* .27 .11 （.71） M2 B2 .29 .63* .12 .37 （.78） C2 .18 .09 .68* .25 .18 （.83） （）中的數字為信度係素 * 為輻合性效度 其餘為區別性效度 相同方法相同特質: 信度 相同方法不同特質: 區別性效度 不同方法相同特質: 輻合性效度 不同方法不同特質: 區別性效度
林陳涌 國立台灣師範大學 生物學系
信度…...
信度所關心的是測驗分數的一致性或穩 定性。 一個具有良好信度的測驗，使用在不同 的主試者 評分者 時間 情境或使用 類似的問題，其所得的分數應該接近相 同或一致。 一般而言分數愈一致，受誤差的影響愈 小。所以信度主要在說明測驗分數中測 量誤差所佔的成分。
• 新編職業測驗 目前工作成績 • 新編生物成就測驗 在校生物月考成績
易於取得，故較易於考驗。此種效度可 用來取代收集資料的複雜方法。
預測效度
指測驗分數與實施測驗後一段時間所取 得的效標之間的相關，旨在使用測驗分 數預測個人在效標方面的未來表現。
• 新編職業測驗 • 錄取後一段時間後的工作成績
效標關聯效度
以經驗性的方法，研究測驗分數與一些 外在效標間的關係，故又可稱為經驗效 度或統計效度。 如果測驗分數和外在效標的相關愈高， 表示測驗愈能有效預測外在效標。 外在效標指測驗所要預測的某些行為或 量數。學業性向測驗以學校的學業成績 作為效標。 同時效度與預測效度
同時效度
指測驗分數與實施測驗同一個時間所取 得的效標之間的相關，旨在使用測驗分 數估計個人在效標方面的目前實際表現。
多項特質--多項方法分析--獲得構
念效度證據的方法六
採用多項特質--多項方法分析的基本條件
• 必須有兩種以上的測量方法測量兩種以上的 特質，其所測量的特質均一樣。
方法：M1. 人格量表 M2. 教師評定 特質：A. 成就性 B. 社會性 C. 獨立性
多項特質—多項方法分析矩陣 特質 方法 1 方法 2 A1 B1 C1 A2 B2 C2 A1 (.77) M1 B1 .40 （.81） C1 .31 .29 （.92） A2 .59* .27 .11 （.71） M2 B2 .29 .63* .12 .37 （.78） C2 .18 .09 .68* .25 .18 （.83） （）中的數字為信度係素 * 為輻合性效度 其餘為區別性效度 相同方法相同特質: 信度 相同方法不同特質: 區別性效度 不同方法相同特質: 輻合性效度 不同方法不同特質: 區別性效度
第5章效度_PPT幻灯片
3、经验推测法
这种效度是通过实践来检验效度。如儿 童发展量表是否有效，需要经过实践调查。
（三）内容效度的特性 表面效度（重点）：是由外行对测
验作表面上的检查确定的，它不反映 测验实际测量的东西，只是指测验表 面上看来好像是测量所要测的东西。
编制测验时，表面效度需要考虑。
最高行为测验，如智力测验、成 就测验，需要较高的表面效度。
第三节 影响效度的因素
一、测验本身的因素 二、测验实施中的干扰因素 （一）主试的影响因素 （二）被试的影响因素 三、样本团体的性质 （一）样本团体的异质性 （三）干涉变量 四、效标的性质
一、测验本身的因素
如词汇和句型不能过于太难，如低年级 小学生，要用拼音和图形来注解。测验取 材、测验长度、试题类型、难度、区分度 及编排方式等都会影响效度。
• 1、如果某测验的效度系数是0.70，则在测 验中无法作出正确预测的比例是（ ）。
• （A）0.30 • （B）0.51 • （C）0.49 • （D）0.70
• 2、一个测验所测量的与所要测量的心理特 点之间符合的程度，指的就是测验的( )。
(A)信度 (B)难度 (C)区分度 (D)效度
• 3、好的效标应具备的条件包括( )。 • (A)效标测量本身必须有效 • (B)效标必须具有较高的信度 • (C)效标可以客观地加以测量 • (D)效标测量的方法经济实用
典型行为测验却要求较低的表面效 度，如大多数人格测验，如UPI中的25 题“想轻生”。
二、构想效度
（一）什么是构想效度 定义：是指测验能够测量到理论上的构
想或特质的程度，即测验的结果是否能 证实或解释某一理论的假设、术语或构 想，解释的程度如何。
建立构想效度的三步
第五章 测量效度_PPT幻灯片
第五章 测量效度
第二节 效度的估计
二、实证效度 （一）实证效度的含义、种类及作用 2 实证效度的种类和作用 预测效度表达的是测验与将来进行的效标之间的
效度关系。 预测效度用于预测某个个体将来的行为。
第五章 测量效度
第二节 效度的估计
二、实证效度 （一）实证效度的含义、种类及作用
2 实证效度的种类和作用 “某人具有这种能力吗？” “某人会有这种能
反映。 3 判断一个测量是否有效要从多方面收集证
据
第五章 测量效度
第一节 效度概述
（二） 效度的数学定义及其基本原理
回顾前面介绍的CTT的内容： 一组测验分数的总变异(S2X)包括三部分： 真实的（稳定的）、与测量目的有关的变
异(S2V) 真实的、但出自无关来源的变异(S2I) 随机误差的变异(S2E)
第二节 效度的估计
一、内容效度 （二）内容效度的确定方法 2 内容效度的统计分析方法： Cronbach提出，两测验的相关法 3再测法：
处理后的重测法
第五章 测量效度
第二节 效度的估计
二、实证效度 （一）实证效度的含义、种类及作用 1 含义：实证效度是指一个测验对处于特定情境
中的个体的行为进行估计的有效性。即以实践的 效果来作为检验标准，所以也叫效标关联效度。
联效度，是指一个测验实际测到的内容与所要测 量的内容之间的吻合程度，也即测验项目在多大 程度上表示了所要测定的特征范畴。
如，如果要从一批待业人员中挑选机床工，所用 的测验项目就应该能表明机床操作能力的范畴。
第五章 测量效度
第二节 效度的估计
一、内容效度
（一）含义及应用范围
2 内容效度通常包括欲测的知识范围，以及 该范围内各知识点所要求掌握的程度两个 方面。一般以双向细目表的形式呈现。
第8章-测量效度PPT课件
-
9
-
10
3.应该注意的几点
（1）内容效度不适合用于能力倾向测验和人格测验。 （2）在使用内容效度时要避免与表面效度相混淆。 表面效度是外行人对某个测验从表面上看好象是测某种心理特
质的一种现象。当外行人认为某个测验能有效地测得某种心理 特质时，该测验就被认为有较高的表面效度。 一般来说，最佳行为测验往往表面效度高，其他测验则希望表 面效度低。 表面效度与内容效度的区别： 表面效度不是真正的效度。
-
2
二、效度与信度的关系
（一）信度高是效度高的必要而非充分条件。
测量值(X)的变异
真变异
系统变异
随机变异
（二）测验的效度受它的信度制约：r2xy≤rxx
（三）一般来说，效度的作用比信度更重要。一个 测验如果效度很低，则信度无论多高，也是无用的。
-
4
这是一个狙击手的三 种射击结果！-5- Nhomakorabea6
这些效标可以是连续变量，也可以是离散变量；可以是自然的现成指标，
也可以是人为设计的指标；可以是主观判断，也可以是客观测量；可以
是自我评定，也可以是他人评定等- 等。
14
（三）实证效度的确定方法
1.确定实证效度的步骤
（1）明确观念效标 （2）确定效标测量 （3）考察测量分数与效标测量的关系
2.估计实证效度的方法
（1）相关法：计算测量分数与效标测量的相关。
（2）区分法：被试接受测验后，让他们工作一段时间，再根
据工作成绩（效标测量）的好坏分成两组。这时再回过头来分析 这两组被试原先接受测验的分数差异，若这两种人的测验分数差 异显著，则说明该测验有较高的效度。
的有用性程度。（吉尔伯特·萨克斯：教育和心理的测量与评价原理—— 第四版） （二）对效度概念的理解 1.效度是一个相对概念 （1）效度是相对于一定的测量目的而言的 （2）心理特质是较隐蔽的特性，只能通过他的行为表现来进行推测，因 此，心理测量不可能达到百分之百准确，而只能达到某种程度上的准确。 (3)判断一个测量是否有效要从多方面收集证据。例如：一个人的健康程 度：可从这几方面自我主诉、就诊次数、体检收集证据。 2. 效度和信度一样，也是指一列测量的特性，也是一个构想概念
第4节测验的效度课件
独生子女合群性测验
内容范围的描述
见到老师、小朋友是否主动打招呼？ 愿意自己独自玩，还是与其他孩子一起玩？ 语言较多还是较少，见生人时是否害羞？是 否大方？ 做游戏时，与人交往时，能与人合得来吗？
卡特尔16PF
16个特质，187个题目 乐群性，聪慧性，稳定性，持续性，兴奋性， 有恒性，敢为性，敏感性，怀疑性，幻想性， 世故性，忧虑性，实验性，独立性，自律性， 紧张性 分测验间关系的分析：特质间相互独立 分测验内项目关系的分析：项目相互联系
表3-1 差异量测验的双向细目表 测 验 目 标 知 识 技 能 解 释 合计 （概念） （计算） （其它） 方差 40 8 25 7 10 35 15 标准差 60 100 18 60 22 合计
测验 内容
（二）评估方法
1、专家判断法
含义
专家按测题和假设内容范围作出的符合度判断 即逻辑效度 确定总体范围 编制双向细目表； 制定评定量表；
1．对测验本身的分析——测验内方法
研究测验内部构造分析测验的结构效度。 具体方法
内容效度法 内部一致性法
分析解题的心理过程
1）内容效度法
确定取样内容范围后，利用这些资料
定义测验欲测的结构性质
韦氏智力测验
言语：常识、理解、算术、相似性、词汇、 记忆广度
操作：译码、填图、积木图案、图片排列、 图形拼凑
二、构想效度 (construct validity)
定义 确定步骤 估计方法
二、构想效度
（一）定义
构想（理论，结构）
解释行为的理论框架或心理特质的抽象概念。 心理学理论所能解释的程度
04-测验质量(效度)
例如，用全国高考的成绩作为效标来检验高中毕业会 考的成绩，计算两者之间的相关系数就是会考的同时 效度；而用大学一年级的成绩作为效标来检验高考的 成绩，计算两者之间的相关系数就是高考的预测效度
效标关联效度及其用特殊课程或特殊训练的成等； 职业兴趣测验：可采用从业人员实际工作成绩或记录；
返回
测验效度的有关问题
对内容效度，结构效度和效标关联效 度的几点总结
影响效度的因素 提高效度的方法
几点总结
1. 效度问题的研究基本上是两个问题：测量什么东 西，即测验所欲测量的性质是什么；测验对它所测 量的东西达到何种程度。
测验效度的三种主要类型都 是围绕这两方面展 开的。其中结构效度帮助我们运用测验分数解释人 的心理特质，可由结构效度研究的资料来回答测验 所测量的东西或所测量的变量的性质；效标关联效 度可用来了解测验分数能否有效地预测或估计某种 行为表现，是关于测验结果的一些实际用途的检验； 内容效度研究的问题是变量的内容范围；同时，它 又帮助我们决定测验分数能否代表某种学习结果的 成果，也是关于测验结果的一些实际用途的检验。
用测验分数和效标（准则）分数之间的相关 系数ryy来表示，它实质上是指测验对某一行为表 现的预测的高低。所谓效标是指足以显示测验所 欲测量的特性的变量，作为检定效度的参照尺度。
效标关联效度及其估计方法
同时效度（concurrent validity）是指测验 与当前效标之间的关联程度。
预测效度 (predictive validity)是指测验将来 的效标之间的关联程度。
内容效度
内容效度:
内容效度可以作为检验测验结构效度的一个 方面。举个例子，在编制一个数学测验时，编 制者主要考虑的是计数和运算能力，那么，如 果该测验具有较高的内容效度，基本上也就可 以排除测量数学推理能力这一结构的可能性。
效标关联效度及其用特殊课程或特殊训练的成等； 职业兴趣测验：可采用从业人员实际工作成绩或记录；
返回
测验效度的有关问题
对内容效度，结构效度和效标关联效 度的几点总结
影响效度的因素 提高效度的方法
几点总结
1. 效度问题的研究基本上是两个问题：测量什么东 西，即测验所欲测量的性质是什么；测验对它所测 量的东西达到何种程度。
测验效度的三种主要类型都 是围绕这两方面展 开的。其中结构效度帮助我们运用测验分数解释人 的心理特质，可由结构效度研究的资料来回答测验 所测量的东西或所测量的变量的性质；效标关联效 度可用来了解测验分数能否有效地预测或估计某种 行为表现，是关于测验结果的一些实际用途的检验； 内容效度研究的问题是变量的内容范围；同时，它 又帮助我们决定测验分数能否代表某种学习结果的 成果，也是关于测验结果的一些实际用途的检验。
用测验分数和效标（准则）分数之间的相关 系数ryy来表示，它实质上是指测验对某一行为表 现的预测的高低。所谓效标是指足以显示测验所 欲测量的特性的变量，作为检定效度的参照尺度。
效标关联效度及其估计方法
同时效度（concurrent validity）是指测验 与当前效标之间的关联程度。
预测效度 (predictive validity)是指测验将来 的效标之间的关联程度。
内容效度
内容效度:
内容效度可以作为检验测验结构效度的一个 方面。举个例子，在编制一个数学测验时，编 制者主要考虑的是计数和运算能力，那么，如 果该测验具有较高的内容效度，基本上也就可 以排除测量数学推理能力这一结构的可能性。
效度PPT精品课件
C、能力倾向测验的效标，可以是特殊课程 或特殊训练的成绩，工作或学习中的成绩。
D、职业兴趣的效标，是很难找到的，只能 按主试者的主观标准来衡量，或以被试以 后或临床资料作为效标。
（3）效标的测量。所谓效标，是成功作 为的总体观念，也可以称为观念效标。 这个概念必须加以操作上的定义才能进 行实际的测量，从而决定测验的效度。
3、香菇上长有霉菌和栽培香菇的培养基上长有霉菌，这两
种霉菌依次属于
（ B）
A、异养和自养
B、寄生和腐生
C、化能自养和光能自养
D、自养和需氧
4、在原始地球上，最早出现的生物代谢类型最可能是（ D）
A、自养、需氧
B、自养、厌氧
C、异养、需氧
D、异养、厌氧
5、存在于泥土中及正常人呼吸道内的破伤风杆
菌不会使人致病，当深而窄的伤口内感染破伤
2、根据各项教材重点和各类行为改 变的相对重要性而决定它们的权重。
3、编制一个命题双向细目表 4、根据命题双向细目表来编制测验。
A、成就测验的效标，可以是学年的平均成 绩，教师的评定结果，学习量，对所学知 识的应用能力，评判知识的批判能力，自 学能力等等。
B、智力测验的效标，可以是学科的成绩， 教师的评定结果，学生的总成绩等等。
一、效标关联效度的基本概念 1、效标 （1）效标的定义。效标的检验效度
的参照标准，它是指测验所要测量的或 所要预测的行为特质，这一行为特质通 常均以另一种测验分数或活动来表示。 （2）效标的种类和选择。教育和心 理测量中的一些常用效标有：
三、提高内容效度的方法
1、分别列出教材内容的各项重点和 所要测量的各类学习结果。
（2）效度是针对某种特殊的用途而 言的，而不可认为具有普遍性，任何测 验都是为了某种特殊的目的而设计的， 没有一种测验是对任何测量目的都是有 效的。
D、职业兴趣的效标，是很难找到的，只能 按主试者的主观标准来衡量，或以被试以 后或临床资料作为效标。
（3）效标的测量。所谓效标，是成功作 为的总体观念，也可以称为观念效标。 这个概念必须加以操作上的定义才能进 行实际的测量，从而决定测验的效度。
3、香菇上长有霉菌和栽培香菇的培养基上长有霉菌，这两
种霉菌依次属于
（ B）
A、异养和自养
B、寄生和腐生
C、化能自养和光能自养
D、自养和需氧
4、在原始地球上，最早出现的生物代谢类型最可能是（ D）
A、自养、需氧
B、自养、厌氧
C、异养、需氧
D、异养、厌氧
5、存在于泥土中及正常人呼吸道内的破伤风杆
菌不会使人致病，当深而窄的伤口内感染破伤
2、根据各项教材重点和各类行为改 变的相对重要性而决定它们的权重。
3、编制一个命题双向细目表 4、根据命题双向细目表来编制测验。
A、成就测验的效标，可以是学年的平均成 绩，教师的评定结果，学习量，对所学知 识的应用能力，评判知识的批判能力，自 学能力等等。
B、智力测验的效标，可以是学科的成绩， 教师的评定结果，学生的总成绩等等。
一、效标关联效度的基本概念 1、效标 （1）效标的定义。效标的检验效度
的参照标准，它是指测验所要测量的或 所要预测的行为特质，这一行为特质通 常均以另一种测验分数或活动来表示。 （2）效标的种类和选择。教育和心 理测量中的一些常用效标有：
三、提高内容效度的方法
1、分别列出教材内容的各项重点和 所要测量的各类学习结果。
（2）效度是针对某种特殊的用途而 言的，而不可认为具有普遍性，任何测 验都是为了某种特殊的目的而设计的， 没有一种测验是对任何测量目的都是有 效的。
心理学《效度》课件
的东西，它在测量中占的比例大小即为效度。 Val= Sco2/ St2
2、效度性质
（1) 针对某种测验结果和目的的。是针对 测量的某种特殊的用途，不具普遍性。
（2)心理测验的效度只有程度差异，而不是 “全”或“无”的差别。因而只能用“高 效”“中等”“低效”来评价。
（3）效度指标特别是（SC02）不可能直接得 到的只能是一种间接的估计。
第四节 影响效度的因素
一、测验本身的因素 1、 测验中的词汇和句型不能太难 2、 题意应当清楚。 3、 测题应当适合要测量的结果。 4、 不能提供额外线索。 5、 测题的编制合理程度。 6、 选择题的答案不能有明显的组型。 7、 测量数量（能增加效度） 8、 测验的难度要适当。
二、测验实施方面和计分方面。 测验情景：如布置、材料的准备。 实施过程是否标准。 指导语是否将答题要求说清楚，是否按时限要
2、区分法（组的分类即T检验的差异） 根据被试在准则上的表现，将其分为不同的组别，
那么这些组在预测时也应该有显著差异。如果被证实 则说明这个预测的效度较高。 3、命中率法=录取成功人数/总录取人数。 4、败成比。 失败组超过成功组均数的得分人数与成功 组超成功组均数的人数比。败成比越小，则两组差异 越大。
好的效标的特点
有效性——能反应测验的目的 可靠性——效标必须有高的信度，稳定可靠 可操作——效标可客观测量 实用性——效标的测量简单、省时省力，经济实
用
第二节 内容效度和结构效度 。
1、验证和提高内容效度的方法 ： （1）专家评定法，让一组都非常熟悉测量内容的专家，用
逻辑法判断对所研究的领域的取样（测验测题）是否具有 代表性。（这与评分者信度相同因而评分者信度可作为测 验的确良效度指标） （2）比较法：与权威测验比较,如果相关高，就具高效度。 缺点： （1） 是一种符合性判断，缺少量化指标。 （2） 专家对有关问题的不同看法和侧重点会影响内容效度 的判断。 2、编制双向细目表。 测验前要做的第一件事就是尽可能明确而详尽地规定应 测量的领域，编制双向细目表。（适用于教育测验）
测评质量检测(PPT 19页)
阅读理解
阅读理解（5篇短文） 四选一
英译汉
正确理解英语原文 并用汉语表达原文 所述内容
五段译文
短文写作
根据所给题目或素 材写出叙述、说明 或议论性的短文
一篇作文
总计
试题量 分值 权重
10
5 20 20%
10
5
20
10
10
10
10%
20
40
40%
5
15
15%
1
15
15%
76
100
100%
考试时间 35
X 37 28 49 24 81 20 X 21 09 00 01 00 25
63376
卡 52 38 89 41 85 61 70 37 76 57 85 47 61 52 60 911 测
Y 27 14 79 16 72 37 Y 04 44 21 81 25 21
59449
X 31 30 62 Y 72 74 30
四、关联效度
1，定义
指测评结果与某种标准结果的一致性程度。 根据效标结果与测评结果获得的时间是否相同可 分为同时效度和预测效度。
2，公式：（见P191）
15名被测评者两种测验分数
被 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 总计 测
自 61 53 70 49 90 45 76 56 62 60 88 68 65 50 63 956 编
⑶用逻辑的和实证的方法来验证假设（排除法、咨 询法、相关法、逻辑分析法、多元分析法）
如，韦克斯勒首先假设“智力是一个人去理解
和应付他周围世界的总的才能”，然后，他依据这 一定义，编制11个分测验从十几个方面来说明智力， 编好测验又从多个角度加以验证，最后，用因素分 析法验证，该测验实际测量了三类共同因素，即A 因素（言语理解）、B因素（知觉组织）、C因素 （记忆和注意集中）。
教育测量与评价的质量特性 效度课件
• 验证方法
– 测验内部寻找证据法
• 内容效度 • 作答过程分析 • 测验的同质性 • 因素分析法
– 考察测验的实证效度法
• 差异被试比较法 • 先后测试分析法
效标关联效度 （criterion-related validity)
• 效标：足以显示测验所欲测量的特性的变量或足 以显示测验所欲预测的特性的变量。它是用来检 验测验效度的外在的、客观的标准和尺度。
分析； • 内容效度或结构效度很好，结果效度不一
定好。
• 验证时应注意：
– 测验指导手册中对测验目标和测验效度的说明 是否合理；
– 基于测验结果，在给被试写出测验报告或推荐 书时，有关推论是否恰如其分；
– 对测验的优点和缺点是否在应用中过于夸大其 实；
– 能否把测验用到所测特性的范围之外； – 基于测验结果的解释和推论是否符合科学原理
• 应用范围：教育测量（尤其是学业成就测 验）；某些用于选拔和分类的职业测验
• 注意：不适用于能力倾向和人格测验
• 分析方法
– 逻辑分析的方法。请有关专家对测验题目与原 定内容范围的吻合程度作出判断。
– 统计分析法。从同一个教学内容总体中抽取两 套独立的平行测验，用这两个测验来测同一批 被试，求其相关。若相关高，表明测验内容效 度较高；若相关低，表示测验的内容效度较低。
用积差相关系数的方法估计效度
• 积差相关，是计算两个变量线性相关的一种方法，由英 国统计学家皮尔逊提出，因此也称为皮尔逊(Pearson)相 关。要使用积差相关必须同时具备如下几个条件：
①两个变量都是由测量获得的连续性数据，即等距或等比 数据。
②两个变量的总体都呈正态分布，或接近正态分布，至少 是单峰对称分布，当然样本并不一定要正态。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
04-测验质量(效度)
双向细返回目表举例
高中化学标准测验双向细目表
第一章 第二章 第三章 第四章
合计
识记 了解 应用 分析 综合 评价
82 10 6 2 10 3 62 4 7 2 9 12 6 5 6 5 25 28 14 22 6
合计 10 28 22 40 100
04-测验质量(效度)
效标关联效度
效标关联效度（Criteria validity）又称准则 关联效度、经验效度或统计效度或实证效度。
用测验分数和效标（准则）分数之间的相关 系数ryy来表示，它实质上是指测验对某一行为表 现的预测的高低。所谓效标是指足以显示测验所 欲测量的特性的变量，作为检定效度的参照尺度。
04-测验质量(效度)
效标关联效度及其估计方法
(3) 命中率
当用测验作取舍决策时，决策的正命中率和总命中率 是测验有效性的较好指标。其中，总命中率是指根据测 验选出的人当中工作合格的人数 ，以及根据测验淘汰的 人当中工作不合格的人数之和与总人数之比。若总命中 率高，则说明该测验的效度高。这种测验在区别合格与 不合格方面是有效的。此外，有些测验只关心被选者中 合格者有多少，而不关心被淘汰者中是否有合格者。这 时测验的效度应该用测验的正命中率来评价。所谓正命 中率的指用测验选出的人中合格者所占的比例。这个比 例越高，测验越有效。
现来进行推测
效度是测量的随机误差和系统误差的综合反映。 判断一个测验是否有效，要从多方面收集证据
rxy v2 /x2
从理论上讲，效度应该是测验分数中反应被试特质的变异 占测验总变异的比例：
04-测验质量(效度)
测验效度的估计方法
返回
• 信度高是效度高的必要而非充分条件 当随机误差的变异数减小时，真实分数的变异数 增加，测量信度随之提高；然而信度的提高只给 有效变异数提供了增加的可能性。
返回
（3）用测题与教材内容比较的方法
这需要先制两个表,一个是测验的双向细目表。 分别列出所要测验的各单元教材内容在考题中的 百分比和所要求的各种行为反应在全部反应中的 百分比。第二个表是测验试题分类表，根据各单 元教材内容列出试题，并注明该题所要求的行为 反应及其应占的百分比。然后对照这两个表，根 据各个部分相符合的程度，判断内容效度的高低。 （双项细目表举例）
04-测验质量(效度)
内容效度的估计
（1）专家评估
专家评定是一种确定内容效度的典型 程序，它要求让一组独立的专家判断测 题对所研究的领域的取样是否具有代表 性，通过这些评定资料来确定一个测验 的内容效度。
04-测验质量(效度)
内容效度的估计
这种确定过程是对测验的测题与内容范围的符合性程度的 判断。没有数量化的指标可用于描述题目与内容范围的符 合程度；并且，各专家不同的教育思想或心理学观点，对 同一内容范围侧重点的不同都会影响到对内容效度的判断， 这就涉及到评分者的信度的问题上。有时，也可以把评分 者的信度作为内容效度，因此，有时也把评分者信度称为 内容效度的一个指标。
04-测验质量(效度)
效标关联效度及其估计方法
(2) 区分法
该方法的思路是，被试接受测验后，让他们工作一段时间， 再根据工作成绩(效标测量)的好坏分成两组。这时再回过头 来分析这两组被试原先接受测验的分数差异，若这两种人的 测验分数差异显著，则说明该测验有较高的效度。
04-测验质量(效度)
效标关联效度及其估计方法
04-测验质量(效度)
内容效度及其估计方法
（2）逻辑分析法
据教育学和心理学的理论，根据教学大纲的要求， 勾画出学生应掌握知识内容的范围和深度，提出应形成 的技能名称等。然后以逻辑分析的方法估计测验在多大 程度上代表了这些内容，在多大程度上能够测量出所要 测量的特性和功能。
04-测验质量(效度)
内容效度及其评估方法续2
考察测验分数与效标分数的关系。
04-测验质量(效度)
效标关联效度及其估计方法
(1)相关法 积差相关、二列相关、或点二列相关、 四格相关和多元相关系数等。
如张厚粲教授在主持修订瑞文标准推理测验(SPM) 时，她报告的同时效度就是北京一所普通中学45名 12—15岁学生同时接受SPM和韦氏儿童智力测验得分 的相关系数，预测效度则是对北京市两所中学69名高 三学生先施测SPM，再搜集这批学生3个月后的高考 成绩，最后计算SPM成绩与高考语文、数学和总分的 积差相关。
04-测验质量(效度)
• 测验的效度受它的信度制约 当随机误差的变异数减小时，真实分数的变异数 增加，测量信度随之提高；然而信度的提高只给 有效变异数提供了增加的可能性。
04-测验质量(效度)
测验的效度估计方法 返回 一、内容效度 二、效标关联效度 三、结构效度
04-测验质量(效度)
内容效度及其估计方法
内容效度：
就是测验用的测题对整个测验内容范围的代表 性程度。或者说是指所选的条目是否能代表所要 测量的内容或主题。成就测验特别注重内容效度。
• 同时效度（concurrent validity）是指测验与当前效标之间的关联 程度。
• 预测效度 (predictive validity)是指测验将来的效标之间的关联程 度。
• 例如，用全国高考的成绩作为效标来检验高中毕业会考的成绩，计算两 者之间的相关系数就是会考的同时效度；而用大学一年级的成绩作为效 标来检验高考的成绩，计算两者之间的相关系数就是高考的预测效度
第五章
测量效度
04-测验质量(效度)
测验的效度鉴定
一 测验的效度概述 二 测验的效度估计方法 三 测验效度的有关问题04-Leabharlann 验质量(效度)测验的效度概述
定义：效度是指一个测验或量表能测出其所要 测的心理特质的程度。
效度是一个相对的概念
效度是相对于一定测验目的而言的 心理特质是较隐蔽的特性，只能通过它的行为表
04-测验质量(效度)
效标关联效度及其估计方法
效标的选择：
能力倾向测验：可以采用特殊课程或特殊训练的成等； 职业兴趣测验：可采用从业人员实际工作成绩或记录； 人 格 测 验：很难找到，只能按编制者的主观的标准来评
判，或以被试以后的行为或临床资料作为效 标。
效标关联效度的计算方法：
明确观念效标；
确定效标测量；
双向细返回目表举例
高中化学标准测验双向细目表
第一章 第二章 第三章 第四章
合计
识记 了解 应用 分析 综合 评价
82 10 6 2 10 3 62 4 7 2 9 12 6 5 6 5 25 28 14 22 6
合计 10 28 22 40 100
04-测验质量(效度)
效标关联效度
效标关联效度（Criteria validity）又称准则 关联效度、经验效度或统计效度或实证效度。
用测验分数和效标（准则）分数之间的相关 系数ryy来表示，它实质上是指测验对某一行为表 现的预测的高低。所谓效标是指足以显示测验所 欲测量的特性的变量，作为检定效度的参照尺度。
04-测验质量(效度)
效标关联效度及其估计方法
(3) 命中率
当用测验作取舍决策时，决策的正命中率和总命中率 是测验有效性的较好指标。其中，总命中率是指根据测 验选出的人当中工作合格的人数 ，以及根据测验淘汰的 人当中工作不合格的人数之和与总人数之比。若总命中 率高，则说明该测验的效度高。这种测验在区别合格与 不合格方面是有效的。此外，有些测验只关心被选者中 合格者有多少，而不关心被淘汰者中是否有合格者。这 时测验的效度应该用测验的正命中率来评价。所谓正命 中率的指用测验选出的人中合格者所占的比例。这个比 例越高，测验越有效。
现来进行推测
效度是测量的随机误差和系统误差的综合反映。 判断一个测验是否有效，要从多方面收集证据
rxy v2 /x2
从理论上讲，效度应该是测验分数中反应被试特质的变异 占测验总变异的比例：
04-测验质量(效度)
测验效度的估计方法
返回
• 信度高是效度高的必要而非充分条件 当随机误差的变异数减小时，真实分数的变异数 增加，测量信度随之提高；然而信度的提高只给 有效变异数提供了增加的可能性。
返回
（3）用测题与教材内容比较的方法
这需要先制两个表,一个是测验的双向细目表。 分别列出所要测验的各单元教材内容在考题中的 百分比和所要求的各种行为反应在全部反应中的 百分比。第二个表是测验试题分类表，根据各单 元教材内容列出试题，并注明该题所要求的行为 反应及其应占的百分比。然后对照这两个表，根 据各个部分相符合的程度，判断内容效度的高低。 （双项细目表举例）
04-测验质量(效度)
内容效度的估计
（1）专家评估
专家评定是一种确定内容效度的典型 程序，它要求让一组独立的专家判断测 题对所研究的领域的取样是否具有代表 性，通过这些评定资料来确定一个测验 的内容效度。
04-测验质量(效度)
内容效度的估计
这种确定过程是对测验的测题与内容范围的符合性程度的 判断。没有数量化的指标可用于描述题目与内容范围的符 合程度；并且，各专家不同的教育思想或心理学观点，对 同一内容范围侧重点的不同都会影响到对内容效度的判断， 这就涉及到评分者的信度的问题上。有时，也可以把评分 者的信度作为内容效度，因此，有时也把评分者信度称为 内容效度的一个指标。
04-测验质量(效度)
效标关联效度及其估计方法
(2) 区分法
该方法的思路是，被试接受测验后，让他们工作一段时间， 再根据工作成绩(效标测量)的好坏分成两组。这时再回过头 来分析这两组被试原先接受测验的分数差异，若这两种人的 测验分数差异显著，则说明该测验有较高的效度。
04-测验质量(效度)
效标关联效度及其估计方法
04-测验质量(效度)
内容效度及其估计方法
（2）逻辑分析法
据教育学和心理学的理论，根据教学大纲的要求， 勾画出学生应掌握知识内容的范围和深度，提出应形成 的技能名称等。然后以逻辑分析的方法估计测验在多大 程度上代表了这些内容，在多大程度上能够测量出所要 测量的特性和功能。
04-测验质量(效度)
内容效度及其评估方法续2
考察测验分数与效标分数的关系。
04-测验质量(效度)
效标关联效度及其估计方法
(1)相关法 积差相关、二列相关、或点二列相关、 四格相关和多元相关系数等。
如张厚粲教授在主持修订瑞文标准推理测验(SPM) 时，她报告的同时效度就是北京一所普通中学45名 12—15岁学生同时接受SPM和韦氏儿童智力测验得分 的相关系数，预测效度则是对北京市两所中学69名高 三学生先施测SPM，再搜集这批学生3个月后的高考 成绩，最后计算SPM成绩与高考语文、数学和总分的 积差相关。
04-测验质量(效度)
• 测验的效度受它的信度制约 当随机误差的变异数减小时，真实分数的变异数 增加，测量信度随之提高；然而信度的提高只给 有效变异数提供了增加的可能性。
04-测验质量(效度)
测验的效度估计方法 返回 一、内容效度 二、效标关联效度 三、结构效度
04-测验质量(效度)
内容效度及其估计方法
内容效度：
就是测验用的测题对整个测验内容范围的代表 性程度。或者说是指所选的条目是否能代表所要 测量的内容或主题。成就测验特别注重内容效度。
• 同时效度（concurrent validity）是指测验与当前效标之间的关联 程度。
• 预测效度 (predictive validity)是指测验将来的效标之间的关联程 度。
• 例如，用全国高考的成绩作为效标来检验高中毕业会考的成绩，计算两 者之间的相关系数就是会考的同时效度；而用大学一年级的成绩作为效 标来检验高考的成绩，计算两者之间的相关系数就是高考的预测效度
第五章
测量效度
04-测验质量(效度)
测验的效度鉴定
一 测验的效度概述 二 测验的效度估计方法 三 测验效度的有关问题04-Leabharlann 验质量(效度)测验的效度概述
定义：效度是指一个测验或量表能测出其所要 测的心理特质的程度。
效度是一个相对的概念
效度是相对于一定测验目的而言的 心理特质是较隐蔽的特性，只能通过它的行为表
04-测验质量(效度)
效标关联效度及其估计方法
效标的选择：
能力倾向测验：可以采用特殊课程或特殊训练的成等； 职业兴趣测验：可采用从业人员实际工作成绩或记录； 人 格 测 验：很难找到，只能按编制者的主观的标准来评
判，或以被试以后的行为或临床资料作为效 标。
效标关联效度的计算方法：
明确观念效标；
确定效标测量；