测验效度

4.提高内容效度的条件 ①研究者能够把握所测内容领域的全貌； ②研究者能够从所测内容领域中科学地抽样 （选择项目）； ③可能做成多份平行测验。

5.评价内容效度时的注意以下几点： ①特定性：测验编制者与使用者定义的范围一致时有意义， 时间性要求 ②抽象特质：如态度等满足条件①较难。 ③防止表面效度的影响 表面效度是指测验试题和形式等在外形上给人的主观印 象，它并不是一种真正的效度，它不具有技术效度 (technical validities)之性质，不能反映测验实际测量的 东西。或者说这是外行们对内容的主观评价，而内行们 更注重的是项目内容与测量目的、内容总体间的逻辑关 系。
所选效标的性质：效标不同，测量效度就 不一样。慎重选择相关系数的计算公式。 测量的信度：信度低一定会影响效度

2.提高测量效度的方法 精心编制测验量表，控制系统误差； 妥善组织测验，控制随机误差； 创设良好的应试环境 适当增加测验长度 扩充样本的容量和代表性 选择正确的效标
效标分类：
①同时效度(concurrent validity):效标与测验同时 获得 例如：查字典测验—预测目前学生使用字典的 技能。 ②预测效度(predictive validity):将来的结果作为效 标 例如:高考成绩与新生入学一学期成绩 相关高 高考的预测效度好 常用效标：学业成就、实际工作表现、临床诊 断等
④不同特质不同方法的测量（discriminant validity区分效度或判别效度）
rA1B 2, r A1C 2, rB1C 2, rB1A2, rC1A2, rC1B 2
表6-4 多特性多方法矩阵表
语文 客观测验 语文 客观测验 主观测验 数学 客观测验 主观测验 A(.83) B(.53) C(.37) D(.16) 主观测验 B A(.78) D(.20) C(.31) 数学 客观测验 C D A(.86) B(.64) 主观测验 D C B A(.76)


例如: 学生毕业时要掌握3000个单词 教师开始编制50个字词测验 这50个字词能代表3000个单词的拼写能力 这个测验具有较高效度
3.确定内容效度方法 ①专家判断：测验的内容能够在多大的程度上反 映了事先确定了的教育目标 Step1.为了确保内容效度，事先作出2维表； step2.项目的抽出(见下表) Step3.请专家们独立审查所制作的测验能否体现 出懂行的专家认为重要的那些知识的技能。
例1
以某一个数学测验结果为例 高的数学计算能力效度 低的数学推理能力效度 中的未来数学成就预测效度 对艺术与人文无预测效度
效度的分类


二十世纪70 年代根据美国教育与心理学 会(APA) 等联合决定整理为三种效度： （French & Michbel,1966） 内容效度：评估测验项目是否能充分代表 某个行为领域或所关注的特性。 结构效度 ：通过测验分数来推断被试在 某一特殊的心理建构上的表现。 实证(效标关联)效度： 通过测验分数来预 测被试在实际中重要的行为变量上的表现。
•0.22
•0.05 •0.17 •0.68 •0.70 •0.66 •0.57 •0.58
•0.68
•0.67 •0.68 •0.24 •0.11 •0.15 •0.20 •0.10
从这张因素负荷表中我们可以看到工作满意度量表测出两 个特质：对本职工作的满意度与对职场的满意度。
②多特性多方法矩阵的方法

效度的特点：
(1)效度是指“测验结果”正确性的程度，而不是 指“测验(工具)”结果的一致性。 (2)效度不是全有或全无，而是程度的差别（高效 度、中效度、低效度） (3)效度有多种定义, 大多是针对某种特殊的用途 而言,具有相对性，不能认为具有普遍性。（一 项测验可以同时具有好几种效度，每一种效度 各代表不同的意义。）
信度高→效度高
? 效度高→信度高
√
效度高，信度高
×
信度高，效度低
第二节 内容效度
1.内容效度（content validity)：是指一个 测验实际测到的内容与所要测量的内容之 间的吻合程度。即依据测量目的来制定所 要测量的内容或行为领域。 2.应用：主要应用在成就测验，测量被试 掌握某种技能或学习某门课程所达到的程 度。不适用于能力倾向测验和人格测验。

信度？、效度？
信度？、效度？
信度？、效度？
信度？、效度？
①同一特质相同方法的测量（即信度系数）
rA1A1, rB1B1, rC1C1, rA2 A2, rB2B2, rC 2C 2
②同一特质不同方法的测量（convergent validity相容效度或收敛效度）
rA1 A2, rB1B 2, rC1C 2
③不同特质相同方法的测量
rA1B1, rA1C1, rB1C1, rA2 B2, rA2C 2, rB2C 2

第三节 结构效度

1.结构效度（construct validity，也称建 构效度) ：是指一个测验实际测到所要测 量的理论结构和特质的程度。或测验分数 能够说明教育与心理理论的某种结构或特 质的程度。
2.建立结构效度的步骤 ①提出理论假设； ②根据假定结构拟定测题，编制测验； ③以测验结果为根据来验证假设结构中的各 种因素是否成立。

理论建构 概念或特质 编制测验并实施 效度高 结果证明特性
3.适用范围：主要用于智力测验、人格测验等。 4.结构效度的确定方法： ①因素分析法：是确定心理特质的一种方法。通过对 测验结果进行因素分析，寻找影响测验分数的公共 因素。主因素分析法或方差极大法得到的因素负荷 正好是各项目与公共因素的相关系数，有时也称因 素负荷为因素效度。因素分析法的目的是把一些具 有错综复杂关系的因素归结为数量较少的几个综合 因素或称共同因素，并以此测验所测之特质对测验 分数作出解释。
2
4
4
10
8假设检验
2
4
4
10
9方差分析 10非参数法 项目数总计
4 3 25
3 3 30
1 3 25
2 1 30
10 10 100
表6-2 台湾地区某初中的统考内容
章 节 单元名称 1-1 因子与倍 数 1-2 质因子分解 1-3 最大公 因子与 最小公 倍数 2-1 2-2
分数的加法， 分数的除法 减法与乘法
概念认知
1-1，2-1 2-2 1-3，2-1
1-2，2-5
1-9
概念理解
1-4，1-7 3-1， 3-1 2-8，3-2
2-3， 2-4， 2-3， 2-4 3-3 1-8
1-5 2-6，2-9
技能知识 问题解决
2-7
1-6，2-10
②统计分析： 一组被试进行两次独立抽样的测验，计算 相关系数。若高→推论有内容效度。 ③经验性应用 例如研究小学五年级学生的计算能力，如 果测验中只有加减法的计算是不行的

表6-1 统计学测验项目分配表
测验内容 1统计方法的特点 测 知识 5 验 理解 3 目 应用 标 分析 2 总计 % 10
2数据的整理 3集中度与离散度 4相关与回归 5概率与样本抽出 6概率分布
3 2 2 3 3
2 2 2 5 6
4 4 4 1
1 2 2 1 1
10 10 10 10 10
7估 计
效度公式:

效度是测量目的有关的方差与总方差的比率.
r
2 xy 2 SV 2 SX

2.效度与信度的关系
rxx
2 rxy 2 ST 2 2 2 , ST SV S I2 SX 2 2 SV ST S I2 S I2 2 rxx 2 2 SX SX SX
2 rxy rxx

以测量工作满足度为例。在编制测验前经商讨需用两个维度： 个人职业种类的满足度和工作环境的满足度。在数学上 我们假定： X a f a f dU
1 1 2 2
表6-3 工作满意度调查因素分析表
•项目
•1你很想争先恐后地做好现在的工作。 •2.你觉得现3 •0.22
•第2 •因素
•0.54 •0.55
•3.你觉得现在的工作能充分体现你的价值。
•4.你做现在的工作时感到很高兴。 •5.你在现在的工作中能充分发挥你的创造力。 •6.你所在的单位团队精神很强。 •7.你在单位中能够畅所欲言。 •8.你在单位中和同事们一起工作时心情舒畅。 •9.你在单位中遇到难题时能无顾虑地请教别人。 •10单位里的同事们能重视自己的意见。
A：同方法测同特质(重测信度) B：不同方法测同特质(收敛效度) C：同方法测不同特质 D：不同方法测不同特质(区分效度) 相关系数的高低应为：A>B>C>D。
第四节 实证效度


1.实证效度(criterion-related validity，也称效 标关联效度 ) ：是指一个测验对处于特定情 境中的个体的行为进行估计的有效性。 效标：是衡量一个测验是否有效的外在标准。 举例:用高考成绩预测大学生的学习成绩 用能力倾向测验预测个体工作上的成效

☆效度评价的多面性
一个小学算术测验用于不同目的的效度分析
⑴一个科学的测验需要多个效度证据来考察； ⑵必须明确本测验测量的对象，达到何种程度， 有无提高原来同类 测验的效度； ⑶在编制测验题时要贯穿效度的指导思想。
第五节 影响效度的因素及提 高效度的方法

1.影响测量效度的因素：与测量目的无关的、稳定的和 不稳定的变异来源均会影响测量效度。 测验的构成：测验目的性不强；语义不清、指导语不明、 题目太难或太易、题目太少、题目排版不当等。 测验的实施过程：不按照要求作题、意外干扰、环境、 灯光、评分计分出现差错等。 接受测验的被试：应试的动机、情绪、态度、身体状况 等。 被试团体的同质性：年龄、性别、文化程度、职业、经 济地位等。考虑被试样本的异质性。