5.测试与测试理论

第三节 测试数据应具备的特性（经典测量理论）
❖ 数学期望
▪ 在概率论和统计学中，一个离散性随机变量的期望 值（或数学期望、或均值，亦简称期望）是试验中 每次可能结果的概率乘以其结果的总和。换句话说， 期望值是随机试验在同样的机会下重复多次的结果 计算出的等同“期望”的平均值。
第三节 测试数据应具备的特性（经典测量理论）
❖3 例 ❖ 某次考试共有60人参加，其中A学生得分为80，
而在80分以下共有45人 ❖ 计算得A学生的百分排位=100*45/60= 75 ❖ 即 A学生的成绩居于75% 的学生以上。 ❖4 应用：对于不同测试人数、不同得分范围的排
位进行标准化
第四节 测试数据的变换
二 线性变换与标准得分 ❖ 1 原始分 （xi） ❖ 2 线性变换
3 实际信度系数的估算（原因：P115）
第三节 测试数据应具备的特性（经典测量理论）
三 信度系数的估算 1 再测信度
（1）定义：用同一份试卷先后两次对被试团体进 行测量，求其相关系数（跨时间的一致性：又称为 稳定性系数）
（2）计算公式：
第三节 测试数据应具备的特性（经典测量理论）
即用相关系数表示其信度系数。 （3） 应用：时间间隔的确定
第三节 测试数据应具备的特性（经典测量理论）
❖ 2 经典测量理论研究的问题 ❖ ①个体：难度、区分度； ❖ ②团体：信度、效度
第三节 测试数据应具备的特性（经典测量理论）
❖一 测试的误差模型
❖1 测试误差的产生
❖2 测试得分
xi=ti+ei
❖3 误差的平均值
（改错）
4 测试得分的平均值
第三节 测试数据应具备的特性（经典测量理论）
第四节 测试数据的变换
一 百分排位 ❖ 1 定义：将取得某一得分的学生，按照被试团
体人数为100人的排名位置（从低到高：即第1名最 低、第100名最高） ❖ 2 计算方法： ❖百分排位 = 100 * 累积频度/被试总人数 ❖注：累积频度是指，在给定的分数以下（含自身） 的人数累积
第四节 测试数据的变换
❖
此外，还可以通过非线性变换，得到非线
性标准分（教育测量：P232）
A：80 88 90 76 66 89 98 70 87 88 B：70 78 80 86 76 88 88 72 77 86
第二节 测试数据的统计测度
❖2 相关系数 ❖ (1)用协方差表示多个测试间相关程度的困难：
P113 ❖ (2)相关系数 ❖ 现有被试人数为N，每人经两门课程测试，其
得分为： xi , yi(i=1 , 2 ,,,, N)
通常不等值）； ❖ 理论：CTT理论（见后）； ❖ 适用：小规模的分散测试、评价。
五 集团基准测试和达到基准测试
❖1 集团基准测试(NRT：Norm Referenced Test) ❖ 定义：测试被试集团的统计性质； ❖ 计算项目：频度分布、平均值、方差、标准差等； ❖ 测试结果：集团的相对性。 ❖2 达到基准测试 ❖(CRT：Criterion Referenced Test) ❖ 定义：测试被试达到某种基准的程度； ❖ 计算项目：被试的正答率(得分)等； ❖ 测试结果：个体的绝对性(达到或未达到)。
程度，它是克伦巴赫等人在1954年提出的。 ❖（2） 步骤： ❖ 从某一理论出发，提出关于某一心理行为假设； ❖ 设计和编制测验项目，并进行测验； ❖ 对测验的结果采用相关或因子分析进行分析，验证
与理论假设相符的程度。
第三节 测试数据应具备的特性（经典测量理论）
第四节 测试数据的变换
❖ 对一般测试数据进行判断的困难：P118
第二节 测试数据的统计测度
(3)γxy的取值范围：-1≤γxy≤1 几个极端情况：
γxy = 1，两门课程成绩是完全正相关，用一个分数 可表示另一个分数； γxy = -1，两门课程成绩是完全负相关，也可用一个 分数可表示另一个分数； γxy = 0，两门课程成绩完全不相关，无法用一个分数 表示另一个分数。
入学后成绩 68 66 81 99 75 91 75 80 80 69 72 63 91 84 92 73
（后者为效标，平均X1=78.875
X2=78.6875）
计算结果=0.67
第三节 测试数据应具备的特性（经典测量理论）
❖ 3构成概念的妥当性（构想效度、构造效度） ❖（1）定义：是指测验对理论上的构想或特质的测量
❖（1）定义：以某一种测验分数与其效标分数之间 的相关程度
❖ （2）效标：能够显示或反映欲测量的属性的变量 ❖ （3）计算方法（计算其相关系数）
第三节 测试数据应具备的特性（经典测量理论）
（4）例
学生编号
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
大学入学成绩77 59 90 98 66 85 69 84 72 76 88 75 95 84 79 65
教育信息处理
第五章 测试与测试理论
第五章 测试与测试理论
❖ 本章学习要点
▪ 经典第测试五理章论 测试与测试理论
▪ 项目反应理论
❖ 本章内容结构
▪ 测试及其分类 ▪ 测试数据的记述与处理 ▪ 项目反应理论
第一节 测试的意义与分类
❖测试的目的：是实现个人、集团的技能、知识、 能力与适应性的测定。
❖狭义测试：针对具体的技能、知识、能力适应性 的测试；
❖ 广义测试：针对心理特性的测试。 ❖ 测试与评价的关系。
❖ 测试的分类：
❖一 机器测试与传统测试 ❖ 1 机器测试 ❖ 机器：收音机、录音机、电视机、计算机等 ❖ 测试功能：主要用于智能测试和适应性测试
❖ 2 传统测试 ❖ 测试工具：纸张（笔试） ❖ 测试功能：主要用于学力测试和各种心理测试
二 客观测试与主观测试
第二节 测试数据的统计测度
一 平均值、方差、标准差 ❖ 1 平均值（被试人数为N）
第二节 测试数据的统计测度
❖2 方差 ❖ 方差表示各个被试得分的分散程度。
A：80 88 90 76 66 89 98 70 87 88 B：70 78 80 86 76 88 88 72 77 86
第二节 测试数据的统计测度
第四节 测试数据的变换
❖4 其它标准得分 ❖ 进一步对z得分进行变换：
第四节 测试数据的变换
❖如果A > 0 ，则有Sy = ABiblioteka Baidu
❖ 可得到：平均值为B，标准差为A的标准得分：
❖
标准得分 = A•Zi + B
❖ 常用的标准得分：(部分省高考录取采用CEEB标准分)
❖ T得分： B=50 ，A=10；
2 平行测试法（复本信度） （1）定义：根据同一被试团体在两个等值测验（两套等
值试卷）上的得分，计算其相关系数 说明：P116
（2）计算公式：同再测信度 （3） 应用：关键是设计两套试卷。
第三节 测试数据应具备的特性（经典测量理论）
3 折半信度 （1） 定义：按正常的程序实施测验，然后将全 部试题分成相等的两半，被试团体在这两半上的分 数之间的相关系数 （2） 分半的方法：通常采用奇偶分半法 （3） 公式：同再测信度 （4） 校正：由于分半信度得到的是一半试卷的 信度，计算结果一般偏低，故需校正
❖ 1评分的客观性 ❖ 即测试的评分不会因为评分者不同而不同 ❖ 2客观测试 ❖ 题型，是非判断题、多重选择题、匹配题等； ❖ 评分标准：明确、客观。 ❖ 3主观测试 ❖ 题型：客观题型以外的有关题型，如问答题、论述
题、求解题甚至填空题； ❖ 评分标准：模糊、主观。
三 综合测试与分析测试
❖1 综合测试 ❖ 测试目标：只有一个； ❖ 测试目的：综合评定其教育价值； ❖ 实例：课程期末考试、学生升学考试、培训结业考
单独数据的数学期望值算法 ❖ 对于数学期望的定义是这样的。数学期望 ❖E(X) = X1*p(X1) + X2*p(X2) + …… + Xn*p(Xn) ❖ X1,X2,X3,……,Xn为这几个数据，
p(X1),p(X2),p(X3),……p(Xn)为这几个数据的概 率函数。
第三节 测试数据应具备的特性（经典测量理论）
第四节 测试数据的变换
3 标准得分 ❖ 在线性变换中，设：
标准z分数为：
第四节 测试数据的变换
❖ 而z得分的平均值为0，方差为1，即：
z a x b x x 0
Sx
Sx
S
2 z
a
2
S
2 x
(
1 Sx
)
2
S
2 x
1
改错：（5—19）：P120
Z分数的优点：可以使分数等距；
Z分数的缺点：变换后有的得分为负值
❖ CEEB得分：B=500，A=100；(大学入学考试公告）
❖ IQ(离差智商)得分：B=100，A=15;(教育测量：P248)
❖ 应用：对于实际测试的得分，只有变换成标准得分， 才有可比较性。
第四节 测试数据的变换
❖ 5 几种得分的对应关系
第四节 测试数据的变换
❖ 注：以上变换得到的标准分，都是通过线性变 换得到的，都是线性标准分
行为范围取样的适当程度 ❖ （2）应满足的两个条件： ❖ 取样的覆盖范围合理、适当； ❖ 所选项目是该范围的典型代表。 ❖ （3）确定内容效度的方法 ❖ 专家判断法(定性的方法)； ❖再测法:在教学之前先测验一次，在教学之后再测
验一次
第三节 测试数据应具备的特性（经典测量理论）
❖2 基准关联的妥当性（效标关联效度、统计效度、 准则关联效度）
5 测试得分的真值与误差之间的协方差 由于测试得分的真值与误差之间是相互独 立的，它们之间的协方差为零：
第三节 测试数据应具备的特性（经典测量理论）
❖ 6 测试得分的方差（两项之和）
❖ （两处改错）
第三节 测试数据应具备的特性（经典测量理论）
二 测试的精度与信度 1 测试的精度（一致性） 2 信度系数 ❖ 定义：真值的方差与测试得分方差之比，即
试、全民公决等。 ❖2 分析测试 ❖ 测试目标：多个； ❖ 测试目的：分别评定其教育价值； ❖ 实例：多个单元测试、多个候选人竞选等。
四 标准测试与非标准测试
❖ 1 标准测试 ❖ 基础：具有测试相同特性的标准题库（分数等值）； ❖ 理论：IRT理论（见后）； ❖ 适用：大规模的同一（统一）测试、评价。 ❖2 非标准测试 ❖ 基础：个人根据某项要求设计的小型测试（分数
第三节 测试数据应具备的特性（经典测量理论）
❖ 经典测量理论 ❖（CTT： Classical Test Theory) ❖1 CTT的三个假设： ❖ ① 测 验 的 观 察 分 数 X, 可 看 作 真 分 数 T 和 测 验 误 差 分
数E的线性组合,即：X=T+E ； ❖ ②误差分数的数学期望为0； ❖ ③任何两次测验所产生的误差相互独立。
❖3 标准差 ❖ 它是方差的开平方
A：80 88 90 76 66 89 98 70 87 88 B：70 78 80 86 76 88 88 72 77 86
第二节 测试数据的统计测度
❖ 二 协方差和相关系数 现有被试人数为N，每人经两门课程测试，其得分
为：xi,yi(i=1,2,,,,N) 1 协方差 若两门课成绩是正（负）相关，则协方差为正（负）值 若两门课成绩不是线性相关的，则协方差的值近似为0
此外，还可以有其它的校正公式。（参考有关教 育测量的教材）
第三节 测试数据应具备的特性（经典测量理论）
四 妥当性（效度） 效度：测量的有效性（准确性）的程度 效度与信度的关系：可信的测验不一定
有效，但有效的测验一定可信
第三节 测试数据应具备的特性（经典测量理论）
❖1 内容的妥当性（内容效度） ❖（ 1 ） 定 义 ： 是 指 测 验 项 目 对 欲 测 的 内 容 或
我们举个例子，比如说有这么几个数： 1，1，2，5，2，6，5，8，9，4，8，1 ❖ 1出现的次数为3次，占所有数据出现次数的3/12,这个
3/12就是1所对应的频率。同理，可以计算出f(2) = 2/12,f(5) = 2/12 , f(6) = 1/12 , f(8) = 2/12 , f(9) = 1/12 , f(4) = 1/12 根据数学期望的定义： ❖ E(X) = 1*f(1) + 2*f(2) + 5*f(5) + 6*f(6) + 8*f(8) + 9*f(9) + 4*f(4) = 13/3 ❖ 所以 E(X) = 13/3, 现在算这些数的算术平均值： ❖ Xa = (1+1+2+5+2+6+5+8+9+4+8+1)/12 = 13/3 ❖ 所以E(X) = Xa = 13/3