试卷的质量分析

ɑ信度系数解释（Nunaally,1967）
考试的效度
• 效度（Validity）即有效性，它是指测量工具或手 段能够准确测出所需测量的事物的程度。或者简 单地说是指一个测验的准确性、有用性。 • 内容效度：指的是测验实际测到的内容与所要测 量的内容的吻合程度。请有关专家对测验题目与 原定内容的符合性做出判断，看测验的题目是否 代表规定的内容。 • 效标效度：指两个测量相同心理结构的考试的相 关系数。例如，如果某一考试测量的是考生的阅 读能力，那么另一考试也应该测量考生的阅读能 力。效标：先前有效的测验等。
试题的难度
• （3）适用于主、客观试题的计算公试 P＝（PH+PL）÷2（PH、PL分别为试题针对高分组和 低分组考生的难度值）具体步聚为： A:将考生的总分由高至低排列 B：从最高分开始向下取全部试卷的27%为高分组 C：从最低分开始向上取全部试卷的27%为低分组 D：按上面公式计算 • 例如 ：一次历史考试中，在100名学生中高低分组各有27 人其中高分组答对第一题（选择题1分）的有20人，低分 组答对第一题的有5人。这道题的难度为： PH＝20÷27＝0.74 PL＝5÷27＝0.19 P＝（0.74+0.19）÷2＝0.47

1 ( n 1) r
r 为试题间平均相关系数
Cronbach ɑ 信度系数
• 3.如过要确定每道试题对整个考试的信度系数的贡 献，可以每次删除一道试题，重新计算ɑ信度系数。 若信度系数增加，则说明该道试题与其它试题相关 系数就不太高；若信度系数减小，则说明该道试题 与其它试题相关系数比较高。
Leabharlann Baidu
例4 某校为了研究学生自学能力与学业成绩之间的关
系，随机抽取10名学生的自学能力和学科成绩，见表，求
其相关系数。
序号 1 2 3 4 5 6 X（能力） 90 85 70 85 90 80 等级 3.5 7 10 7 3.5 9 Y（成绩） 88 80 80 79 95 70 等级 4 6 6 8 2.5 10 D -0.5 1 4 -1 1 -1 D2 0.25 1 16 1 1 1
相关系数
相关程度 负相关 正相关
低 中
高
-0.29到-0.10 -0.49到-0.30
-1.00到-0.50
0.29到0.10 0.49到0.30
1.00到0.50
相关系数划分建议（Cohen,1988）
相关系数
5.相关系数反映的关系： 1）可能是一个变量确定了另一个变量。试题得分与 考试总分 2）两个变量是某一共同因素的相关效应。考生学科 能力 3）两个变量测量了某种共同的行为特征。英语写作 和英语阅读都间接测量了英语语言知识
试卷的质量分析
1 试题的难度 试题的区分度 试卷的信度
2 3 4
试卷的效度
试题的难度
• 难度系数反映试题的难易程度。P越大表示试题越 简单，P越小表示试题越难。 • 一般认为，试题的难度系数在0.3－0.7（0.2-0.8） 之间比较合适，整份试卷的平均难度系数最好掌 握在0.5左右，高于0.7和低于0.3的试题不能太多。 • 一般来说难度系数在0.3－0.7的试题为中等试题， 低于0.3的为难题，高于0.7的为容易题。 • 整个试卷的难度等于所有试题难度的平均值。
1.表示两个顺序变量之间相关关系的一种非参数相关系数。 2.表达式： 6 D
r 1
s
2
n ( n 1)
2
其中：D为两个变量秩序之差，n为样本容量或数据对数目 3.基本假设：如果两个变量高度相关，那么他们的数据排序 应该相同或相似。 4.适用于三种情况：1）两个变量均为顺序量表数据时；2） 一个变量为顺序量表数据，另一个变量为等距量表数据时， 应将等距量表数据转换为顺序量表。3）当数据明显呈偏 态分布时。 5.若遇到同分的情况：少则平均秩次；多则进行校正。
解：（1）求答对第二题的比率p和答错的比率q： p=10/15=0.67 q=1-p=0.33 (2)求 X p 和 X q ，分别为答对和答错第二题学生成绩的平均数：
X
p
87.2分
X q 82.4分
87 .2 82.4 7.597 0.297 rpb 0.67 0.33
D＝PH－PL （PH、PL分别为试题高分组和低分组
的难度值。） PH、PL的计算方法同上。 • 例 如：一次历史考试中，在100名学生中，高低分组各 有27人，其中 高分组答对第一题（选择题1分）的有20人， 低分组答对第一题的有5人，这道道的区分度为： D=PH-PL =20÷27-5÷27 =0.74-0.19 =0.55
试题的区分度
• （1）主观性试题(非选择题)的区分度计算 D=(XH-XL) ÷N · (H-L) XH表示高分组学生的总得分数(一般取27%) XL表示低分组学生的总得分数 N表示总参考人数 H指该题的最高得分,L表示该题的最低得分
试题的区分度
• (2)客观性试题区分度的计算公式（选择、判断题）
考试的效度
• 结构效度：是指测量结果体现出来的某种结构与 测值之间的对应程度。所采用的方法是因子分析 法。 • 因子分析的基本目的就是用少数几个因子去描述 许多指标或因素之间的联系，即将相关比较密切 的几个变量归在同一类中，每一类变量就成为一 个因子（之所以称其为因子，是因为它是不可观 测的，即不是具体的变量），以较少的几个因子 反映原资料的大部分信息。
试题的区分度
• 教育考试中用试题与量表总分的相关系数作为试 题的区分度。 • 3.如果区分度较小，并不一定说明试题不好。导 致区分度偏低的原因可能有：1）样本大小；2） 试题的难度，当题目的难度为中等时，区分度最 高；3）试题本身的问题；4）学校教学或考生学 习方面可能存在问题。
相关系数
• 相关系数：是统计学上用来定量的表示两个或多个，两组 或多组变量相关关系的统计量，用r表示，相关系数总是 介于-1到+1之间。 1.正值表示正相关关系（具有相同的变化趋势）；负值表示 负相关（具有相反的变化趋势）。 2.绝对值大小表示相关的程度。r=1表示完全正相关；r=0表 示完全没有关系；r=-1表示完全负相关。 3.当r越接近于1或-1时，两个变量的取值越沿着一条直线分 布。 4.两个变量之间高相关并不一定意味着两者之间一定存在因 果关系。
(3) 求σx,所有考生的总分的标准差： σx=7.597(分)
考试的信度
• 信度是指测量过程的准确性和精确性，教育考试 中是指不同次实施相同或等值考试产生结果的一 致性，并以不同次考试结果的相关系数作为测试 的信度系数。 • 教育考试中通常采用三种方式评价测试的信度： 1）重复同一测试 2）实施等值测试或平行测试 3）用单一测试结果评价其信度——将试卷分成两 个或多个等值部分，计算不同部分的相关系数； 或者采用内部一致性方法，即Cronbach ɑ 信度 系数
试题的区分度
• 试题区分度反映试题区分不同水平受试者的程度。 • 整个试卷的区分度是所有试题区分度的平均值。
区分度在－1至+1之间，值越大区分度越好。 D≥0.4时，说明此题能起到很好的区分作用。 0.3～0.39的区分度较好。 0.2～0.29表明此题的区分度不太好，需要修改。 0.19以下表明此题的区分度不好，应淘汰。
试题的难度
• （1）主观试题计算公式： P＝平均分X÷满分M（用于写作，语文阅读探究等题） 例：第五大题平均为7.5分，此题满分值为10分，则第 五大题的难度P＝7.5÷10＝0.75 • （2）客观题计算公式 P＝答对该题的人数K÷参考总人数N（用于选择、判断 等题） 例：第1小题选择题满分是4分，全班50名学生中有20名 学生答对，则第1小题的难度计算：P=20/50=0.4 平均分=4×20÷50=1.6，P=平均分÷满分值=1.6÷4=0.4
ɑ 信度系数
0.9或以上
0.8到0.9 0.7到0.8 0.6到0.7 0.5到0.6 小于0.5 解释
信度很好，达到了最高的标准化考试水平
对学校测试而言，已经是非常好了 对学校测试而言，大部分试题都很好；可能有少数试题需要改进 信度偏低，部分试题可能需要改进 信度低，建议对试卷进行修改 信度有问题，考试基本无效
试题的区分度
• (3)主、客试题计算公式 D＝（27%高分组的平均分－27%低分组的平均 分）÷满分值 • 例如（期中英语）：第六大题高分组平均分为 9.4分，低分组平均分为3.4分，满分为10分。该 题的区分度为： D＝（9.4－3.4）÷10＝0.6 对一个试题的考试成绩采用不同的方法计算所得到 的区分度的值是不同的。
Pearson 相关系数（积差相关系数）
1.它是两个正态分布、线性相关、连续变量相关关系的一种 参数测度。实际上是两个变量标准化了的协方差。 2.可用于计算主观题的区分度 3.定义式： ( x x )( y y )
r
xy
(x
x)
2
( y
y)
2
协方差
标准差
Spearman 相关系数（秩序相关系数）
r
ab
p
q
s
pq
x
式中：p、q表示二分变量的比例，比如答对率、答错率。 x x 表示二分变量对应的总分的平均分，比如 答对/答错同学的总分平均分。 表示试卷总分的标准偏 x 差。
p q
s
例6 随机抽取某区初二数学期末考试卷15份，
试计算第二题的得分与总分相一致的程度，即试
题的区分度。
学生序号 第二题得分 总分 1 1 69 2 0 71 3 1 79 4 0 86 5 0 87 6 0 87 7 1 81 8 1 89 9 0 81 10 1 92 11 1 91 12 1 93 13 1 92 14 1 93 15 1 93
Cronbach ɑ 信度系数
• 1.表达式：一般表示方法
n 1 s ( ) n 1 s
2 i 2
式中：n为试题数；si为试题的标准偏差；s为总分的标准偏 差。 • 2.这种方法实际上就是将考试中所有试题间相关系数的平 均值(又称内部一致性)作为ɑ信度系数。 nr • 标准化形式：
7
8 9 10
85
100 87 92
7
1 5 2
75
98 80 92
9
1 6 2.5
-2
0 -1 -1
4
0 1 0.25
rR 1
6 D 2
N ( N 2 1) 6 25 .5 1 0.85 10100 1
∑
25.5
点二列相关系数
1.适用于一个变量为正态、连续变量，另一个变量为二分变 量，即按事物的性质划分为两类的变量。 2.多用于选择题、是非题的区分度分析。也可用于其它变量 间的相关性分析，比如，物理成绩与性别的相关性。 3.计算公式： x x