试题公平性检验

步骤三
出现下列对话框候选取下列勾选处， 后按Continue键,再按OK键。
Reliability Coefficients 5 items Alpha = 0.8457 Standardized item alpha = 0.8609
例2：某年北京市理科生的英语高考公平性 其中男、女生分别为37 802 名和30 886 名， 城区考生38 344 名，郊区考生39 326 名，分 别作为性别、城乡的研究样本。
第①小组
组 参照组R 对照组F 总计 正确 人数 2 1 3 错误 人数 0 1 1 总人 数 2 2 4 组 参照组R 正确 人数 0 2 2 错误 人数 2 0 2 总人 数 2 2 4 对照组F 总计
第③小组
正确 人数 1 1 2 错误 人数 1 1 2 总人 数 2 2 4
第②小组
组 参照组R 对照组F 总计
3 参考文献
梁某 3 张某 3
2 2
4 3
3 2
3 3
人名 曾某 晁某 王某 胡某 梁某 张某 S2i
题1 3 4 2 4 3 3 0.472 2
题2 4 3 3 4 2 2 0.666 7
题3 4 4 3 5 4 3 0.472 2
题4 3 3 2 3 3 2 0.222 2
题5 5 3 3 4 3 3 0.583 3
总分 19 17 13 20 15 13 7.472 2
用SPSS软件计算信度
步骤一 输入数据
步骤二
按【Analyze】→【Scale】→【Reliability Analysis】 将左边方格内的变项全选入右边items的方格内，在左下角 的Model框中选取Alpha后按Statistics键。
• 库德-理查逊公式（适用两级记分的测验 ） • 克伦巴赫α系数（适用多级记分的测验）
克伦巴赫α系数：
K为量表中题项的总数， S2i为第i题得分的题内方差， S2x为全部题项总得分的方差。
α ＞0.8，极好 0.6 ＜ α ＜0.8，较好 α ＜ 0.6，较差
例1：有5题问答题，每题问答题配分是5分，施 测5名学生，以下是施测结果，请计算信度。 人名 题1 题2 题3 题4 题5 曾某 3 晁某 4 王某 2 胡某 4 4 3 3 4 4 4 3 5 3 3 2 3 5 3 3 4
某匹配小组j在某题目i上人数分布情况
组 参照组R 对照组F 总计 正确人数 Aij Cij Mlij 错误人数 Bij Dij MOij 总人数 NRij NFij Tij
α
MH表示某题目的功能差异程度
α
MH
=(∑j Aij Dij/Tij)/ (∑j Bij Cij/Tij)
MH标准化为 MH)
为了便于理解，ETS将α
MH D-DIF=-2.35㏑(α
DIF显著性检验
MH D-DIF 绝对值 ﹤1 等级 A
显著性 忽略
﹥1且﹤1.5 ﹥1.5
B C
中间（修改） 显著（删除）
例3：12名考生生物选择题1的答题情况和试卷总分，据 此计算该试题的功能差异显著性。
考生 1
性别 男 对或 对 错
2
按成绩（能力）高低分成三个小组
考生 性别 试卷 总分 1 2 3 4 5 6 7 8 9 10 11 男 男 男 男 男 男 女 女 女 女 女 100 97 90 89 74 70 98 96 93 92 82 12 女 75
①
②
③
①
②
Hale Waihona Puke Baidu
③
（3）统计每个匹配小组中参照组R和目标组F在某题 目上的答对、答错人数
2 如何检验试题的公平性
2.2 技术检验 对题目进行统计学分析检验，用数据实证。 2.2. 1 信度 信度是指测量结果的稳定性程度。它能够反 映考试的随机误差大小。
重测信度 复本信度 信度 分半信度 同质性信度 内部一致性系数
评分者信度
同质性信度：也被称为内部一致性信度，它可 以用来说明考试内部所有题目之间的一致性程 度。同质性信度高说明考试所测的内容或特质 的相似性高。
大多适用于两级 记分( 0、1 记 分) 题项的DIF 检验
MACS( mean and covariance structure) 对于多级记分题项的DIF检验，Sorbom 提出了均值与协方差结构分析方法
MH分析方法
• • • • 确定参照组R 、目标组F和匹配变量 数据分组(匹配小组) 统计每个匹配小组中参照组R和目标组F在某题 目上的答对、答错人数 计算某题目的固定偏移比α MH和固定偏移比的标 准化值MH D-DIF
计算某题目的固定偏移比α 标准化值MH D-DIF
MH和固定偏移比的
MH D-DIF=-2.35㏑(0.6)=1.1749，等级B
例4：IRT 双参数的面积法和似然比检测法（IRT Likelihood Ratio Test，IRT_LR DIF），使用IRTLRDIF（v.2.0b） 软件进行DIF 分析某年高考英语听力部分
2.2. 2 试题功能差异分析 （Differential Item Functioning ,DIF）是试图 通过统计方法识别题目偏差的一种方法。通 常，试题功能差异结果可作为测验开发者进 行题目公平性判断的一个重要的标准。
功 能 差 异 分 析 方 法
卡方 MH STAND SIBTEST 逻辑斯蒂回归方法 I ＲT CFA 等
3
4
5
6
7
8
9
10 11
12
女 错 75
男 男 男 男 男 女 女 女 女 女 对 错 错 对 错 对 错 对 对 对
试卷 100 97 90 89 74 70 98 96 93 92 82 总分
（1）确定参照组R 、目标组F和匹配变量
参照组R：男生 目标组F：女生 匹配变量：试卷总分数 （2）数据分组(匹配小组)
试题公平性检验
1 试题公平性
（1）没有偏向 （2）一视同仁 （3）结果平等 （4）学习机会平衡
2 如何检验试题的公平性
2.1 内容分析 在某亚群体考生中是否有一定数量的考生 专门对某一题目提出质疑。
例1：2013年6月高考结束后，没有一个 考生就某道生物试题提出诉求。 例2：（中国汉语水平考试(HSK) ）“在 中国的医院看病,首先需要__号”。