量化评价法

第三节 问卷法
一、问卷设计
（一）明确评价目的 要设计问卷对学生进行评价，必须首先明确 具体的评价目的，包括评价对象（即目标群体， focus group）、评价内容、相关的专家对该评 价提出的好想法 。
第三节 问卷法
（二）问题的类型
问卷中问题形式的设置可以分为开放式、封闭式 和半封闭半开放式三类。
第二节
二、测验的信度
测验法
影响信度的因素主要有： （1）测验本身所引起的误差。 （2）测验的实施所引起的误差。 （3）学生自身因素所引起的误差。
第二节
二、测验的信度与效度
测验法
测验的效度（validity）：测验结果中所包含欲测
ቤተ መጻሕፍቲ ባይዱ
特质的信息量的程度和对所要测验的特质准确测 量的程度，就是测验的有效性和准确性，即效度。 效度的测量： 1.内容效度(content validity) 2.效标关联效度(criterion-related validity) 3.结构效度(construct validity)
第三节 问卷法
三、案例分析 四、问卷数据的统计分析
（一）集中量数 （二）差异量数 （三）标准分数 （四）相关量数 （五）均值比较与检验 （六）方差分析 （七）回归分析
第四节 实验法
一、实验法 （一）实验研究方法的特点和类型 实验研究方法是研究者在主动控制条件下对事物 的观察，它能对所观察的事物进行因果说明。此 研究方法的特点是：第一，带着特定的目的；第 二，设置条件，做好充分准备；第三，可重复； 第四，可以确定因果关系。 （二）实验研究的设计和程序 （三）举例分析
第五章 量化评价法
量化评价方法 ：通过将评价内容化为可以量
化的数量，经过测量这些相关数据，并以量化统 计方法来分析结果数据，最终达到评价目的的一 种方法。
信度：一种量化评价方法的稳定性和可靠性，
即在同样条件下重复测量，其结果具有的一致性 的程度。
效度：一种量化评价方法的有效性，即测量结果
（三）问卷的用语
问卷的指导语要清晰、简洁，以简短的话语说明 问卷的目的、作答方式以及所需要的时间。 问卷用语尽量本土化。 在问卷题目中要避免情绪性词语、负载性问题 （loaded questions）、引导性问题（leading questions）、一题多问（double questions）以及假 设性问题（hypothetical questions）。
中包含欲测特质的信息量的程度。
重点问题
量化评价方法的概念 信度和效度的概念与测量
进行量化评价的具体方法及其运用
各种量化评价方法的异同 借助统计分析软件对数据进行统计
第一节 量化评价法概述
一、量化评价的方法论来源
（4）元素分析原则 （5）还原论 （1）经验证实原则
实证科学 （2）客观主义原则
第二节
测验法
二、测验的效度 影响效度的因素主要有： （1）测验组成方面 （2）测验实施方面 （3）被试主观状态方面 （4）估计效度所依循的效标 （5）样本方面
三、测验的项目分析——难度与区分度
项目的难度 1.难度的概念：难度是指测验试题的难易程度 2.难度的计算 （1）客观题难度的计算 在教育测量中，客观题的难度一般用正确回答试题的人数与 参加测验的总人数之比值来表示。
（3）方法中心原则
（6）描述性与数量化
第一节 量化评价法概述
二、量化评价法 量化评价方法：
通过将评价内容化为可以量化的数量，经过测量这些相关数据， 并以量化统计方法来分析结果数据，最终达到评价目的的一种方 法。
量化统计方法：
一般量化统计方法——频数、中位数、众数、百分比等。 进一步分析数据——运用方差分析、假设检验、因素分析、 相关分析、回归分析等。 选取何种方法进行量化分析主要取决于评价内容和评价目的。
i
hi li
i
i
hi
li
i
三、测验的项目分析——难度与区分度
（二）项目的区分度 1.区分度的概念 （2）采用相关计算方法 计算学生各题得分与考试总分的相关系数 r。区分度 系数一般情况亦为(O≤r≤l)。r越趋向于1，说明学业 水平高的学生考试成绩也高，学业水平低的学生考试成 绩也低，即所谓正区分；r越趋向于0，说明学业水平不 一的学生考试成绩没有差异即所谓零区分；区分度系数 有时会出现负相关，r<0，说明学业水平高的学生反而 考试成绩低，学业水平低的学生反而考试成绩高，即负 区分。
第二节
一、主要的测验类型 诊断性测验 成绩测验 学能(学习能力)测验
测验法
第二节
二、测验的信度与效度
测验法
测验的信度：测验是否有价值，就必须考察测验的
质量，包括它的稳定性、可靠性，即在同样条件 下重复测量，其结果的一致性。 信度的测量： 1.分半(split-half)信度 2.内部一致性（α系数） 3.重测信度（test-retest methods） 4.复本信度（alternate-form reliability）
三、测验的项目分析——难度与区分度
2.区分度与测验信度、难度的关系 （1）区分度与信度的关系 （2）区分度与难度的关系 3.提高区分度的方法。 第一，使题目的难度适中，使整个考试难度适中。 第二，要着重考查复杂的学习结果，提高区分度。
第三节 问卷法

通过问卷（questionnaire）进行调查的研究 方法，在心理学、社会学、人类学等领域都被广 泛运用，因为这种方法能够在比较短的时间内收 集到尽可能大的被试样本的资料和内容，可以说 在量的角度上有比较大的优势。
第四节 实验法
二、准实验研究 （一）准实验研究的特点：准实验研究是介于真实验研
究和非实验研究之间的研究，对无关变量的控制比非实验 研究严格，但是不如真实验研究对无关变量的控制得严格， 通常没有对被试随机抽样，可以设计控制组，但是实验组 和控制组的背景条件不能保证相同。
（二）举例分析
第五节 其他量化评价方法
R P = —— N 式中，P为试题的难度，R为正确回答客观题目的人数，N为
参加测验的总人数。
三、测验的项目分析——难度与区分度
（一）项目的难度 2.难度的计算 （2）主观题的难度的计算。 主观题的难度等于该题考生所得分数的平均值与该题应得的 满分之比。以P 表示试题的难度， 其计算公式是： P =X /f (i=1,2,…,Q) 式中，X 为各题考试分数的平均值，f 为各题的满分值，Q为 试题个数。
复习思考题
1.信度和效度分别指什么？如何检验测验的 信度与效度？ 2.如何进行测验的项目分析？ 3.设计问卷时需要注意的问题有哪些？应如 何解决？ 4.运用实验法进行评价时，如何理解自变量、 因变量和无关变量？三者的关系如何？ 5.简述常用的数据分析与统计方法。
一、运用评价量规进行学生评价
评价量规（rubric）是一种评分工具，包含了对某 项任务的评价标准，通过对各标准的评分对教学进行评价。
（一）评价量规的设计 （二）评价量规的使用及案例
第五节 其他量化评价方法
二、基于案例推理的智能学生评价方法
案例推理基本流程图
第五节 其他量化评价方法
三、可拓评价方法
第三节 问卷法
二、问卷数据的收集 在问卷正式使用于大量的调查之前，首先要做小样本 的测验，包括对问卷用语的规范性、通俗性、明确性以及 结合统计分析对问卷题目的设计作相关的信度和效度的检 验等，都是确保调查能在更大程度上达到评价者的目的， 也使评价者能够作出更科学合理的评价。 （一）现场问卷法 （二）电话访谈法 （三）面谈问卷法 （四）邮件问卷法
i i i i i i
三、测验的项目分析——难度与区分度
3.难度对测验的影响
（1）测验难度影响测验分数的分布形态 （2）测验难度影响测验分数的离散程度 （3）测验难度影响测验的鉴别能力
4.测验的适宜难度 5.控制题目难度的基本方法
三、测验的项目分析——难度与区分度
（二）项目的区分度 1.区分度的概念：区分度是指测验对考生实际水平的区分程 度，区分度又叫鉴别力。它是评价试题质量，筛选试题的 主要指标与依据。 区分度的计算方法有两种： （1）将学生按其考试总分排序，取高分之27%定为高分组， 取低分之27%定为低分组，然后分别计算高分组和低分组 考试分数的平均值，按以下公式计算各题的区分度： d =(X -X )/f (i=1,2,…,Q) 式中，d 为第i题的区分度，X 为第i题高分组的平均分值， X 为第i题低分组平均分值，f 为第i题的满分，Q为题目 数。