心理测量 第六章 项目分析
第六章 测验的项目分析
• 信度和效度分析是对测验质量的整体评价。 • 项目分析是对测验中每一个测题的质量进 行的分析。 • 项目分析的目的是通过分析改进项目统计 量进而提高测验的信度和效度。 • 项目分析包括分析质的分析和量的分析。
第一节 项目的难度
一、难度的意义
• 难度一般是指测验项目的难度,当然 也可指一个测验的难度。后者是其所 包含的所有测题难度的综合指标。我 们这里所讲的是项目的难度。 • 从心理学角度看,难度是被试在作答 项目时心智操作感到的难易程度。
• 提出者 – 美国测验学家:伊贝尔(L. Ebel)
测题鉴别指数与评价标准
区分度(D) 0.40以上 0.30-0.39 评 价
非常良好 良好,如能改进则更佳
0.20-0.29
0.19以下
尚可,仍需再改进
劣,必须淘汰或加以修改
极端组的划分
• 高低组的比率介于25%---33% • 标准化测验采用27% • 样本人数过少时,可以用50%作为分界点。 • 此方法只利用了一部分信息,精确性差一 些。
(二)非0、1记分项目
X P X max
某题的 平均得分
该题的 满分值
例4-4:某试卷中一 论述题为20分,10 名参加测验者得分为 10、18、14、8、 18、3、14、10、 9、8。试问该题的 难度是多少?
112 X 11 .2 10 11 .2 P 0.56 20
• 2、极端分组法
三、区分度与难度的关系
• 难度是区分度的必要条件
– 难度愈接近.50,试题区别作用愈大。 – 较难项目,对高水平被试区分能力高 – 较易项目,对低水平被试区分能力高
– 中等项目,对中等水平被试区分能力高
心理测量学第六节 心理测验的编制程序
❖ 常用的心理测验常模有百分位常模,标 准分常模,发展常模及商数等。
例:16PF成人的男常模
编制测验说明书
❖ 测验的目的与功用 ❖ 测验的理论依据 ❖ 测验实施方法 ❖ 测验的标准答案和计分方法 ❖ 常模资料 ❖ 测验的基本特征(信度、效度等)
瑞文标准推理测验(目的与功用)
❖ (Raven's Standard Progressive Matrices简称 SPM)是英国心理学家瑞文(J.C.Raven)1938年设 计的非文字智力测验。
能力。 ❖ (5)机械记忆——对事物进行强记的能力。 ❖ (6)知觉速度——准确迅速观察和识别事物的能力。 ❖ (7)一般推理——根据已知判断推出未知判断的能力。
目标分析三种情况
❖ 工作分析 ❖ 对特定概念下定义 ❖ 确定测验的具体内容
描述性的显示 测验,目标分 析的主要任务 是确定显示的 内容和技能, 从中取样。
二、预测和项目分析
❖ (一)预测 ❖ (二)项目分析
预测应注意问题
❖ (1)预测对象应取自将来正式测验时准备施用 的群体,虽然人数不必太多,但要具有代表 性。
❖ (2)预测的情境应力求同正式测验的情境一致。 ❖ (3)预测的时限可以适当延长,以便每一受测
者都能将题目做完。 ❖ (4)施测者应对受测者的反应加以记录。
目标分析三种情况
对于选拔和预测功
❖ 工作分析 (job analysis)
用 的预测性测验. 两个步骤:一是确 定哪些心理特征和
行为可能使要预测
❖ 对特定概念下定义 的活动成功,二是
建立衡量被试是否
❖ 确定测验的具体内容 成功的标准。
目标分析三种情况
❖ 工作分析 ❖ 对特定概念下定义 ❖ 确定测验的具体内容
心理测量学第六章-测验题目性能与题目编写(项目分析).PPT
③选择题适合考查较低层次的能力,如识记能 力、较低的理解能力等,而不宜考查较高层 次的能力,如综合能力、创造性和独立思维 能力。
一、区分度的定义
(一)定义 ❖ 测验项目对所测量的心理特性水平差异的区分能力或鉴别。 (二)作用 ❖ 测验是否有效度的“指示器”。 ❖ 若区分度高,则水平高者得分高,水平低者得分低;若区分
⑤行为情景判断题设问方式一般有四种形式: 一是要求受测者选择最优行为项,二是要求 受测者选择最差行为项,三是要求受测者同 时选择最优和最差行为项,四是要求受测者 针对每一行为项的有效性做出评价。应根据 实际选择具体方式。
第二节 测验题目的难度与难度控制
一、难度的定义 二、难度的计算 三、测验难度水平的确定 四、难度的等距变换 五、测验的难度对测验分数分布的影响
的差异等于第2题和第3题间的差异。 (二)解决方式:等距变换,即把难度P转换成标准分数Z。 ❖ Z分数(0,+1σ)约占全体人数的34%,(1σ,2σ)间占全体人数的
13.5%。 ❖ 项目A通过率为84%(难度为0.84),难度值为-1σ。 ❖ 项目B通过率为16%(难度为0.16),难度值为+1σ。 ❖ 项目C通过率为50%(难度为0.50),其难度为0。
②论述题和计算题不仅能够考查考生较低层次的能 力目标,而且能够比较好地考查较高层次的能力 目标。
③论述题和计算题能够反映考生的思维过程,因而能 比较有效地考查考生接受信息、鉴别和选择信息的 能力,分析、推理、综合应用知识的能力,能鉴别 出考生对问题解决的程度。
心理测量学 第六章 项目分析
题目B的方差为3.88,
3 . 88 6 . 89 0 . 29 ;
CV
由于题目满分较高,所以,题目A的方 差大于题目B的的方差,但变异系数却 是题目B大于题目A。题目B的区分能 力优于题目A,这一点可以直观地从这 一组简单的数据中看出。当数据数目 较多的时候,就难以直观地看出,需 要借助统计手段。
AD - BC
A B C
D A C B D
A=在测验和效标中均通过的人数 B=在测验上通过而在效标未通过的人数 C=在测验上未通过而在效标上通过的人数 D=在测验和效标中均未通过的人数。
φ相关系数的显著性考验公式为:
0 . 05
1 . 96 N
(一) 方差 方差是标准差的平方,是反映一组数据离散程度的指 标。一个题目得分的离散程度越高,鉴别能力自然也 较高,因此,方差可以作为区分度的一种指标。 请看题目和题目的得分: A:6 5 4 4 3 3 3 3 3 2 2 1 0 B:4 3 3 3 3 3 3 3 3 3 3 3 2
难度差的计算公式
D Ph Pl
D=鉴别指数 Ph=高分组难度(通过率) Pl=低分组难度(通过率)
(六)题目特征曲线
另一种简单、形象的题目区分度分析方法是绘 制题目特征曲线。题目特征曲线反映了题目的 通过率与效标(或测验总分)之间的关系。
第三节 难度与区分度的关系
我们以通过率P作为难度的指标,以方差
度
一、难度定义与计算 难度是题目的难易程度 的指标。难度(Df)以正 确回答的人数在全体受 测者中的比例来定义。
《心理测量学》全套精品课件 第六章
CP=P-q/K-1
(6.11')
式中CP为校正后通过率,P为实际通过率,K为
备选答案数目;q=1-p。
如果要比较两个选项数目不同的测题难度, 必须应用公式(6.11)分别将两个测题的难度 进行校正,然后才能进行比较分析。
例:有A、B两个测题,项目A为四重选择题, 通过率为0.58;项目B为五重选择题,通过率 为0.56;试比较两题的难度。
3.φ 相关 ad-bc
rφ= √(a+b)(c+d)(a+c)(b+d)
4.积差相关
三、区分度与难度的关系
难度(P) 1.00 0.90 0.80 0.70 0.60 0.50 0.40 0.30 0.20 0.10 0.00
区分度(D) 0
0.20 0.40 0.60 0.80
1 0.80 0.60 0.40 0.20
四、对选择项的反应模式注意从 以下几个方面进行分析:
(一)如果正确的备选答案被所有的受测者所选择, 说明该项目太容易或者可能是项目中提供某种暗示, 使正确答案过于明显。
(二)如果某个错误答案没有任何被试选择,则说 明该项目不具有迷惑性,错得过于明显,除增加阅读 时间外,不起任何作用。一般说来,除非有2%以上的 人选择,否则该备选答案应该修改或删掉。
公式(6.11)是对全体被试而言的,即根据被试团体 在某项目上的通过率而计算校正难度。
若对某个被试来说,参加由多个项目所组成的测验, 同样有必要对他们的得分进行校正,以求出能反映出 他真实水平的校正分数,校正公式只需将公式(6.11) 稍作变换即得下式: S=R-W/(K-1) (6.12) 式中S为校正后的得分,R为被试答对的项目数,W为 被试答错的项目数,K为项目的选项数目。
第六章心理健康与社会适应能力的测量与评价
第二节 心理健康测量工具的编制
? 虽然从事心理健康测量工作并不一定要编制心 理健康测量工具,因为测量用的工具可向专门 机构订购或直接从市场上购买,但如果想使心 理健康测量工作开展的有声有色,就少不了测 量工具的制作。
? 心理健康测量中典型的测量工具是测验或量表。
一、编制心理健康测验的操作流程
一般地,编制心理健康测验的流程主要由以下6个环节构成。 1.确定测验的目的; 2.确定测验的性质; 3.确定测验的内容; 4.建立测验的指标体系; 5.编写和筛选题目; 6.对测验的标准化处理; 7.对测验的技术分析和鉴定; 8.编写测验指导书。
1.从统计的角度来确立标准; 2.从症状角度来确立标准; 3.从内心体验的角度来确立标准; 4.从解决问题能力的角度来确立标准。
由此看来,单从某一种角度来确 立心理健康的评判标准,是很难满足 心理健康测量的需要的。比较明智的 做法是,多变换些角度,用多种标准 来考察,效果将会好得多。
二、不同年龄阶段心理健康的测量
?
心理症状发生率与外在压力成正比,而与个体的自我强度成反比。
综上所述,社会适应与心理健康具有密切关系。
二、社会适应能力测量
社会适应能力测量的目的旨在了解被试者 在自然条件下所表现出来的对社会成熟度、与 学习能力有关的行为等。测量的方法主要有: 临床谈话法、实验法、社会测量法和问卷调查 法。前两种主要用于低龄儿童和有生理缺陷人 群的研究,用得比较普遍的是社会测量法和问 卷调查法。
? 适应行为量表;
? 卡特尔十六种人格因素量表;
三、社会适应能力的评价
(一)心理健康的模式 (二)社会智力的模式 (三)社会胜任力的模式 (四)自我监督的模式 (五)压力应对的模式
四、社会适应不良及自我调节
心理测量 第6章 项目分析
Q=1-P
二、难度的计算方法
(一)二分法记分的项目
PH PL P 2
高分组——总分前27%的人组成的小组 低分组——总分最后27%的人组成的小组
(二)非二分记分的项目
X P 100% X max
难度的校正公式
在是非题或选择题中,由于有猜测的 成分,被试的得分可能被夸大,不能真 正反映测验的难度,为平衡机遇对难度 的影响,可用吉尔福特的公式矫正:
第一节 项目的难度
一、定义
难度( difficulty ),顾名思义,是指 项目的难易程度。难度分析主要用于最高 作为测验。在典型作为测验中,不存在难 易问题,一般称“通俗性”。
R P 100 % N
P值越大,表示题目越简单;数值大小
与实际的含义恰好相反,准确地说,应该
叫“易度”。因此有人用未通过率或者答
DP i Pu
说明:PH为高分组在某项目上的通过率
PL为低分组在该项目上的通过率
确定的标准,测验结果只与既定标准比较
而不在被试之间作比较。因此,测验分数
的变异性不是标准参照测验的必要条件。
所以,常模参照测验的项目分析方法不完全适用ຫໍສະໝຸດ 标准参照测验。1.难度分析
由于标准参照测验的目的是为了考察被 试对某方面的知识技能的掌握情况,因此, 只要能反映教育目标或者教育者认为重要 的内容,无论其难度为多少,都可以编入 测验。 例如,我们在教学开始之前,为了了解 学生的准备状态所进行的前测,多数题目 将产生很低的通过率,但这些题目应该保 留,因为它们表明了哪些东西需要学习。
如果高分组对正确答案的选择与低分组相
等或者低于后者,说明所考察的东西与水 平无关;
心理测量的复习大纲
心理测量的复习大纲心理测量大纲.第一章:第一节一般测量概述1、测量的概念:依据一定的法则使用量具对事物的特征进行定量描述的过程。
2、影响测量精确的因素:一、测量对象本身的性质。
①确定型(物体的长度)。
②随机型(人的短时记忆容量)③模糊型,即事物本身的量是模糊不定的(人的性格特征)二、测量的精确度取决于测量工具的精确性。
3、根据测量的性质和不同的特点,可以将不同形式的测量大致分为4种类型。
①物理测量:及对事物物理特征的测量。
长度,重量等。
②生理测量:对机体生理特征的测量。
如对动植物各种化学成分含量的测量。
③社会测量:即对社会现象的测量,如人口普查。
④心理测量:对人的心理特征的测量。
如智力、人格测量。
4、任何测量都必须具备两个基本要素:参照点和测量的单位。
其中参照点分为绝对参照点和相对参照点。
5、测量的量表:能够使事物的特征数量化的数字的连续体就是量表。
量表可以分为四种:①命名量表:用数字代表事物或用数字对事物进行分类。
命名量表又分为名称量表(用数字指代个别事物)和类别量表(用数字指代事物种类)。
②顺序量表:按照事物的大小,等级,程度而排列数字的量表。
③等距量表:不仅能够指代事物的类别,等级而且具有相等的单位。
等距量表的数字是一个真正的数量,这个数量中各个部分的单位是相等的。
因此可以对其进行加减运算。
等距量表没有绝对的零点。
它的零点是人们假定的相对零点。
对于等距量表的两个数不能进行乘除运算。
④比率量表:除了具有类别、等级、等距的特征外,还有绝对的零点。
第二节心理与教育测量的性质1.、心理与教育测量的定义:依据一定的心理学和教育学原理,使用测验对人的心理特质和教育成就进行定量描述的过程。
其独特的性质:①心理与教育测量依据的法则在很大程度上只是一种理论,很难达到如同物理测量依据的法则那样普遍被人们接受的水平。
②心理与教育测量的对象是人的心理特质和教育成就。
③心理与教育测量的量具市有关领域的专家编制,经过长期的试用,修订,完善而逐渐形成的标准化测验。
戴海崎《心理与教育测量》(第3版)课后习题(第4章 测量信度——第6章 测验的项目分析)【圣才出品】
第4章测量信度1.各种信度系数所对应的误差来源是什么?答:信度主要包括重测信度、复本信度、分半信度、同质性信度、评分者信度,各种信度系数所对应的误差来源分别简述如下:(1)重测信度系数对应的误差来源重测信度是指用同一个量表对同一组被试施测两次所得结果的一致性程度,其大小等于同一组被试在两次测验上所得分数的皮尔逊积差相关系数。
除去主试,施测环境和被试等方面的误差,它的独特误差来源主要有:①施测过程中所产生的遗忘和练习效应;②在两次施测的间隔时间内,被试在所要测查的心理特质方面获得了学习机会。
(2)复本信度系数对应的误差来源复本信度是指两个平行的测验测量同一批被试所得结果的一致性程度,其大小等于同一批被试在两个复本测验上所得分数的皮尔逊积差相关系数。
它的误差来源有:①不能获得严格意义上的平衡测验;②施测过程中产生的顺序效应和迁移效应;③在两次施测的间隔时间内,被试在所测量的心理特质上获得了学习机会。
(3)分半信度系数对应的误差来源分半信度是指将一个测验分成对等的两半后,所有被试在这两半上所得分数的一致性程度。
它的误差来源是:不同的分半方法的分半信度不同,可能是由于将测验分为相平行的两半的方法不同而产生误差。
(4)同质性信度系数对应的误差来源同质性信度也称内部一致性系数,它是指测验内部所有题目之间的一致性程度。
克龙巴赫α值还是所有可能的分半信度的平均值,它只是测量信度的下界的一个估计值。
即,α值大,必有测量信度高;但α值小时,却不能断定测量信度不高。
它的误差来源产生于题目是否同质,这包括两个方面:①所有题目都测的是同一种心理特质;②所有题目得分之间都具有较高的正相关。
(5)评分者信度系数对应的误差来源评分者信度是指多个评分者给同一批人的答卷进行评分的一致性程度。
在心理与教育测量工作中,客观题的评分很少出现误差,但主观题的评分常常会造成误差。
它的误差来源主要是多个评分者之间的个体差异,对相同答案的不同评定,这种个体差异不可能完全消除,只能最大程度低依赖正规的测查程序和统计方法来减小它。
心理与教育测量第六章
特 其分数式中别。:代表PPH 和高 低PHP分L2组分PL答别对代人表=数高(R,分H/组NNH与H和+低NRLL分分/N组别L)的代/2通表过高率低。分组RH总和人RL
编辑ppt
6
举例:请分别用通过率法和高低分组 法计算下列两题难度
编辑ppt
7
计算公式
其中p、q为答对和答错的人数比率。 和答错该项目的被试的总分平均数, 准差。
与 对应于答对 为所有X 被p 试X总q 分的标
x
编辑ppt
17
举例:请计算该题区分度
编辑ppt
18
(二)二列相关
适用范围
题分和总为均为连续变量,但人为地将其中一个变量 (既可以是总分,也可以是题分)区分为二分变量(例 如,将总分为及格和不及格两类)。
心理与教育测量
编辑ppt
1
第六章 测验的项目分析
测验项目的难度 测验项目的区分度分析 猜测问题与猜测率 多重选择题的项目分析
编辑ppt
2
第一节 测验项目的难度
难度的意义 项目难度的计算 测验难度水平的确定 难度的等距变换 难度对测验的影响
编辑ppt
3
一、难度的意义
难度分类
项目难度和测验难度。本章主要讲项目难度。
2、对于正确答案
主要考察高分组和低分组被试在正确答案上的选答率是否是 正差,及这一差距是否足够大。只有当高分组和低分组被试 在正确答案上的选答率是正差,且这一差距足够大时,这时 题目质量较佳。
编辑ppt
43
3、对距是否足够大。只有当高分组和低分组被试在正确 答案上的选答率是负差,且这一距差足够大时,这时干扰项 的设置比较合理,否则干扰项设置不合理,应对干扰项进行 删除或修改。
项目分析-心理测验的项目分析
RH和RL为高分组和低分组通过该项目的人数; NH和NL分别为高分组合低分组的人数。
项目的难度- 计算
2、非二分法记分的项目
1)用被试得分平均数估计 :适用于答案不止两种结果,且分数有多种可能性的简答题、论述题等题型。
公式:
➢ 当样本较大(>100)或分数分布式正态分布时,一般按照 高低分组各取27%规律进行。
➢ 当样本小(<100)时,则不易用27% 规则,可以把上下 半被试直接作为高低分组。
项目的区分度- 计算
1965年,美国测验专家伊贝尔根据长期的经验提出用鉴 别指数评价项目性能的标准,如下表所示:
鉴别指数(D)
➢ 但是Z分数有小数点和负值,便是难度又不便之处,需要进一步转换, 最常见的是美国教育测量中心(ETS)所采用的以Δ(delta)作为难度指标:
转换公式:
Δ=13+4Z
Δ为难度指标;Z为标准分数;13为转换公式的平均值; 4为转换公式的标准差。
项目的难度
- 难度与测量的关系
➢ 由于Z分数大部分的数值都包含于±3之间,因此可知:
主要包括:
定性分析 包括考虑内容效度,题目编写的恰当 性和有效性等;
定量分析 主要是指项目的难度和区分度的测量;
项目的难度 - 定义
定义:难度的指项目的难易程度。 通常以通过率表示,即以答对或通过该题的人数的百分比来表示:
P=R/N
P: 题目的难度(更准确地说应该是易度) R:被试正确回答或通过题目的人数 N:参加测验的所有被试
评价测验项目的区分度高低依赖于对被试水平的准确测量, 一般称为效标分数。
戴海崎《心理与教育测量》笔记和课后习题详解(测验的项目分析)
第6章测验的项目分析6.1 复习笔记一、测验的难度(一)难度的定义难度是指测验项目的难易程度。
(二)难度的计算测验的计分方法不同,项目难度的计算方法也有所不同。
1.二分法记分项目的难度(1)通过率如果不考虑被试作答是猜测成功的机遇,二分法记分测验项目的难度通常以通过率来表示,即以答对或通过该项目的人数的百分比来表示:。
式中,P代表项目难度,N为全体被试数,R为答对通过该项目的人数。
以通过率表示项目的难度时,通过人数越多,P值越大,其难度越小;通过人数越少,P值越小,难度越大,题目越难。
(2)极端分组法当被试人数较多时,则可以先将被试依照测验总分从高到低排列,分成三组,总分最高的27%被试称为高分组(),总分最低的27%被试为低分组(),分别计算高分组和低分组的通过率,然后求项目的难度。
式中分别表示高分组和低分组的通过率;表示高分组和低分组通过该项目的人数;分别代表高分组和低分组的人数。
2.非二分法记分项目的难度对于论述题,每个项目不只有答对和答错两种可能结果,而是从满分至零分之间有多种可能结果。
对这类项目,常常用下面的公式来计算其难度。
式中x为被试在某一项目上的平均得分,为该项目的满分。
(三)测验难度水平的确定进行难度分析的主要目的是为了筛选项目,项目的难度水平取决于测验的目的、项目形式以及测验的性质。
(1)如果测验的目的是为了了解被试在某方面知识技能的掌握情况,可以不必过多地考虑难度,只要教育者认为重要的内容就可以选用,甚至那些100%通过或通过率为0的项目都可以采用。
(2)如果测验的目的是用于选拔录用人员,就应该将项目的难度控制在接近录取率左右,即较多地采用那些难度值接近录取率的项目。
(四)难度的等距变换通过率P无法指出难度之间差异的大小,对于作进一步的难度分析带来了困难,必须设法将它转换成等距量表。
(1)当样本容量很大时,测验分数将接近正态分布。
此时,可以根据正态分布曲线表,将试题的难度P作为正态曲线下的面积,转换成具有相等单位的等距量数,即Z分数。
心理测量第六章测量效度
在心理学上,所谓构想是指用来解释人 类行为的理论框架或心理特质,它是心理 学中抽象的假设性的概念、特性或变量。 如智力、焦虑、内向、动机、创造性等都 可称为构想。
构想效度主要涉及的是心理学的理论概念 问题,是指测验对某一理论上的构想或特 质测量的程度,即测验的结果是否能证实 或解释某一理论的假设、术语或构想,解 释的程度如何。
3.考察测验的同质性可以为评估构想效度 提供证据。
这种方法以测验的内在一致性系数(比 如库德—理查逊的K-R20、K-R21公式以及 α系数等)为指标,判断测验测的是单一性 质还是多种性质,看它与所预期的结构的 相符度,也就是测验的同质性问题,从测 验的一致性就可以为构想效度提供证据。
(二)测验间方法
四、效度与信度的关系
(一)高信度是高效度的必要而非充分 的条件
(二)测验的效度受它的信度制约
信度系数的平方根是效度系数的最高限 度
第二节 内容效度
一、内容效度的性质 二、确定内容效度的方法 三、内容效度的特点 四、内容效度的应用与评价
一、内容效度的性质
内容效度指的是测验题目对欲测的有关 内容或行为范围取样的适当性,从而确定 测验是否是所欲测量的行为领域的代表性 取样。即测验用的测题对整个测验内容范 围的代表性程度。由于这种测验的效度主 要与测验内容有关,所以称内容效度。
(一)测验内方法
这类方法主要是通过研究测验内部构造 (如测验的内容、对题目作反应的过程、 以及题目间或分测验间的关系)来分析测 验的构想效度。
主要包括:
1.测验的内容效度可以作为构想效度的证 据。
对测验所取样的内容或行为范围确定后, 就可利用这些资料来定义测验所要测的构 想效度的性质。即确定了测验的内容效度 便提供了有关构想效度的证据。
戴海琦《心理与教育测量》习题答案
第一章心理与教育测量概论1、与物理测量相比较,阐明心理测量得特点。
3、如何才能证明心理测量得必要性与可能性?ﻫ解答要点:1。
(1)心理与教育测量依据得法则在很大程度上只就是一种理论、ﻫ(2)心理与教育测量得内容就是复杂得,内隐得,其测量只能就是间接得、ﻫ(3)心理与教育测量定量分析得精确度很低。
3.(1) 从心理与教育测量得理论基础来瞧,心理测量就是可能得、ﻫ(2)人得心理现象与知识水平如同其她一切物理现象一样就是有差异得,这种差异既有质得方面,也有量得方面,因此有必要测定出这些差异得数量。
1。
简述”心理特质”得含义、第三章经典测量理论得基本假设ﻫ2。
心理测量得误差来源主要包括哪些?ﻫ3。
CTT模型及其假设得重要内容就是1。
心理特质指表现在一个人身上所特有得相对稳定得行为方式,什么?ﻫ答案要点:ﻫ就就是人得心理特质。
(1)特质就是一组具有内部相关得行为得概括,具有一定得抽象性。
ﻫ (2)特质就是可以综合不同刺激,使人对这些刺激做出相同得反应"、(3)特质就是一个人身上比较稳定得特点。
(4)特质分多个层次有机组合而成得。
(5)可以对人得行为进行某种预测。
2.心理测量得误差主要来自3个方面:测量工具、被测对象与施测过程。
3、CTT模型就是:经典测验理论假定,观察分数(记为X)与真分数(T)之间就是一种线性关系,并只相差一个随机误差(记为E)。
即:X=T+E其主要内容为:(1)若一个人得某种心理特质可以用平行得测验反复测量足够多次,则其观察分数得平均值会接近于真分数、ﻫ(2)真分数与误差分数之间得相关为零、ﻫ(3)各平行测验上得误差分数之间相关为零。
ﻫ第四章测量信度1、指出各种信度系数所对应得误差来源。
3。
已知某态度量表用道题,被试在各题上得分得方差分别就是0、80,0、81,0.79,0。
78,0。
80,0、82,测验总分得方差为16.00,求α值、ﻫ4。
怎样提高测量信度?解答要点:ﻫ1。
第六章项目分析
3.分数正偏态分布是说明测验较难还是相 对比较容易?
分数分布形态:负偏态
『想一想』负偏与难度关系?
1.大家想一想,测验分数分布是负偏态分 布,说明了什么情况?
2.大部分被试的得分是比较高还是比较低 ?
3.分数负偏态分布是说明测验较难还是相 对比较容易?
2.负偏态分布:即大多数被试的得分集中 在高分端,说明题目偏易,应该增加一些 较高难度的项目。
分数分布形态:正态
六、难度水平的确定
项目的难度水平多高合适,取决于测验的 目的以及测验的性质。
1.当测验为教育测验和总结性测验时,可 以不过多考虑难度,只要教育者认为重要 的内容就可选用。
2.当测验目的是选拔录用人员时,难度视 录取率而定。
现已知有80人参加某一个测验,其中答对 第一题的人数是32人,答对第二题的人数 是48人。
请问: 1、这两道题的难度差距是多少?
第二节 测验的区分度 Test discrimination
一、区分度的意义:项目的效度
(一)区分度(discrimination):又称 鉴别力,是指测验项目对被试心理品质水 平差异的区分能力或鉴别能力。
题组成的,其中第一题上端27%的被试 P=0.75,下端27%的被试P=0.35,它的鉴 别力多大,该题可以接受吗 该怎样作答?
3.项目特征曲线:
1.00
A
通 0.50 过 率
0.00
低
B
C D
中
高
能力
项目特征曲线分析:
题号
1 2 3 4
质量评价
? ? ? ?
态度
? ? ? ?
项目特征曲线分析:
一、难度的意义
6心理测量 第六章 经典测验理论——效度
练习题
5、已知rxx=0.31 rxy=0.42,如果需要吧效度系数 提高到0.65,那么测验的长度需要增加几倍? 6、假设某学者自编了一套智力测验,并在几十万人 中进行了使用,那么该测验是否有效? 7、假设使用某种测验选拔员工100人,经过一段时间 的工作检验,得到一下四组数据,正确接受42人, 正确拒绝34人,错误接受10人,错误拒绝14人,请 算出该测验选拔的总命中率
四、影响效度的因素
严格的说,凡是与测量目的无关的因素都会影响测 量的效度,一切产生误差的环节都可能影响到效度: 1、测验信度 2、测验的长度 3、效标因素 4、被试样本的代表性 5、干扰变量 6、功利率
• • • • • •
测验长度和信效度关系 测验长度 10 20 30 60 120 信度系数 0.300 0.462 0.562 0.720 0.837 效度系数 0.400 0.496 0.548 0.619 0.668
6功利率测验长度和信效度关系测验长度信度系数效度系数1003000400200462049630056205486007200619120083706682400911067948009540713练习题1如果研究表明高考分数和大学学习成绩有高度的正相关那么可以认为高考分数有a表面效度b预测效度c构想效度d同时效度2河南大学教科院是研究教学型学院如果以学生对教师的评价作为教师的的工作绩效那么这个效标可以被认为是a适当的b污染的c有缺陷的d无效的练习题3假设你测量一个人的智力你测量了他的饭量假设以馒头为标准测量了10次他每次都吃5个馒头得到一个平均值5再乘以30作为智商你的测量程序是a不可信也无效b不可信但有效c可信但无效d既可信又有效练习题5假设某学者自编了一套智力测验并在几十万人中进行了使用那么该测验是否有效
心理测量课件_第六章 效度
绩效度量
100% 80% 60% 40% 20% 0%
变异来源
效度 内部误差 时间抽样 未解释
被解释的变异比例
效度的种类
• 证明一个测验是有效的(validation),必须 保证在以下三方面均是有效的
• 内容(content) • 效标关联或实证(criterion-related or empirical) • 构想或结构(construct) • 不能只独立地保证一方面。
• 会聚(辐合)效度(convergent validation)
– 如,一个艺术能力测验与其他艺术能力测验、创造力测验以 及去当地艺术博物馆的频率等有高相关
• 区分效度(discriminant validation)
– 如,一个艺术能力测验与耐力(力量)测验或与去体育馆的 频率等没有相关
14
因素分析
• 测验=预测源 • 行为=效标 • 效标效度是基于数据的( data based)
– 一个选拔测验与工作绩效的相关 – 一个成就测验与年级的相关 – 一个诚实测验与偷窃的相关
两种效标关联效度
• 预测效度(predictive validity):
– 测验对未来表现预测 得有多好
– 他会患焦虑症吗?
效标的适当、缺陷与污染
• 效标适当(relevance):实际测量的效标中应测量的部分 (B+E区)
• 效标缺陷(deficiency):实际效标没有覆盖的终极效标 部分(A+D区)
• 效标污染(contamination):实际效标中与要测量的东西 无关的部分(C+F区)
终极效标 A B C
E DF
• 其中使用的测验技术包括:结构化面 试,评价中心,纸笔考试(专业知识) 等。
心理测量-项目分析
Page 9
难度对测验的影响
难度对测验的分布形态及离散程度都有影响。
难度也会影响测验的信度。
项目的难度在一定程度上也会对项目的鉴别能 力有影响。
Page 10
值得说明的一点是项目的难度和测验的目的有关。由于在筛选测验中 ,在接收组或拒绝组之内不需要作出区别,所以如果项目都集中在临 界分数附近,则能最为有效地使用测验。所以用于筛选目的的测验, 应该采用难度值最接近于所要求的选择率的项目。例如,要挑选分数 较高的20%的个案,最好的项目便是集中在通过率为20%左右的项目 (考虑到猜测可以略高一点)。如果测验的目的是确定个体是否已掌 握技能的基本要素,或是否已获得必要的知识,以便进入学习计划的 下一步,那么项目的通过率最好应该是0.80-0.90。
在370名被试中,选为高分组和低分组的被试各有100人,其中高分 组有70人答对第1题,低分组有40人答对第1题,则第1题的难度为:
Page 6
非二分法记分项目的难度
对于论述题、简答题,每个项目不止有答对和答错两种可能结果,而 是从满分至零分之间有多种可能结果。对这类项目,常常用下面的公 式来计算其难度。
Page 14
区分度的计算
项目鉴别指数法(较适合于二分法记分的测验项目)
当效标成绩是连续变量时,可以从分数分布的两端各选择27%的 被试,分别计算出每道题目上各自的通过率,两者之差就是鉴别力 指数(D)。
DP P H L
Page 15
区分度的计算
相关法
在大规模或标准化的测验中,多采用相关法,即以项目分数与 效标分数或测验总分的相关作为项目区分度的指标。相关越高,项 目区分度越目的难度
(2)极端分组法 当被试人数较多时,则可以先将被试依照测验总分从高到低排列,分 成三组,总分最高的27%被试称为高分组( ),总分最低的27% 被试称为低分组( )。分别计算高分组和低分组的通过率,然后 求项目的难度。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
确定方法(续)
鉴别指数
比较两个极端效标组通过一个项目的个案的比例 当效标测量是个连续变量(如学业分数、产品数量) 时,可从分布的两端选出高分组和低分组。两组的 通过率的差异提供了题目区分度的指标 鉴别力指数D:D=PH-PL 条件:假定项目和效标之间是直线关系
极端组的划分:
正态分布中,最佳划分点为上下27%,以此划分, 可以使两个对比组之间的差异尽可能大,又使两组 人数尽可能多。 团体较小时,25%~33%之间的数字均可作分界点 被试数量N<100时,也可取50%为分界
3.难度水平的确定
难度水平的确定取决于测验的目的、性 质及项目的形式 教育测验(掌握性测验)或标准参照测 验可不考虑难度水平 选拔测验中选取难度值接近录取率的项 目。此外选择题目时,难度值应大于随 机答题概率。
4.测验的难度
测验难度是对整个测验的难度的综合性 检验,可由分数分布提供
分数分布为正偏态,即分数密集在低端时, 测验难度偏高 分数分布为负偏态,即分数密集在高端时, 测验难度偏低
最好用前测-后测结果比较来进行项目分析
根据测验目的,选择或淘汰能引起一定团体 显著差异的项目
项目-团体的相互作用
有效性与可靠性的矛盾
第六章
内容提要 概述 难度 区分度
项目分析
一、什么是项目分析?
项目分析:根据被试的反应对组成测验的各个 题目(项目)进行分析,从而评价其功用的程 序的方法。 两类项目分析:
定性分析 效性等 定量分析
考虑内容效度,题目编写的恰当性和有
主要是难度和区分度
作用:通过项目分析,研究者可以选择和修改 测验题目,从而提高测验的信度和效度
以鉴别指数评价试题(L.EBel)
D 0.40以上 0.30~0.39 试题评价 非常优良 良好,如能修改更佳
0.20~0.29
0.19以下
尚可,仍需修改
劣,必须淘汰
3.区分度与难度的关系
难度影响区分度,难度大或小,区分度 均低。中等难度水平,区分度较高。
三、项目分析的特殊问题
备选答案的反应模式 速度测验的项目分析 标准参照测验的项目分析
பைடு நூலகம் 1.确定方法
项目与效标的相关
以项目分数与效标分数(或测验总分)的相关作为 项目区分度的指标,相关越高,区分能力越好。 据变量的性质选择以下不同相关系数:二列相关/点 二列相关/四分相关/φ 相关 实际上,选择不同相关系数仅是用于编制测验取舍 项目时。不同的系数对相同的项目产生同样的等级 次序。 使用前提:当每一项目的变异数相同或项目很多, 每一项目所贡献的变异数比例都很小时,才能使用 项目和总分的相关。否则项目本身包含于总分中, 若变异数贡献太大,这个重叠(伪因素)本身就可 引起某种正相关。
2.区分度的相对性
不同计算法区分度估计值不同 受样本大小影响。一般样本数目越大,估计越 可靠,但贡献遵循报酬递减原则。 受分组标准影响 区分度大小与样本的同质性有关
样本同质性越高,区分度值越小;区分度小的项目, 施测于较大差异性的团体,也可能具有很高鉴别力
此外,还要考虑测验的目的、性质和功能。例 如教育成就测验,要求项目与总分相关>0.20, 高低分组通过率之差达到0.15~0.20以上
三、区分度
区分度指测验项目对所测量的心理特性的区分 程度或鉴别能力,也是项目的效度。 区分度指标和估计方法,都是以受测者对项目 的反应与某种参照标准之间的差异为基础的。 当外在效标难以得到时,通常用测验总分(即 所有项目的分数之和)代替。 假定测验总体是对该特征的一个适当测量,项 目越多,误差互相抵消的越多。
二、难度
1.界定 难度即题目的难易程度。难度指标通常 以通过率来表示。P=R/N*100% 难度主要用于能力测验,非能力测验中 类似的指标是:“通俗性”、应答率、 同一类人在关键方向上回答的人数
2.难度的计算
二分法计分的项目,被试人数少时 P=R/N*100% 二分法计分,被试人数多时,分三组 高分组27%,低分组27%,中间组46% P=(PH+PL)/ 2 非二分法计分的项目 P=X/Xmax *100%,式中X为全体被试在该题 上的平均分, Xmax为该题满分
当难度接近0.5时,表明多数被试正确回 答50%的题,此时对被试有最大程度的 区分。
5.常态化等距难度量表
以通过率(百分比)作为难度指标,实际上是 以顺序量表来表示难度,它仅能指出难度的顺 序或相对难度高低,无法得知差异大小 当被试在所测特性上呈正态分布,则可以根据 正态曲线次数表,用以标准差为单位的等距量 表(即Z分数)来表示。 将难度转换成具有相等单位的等距量表,此等 距难度量表可指出不同难度间差异数值 以标准差为单位的项目难度常常有负值和小数, 使用不便。ETS的转换方法:△ =13+4X