测验编制步骤
教育测验编制的一般步骤与方法
缺点:
1.不易编制,且花费时间较多。 2.易受考生阅读能力的影响。 3.难以排除考生对试题的随机猜测。 (二)客观题命题的一般原则 1.试题能反映教学内容的重点或知识 点。
2.题目之间的相关性越低越好。 3.试题的文字力求浅显易懂、题意明 确。
2020/3/27 4.答案应该是明确、唯一的。
(三)不同类型选择题的命题原则
3
1
1
1
0
第四章 溶液 6
3
3
1
8
第五章酸碱盐 4
3
3
5
2
合计
26 12 13 14 18
评价
2 2 2 6 5 17
合计
22 21 8 22 22 100
由上图可见,命题双向细目表由3个要素组成:
测验目标、测验内容以及二者的比例,即权重。权
重代表了这部分内容的相对重要性。
2020/3/27
◆在真实的命题中,一般遵循如下顺序:
内容范围 3 1 5 3 2 2 2 15
内容范围 4
3444
15
内容范围 5 1 6 2 3 3 2 17
合计
6 32 24 16 14 8 100
2020/3/27
例 1 初中化学内容与教学目标细目表
测验目的 测验内容
知识 理解 运用 分析 综合
第一章 氧
6
3
4
4
3
第二章 氢
7
2
2
3
5
第三章 碳
① 测验材料要适合测验目的
② 测验材料要能够代表该科教材的全部 内容(测验材料要有合理的覆盖面,突出 基本内容及重点内容,比例参照命题双向 细目表)
③ 测验材料要有普遍性(要依据统一的 教学大纲)
第四章教育测验编制的一般步骤与方法
〔三不同类型选择题的命题原则 选择题的编制
要求被试从测验所提供的选项中选出正确 答案的测题成为选择题.选择题在结构上包括两 部分:题干和选项.
目前主要的选择题型有:比较、因果、类推、 多项、多选、多项多选、最佳、最差等
编制题目需遵循的原则: 1.每个题干仅问一个明确的问题. 例3:三角几何共八角,三角三角,几何几何? ①2角 ②3角 ③4角 ④5角
第二节 测验题目编制技术
一、客观性测验题目的编制
〔一客观题的优、缺点
客观题因其评分客观而得名. 优点:
1.适于测量知识、理解、应用、分 析几个层次的认知目标;不适和测量综合、
评价两级认知目标.
2.答案明确、回答简便,在一个测验 中的数量较多,可保证对知识内容的覆盖率.
3.有明确的标准答案,评分准确、简 单、可靠,利用计算机阅卷可节省人力、物
缺点: 1.不易编制,且花费时间较多. 2.易受考生阅读能力的影响. 3.难以排除考生对试题的随机猜测. 〔二客观题命题的一般原则 1.试题能反映教学内容的重点或知识点. 2.题目之间的相关性越低越好. 3.试题的文字力求浅显易懂、题意明确. 4.答案应该是明确、唯一的. 5.试题应按教育目标的要求,内容不能超过 超过受测团体的知识和能力.
察对基本概念、性质、原理、定则等的认知和判断.
编制题目需遵循的原则:
1.每一题只能包含一个核心概念.
例10:北京是我国最大的政治、文化和经济中心.
2.试题应是非界限分明,避免模棱两可的语句.
例11:我国南方的天气很热.
3.避免使用具有暗示性的字词和特殊点限定 性词句,如全都、绝不、都、可能、大概等.
1
1
7
5
云
2
2
编制测验的一般程序
一、确定测验目的一)测量对象在编制测验前首先要明确测量对象,也就是该测验编成后要用于何种团体。
惟独对受测者的年龄、智力水平、文化背景以及阅读水平等做到心中有数,编制测验时才干有的放矢。
二)测量目标所编的测验用来测量什么,是测能力、人格,还是学业成就,也是必须首先考虑的问题。
非但要明确测量的目标,还要对测量目标加以分析,将此目标转换成可操作的术语,即将目标具体化。
如美国著名测验学家瑟斯顿通过因素分析,将智力分解为七种基本心理能力:语文理解──阅读时了解文字意义的能力;语词流畅──正确迅速拼字与敏捷联想词义的能力;数字运算──正确而迅速使用数字解答算术问题的能力;空间关系──运用感觉器官及知觉经验正确判断空间方位及各种关系的能力;机械记忆──用重复感知的方法记住事物的能力;知觉速度──迅速而正确地观察与辨别事物的能力;普通推理──根据已知条件推出新判断的能力。
瑟斯顿根据上述七种因素于年编成为了“基本心理能力测验”。
三)测验用途所编出的测验是要对被试做描述,还是做诊断,抑或者是选拔和预示,这一点也是在测验编制前就应明确的。
目的不同,编制测验时的取材范围以及试题难度等也不尽相同。
二、拟定编制计划编制计划,实际上就是对测验的总体设计,指出测验的内容结构和项目形式等,以及对每一个内容、目标的相对重视程度。
不同的测验有不同的编制计划。
例如成就测验的编制计划通常是一张双维细目表,其中一个维度是内容,就是某一学科教材中的各个课题,另一维度是在教学中要达到的行为目标。
美国心理学家布卢姆最早提出教育目标的分类问题。
他把学习的心理活动分成认知、精神运动和情感三个领域,又把认知领域具体分为知识、理解、应用、分析、综合、评价六个层次。
在布卢姆等人编的《教育目标的分类》一书中,为每个认知层次提供了许多题目范例。
后来人们普通就依据布鲁姆的认知性行为目标编拟学科试题,以测量学生的学习结果。
表是一个小学高年级自然常识测验的编制计划。
第四章 教育测验的编制
• (二)题目分析
• 1.定量分析(略) • 2.定性分析
– (1)均衡性:试题所测量的内容能够代表学生学习 中要求掌握的学习任务吗?
– (2)相关性:试题是否再现相关的学习任务? – (3)简明性:试题的语言是否简单、明了?
26
• (4)合理性:试题的难度适中吗?是否有错误?是否存在 有争议的答案?
34
一、常见题型及其编制
• (一)选择题(multiple-choice items)及其编制原则 – 1.选择题的结构:题干(stem)和选项(alternatives) – 2.选择题的优缺点 – 优点: • (1)选择题可以测量被试各种不同层次的学习结果。 • (2)正确答案唯一。
35
• (3)可以加大试题容量,扩大试题覆盖的知识面。 • (4)有利于考察被试思维的敏捷性和准确的判断力。 • (5)通过对学生对干扰项(distracters)的选择,教师可
某种具体的目的,它明确规定测验所要达到的预 期结果或标准。它是编制测验的出发点和依据。
13
(1)测验目标与教育目标分类
• 测验目标的确定是以教育目标分类理论为基础的。 – 布卢姆等人的教育目标分类法 – 加涅的教育目标分类法 – 梶田叡一的教育目标分类法 – 我国认知目标的分类
14
15
16
我国认知目标的分类
19
3 .填写双向细目表
• 准备一个含有教学目标与教学内容两个维度的双向细目 表 – 横向设计 • 各个知识在整个测验的知识范围内的相对地位和 重要程度(确定各部分知识所占的比重)。这种 相对重要性可由该内容项目的教学课时的多少来 体现。
20
– 纵向设计 即决定每一目标层次所占比例。这一比例应与测验编制 者认为这个目标对受测学生的水平所具有的重要性相符。 一般主要是参考专家或有经验教师的意见而定。
第三章_教育测验的编制与实施
布卢姆的分类法 加涅的分类法 梶田叡一的教育
评价
认 综合 知 分析
领 应用 域 理解
知识
认知策略(问题解决)
高级规则
智力技能
规则 概念
智力技能
辨别
言语信息
精神运动领域目标
体验 目标
情感领域目标
认知领域目标
技 适应 能 练习 领 模仿 域 观察
运动技能
精神运动领域目标 提高 目标 情感领域目标
认知领域目标
两可的语句,以免引起对正确答案的争议。
? (5)题目陈述应简单明了,避免使用复杂 的句子结构,应尽量采用正面叙述,避免 用否定和双重否定的语句。
? 综合(将知识各部分重新组合,形成一个新的整体)编写、写作、创造、 设计、提出、组织、计划、综合、归纳、总结
? 评价(根据一定标准进行判断)鉴别、比较、评定、判断、总结、证明、 说出……价值
C:条件的表述
? C:学习者表现行为时所处的环境
? 环境因素(空间、光线、温度、气候、室内、室外、安 静等)
等堂皇的用语来叙述。
? 诱答项的长度和措辞的复杂性与正确性与正确选项相 似。
? 在诱答项中使用额外的线索。如固定的用词,具有科 学味道的答案,以及和题干有语义上的联系等。
? 保持选项之间的同质性。
? 5、不能对正确答案有任何暗示。无意的暗 示有:
? 1)语法结构上的不一致;
? 2)各选项在逻辑上不同,如正确答案中加以 “如”、“有时”、“通常”等修饰词,诱答 项中加以“总是”、“从未”、“所有”、 “绝对”、“准”等修饰词,或正确答案使用 与题干相同的词;
2)学习目标
? 学习目标:“是对学习者通过教学以后将能做什么的一种明确的、具 体的表述”。
测验编制的一般程序
测验编制的一般程序1、测验编制的一般程序:测验项目的分析(测验的对象、用途和目标)、测量的编写(搜集资料、命题原则和编制要领)、测验的编排和组织(合成测验、测验的预试、信度与效度的考察、常模制订、编写指导手册)。
2、测验的目标的三种情况:工作分析;对特定概念下定义;确定测验的具体内容。
3、搜集资料题目的来源:已出版的标准测验、理论和专家的经验、临床观察和记录。
4、命题原则内容方面:符合测试目的;内容取样有代表性;题目之间的内容相互独立。
文字方面:使用准确的当代语言;语句简明扼要;最好使一句话说明一个概念。
理解方面:题目内容不要超出受测团体知识水平和推理能力;题目不可令人费解。
社会敏感性方面:假定受测者具有某种行为;命题时假定规范不一致;指出该行为虽违规,但常见。
5、选择题的编制要领:题干所提的问题必须准确,尽量使用简单词语;选项切忌冗长,要简明扼要;每道题只给一个正确答案,其他属诱答;各选项长度应相等,尽量不要有长有短;避免题干用词与选项和词一致;选项最好用同一形式。
6、是非题的编制要领:内容以有意义概念、事实或基本原则为基础,不要照抄原文;每道题只能包含一个概念;尽量避免否定的叙述,最好直接采用肯定的叙述;表达意见的题目,最好说明意见的来源和根据;是非题的数目应有适当比例,基本相等,且要随机排列。
7、简答题的编制要领:最好采用问句形式;如果是填充形式,空格不宜太对;每道题应只有一个正确答案,且答案要简短而具体。
8、操作题的编制要领:明确所要测量的目标,并将其操作化;尽量选择逼真度较高的项目;指导语简明扼要;制订评分标准,确定记分方法。
9、测题的排列:并列直进式和混合螺旋式。
第七节心理测验的使用1、主测者的资格:在技术上要求具备一定的知识结构、心理测验专业理论和相应的专业技能;在道德上要求恪守职业道德,测验保密与控制使用和隐私保护。
2、测验选择:适合测量的目的和符合心理测量学要求。
3、测验前的准备工作:预告测验、准备测验材料、熟悉测验指导语、熟悉测验的具体程序。
成绩测验的编制
级别:先知成绩测验的编制2004年9月12日成绩测验的编制一般按以下程序进行:(一)确定测验目的编制测验,首先要明确测验目的,不同的测验目的决定不同的测验种类和题型。
评价学生对一门学科是否达到了教学大纲的基本要求,可以采取团体笔试的方式;进行诸如高考一类的选拔式的考试,可采用建立常模的标准化考试;检查学生学科知识的掌握,理解能力、判断能力和推理能力的发展可以选用客观性试题;考核学生的材料组织能力,则宜选用非客观性的试题。
确定了测评的目的,才能确定测验的形式和试题的类型。
(二)明确测验的范围和内容测验的内容是教学内容的抽样,全面地反映教学内容。
当测验的目的确定后,首先考虑的是测验要测什么,测到什么程度即测验的范围和内容,这时既要考虑使测验所要测量的知识、技能和能力有所反映(涉及到教学目标),又要划定测验的内容(涉及到测验内容的覆盖面、代表性),还要确定各部分测验内容的权重和分值(涉及到各部分内容所占的比重)。
这些工作以前主要是依据对教学大纲和教科书的理解来构思,现在很多教师都在尝试用“双向细目表”的方法来进行设计。
所谓“双向细目表”,实际上就是教材内容和学习结果两个维度,其中一维反映教学的内容,另一维反映学生的学习水平。
目前在“学习水平”这一维,普遍采用布卢姆等人关于认知领域教育目标的分类,即把学习结果或认知水平分为“知识、理解、应用、分析、综合、评价”六种水平。
教材内容这一维则根据具体学科内容加以确定。
表以小学自然常识测验的双向细目表为例作一说明。
表9-1小学自然常识测验编题双向细目表知识理解应用分析综合评价合计生物世界3 5 6 3 2 1 2 0资源利用2 3 3 1 1 0 1 0动力机械 2 3 4 2 0 1 1 2物质、能量5 6 8 3 2 1 2 5气象 2 4 3 2 2 0 1 3宇宙 2 5 4 1 0 0 1 2地球2 2 2 1 1 0 8合计18 28 30 13 8 3 100上表有三点要说明:(1)学科教材内容即知识目标,一般按教材的章节记入,但必须是讲述过或要求学生自学并列入考试范围的内容。
纸笔测验编制程序
第一節 擬定編製計畫及遴選命題 者
一、測驗編製計畫應包含的要素
A. 外在環境因素
1. 測驗目的
測驗是要用來評鑑成就?篩選?安置?或診斷?
2. 測驗對象
受測者是幾年級學生?是正常或特殊學生?
3. 測驗時間
是十分鐘的隨堂考試?是一節課的期終考、期末考?或 是九十分鐘一節的考試?
平性。
• 撰寫題目時要隨時參考各種題型的命題原 則。
• 要比實際需要量多擬百分之五十的題目, 以備檢查、比較後淘汰。
• 客觀計分的試題,一定要備有各專家都能 同意的正確答案或最佳答案。
• 寫好後過幾天,再自己檢查一次,或請同 事檢查,以避免個人的盲點。
第四節 選擇及排列試題
一、評鑑試題
A. 經驗判斷法 B. 實證研究法
4. 施測方式
施測時是個別實施?班級實施?或全校同年級同時間實 施?或是大規模的入學考試?
B. 內在測驗屬性
1. 測驗內容
試題取材是來自國文、自然、社會、或音樂?範圍又如何?
2. 題型及其數量分配
是非、選擇、填充、重組、配合、簡答?各佔多少題?
3. 試題的心理計量特質
概念上的重要性為主?試題鑑別度為主?
1. 付印之前應該經過校對程序 2. 應該依保存年限、作答方式及數量來選擇紙張
及印刷方式 3. 試題所附的圖表在印刷前和印刷後要檢查是否
正確和清晰 4. 單張雙面印的自編試卷應該逐張檢查是否有漏
印或相互污染情形 5. 若要裝訂成冊,最好在排版時就使頁數(含封
面和封底)成為四的倍數後,採騎馬訂方式裝 訂 6. 若採分開使用的答案紙,其大小最好與題本一 致,以便於疊在一起收存
7. 做答位置應有固定大小並作規則排列,以便於 閱卷和計分
测验的编制实施和评分
孙海龙
第一节 编制测验的一般程序
一、确定编制测验的目的 (一)确定测量对象 • 年龄 • 教育水平 • 文化背景
(二)分析测量目标
1、确定能表征所欲测量的心理结构的行为 • 如何使我们所选择的行为样本更具代表性: (1)回顾以往的研究成果 (2)考虑时代特点 (3)了解受测者的实际情况 (4)向专家和资深者质询、请教 2、确定每一类行为的项目比例
五、合成测验
(一)项目的选择 • 好题目的标准:只测定所需要的特征,并能对该特征加 以有效区分的、难度合适的题目。
(二)项目的编排
1、逐类直进式 2、混合螺旋式
(三)编制复本
• 测验的各份复本必须等值,所谓等值必须符合下列条件: (1)各份测验测量的是同一种心理特性。 (2)各份测验具有相同的内容和形式。 (3)各份测验的题目不应有重复的地方。 (4)各份测验题目数量相等,有大体相同的难度和区分度。 (5)各份测验的分数分布(平均分和差异度)大致相等。
2、编写题目时要注意:
(1)题目范围要与测验计划所列一致。 (2)题目的数量要比最后所需的数目多一至几倍。 (3)题目的难度必须符合测验目的的需要。 (4)题目的说明必须清楚明白。
四、预测和项目分析
(一)预测 • 注意: (1)预测对象应取自将来正式测验准备应用的群体,取样 要具有代表性。 (2)预测的实施过程与情境应力求与将来正式测验时的情 况相近似。 (3)预测的时限可稍宽一些。 (4)在预测过程中应对受试者的反应情形随时加以记录。
• A.被试样本要有代表性,尤其要注意包括待测属性各种可能 值的个体,例如:夫妻关系中各种夫妻关系 的样本都应具备 • B.适合的样本容量,对于一个区域性常模,一般的心理特质 采样应在1200人左右,试验性采样的大小约为常模样本的 25%.
测验编制的方法和步骤
随着个性化教育的发展,测验编制将更加注重个 性化评估,针对不同学生的特点和需求进行定制 化设计。
智能化评估
随着人工智能技术的发展,测验编制将更加注重 智能化评估,利用大数据和算法提高评估的准确 性和效率。
THANKS FOR WATCHING
感谢您的观看
提高测验的信度
通过增加题目的重复性和相似性,提高测验的一致性 和可靠性。
增强测验的效度
通过与教学目标紧密结合,确保测验能够真实反映学 生的学习成果和能力水平。
06 测验编制的应用和发展
在教育领域的应用
01
评估学生知识水平
通过测验编制,评估学生对学科 知识的掌握程度,为教学提供反 馈。
Hale Waihona Puke 02诊断学习困难测验编制的方法和步骤
目录
• 测验编制概述 • 测验编制的准备阶段 • 测验编制的实施阶段 • 测验编制的评估阶段 • 测验编制的优化阶段 • 测验编制的应用和发展
01 测验编制概述
测验编制的定义
测验编制是指根据测验目的和要求, 选择适当的测验题目,经过合理的组 合和编排,形成具有特定结构和内容 的测验的过程。
测验编制的结果可以为决策者提 供参考依据,辅助制定教育政策、 课程设置等。
测验编制的基本原则
目的性原则
测验编制应具有明确的目的性和针对性, 针对特定的目的和要求进行设计。
有效性原则
测验编制应确保测验的有效性,即能 够准确、全面地评估被试者的能力水
平。
客观性原则
测验编制应遵循客观性原则,确保测 验内容的公正、客观,避免主观性和 偏见。
03
02
选择题型
根据测验目的选择适当的题型,如 选择题、简答题、论述题等。
测验编制和实施的步骤
测验编制和实施的步骤1. 确定测验目标•确定测验目的,如评估学生的知识掌握程度、促进学习等。
•确定测验内容范围,包括知识点、技能、理解程度等。
2. 设计测验结构•确定测验形式,如选择题、填空题、简答题等。
•设计测验题型和题量,根据测验目标和内容确定不同题型的比例和数量。
•编写测验题目,确保题目清晰准确,并与测验目标相符。
3. 制定测验准备工作•确定测验时间和地点,根据学生的日程和教室安排合理安排测验时间和地点。
•准备测验材料,如试卷、答题卡等。
4. 实施测验•发放试卷和答题卡,确保每位学生都能得到试卷和答题卡。
•提醒学生仔细阅读试卷上的注意事项和答题要求。
•严格管理考场,避免作弊和干扰行为的发生。
•控制测验时间,确保学生能在规定时间内完成试卷。
•收集答卷,确保每个学生的答卷都被收集到。
5. 批改和分析测验结果•根据设定的评分体系对学生答卷进行批改。
•分析学生的得分情况,了解学生在不同知识点和题型上的表现。
•对学生答卷进行合理的评价和反馈,帮助他们了解自己的不足和改进方向。
6. 总结和改进测验•总结测验的优点和不足,包括测验的难易程度、有效性等方面。
•根据总结的结果,调整测验的设计和实施方法,以提高测验的质量。
•参考学生的表现和反馈,对教学内容和方法进行改进,以更好地帮助学生提高。
7. 反思和反馈•对测验过程进行反思,包括准备工作、实施过程等方面的问题和改进。
•向学生反馈测验结果,包括总体的成绩和个人的表现,鼓励学生继续努力。
以上就是测验编制和实施的基本步骤,通过合理的设计和实施,可以提高测验的准确性和有效性,帮助教师评估学生的学习情况,并指导后续的教学。
第6节测验编制的一般程序
第6节测验编制的一般程序测验编制是测试和评价学习的一个重要环节。
在教学中,测验编制常常是教师衡量学生学习成果的重要方法之一,也是学生评估自己学习成果的一种有效手段。
测验编制的一般程序包括以下几个步骤:1. 确定测验的类型和形式首先,需要确定测验的类型和形式。
测验的类型可以根据各种不同的分类标准来进行划分,比如根据测验的内容可以划分为知识点测验、技能性测验、应用性测验等等;根据测验的目的可以划分为诊断性测验、预测性测验、评估性测验等等。
测验的形式可以根据教学要求来确定,可以是选择题、填空题、简答题、论述题等等。
在确定测验的类型和形式时,需要考虑到测验的目的、教学内容和教学目标等因素。
2. 设计测验的结构和内容根据测验的类型和形式,需要设计测验的结构和内容。
例如,设计选择题时需要确定选项的个数、正确选项的位置、干扰项的种类和数量等等。
设计填空题时需要确定答案的字数、填空的位置、是否需要提示等等。
设计简答题时需要确定答题的字数、是否需要给出指导语等等。
在设计测验的结构和内容时,需要注意题目的难易度和体裁的风格问题,保证测验的质量和有效性。
3. 编制测验的题目和材料在确定测验的结构和内容之后,该步骤的重点就是编制测验的题目和材料。
根据测验的形式和目的,需要编制一定数量的试题和题目材料。
在编制试题和题目材料时,需要注意以下几个方面:•题目的准确性和完整性。
编制试题时需要确保试题的正确性和完整性,避免出现错别字和句子不通顺的情况。
•材料的真实性和可信度。
编制题目材料时需要保证其真实性和可信度,尽量避免编造材料来制造虚假情境。
•试题和材料的难度适宜。
编制试题和材料时需要考虑到学生的认知水平和能力水平,保证试题和材料的难度适宜。
4. 试卷的排版和上传在编制完试题之后,需要进行试卷的排版和上传。
试卷的排版需要注意以下几个方面:•试题的版面布局。
试题的版面布局需要符合教学要求和审美要求,保证试卷整齐、清晰、易于阅读。
第七章 测验编制的方法和步骤
11 3 2
5 0 1 1 0 2 2 2 3
P 0.9
0.65 0.55
0 . 12 5
D 0.2
0.3 0
0
0 .2 5
第二节 试测和测题筛选
(二)测题难度和区分度的应用 尽可能选择区分度在0.3以上的测题。 尽可能选择区分度在0.3以上的测题。 0.3以上的测题 根据测验的目的选择不同难度的题目。 根据测验的目的选择不同难度的题目。常模参照测 验一般难度应在0.2 0.8之间 难度分布接近正态分布。 0.2— 之间, 验一般难度应在0.2—0.8之间,难度分布接近正态分布。 为此,可将测题难度和区分度列成双向表, 为此,可将测题难度和区分度列成双向表,与测验难度 分布计划进行比较,决定测题的筛选。 分布计划进行比较,决定测题的筛选。 根据测验的双向细目表考查所选测题是否符合测验 内容和目标层级的分布要求。 内容和目标层级的分布要求。
拟定测验编制计划 试测和测题筛选 测验的评价
第七章 测验编制的步骤和方法
第一节 拟定测验编制计划
教育测验多种多样,编制测验的方法, 教育测验多种多样,编制测验的方法,也相应依测验 的性质而异。但是,不管什么样的教育测验, 的性质而异。但是,不管什么样的教育测验,其编制过程 一般均遵循类似的基本程序:测验目标与测验内容的确定; 一般均遵循类似的基本程序:测验目标与测验内容的确定; 测验的设计;测验的技术分析; 测验的设计;测验的技术分析;测验的鉴定或称测验的评 价。
第三节 测验的评价
一、评定测验的信度和效度 二、建立测验量表 三、编写测验说明书 测验说明书是测验能正确、合理地实施与应用的保证。 测验说明书是测验能正确、合理地实施与应用的保证。测验说明书 应包括以下内容: 应包括以下内容: 测验的编制人、编制时间、 (1)测验的编制人、编制时间、测验的法定权益 (2)测验的目的和功能 (3)测验选题的依据 测验的实施程序、 (4)测验的实施程序、时限及注意事项 (5)测验的评分标准 (6)测验分数解释的依据 测验的信度、效度资料,包括信度系数、 (7)测验的信度、效度资料,包括信度系数、效度系数及其估计 方法。 方法。
心理测量-第八章-测验的编制与实施
11
第三步:编制题目
搜集资料 代表性、普遍性
选择形式
文字/非言语 客观/论述 纸笔 /操作
编写和修订题目
测验题目的编制技术
命题的一般原则:
范围,代表性,难度,数量,简明
不同题型的编写规则
分类1:选择题/是非题/匹配题/填空和简答题/论述题 应用题/操作题/联想题/排列题/改错题
第七步:测验的修改和鉴定
根据项目分析结果,删除、修改和重新 编制题目。这是一个多次往复的过程
对成型的测验进行标准化,收集测量学 证据或资料,包括信度与效度等
信度(可靠性或一致性) 效度(有效性或正确性)
第八步:编写测验手册
手册应包括以下内容: 1.测验的目的、功用 2.理论依据 3.实施方法 4.标准答案和计分方法 5.常模表或其它分数转化与解释的资料 6.测验的信度、效度资料及说明
分类2:全开放型/开放—单一反应型/多重选择/双级等级评定 利克特型/排序/投射/绩效项目/分类信息
编题举例1:多择一题型
Do…
Don’t…
使用一个直接的问题或一 个不完整的陈述作为题干
选项或题目在语法和形式 上保持一致
尽量使所有错误选项看起 来是可能的
否定性题目,尤其是在题 干是否定性的(双重否定)
使用技术上的行话
反应之间相互重叠
使用“以上所有”
例2:主观题——人格
是非题
我喜欢去干有冒险性的工作
利克特评定量表:5点或7点评定
朋友们通常把我看成是一个潇洒的人
1 23
使用特殊符号
很不象我
用于态度调查
你对XXX电视节目有什么看法?
45
[教育学]心理测量 第九章 心理测验的编制
3.题项内容不能用土语、专有名词或双 重否定句来表达。 4.题项内容Байду номын сангаас避免社会禁忌和爱好,应 避免难以启齿的问题。 5.题项应避免暗示和诱导作用。 6.题项内容最好应避免易引起强烈的情 绪联想。
3 .不要用假设或猜测的语句提问。 4 .项目内容不应超过被试知识水平和能 力范围。 在编写题项的用词造句上还应考虑以 下几点:(1)是提一般的问题还是提有 针对性的问题。(2)是直接提问还是间 接提问。(3)是问个人的还是问集体的。 (4)是长句好还是短句好。
(三)问卷的编辑
1、问卷的顺序 (1) 时间顺序。 有时间顺序的问题,应依次排列, 不要杂乱,以免使受测者的记忆受到干 扰,而无法理出正确的时间观念。 (2)内容顺序。 内容顺序安排要考虑三个方面:属 于一般的或通论性的,放在问卷的前面,
优点:
① 回答是标准化的,便于比较,统计
和编码。 ② 被试对问题的含义通常是清楚的。 ③ 回答具体可用,不会产生不相干的 回答。 ④ 回答简便,不需化更多时间思考, 不需要较高的撰写技能。
缺点:
① 易产生不可信的回答。
② 不能发现意想不到的资料。
③ 难以发现被试回答上的细微差异。
④ 被试可能对提供的答案不满或不同
(二)项目分析 对项目的分析,包括质的分析和量 的分析。 前者是从内容取样的适切性、题目 的思想性以及表达是否清楚等方面加以 评鉴。 后者是对预测结果进行统计分析, 确定题目的难度、区分度、备选答案的 合适度等。
五.合成测验 (一)项目的选择 最好的题目,就是只测定所需要的 特征,并能对该特征加以有效区分的难 度适合的题目。 (二)项目的编排 测验一般有三种编排方式: 1.并列直进式 2.螺旋式 3.混合式
测验编制步骤
测验编制步骤测验编制步骤:8步1、目的、对象2、确认结构、确认测验结构,①根据理论、智力测验有几个因素;人格特质,一个特质是一个维度。
②因子分析,大致有个设想,初步构想,先是积极探索,检验,样本不一样,不好的测验必须搞几次。
首先检查共同度,高于0.5或0.3的题目除去,与其他项目之间的共同成分。
心智能力存有两种,斯皮尔曼理论。
g因素和s因素,不好的0.5以上。
碎石图拐点因素负荷,各因子负荷分数,能区分、旋转后也不能把负荷集中,去掉。
如两个因子上都是0.4,结构不明确,某一题目属于谁不确定。
题目多时做验证性因素分析a、首先搞单维检验,一个维度属一个ξ,如12道题,b、4个一提,4个一提,完整分后相乘,变为三个指标,指标太太少,检验性因素分析搞不出来。
项目少于100个,转动不出,探索性因素分析转动不出。
③分配权重:30分常识60分后词汇满分差距非常大,通过转换成量表分后,变为z分后,转换成量表10分制。
麦卡锡幼儿量表分多的1/2太少的1.5每个维度转换成30分后左右。
有的分后测验关键的,权重很大。
3、记分方法4、常模:用到什么地方,抽样如何抽a、一种看作就是正态分布,晓得s和x就可以。
转变为z分后。
b、非正态数据,根据常模样本频数分布确定,累积百分数,你的分数一边是分数,以下就是百分之多少。
累积百分比算出来了,某一分数对应p,累积百分率多少。
根据常模样本确定每一点的累积百分数。
常模样本分数分布,例如:艾森克通常t20~80分后最多90分,一般做到80分艾森克远远超出80分,偏态。
5、设计项目:数据与资料,与测验有关理论、有关测验。
a、很多测验相互参照,很多人格测验用mmpi题目,有些就是参照,有些就是弄过来,16pf没有有效率度量表中,187道题,有些被试在人才招录时都选定的答案,用其它测验效度量表中去掉,mmpi或艾森克逼供量表,20个题目,集中上开,统计数据时就是单独一个量表。
题目量要大,准备用50道,编100道,最好多一倍,有的是1:1.5,至少要多1/2的题目,便于淘汰。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
测验编制步骤:8步1、目的、对象2、确定结构、确定测验结构,①根据理论、智力测验有几个因素;人格特质,一个特质是一个维度。
②因子分析,大致有个设想,初步构思,先是探索,验证,样本不一样,好的测验要做几次。
首先检查共同度,低于0.5或0.3的题目去除,与其他项目之间的共同成分。
认知能力有两种,斯皮尔曼理论。
G因素和S因素,好的0.5以上。
碎石图拐点因素负荷,各因子负荷分数,能区分、旋转后也不能把负荷集中,去掉。
如两个因子上都是0.4,结构不明确,某一题目属于谁不确定。
题目多时做验证性因素分析A、首先做单维检验,一个维度属于一个ξ,如12道题,B、4个一加,4个一加,原始分相加,变成三个指标,指标太少,验证性因素分析做不出来。
项目超过100个,旋转不出来,探索性因素分析旋转不出来。
③分配权重:30分常识60分词汇满分相差很大,通过转换成量表分,变成Z分,转换成量表10分制。
麦卡锡幼儿量表分多的1/2少的1.5 30分左右。
有的分测验重要的,权重较大。
3、记分方法4、常模:用到什么地方,抽样如何抽A、一种看成是正态分布,知道S和X就可以。
转化为Z分。
B、非正态数据,根据常模样本频数分布确定,累积百分数,你的分数一边是分数,以下是百分之多少。
累积百分比算出来了,某一分数对应P,累积百分率多少。
根据常模样本确定每一点的累积百分数。
常模样本分数分布,例如:艾森克一般T 20~80分最多90分,一般做到80分艾森克远远超出80分,偏态。
5、设计项目:数据与资料,与测验相关理论、相关测验。
A、很多测验相互参考,很多人格测验用MMPI题目,有些是参考,有些是搬过来,16PF 没有效度量表,187道题,有些被试在人才招聘时都选好的答案,用其它测验效度量表加进去,MMPI或艾森克测谎量表,20个题目,分散开,统计时是单独一个量表。
题目量要大,准备用50道,编100道,最好多一倍,有的是1:1.5,至少要多1/2的题目,便于淘汰。
B、试测:试测样本一般100~200个大样本就行。
目的:* 题目表述学生有无问题,语言方面,可以访谈一下,理解有无困难,定性的,有些项目是否意义有不同理解删掉* 定量分析,难度,每个选项选的频率,5个选项,1或2个选项几乎是零,项目不合格,不低于5%,最理想的选项分布是正态的,能力测验,正确答案多、其他错的少一些,但有一选项无人选,删掉。
* 难度:0.5的高些,两边少些,都有,总体难度平均0.5左右,有适当难度,0.05~0.95都可以,如果是能力测验,鉴别能力高的被试容易、鉴别能力低的被试能力测验题目难度的分布范围可以两个极端都有;但是人格测验题目难度不能大于0 .95,不能太低、太高。
有的淘汰项目只用项目分析。
共同度<0.5如果样本大,可以用因素分析淘汰二个因子共同度相差不多不集中在某个因子上的题目但小样本与大样本因素分析不同。
MMPI 500多道题目精神病人分几天做有些题目删掉,有些修改。
试测要有100~200人,统计分析有意义。
C、合成题目:通过淘汰题目后,换一个样本再检验一下。
6、标准化:指导语,如:能力测量,时间、手势、评分详细规定。
7、收集信、效度资料:事先做了因素分析,本身为信、效度准备。
能力测验信度要求高,0.9或0.8以上,重测信度。
人格测验信度要求低,0.6或0.7以上。
复本信度要在0.8~0.9以上,说明等值性好。
同质性信度0.6以上可以,重测相差两个星期,试卷有名字或编号、学号等,复本信度也一样。
8、常模样本:对总体有代表性,能力测验包括各种人群,尤其两端,天花板尽量高,地板尽量深。
A、发展常模:* 智力年,某一年智力平均数做为智力指标、绝对指标,与常模对照,与哪一年相符确定智龄。
* 某一年级,年级当量,成绩、标准化考试,考的是学科知识。
B、组内常模:心理测验、智商、T分数都是组内常模,跟样本同样年龄人比,在人群中的位置,智商100,在50%位置;110在80%位置;有点象常模参照,目标参照,有点类似,但不一样。
组内常模,水涨船高,总体样本水平高,标准高。
有的维度8道题、7个维度,网络成瘾8岁和10岁同样智商100,实际水平不同,常模参照。
发展量表分数一样,水平大致相等,智龄9岁相等。
组内只能在组内比较。
9、编手册目的、功用、依据,材料来源、题目施行方法、记分、注意事项、标准答案、评分方法、难度、区分度、效度、信度、常模表、如何解释、如何运用测验结果的解释。
实际:学习能力、归因、……..几个维度,先给好的。
测评公司、编一个学习能力问卷,5个维度。
先前按1:1.5以上试测,141个样本,每道题通俗度、区分度分析,去除区分度低的。
正题、反题,反题按照6-反题原始得分,在compute中做,转换数据是转换的,再分析难度、区分度、实际维度自己编a是学习能力、b是团队合作删除题目后再找样本做,求信、效度数据原来150~~~~~~~116题,去掉题目,按区分度、难度、题目也看一下、难度看每个维度难度、平均通俗度编制时在0.4~0.6,在0.5左右,调整题目,增减不同难度题目,看单个维度、去掉较少、区分度低于0.3删掉,但考虑题目数量,个别考虑平衡,个别保留区分度0.28的题目,主要根据区分度删除题目,区分度每个维度,每个题目得分与维度总分求相关。
第九章心理测验的编制心理测验的标准化水平与测验编制的程序和方法有密切关系。
为提高心理测验的质量,必须规范心理测验编制的程序。
本章将介绍心理测验编制的一般程序,举例说明人格测验、智力测验和学绩测验编制的方法,供测验编制者参考。
第一节心理测验编制的一般程序不同性质的心理测验,其编制方法有所不同。
学绩测验的编制与能力测验的编制应有所不同,能力测验的编制与人格测验的编制也会有所差异。
但不管编制测验的具体技术和方法有多大差异,其基本程序一致,这正如工厂里生产某种技术产品,通常会按照既定的工艺流程来进行。
总的来说,编制一个可供使用的标准化的心理测验,一般要经过以下几个步骤:一、确定测验目的测验目的是编制测验的依据和出发点。
这一步主要解决三个问题,“为什么测”、“测谁”、“测什么”,即明确测验的用途、测量对象和测量目标。
(一)明确测量用途明确测量用途,也就是明确编制的测验干什么用。
这一步骤包含两方面的涵义,一方面,是明确测验有什么心理功能,要确定测验是用于测量哪种心理特征。
是测智力还是人格?是测注意力还是创造力?是测职业兴趣还是测学业成绩?如果是测量能力,具体又是测哪方面的能力?只有先确定了目标,并把目标具体化,才能进一步确定测验的结构和内容。
另一方面,要明确测验将应用在哪一领域,是用于描述被试的心理特质?还是用于诊断心理是否异常?是用于选拔人员?还是用于验证某个理论假设?用途不同,编制测验时的具体要求、取材范围以及测题的难度也不尽相同。
(二)明确测量对象明确测量对象,也就是明确量表将应用于哪些个人或团体。
通常以年龄、性别、职业、受教育程度、民族、文化背景等指标来区分测量对象。
应用于不同年龄阶段和不同教育水平被试的测验,在材料的选择和项目的内容上也不一样。
如,编制一份用于测试儿童智力的量表,需要选用他们能理解的材料,项目也应设置为他们可以回答的方式。
施用于不同对象的测验应该有其不同的特征,而不应千篇一律。
文化背景的差异往往会导致心理结构的取向有所不同。
Rogoff & Morelli于1989年做过这样一个实验:他们要求来自非洲土著部族的被试将二十种物品按照他们认为最聪明的方式进行分类,结果被试将桔子和小刀分为一类、把土豆和锄头归为一组等等。
实验完毕,主试又问:“愚笨的人会怎样分类?”被试便迅速地将物品分为两类:食物和工具。
而后一种分法却是实验者认为理所当然的。
所以,编制心理测验时,必须重视测验实施对象的文化立场和背景。
(三)明确测量目标明确测量目标,也就是明确测验是用于测量哪种心理特质,并对该心理特质的定义和结构进行分析,据此编制相应的量表。
心理特质结构的确定一般依据一定的理论,或根据因素分析的结果,或根据实践经验。
以编制智力量表为例,不同的心理学家对智力有不同的看法,他们根据自己对智力的理解来编制智力测验量表,如韦克斯勒就是按照他自己的整体智力理论把智力分成语言和操作两方面,所以他的智力量表就是由言语测验和操作测验组成。
而塞斯顿认为人的全部智力可以分为七种基本能力:空间知觉能力、计数能力、言语理解能力、词汇流畅性、记忆能力、推理与归纳能力、知觉速度,于是,他以这种智力的群因素理论为依据,编制了《基本心理能力测验》。
又如人格测验中,爱德华个人偏好测验就是依据哈佛大学莫瑞教授的人类十五种基本需求理论编制而成;而卡特尔十六种人格因素测验则是依据因素分析的结果确定其结构的;明尼苏达多相人格测验则是编制者根据长期的临床经验来确定其结构的。
二、制定编题计划编制心理测验犹如建筑房屋,需要事先设计周详的蓝图,以作为命题的依据。
编题计划就是这一蓝图,是编制测验的总体构思。
这样,测题的内容才具有适当的代表性,从而发挥测量的功能,实现测量的目标。
在制定编题计划过程中,一方面,要根据已经确定的测量目标结构,把内容分解为具体的指标,便于操作,使测验内容全面而具有代表性,不致使测题偏离了应测的范围;另一方面,也要明确各个测验指标在整个测验中所占的比重,即确定对各个内容点的相对重视程度,这一比重通常用百分比来标明。
编题计划主要有两个用途:其一,编题计划确定了指标体系,指明了应该编哪些方面的测验项目以及编多少项目,因此,测题编制结束后,可比照计划核对测验项目是否反映了所要测量的内容。
其二,在记分时可按计划中百分比确定每类测验项目的分数。
三、编辑测验项目测验的计划拟定之后,就要开始编辑测验项目了,这是编制测验量表过程中较为核心的一个步骤。
在编制测验项目这一步中需要解决下面的三个问题:(一)收集测验材料一个测验是否有效,取决于该测验是否能够测得研究者所要测到的东西,而一个测验是否能测到目标特质与测验材料的选择是否适当有着密切的关系。
为此,编制项目之初要做的就是收集适当的测验材料。
尽管不同性质的测验所依据的材料内容各异,但都必须遵循下面几个共同的原则:1. 材料要丰富无论是能力特征还是人格特征,均是十分复杂的复合性心理结构,不能仅凭一两种简单的材料或少量几个项目去推断一个人的智力或人格特征。
因此,一个心理测验必须包含多种不同类型的材料,材料收集得越齐全,编题工作就会越顺利。
2. 材料要有普遍性测验所使用的材料,应该是大多数被试都能理解的。
编制智力类测验时,所收集的材料对于不同文化背景、不同经济地位、不同地区的个人或团体应当是公平的,应尽可能避免特殊知识经验对测验结果的影响。
如“青稞”这一粮食作物,高原地区的人可能会认识,但大部分居住在平原地带的人都不熟悉,这样的材料就不具备普遍性,不宜纳入测验之中。