《人力资源开发与管理》:什么是测试的信度与效度

《人力资源开发与管理》:什么是测试的信度与效度
《人力资源开发与管理》:什么是测试的信度与效度

MBA课程名称:《人力资源开发与管理》

题目:什么是测试的信度与效度?

正文:

在人才测评中,要注意信度和效度。信度和效度是对测试方法的基本要求,只有信度和效度达到一定水平的测试,其结果才适于作为录用决策的依据,否则将误导主试者,影响其作出正确的决策。

一、信度

信度主要是指测试结果的可靠性或一致性。可靠性是指一次又一次的测试总是得出同样的结论,它或者不产生错误,或者产生同样的错误。信度主要有四类:重测信度、复本信度、内部一致性信度、评分者信度。

1.重测信度又称为稳定性系数,它是指用同一种测试方法对一组应聘者在两个不同时间进

行测试的结果的一致性。一致性可用两次结果之间的相关系数来测定。重测信度的高低既与测试方法本身有关,也跟测试因素有关。

2.复本信度又称等值性系数,它是指用两个测验复本(功能相同但题目内容不同)来测验

同一群体,被试在这两个测验上得分的相关性。复本信度的高低反映了这两个测验复本在内容上的等值性程度。

3.内部一致性信度。这一信度主要反映同一测试内部不同题目的测试结果是否具有一致

性。

4.评分者信度。这是指不同评分者对同样对象进行评定时的一致性。

二、效度

效度即有效性或精确性,是指实际测到应聘者的有关特征与想要测的特征的符合程度。效度主要有三类:内容效度、校标关联效度、构想效度。

1.内容效度即测试方法能真正测出想测的内容的程度。例如,如果某测试工具旨在测量求

职者的交流技能,那么高分就意味着此人有很强的交流能力。

2.校标关联效度也可叫做标准相关有效性,是指选择工具能否根据重要标准准确预测工作

表现,或根据测试标准得到的测试分数与根据实际工作标准得到的标准分数之间的关系。其中一个例子是认知能力测试。这种测试应使分数与人的工作表现精确相关。有效相关系数范围为-1.00~+1.00。相关系数越接近1.00,测试工具越有效。

3.构想效度。这是指测验能够测量到理论上的构想或特质的程度。所谓构想通常指一

些抽象的、假设性的概念或特质,如智力、创造力、言语流畅性、焦虑等。这些构想往往无法直接观察,但是每个构想都有其心理上的理论基础和客观现实性,都可以通过各种可观察的材料加以确定。

浅谈语言测试的信度与效度

?2009年第1 期? 5 陈静 浅谈语言测试的信度与效度 收稿日期:2008-09-24作者简介:陈静(1981-),女,吉林华桥外国语学院科研处,讲师,长春130117 [摘 要]本文通过测试的信度与效度的对比分析,结合其发展过程分析了信度与效度的相互关系对语言测试及语 言教学的影响。正确、科学的现代语言测试的取向应该是效度重于信度。提高测试的效度可以提高语言测试的正面反拨作用,即促进语言教学的质量。 [关键词]语言测试;信度;效度[中图分类号]H087[文献标识码]A [文章编 号](2009 01-0005-04 语言测试学, 作为应用语言学的一个分支, 现已发展成一个相对独立的学科。作为对语言教学进行测量和评估的一个重要手段, 语言测试愈来愈受到广大外语教学工作者的重视。Bachman (2004:54 曾说:“在教育程序中, 语言测试的基本运用是给教学评估提供重要的信息。”通过测试可以检查学生对知识的掌握情况和教学中存在的问题,对今后的教学提供指导和帮助;同时,通过测试可以衡量教学任务和教

学大纲的执行情况。不科学的测试不仅不能起指挥棒的作用, 有时反而会误导教学, 将学生和教师引向歧途。因此我们主张的是科学的, 符合教育原理的测试, 这样的测试会对教学产生积极 的反拨作用。一套设计比较科学的测试,一般认为应该有四点特征, 即效度, 信度, 实用性和良好的反拨作用。其中信度与效度是后两者的基础,是语言测试的永恒主题,信度与效度孰重孰轻, 也是现代语言测试学家一直争论不休的话题。本篇论文通过测试信度与效度的研究,旨在帮助教师设计合理的测试,并在测试后对试题总结、归纳,以加大测试力度,提高测试效果。一、信度与效度的概念 语言测试的信度是指测试结果的可靠程度。 浅谈语言测试的信度与效度 吉林华桥外国语学院学报 6 即当被测试对象发生变化,用同样的“尺子”去重复测量时,总是获得类似的结果。影响信度的因素很多, 它们存在于语言测试的每个环节中,就试卷本身来说主要是样本的大小和区分度等。取样大, 样 本具有广泛性, 测试的信度就高, 反之信度就低。另外试题太难或太易, 考试分数集中于某一点或某一区域测试也失去信度。在测试的组织、实施这个环节中, 一方面考试的环境和条件要对考试有利。另一方面考试的环境和条件对所有的受试者是否一致也影响到考试的信度。在测试评分的环节上, 评分标准是否一致对信度影响很大,尤其是主观题的评分很难能达到很高的标准。

信度与效度的关系

研究信度与效度的关系 一、信度与效度的定义 信度即可靠性,它指的是采取同样的方法对同一对象重复进行测量时,其所得结果相一致的程度,或者说,信度是指测量结果的一致性或稳定性。 效度即准确度,它是指测量工具或测量手段能够准确测出所要测量的变量的程度,或者说能够准确、真实地度量事物属性的程度.二、信度与效度的关系 (一)教育科学研究中信度与效度的关系 信度是研究结果所显示的一致性、稳定性程度,也是对研究结果一致性和稳定性的评价标准。一个具有信度的研究程序,不论其过程是由谁操作,或进行多少次同样的操作,其结果总是非常一致的.效度是一个研究程序的性质和功能,也是对研究结果正确性的评价标准,一个有效度的研究程序,不仅能够明确地回答研究的问题和解释研究结果,而且能够保证研究结果在一定规模的领域中推广。把两者的作用结合起来看,信度和效度是一项教育科学研究活动和结果具有科学价值和意义的保证。研究的信度是研究的效度的一个必要的前提,没有信度,效度不可能单独存在,也就是说,一项研究不可能没有信度却具有效度。 (二)人力资源招聘信度与效度的关系 影响测评信度的因素有很多,主要是系统误差和随机误差.包括测评者的专业性和素质、被测评者本人的心理、侧评工具的稳定性、

环境的稳定性等都会影响测评的可信度。影响测评的效度因素也有很多,如测评工具、测评过程及测评者因素、被测评者状态、效标因素和信度因素等。在实际招聘与录用评估过程中要把握各相关方面,不仅要有专业的测评人员,同时也要在稳定的环境中为被测评者提供一个放松真实的氛围。信度和效度是人才侧评与选拔质量的重要指标.图形形式表现分析得出的信度和效度的三种关系,则会是以下这些样式,如图8—l .图8-2和图8—3所示。所以,:高信度是高效度的必要条件,但非充分条件.即信度高不一定其效度就高,但要想获得较高的测评效度,其信度必定要高, (三)用结构式问卷来测量家长“溺爱孩子”的行为中信度与效

量表的信度效度检验

第六章量表的信度效度检验 我们采用含有多个项目的量表来测量人们的意见、态度、看法等、这样得到的结果是否准确、可靠,是否有适用性?这就需要评价量表的信度和效度。从理论的观点来看,一个良好的测量工具(量表)应具有足够的效度和信度。 一、信度检验 信度(Reliability)即可靠性,是指采用同一方法对同一对象进行调查时,问卷调查结果的稳定性和一致性,即测量工具(问卷或量表)能否稳定地测量所测的事物或变量。信度指标多以相关系数表示,具体评价方法大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性\替换形式)和内在一致性系数(跨项目的一致性)。信度表示的方法主要有以下四种: 1、稳定性系数 稳定性系数是采用同样的问卷,对同一组访问对象在尽可能相同的情况下,在不同时间内进行两次测量,用两次测量结果间的相关分析来评价量表信度的高低,连皮尔逊积差相关系数即是信度系数,也称为重测信度,或再测信度。 两次测量,如果间隔时间过长,调查对象容易受环境和个人经历的影响而发生态度的转变,如果间隔时间过短,则受到上次调查记忆的影响。适当的间隔时间是既不能让调查对象记住上一次测验的内容,也不能让其被测的主观特征在两次测验之间没有发生较大的变化。适合的间隔时间要视调查对象和测量内容不同而不同,一般来说,年幼儿童,间隔时间要小,年长者,间隔时间可以延长。并且调查对象在两次测量期间没有发生于相关的重大事件。在最后提交调研报告时,要对间隔时间加以说明,报告间隔的时间。 2、等值系数(复本信度) 用两个复本在最短时间内对同一组调查对象进行测量所得结果的一致性程度,复本信度系数等于两个复本测量所得分数的皮尔逊积差相关系数。复本信度的高低反映了这两个测验复本在内容上的等值性程度,是等值系数。复本类似于考试中得A、B卷,如果一个人在A卷和B卷的得分相同,就说明考题具有信度;如果两者差异很大,则缺乏信度。 复本信度的使用前提是测量所用的两个复本必须是等效的,两个复本要满足以下几个条件:两个复本测量的是同一种特征。两个复本具有相同的内容和

试题的难度、区分度、信度和效度

试卷的难度、区分度、信度和效度 一.试卷的难度 (一)什么是难度 难度是指试卷的难易程度,是评价考试的一个非常重要的一个指标。一个题目,如果大部分考生都能答对,那么这个题目的难度就小;如果大部分考生都不能答对,那么这个题目的难度就大。 客观题难度计算公式:P(难度指数)=试卷答对人数/考生人数;主观题难度计算公式:P=试卷平均得分/试卷满分。试卷难度计算公式:P=为平均分,K 为试卷满分值。易、中、难的标准为:易:P≥0.7,中:0.4≤P≤0.69,难:P≤0.39;P值越大,难度越低,P值越小,难度越高。一般来说,难度值平均在0.5最佳,难度值过高或过低,都会降低测验的信度。 (二)难度的计算 (1)客观性试卷难度P(这时也称通过率)计算公式: P=k/N(k为答对该题的人数,N为参加测验的总人数) (2)主观性试卷难度P计算公式: P=X/M(X为试卷平均得分;M为试卷满分) (3)适用于主、客观试卷的计算公式: P=(P H +P L )/2(P H 、P L 分别为试卷针对高分组和低分组考生的难度值) 步骤为:①将考生的总分由高至低排列;②从最高分开始向下取全部试卷的27%作为高分组;③从最低分开始向上取全部试卷的27%作为低分组;④计算。 (三)试卷难度的一般要求 就高考来说,难度以适中为宜,单个试卷的难度以0.3--0.7之间为好,整卷以0.5--0.6之间为最佳。一般将难度值大于和等于0.7的试卷定为容易题;大于0.4和小于0.7的定为中档题;小于和等于0.4的试卷定为难题。命题时难度一般要按一定比例分配,如3:6:1或3:5:2。 二.试卷的区分度 (一)什么是区分度 区分度是指考试卷目对考生心理特征的区分能力。区分度高的试卷能将不同水平的考生区分开来,水平高的考生得高分,水平低的考生得低分。区分度高的

如何保证人才测评的信度和效度

如何保证人才测评的信度和效度 人才测评的主要工作是通过各种方法对被试者加以了解,从而为企业组织的人力资源管理决策提供参考和依据。经过长期的发展和适应不同情况的需要,形成了多种人才测评方法。而人才素质测评作为一项重要的人事技术,已经为越来越多的企业人力资源部门所接受,而如何保证能力素质测评中的信度和效度,也越来越受到关注。下面,就具体案例讲讲如何保证能力素质测评的信度和效度。 一、案例背景 N公司是一家外资工程管理公司,成立于1998年,总部设在上海。随着WTO的开放和工程项目的增多,工程公司在国内如雨后春笋般成长起来,就此拉开了人才竞争的序幕。尤其是上海,工程项目管理人才的争夺十分激烈,N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力,保留现有中高层骨干人才,并让他们“适人适位”,N公司请来了北大纵横管理咨询公司,希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 (一)中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物,测评的目的是为了保留人才、适人适岗,因此经过双方共同探讨,项目组在北大纵横经理人能力素质指标体系的基础上,结合N公司的实际情况,选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时,采用广泛用于企业人员素质测评、方案比较、科学技术成果评比等方面的层次分析法,来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具,大家一致选定评价中心技术进行本次人才测评,并主要运用三类测评工具:心理测验、深度面谈和情景模拟测验。 (二)测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起,围绕测评因素,结合N公司实际情况进行测试题目的设计,并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试,人机对话;深度面谈设计了20个题目,涵盖了测评的各个维度;情景模拟采用案例分析和主题演讲两种测评工具,其中案例分析题库包含12题,主题演讲题库包含15题,被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中,测评小组成员由N公司内部专家、外部专家,以及北大纵横项目组组成。在测评实施前,对测评小组进行培训,使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问,被测评人根据提问回答问题,与测评小组进行双向沟通后,由测评小组根据评分标准对被测评人的表现现场打分,填入评分表;16PF人格要素测试要求被测试人进行40分钟的人机对话,由测评小组保存有效答卷。 由于不同的测评者其衡量的尺度会存在差异,为保证各个被试者成绩排序的正确性,在测评时,向测评者提供“成绩比较表”,供其记载各个被试者的各项测试的评分,便于他们进行比较。 4、分析测评结果并统计成绩。采用肯德尔和谐系数法对每个被测评者在各个测评要素上的得分进行评分者信度分析,并结合各测评要素在管理素质和业务素质方面的权重,计算出被测评人在业务素质和管理素质上的得分。测评结束后,测评小组对被测人员进行了问卷调查,了解他们对测评效果的看法。 三、测评为保证信度和效度所采取的措施 (一)保证测评信度采取措施分析 1、16PF测试采取的是计算机标准化题目的方式,计算机答题、计算机处理结果。被测试人员全部独立进行测试,并在规定时间内完成了测试。 2、深度面谈使用了20个题目,围绕测评因素的各个维度对被测评者进行考察。面谈进行顺利,被测人员都能较积极配合回答问题,和主试人进行较好的双向交流。 3、情景模拟采用案例分析和主题演讲两种测评工具,被测人员从两个题库中各抽取1题,测评小组根据其表现进行现场评估。测评得到了被测人员的积极配合,都能就问题提出自己的见解。 4、为增加评分者信度,本次测评工作专门成立了测评小组,并在测评前熟悉了整个测评程序和操作;各类能力素质附有评分标准,各类试题附有评分参考,力图对被测试者的表现进行量化分析;测评中,向测评者提供“成绩比较表”,

问卷的信度与效度

调查问卷的信度效度分析方法 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 1、重测信度法 这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。 2、复本信度法 复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。 3、折半信度法 折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的

SPSS与测验信度、效度、及项目分析

SPSS在测验信度、效度、及项目分析中的应用 李鹏 云南师范大学教育科学与管理学院 在SPSS中,专门用来进行测验信度分析的模块为Scale下的Reliability Analysis;使用Data Reduction之下的Factor模块,可以利用因素分析的方法来进行测验的建构效度检验;至于项目分析则没有专门的模块可以之间进行计算分析,但是却可以利用Summarize下的Frequencies、Correlate下的Bivariate 和Compare Mean下的Independent-Samples T Test来计算几个常用的项目分析指标。 一、信度分析 Reliability Analysis模块主要功能是检验测验的信度,主要用来检验分半信度、库李及a系数以及Hoyt信度系数值。至于重测信度和复本信度,只需将样本在二次(份)测验的分数的数据合并到同一数据文件之后,利用Correlate 之下的Bivariate求其相关系数,即为重测或复本信度;而评分者信度则就是使用的Spearman等级相关及Kendall和谐系数。 表1 Reliability Analysis模块的Model选项的参数及对应中文术语 关键字功能 Alpha Cronbach a系数 Split-half 分半信度,n是第二分量表的题数 Guttman Guttman最低下限真实信度法 Parallel 各题目变异数同质时的最大概率(maximum-likelihood)信度Strict parallel 各题目平均数与变异数均同质时的最大概率信度 表2 Reliability Analysis模块的Statistics部分选项的参数及对应中文术语 关键字功能 F test Hoyt信度系数 Friedman Chi Friedman等级变异数分析及Kendall和谐系数 Cochran Chi Cochran’s Q检验,适用于答案为二分(如是非题)的量表

测量工具的信度和效度分析

测量工具的信度和效度分析 常用的测量工具主要有调查问卷和量表,它们都是对个人行为和态度的一种测量技术,是测量答卷者对问卷题目主观认识的个体差异的工具,也是研究者用来搜集资料的一种技术。一般情况下,编制一份量表必须做效度和信度评价,而调查问卷则不是必须的。对于有些调查问卷,其包含了类似量表性质对答卷者客观指标测量的题目,对这部分题目需要进行效度和信度的评价。 第一节信度分析概述 一、信度的概念 信度是指测量工具的可靠性和稳定性的程度,或是指使用某测量工具所获得结果的一致程度或准确程度。 测量工具的信度包含2层含义:一是相同的个体在不同时间,以相同的测量工具测验或以复本测验,或在不同的情景下测验,是否能得到相同的结果,即测量工具的测验结果是否随时间和地点等因素而变化;二是能否减少随机误差对测量工具测验结果的影响,从而反映测量工具所要测量的真实情况,即测量工具是否具有稳定性、可靠性和可预测性。 信度的三个特征是:稳定性、内部一致性和等同性。一个好的测量工具必须是稳定可靠,且多次测验结果应前后一致。 信度本质上是一个统计学概念,是用于估计测量误差大小的尺度,主要说明测量工具测验结果中测量误差所占的比例。实际应用中主要通过构建平行测验来计算测量工具的信度。 二、信度的评价方法 信度研究的是测量工具测验结果的可靠性与稳定性,这种可靠性与稳定性可以从4个不同的角度来评价:①在相同条件下所得测量工具测验结果一致程度; ②不同研究者用同一种测量工具同时测验所得结果的一致程度;③同一研究者用同一种测量工具在不同时间内测验所得结果的一致程度;④同一答卷者在不同时间内对同一种测量工具测验的稳定程度。 根据研究角度不同,信度分为外在信度(external reliability)与内在信度(internal reliability)两大类。外在信度是指不同时间测量时测量工具测量的一致性程度。内在信度是指测量工具是否测量的是单一概念,同时也表明测

浅析语言测试中信度与效度两者之间的关系

浅析语言测试中信度与效度两者之间的关系语言测试在语言教学中处于中心地位,是从属于应用语言学这一学科的。在过去语言测试在应用语言学中处于边缘地位,而在长达三十多年的发展中,语言测试现已发展成为一个相对独立的学科,已经在学术上占有了一席之地。通过语言测试教育者可以及时发现学习者学习上存在的不足之处并在日后的教学过程中加以正确引导,也可以衡量教学任务和教学大纲的执行情况,但是这些都是基于科学的语言测试能够得到良好的反馈情况,反之,如果是一套不科学的语言测试就很可能对学习者做出错误的判断从而影响学习效率,所以科学的语言测试无论是对受教育者还是对教育者来说都是非常重要的。一套设计比较科学的测试应该是具有信度,效度,难度和区分度四点特征,信度与效度是难度和区分度的基础,同时也是语言测试的两大根本要求,只有正确认识了信度与效度两者之间的关系才能寻找出一个科学的方法使得语言测试更加科学准确。 信度指的是测量的一致性,一个实验或测试的信度指它在重复测量时产生同样结果的程度,也就是说测量的稳定性是否一致。影响信度的因素很多,其不仅存在于考试过程中的各个环节,也存在于阅卷的过程中,如试卷中的试题长度偏长,项目种类多,那么测试的信度就会提高,反之则会降低,考试分数集中于某一点或某一个区域时信度也会有所降低;考试期间考生时间充裕那么估算能力考试的信度也相对较高等等,这些都是存在于考试过程中各个环节的部分举例,在阅卷过程中阅卷者自身的信度和阅卷者之间的信度等问题也是影响信度的因素之一,如在评阅主观性的题目时(作文,口语等),阅卷者在评分时就具有很大的主观色彩,而不同的阅卷者掌握的主观的评分标准在评阅主观性试题时,不容易取得一致,也会使得测试的信度不稳定。效度指的是我们所获的证据在多大程度上支持我们根据分数所做出的推断,也就是考试是否检测到了它所要检测的东西,是否达到了它的预定目标。效度共分为三种不同的类型,其不同类型的效度测试有各自不同的测试着重面,内容效度测试的目的是为了了解测试者在一些实际环境中是如何运作的,如果测试的样本能够充分代表总体,那么测试在内容上就是有效的,反之效度则不高;预测效度和共时效度都是属于与标准有关的效度,预测效度是标志测试者将来能力的标准,如通过摸底考试分班,共时效度是指一个测试结果与另一个同时使用的标准的结果的关系;构想效度是指要考察一个测试者在多大程度上和我们根据某一理论所作出的预测是否一致,也就是说验证的是我们所做的假设是否有效。 信度和效度是语言测试中的两个最重要的方面,两者之间既相互依存又相互对立,可以说二者是存在于对立统一的一个整体中。

如何保证能力素质测评的信度和效度

如何保证能力素质测评的信度和效度 人才测评的主要工作是通过各种方法对被试者加以了解,从而为企业组织的人力资源管理决策提供参考和依据。经过长期的发展和适应不同情况的需要,形成了多种人才测评方法。而人才素质测评作为一项重要的人事技术,已经为越来越多的企业人力资源部门所接受,而如何保证能力素质测评中的信度和效度,也越来越受到关注。下面,就具体案例讲讲如何保证能力素质测评的信度和效度。 一、案例背景 N公司是一家外资工程管理公司,成立于1998年,总部设在上海。随着WTO的开放和工程项目的增多,工程公司在国内如雨后春笋般成长起来,就此拉开了人才竞争的序幕。尤其是上海,工程项目管理人才的争夺十分激烈,N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力,保留现有中高层骨干人才,并让他们“适人适位”,N公司请来了北大纵横管理咨询公司,希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 (一)中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物,测评的目的是为了保留人才、适人适岗,因此经过双方共同探讨,项目组在北大纵横经理人能力素质指标体系的基础上,结合N公司的实际情况,选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时,采用广泛用于企业人员素质测评、

方案比较、科学技术成果评比等方面的层次分析法,来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具,大家一致选定评价中心技术进行本次人才测评,并主要运用三类测评工具:心理测验、深度面谈和情景模拟测验。 (二)测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起,围绕测评因素,结合N公司实际情况进行测试题目的设计,并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试,人机对话;深度面谈设计了20个题目,涵盖了测评的各个维度;情景模拟采用案例分析和主题演讲两种测评工具,其中案例分析题库包含12题,主题演讲题库包含15题,被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中,测评小组成员由N公司内部专家、外部专家,以及北大纵横项目组组成。在测评实施前,对测评小组进行培训,使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问,被测评人根据提问回答问题,与测评小组进行双向沟通后,由测评小组根据评分标准对被测评人的表现现场打分,填入评分表;16PF人格要素测试要求被测试人进行40分钟的人机对话,由测评小组保存有效答卷。 由于不同的测评者其衡量的尺度会存在差异,为保证各个被试者成绩排序的正确性,在测评时,向测评者提供“成绩比较表”,供其记载各个被试者的各项测试的评分,便于他们进行比较。

测量工具地信度和效度分析报告报告材料

测量工具的信度和效度分析

测量工具的信度和效度分析 常用的测量工具主要有调查问卷和量表,它们都是对个人行为和态度的一种测量技术,是测量答卷者对问卷题目主观认识的个体差异的工具,也是研究者用来搜集资料的一种技术。一般情况下,编制一份量表必须做效度和信度评价,而调查问卷则不是必须的。对于有些调查问卷,其包含了类似量表性质对答卷者客观指标测量的题目,对这部分题目需要进行效度和信度的评价。

第一节信度分析概述 一、信度的概念 信度是指测量工具的可靠性和稳定性的程度,或是指使用某测量工具所获得结果的一致程度或准确程度。 测量工具的信度包含2层含义:一是相同的个体在不同时间,以相同的测量工具测验或以复本测验,或在不同的情景下测验,是否能得到相同的结果,即测量工具的测验结果是否随时间和地点等因素而变化;二是能否减少随机误差对测量工具测验结果的影响,从而反映测量工具所要测量的真实情况,即测量工具是否具有稳定性、可靠性和可预测性。 信度的三个特征是:稳定性、内部一致性和等同性。一个好的测量工具必须是稳定可靠,且多次测验结果应前后一致。 信度本质上是一个统计学概念,是用于估计测量误差大小的尺度,主要说明测量工具测验结果中测量误差所占的比例。实际应用中主要通过构建平行测验来计算测量工具的信度。 二、信度的评价方法 信度研究的是测量工具测验结果的可靠性与稳定性,这种可靠性与稳定性可以从4个不同的角度来评价:①在相同条件下所得测量工具测验结果一致程度;②不同研究者用同一种测量工具同时测验所得结果的一致程度;③同一研究者用同一种测量工具在不同时间内测验所得结果的一致程度;④同一答卷者在不同时间内对同一种测量工具测验的稳定程度。 根据研究角度不同,信度分为外在信度(external reliability )与内在信度(internal reliability )两大类。外在信度是指不同时间测量时测量工具测量的

试卷分析:信度、效度、难度和区分度

附件6、 难度、区分度、信度和效度的一般说明 一、难度 难度是指试题的难易程度,它是衡量试题质量的一个重要指标参数,它和区分度共同影响并决定试卷的鉴别性。 一般认为,试题的难度指数在-之间比较合适,整份试卷的平均难度最好在左右,高于和低于的试题不能太多。 1、难度的两种定义 (1)P=1-x/w 其中:x为某题得分的平均分数,w为该题的满分。 这种定义法,难度值小时表明试题容易,值大时表明试题难,最小值为0,最大值为1。 (2)P=x/w 这种定义法,难度值小时表明试题难,值大时表明试题容易,最小值为0,最大值为1。 2、难度的计算 (1)主观性试题的难度 A、基本公式法:P=1-x/w B、极端分组法 P=1-(XH+XL)/2W 其中:XH为高分组的平均得分(前27%),XL为低分组的平均得

分(后27%)。 (2)客观性试题的难度 A、基本公式法:P=1-R/N 其中:R为答对人数,N为全体人数。 B 极端分组法: P=1-(PH+PL)/2 其中:PH=RH/n叫高分组通过率,RH为高分组答对人数,n为总人数的前27%。PL=RL/n 叫低分组通过率,RL为低分组答对人数。 二、区分度 区分度是区分应试者能力水平高低的指标。试题区分度高,可以拉开不同水平应试者分数的距离,使高水平者得高分,低水平者得低分。而区分度低则反映不出不同应试者的水平差异。 试题的区分度与试题的难度直接相关。通常来说,中等难度的试题区分度较大。另外,试题的区分度也与应试者的水平密切相关,试题难度只有等于或略低于应试者的实际能力,其区分性能才能充分显现出来。 1、区分度指标的评价 ≤D≤+,区分度指数越高,试题的区分度就越强。一般认为,区分度指数高于,试题便可以被接受。 2、区分度的计算方法 (1)基本公式法:D=(H-L)/N 其中:D代表区分度指数,H代表高分组答对题的人数,L代表

调查表的的信度与效度评价方法

调查表的的信度与效度评价方法 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。 一、信度分析 信度(Reliability)即可靠性,是指采用同一方法对同一对象进行调查时,问卷调查结果的稳定性和一致性,即测量工具(问卷或量表)能否稳定地测量所测的事物或变量。信度指标多以相关系数表示,具体评价方法大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 1、重测信度法 同样的问卷,对同一组访问对象在尽可能相同的情况下,在不同时间进行两次测量。两次测量相距一般在两到四周之内。用两次测量结果间的相关分析或差异的显著性检验方法,评价量表信度的高低。 2、折半法。折半法是将上述两份问卷合成一份问卷(通常要求

这两份问卷的问题数目相等),每一份作为一部分,然后考察这两个部分的测量结果之间的相关性。 3、折半信度法折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表。进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式: 求出整个量表的信度系数(ru)。 4、α信度系数法 Cronbach α信度系数是目前最常用的信度系数,其公式为: 其中,K为量表中题项的总数,为第i题得分的题内方差,为全部题项总得分的方差。从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。这种方法适用于态度、意见式问卷(量表)的信度分析。 二、效度分析 效度(Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。效度分为三种类型:内容效度、准则效度

数学教学质量评估量表信度和效度分析

数学教学质量评估量表信度和效度分析 摘要:数学教学质量评估是教学管理的重要手段。根据高职院校特征,设计了数学教学评估量表,通过测试发现该量表具有较好的信度和效度,适合于对高职院校数学教学课堂质量评估。 关键词:教学评估;数学;信度;效度 数学教学质量评估是指依照一定的标准对数学教师教学质量进 行观察,并做出价值判断的过程。教学质量评估的结果将是被评价者提高自己各项技能和相关部门决策的重要依据。目前各个大专院校都将教学质量评估作为教学管理的一项重要内容。 一、研究方法 根据国内外研究者对教学质量评估的研究资料,提炼出符合高职院校的数学教学质量评估量表,并在本校各个专业367人进行测试,其中男生191人,女生176人。数学质量评估量表为选择题,当场测试并收卷,回收的数据用spss软件进行统计和处理。 二、因素分析 因素分析是处理多变量数据的一种统计方法,它可以揭示多变量之间的关系,因素分析的目的是通过寻找或者确定几个较少的假设“因子”来反映多个观察变量中蕴含的大部分信息,从而浓缩或化简观察数据。浓缩后的因子代表了数据间的基本结构,通过得到的因子估计值使研究者更方便地掌握数据的本质特质以及因子和观 察变量之间的关系。统计可以看出特征值大于1的因子共有5个,

累计贡献率为62.783%。因此可以抽取5个因素。5个因素中,变量的最高负荷值为0.835,最低的最高负荷值为0.307。第一个因素包括4个变量:上课熟练、准备充分、按时上下课、有责任心,称为教学态度;第二个因素包括4个变量:讲述准确、重难点突出、进度适宜、针对性强,称为教学内容;第三个因素包括3个变量:善于启发、方法恰当、深入浅出,称为教学方法;第四个因素包括3个变量:板书整洁、逻辑思路清晰、语言精炼,称为教学能力;第五个因素包括2个变量:效果明显、学生兴趣浓厚,称为教学效果。 三、信度检验 使用量表来度量人们的意见和看法时,为了判断得到的结果是否准确、可靠、是否有适用性,这需要对评价量表进行信度和效度检验。信度(reliability)即可靠性,是指采用同一种方法对同一对象进行调查时,问卷调查结果的稳定性和一致性,也就是该量表能否稳定地测量所测事物或者变量。信度指标多以相关系数表示,用信度系数来表示信度的大小。信度系数越大,表明测量的可信程度越大。究竟信度系数要多少才算有高的信度。一般认为其值为0.60~0.65为最好;0.65~0.70是最小可接受值;0.70~0.80表示相当好;0.80~0.90表示非常好。由此,一份信度系数好的量表或问卷,最好在0.80以上。若分量表的内部一致性系数在0.60以下或者总量表的信度系数在0.80以下,应考虑重新修订量表或增

什么是测试的信度和效度,如何保证测试的信度和效度

什么是测试的信度和效度,如何保证测试的信度和效度 棋盘中小张倩倩 在教育研究中,信度与效度是很常见的两个概念。但每次看到或听到这两个名词,我的脑袋老反应不过来,看来基础就是不扎实。我在这里就谈谈我浅显的认识。 一、信度 所谓的信度,是指使用相同指标或测量工具重复测量相同事物时,得到相同结果的可能性。如果说某个指标或测量工具的信度高,那它提供的测量结果就不会因为指标、测量工具或测量设计本身的特性而发生变化;反之亦然。根据测量过程中不同的误差来源,可分为再测信度、复本信度和折半信度。 再测信度,是用同一测量工具在不同的时间对同一群受试者前后测量两次,然后计算两次测量分数的相关系数,相关系数越大说明两次测量的一致性越高。相隔的时间不应该太长。 复本信度,是用两个完全等值的(平行的)复本对同一群受试者进行测试,计算两种复本测量分数的相关系数,相关系数越大说明两个复本构成带来的变异越小。如考试中使用的A、B卷 折半信度,只用一个测量工具对同一群受试者实施一次测量,但将奇数题和偶数题分开计分,再计算奇数试题和偶数试题分数之间的相关系数。 二、效度 所谓的效度,是指测量工具能够测出其所要测量的特征的正确性程

度。效度越高,即表示测量结果越能显示其所要测量的特征。如果说根据某项特征能够区分人、物或事件,那么说某个测量该特征的测量工具是有效的,就是指它的测量结果能把具有不同特征的人、物或事件进行有效的区分。常用的有变面效度、内容效度和效标效度。 表面效度是指测量效果和人们头脑中的印象或学术界形成的共识之间的吻和程度,吻合程度高,表面效度就高。 内容效度是指测量在多大程度上涵盖了被测量概念的全部内涵,测量工具代表概念定义的内容越多,内容效度就越高。 效标效度是指测量结果与一些标准之间的一致性程度,这些标准能够精确表示被测概念。 三、信度与效度的关系 信度是效度的必要条件,但不是充分条件。一个测量工具要有效度必须有信度,没有信度就没有效度;但是有了信度不一定有效度。 信度低,效度不可能高。因为如果测量的数据不准确,也并不能有效地说明所研究的对象。 信度高,效度未必高。例如,如果我们准确地测量出某人的经济收入,也未必能够说明他的消费水平。 效度低,信度很可能高。例如,即是一项研究未能说明社会流动的原因,但它很有可能很精确很可靠地调查各个时期各种类型的人的流动数量。 效度高,信度也必然高。

浅论语言测试的效度

浅论语言测试的效度 [摘要] 信度与效度是语言测试两大基本要求,信度与效度的关系问题是语言测试的根本问题。考试的效度指的是考试在多大程度上测出预期要测量的东西,信度指的是考试结果的可靠性。本文重点介绍了效度的含义,对效度的测量方法以及效度与信度的关系等问题做了详细的阐述。 [关键词] 语言测试效度信度 [Abstract] As a branch of applied linguistics, language testing has developed into a relative independent subject. Validity and reliability is the most important two criteria of language testing and the relationship of both is the ultimate issue. This article makes comments on the two criteria in detail. Validity is concerned with if a test measures accurately what it is intended to measure. Reliability means the quality of being reliable on consistency. This article puts emhasis on validity and also explains the testing methods of validity as well as the relation between validity and reliability. [Key words] Language testing validity reliability 一、引言 语言测试学作为应用语言学的一个分支,现已发展成一个相对独立的学科。信度与效度原是计量学中的两个重要概念,30年代被引入语言测试领域,60年代以Lado等人为代表的结构主义测试学家对这两个概念进行了系统的阐述和论证,标志着语言测试已形成科学的体系,成为一门独立的学科。可以说语言测试理论和实践上的发展和纷争都是以信度与效度为主线进行的,信度与效度是语言测试的永恒主题。 二、效度( Validity) 效度是一个相对概念。效度的有效性总是相对于一定的目的、功能和范围而言。效度具有相对性:任何测验的效度是对一定的目标来说的,或者说测验只有用于与测验目标一致的目的和场合才会有效。同时,效度具有连续性,测验效度通常用相关系数表示,它只有程度上的不同,而没有“全有”或“全无”的区别。 根据美国心理学会1974年出版的《教育与心理测试标准》一书,考试的效度可分成三大类:内容效度(Content Validity)、构想效度(Construct Validity)和效标关联效度(Criterion-related Validity)。 (一)内容效度(Content Validity) 内容效度指的是测验题目对有关内容或行为取样的适用性,从而确定测验是

评估测评的信度与效度

评估测评的信度与效度 案例 一、案例背景 N公司是一家外资工程管理公司,成立于1998年,总部设在上海。随着WTO 的开放和工程项目的增多,工程公司在国内如雨后春笋般成长起来,就此拉开了人才竞争的序幕。尤其是上海,工程项目管理人才的争夺十分激烈,N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力,保留现有中高层骨干人才,并让他们“适人适位”, N公司请来了北大纵横管理咨询公司,希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 (一)中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物,测评的目的是为了保留人才、适人适岗,因此经过双方共同探讨,项目组在北大纵横经理人能力素质指标体系的基础上,结合N公司的实际情况,选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时,采用广泛用于企业人员素质测评、方案比较、科学技术成果评比等方面的层次分析法,来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具,大家一致选定评价中心技术进行本次人才测评,并主要运用三类测评工具:心理测验、深度面谈和情景模拟测验。 (二)测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起,围绕测评因素,结合N公司实际情况进行测试题目的设计,并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试,人机对话;深度面谈设计了20个题目,涵盖了测评的各个维度;情景模拟采用案例分析和主题演讲两种测评工具,其中案例分析题库包含12题,主题演讲题库包含15题,被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中,测评小组成员由N公司内部专家、外部专家,以及北大纵横项目组组成。在测评实施前,对测评小组进行培训,使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问,被测评人根据提问回答问题,与测评小组进行双向沟通后,由测

前测数据分析--信度和效度分析

第二节信度和效度分析 一、信度分析 与预测试数据分析方法一样,为了确保问卷的可靠性,先进行信度分析,信度检验指标在前面已详细述,在此不再述。问卷信度分析如表4-2所示: 表4-2:量表信度检验结果 - . -优质文档

经过SPSS24.0数据统计软件分析得知个变量Cronbach's α均大于0.6,且 组合信度在0.792以上,说明所有问卷都具备可靠性,能够较好的反应变量的真实情况。 二、效度检验 (一)容效度 为了确保调研问卷容的有效性,问卷量表通过文献研究先初步圈定问卷容,所用量表大多采用国外已经开发出的成熟量表,对于这部分量表,本文给予直接采用的方式,其余量表则是在前人研究的基础上,根据本文的研究目的和方向进行谨慎的拟定。因此,本问卷具有容效度。 (二)结构效度 在测量结构效度时,通常采用探索性因子分析。在进行因子分析时,通常采用主成分分析法,主成分分析的目的在于利用变量间的线性组合来解释每个层面的方差,变量的第一个线性组合可以解释最大的变异量,以此类推,所以主成分分析法的步骤是,选取特征值大于1的因子,然后利用方差最大旋转法进行旋转,使得旋转后题目在各个因子的负荷量大小出现明显差异,大部分题目在每个公共 因子中有一个差异较大的因子负荷量出现。但在因子分析之前需要进行KMO值- . -优质文档

和Bartlett球形检验,只有当KMO>0.5且Bartlett球形检验的Sig.值小于0.05时,问卷才具有结构效度,才能够进行因子分析。本研究中对三个量表进行的结构效度分析具体情况如下。 (1)虚拟品牌社群价值的效度检测 1.1虚拟品牌社群价值的KMO值和Bartlett球形检验 在对虚拟品牌社群价值做因子分析之前,先做KMO值和Bartlett球形检验,检测结果如表4-3所示: 表4-3:虚拟品牌社群价值的KMO值和Bartlett检验 取样足够度的Kaiser-Meyer-Olkin度量.901 Bartlett的球形度检验近似卡方4892.820 df 186 Sig. .000 通过对虚拟品牌社群价值量表的14个题项进行KMO检验和Bartlett球形检验,发现虚拟品牌社群价值量表的KMO值为0.901,表明各个变量之间的相关系数非常高,适合做因子分析,同时Sig.值为0.000<0.05,达到显著性水平,综上可以得出虚拟品牌社群价值量表适合做因子分析。 1.2虚拟品牌社群价值因子分析 通过KMO值和Bartlett球形检验可知,虚拟品牌社群价值适合做因子分析,运用主成分提取法进行因子旋转后得到以下数据,如:表4-4所示: 表4-4:虚拟品牌社群价值旋转因子负荷值 - . -优质文档

相关文档
最新文档