第六章 人员测评内容标准化方法

二、效度
是指测评结果与测评目的相符程度，即所测量到的内容确属原 本想要测量的内容。我们认为效度是指测评量标准或所用的指标能 够如实反映某一概念真正含义的程度。
性质：相对性、连续性和非直接测量性。
（一）量化研究中的效度
（1）内容效度：即表面效度或逻辑效度，是指测量内容或测量
指标与测量目标之间的适合性和逻辑相符性； (2)结构效度：就是实际测评的结果与所想测评素质的同构程度。 （3）关联效度：是指测评结果与某种标准结果的一致性程度
测评指标则是指素质测评目标操作化的表现形式。 测评内容、测评目标与测评指标共同构成了素质测评的标 准体系。即测评内容、测评目标与测评指标是素质测评标 准体系的不同层次，测评内容是测评标准体系的基础，测 评目标是测评标准体系的主体，测评指标是测评标准体系 的实体。
二、工作分析
工作分析是采用科学的方法搜集工作信息，并通 过分析与综合所搜集的工作信息找出主要因素， 为工作评价与人员录用提供依据的管理活动。 实质：从不同个人职业生涯与职业活动的调 查入手，顺序分析工作者、职务、职位、职 责、任务与要素的过程，并由此确定工作的 性质要求与任职条件。 要素是工作分析中不能再分解的最小单位。 工作分析结果是职位说明书与职位工作规 范。
3.主管人员分析法：主要由主管人员通过平时的管理权力来记录所管理人员的工作活动、任 务、职责； 4.访谈法：适用于短时期的生理性工作特征的调查分析，又适用于长时间的心理性工作特征 的调查分析，但要做好访谈计划。 5.关键事例法：是指通过对实际工作中特别有效或无效的工作者行为的简短描述，来调查与 分析工作的一种方式。这种方法对与那些复杂性或长时间才能完成的工作分析师很有效 的。 6.问卷调查法：是工作分析中最常用的一种方法，具体形式又分为通讯问卷与非通讯问卷、 检核性问卷。 7.文献查阅法，即职业信息法
（4）主观经验法 （权重分配的合理性、变通性、模糊性和归一性）
（六）规定测评指标的计算方式
（七）试测并完善测评指标体系
第二节 素质测评的信度与效度分析
一、信度
信度：即可靠性，是指测量结果反映测量对象实际情况的可信度， 换句话说就是信度主要是指测量结果的一致性或稳定性，即在同样 条件下，同一被试者多次测验的结果一致或接近，说明此测验信度 高。 类型：一是再测信度（最常用、最普通的信度检查法）；二是复本 信度；三是一致信度（即所测评素质相同的各测评项目数间的一致 程度）；四是评分者信度。 提高测评结果的可信度：一是要选择高质量的测评工具；二是控制 测 评过程及其系统的误差；三是训练与提高测评者的操作水平。
3.效度分析的多面性问题 4.效度概念的特定性问题
效度的分析数据是每个被测评者的总分数，但是想对每个素质测评的子分 数与相对每个测评项目来说，也同样有效度问题
5.效度的定义问题
一般认为效度是测评结果反映所测评的正确性或真实性程度。素质本身是模 糊不清的，测评结果究竟是否反映了素质，根本无法对证。如果把效度定义为测 评结果反映被测评者、各体检素质差异的真实性程度，是可行的。因为差异是一 种可以测评到，也可以感觉到的东西。
1.权重的种类
（1）纵向加权 （2）横向加权 （3）综合加权
形式有两种，一是绝对权数，一种是相对权数。 绝对权数即为分配给测评指标的分数也称自重权数。 它常为绝对数量。所谓 相对权数是指某个测评指标作 为一个单位，它在总体的比重值 2.确定权重的方法
（1）德尔菲法（又称专家咨询法）用于技术预测 （2）层次分析法 是一种目标决策方法 （3）多元分析法 这种方法比较客观，但测评者或研究者精通多元分析
（三）工作分析的方法
是指可以用于搜集与测评对象相关的工作信息的基本方法，包括工 作分析过程中所采取的手段、工具与方式
1.观察法：是指有经验的人通过直接观察方法，记录被观察者某一时期的工 作内容、原因和方法而不干扰其正常工作的活动，它通常是一种隐蔽的观察法。 一般要求用标准格式记录观察结果。 2.自我记录法：由工作者本人按标准格式及时详细记录自己在工作中的行为 和感受
测评内容的确定步骤：先分析被测评对象的结构，找出所有值得测评的因 素。根据测评目的与职位要求进行筛选。
（二）测评目标
测评目标是素质测评中直接指向的内容点。 素质测评内容与 测评目标具有相对性与转换性。“管理能力”在这里作为测评内容， 而它想对“才能”来说又可能是一个测评目标
测评目标的确定主要依据测评的目的与工作职位的要求。
（一）工作分析的概念
（二）工作分析在人员测评标准体系制定中的应用
不同的工作职位对任职者具有不同的职责要求，因而对任职者也 就会有不同的素质要求，人员素质测评不是目的，而仅仅是一种 手段，其目的是使人事配置相适宜。
工作分析的应用程序
①根据素质测评目的与需要，确定需要进行调查的职位范围，制定调查的提纲与 计划； ②采用一定方法广泛搜集有关某一职位任职者主要素质条件与绩效指标的素 材； ③通过一些方法筛选形成内容全面的素质调查表； ④在更大范围调查，并对调查结果进行统计分析，形成职位素质测评标准体系； ⑤对所制定的素质测评标准体系进行测评并修改 。
4.评价型效度
是研究者对研究结果所作的价值判断是否确切。
（三）效度分析中的几个理论问题
1.效度评价问题
高：效度系数在0.70以上
中：效度系数在0.30~0.70之间
低：效度系数低于0.30
2ቤተ መጻሕፍቲ ባይዱ效度系数的相对性问题
效度是针对某种特殊测评目的而言的，并不具有普遍意义。例如对技能测评 有效果的结果，想对品德测评就不一定有效度了。
第六章 人员素质测评内容标准化方法
本章要点 1.测评系统的内容、目标与指标 2.人员素质测评标准化方法——工作分析 3.测评内容的标准化七个主要步骤 4素质测评中的信度分析 5.素质测评中的效度分析
第一节、素质测评的内容与标准化方法
测评内容的标准化，主要是如何构建人员素质测评标准体系。 素质测评标准体系对素质测评对象数量与质量的测评，起着“标 尺”的作用。它一般由标准、标度和标记三个要素组成。所谓标 准是指测评标准体系的内在规定性，常常表现为各种素质规范 化行为特征或表现的描述与规定。标度：即对标准的外在形式 划分，常常表现为对素质行为特征或表现的范围、强度和频率 的规定。标记：及相应于不同标度的符号表示
表6——3某省政府干部选拔不同职位能力测评目标
副厅
1.决策能力 2.战略思维能力
正处
1.组织实施能力 2.综合分析能力
3.应变能力
4.工作创新能力 5合作共事能力
3.协调能力
4.计划能力 5.沟通能力
测评目标是测评内容点的一种代表
（三）测评目标
测评指标在这里并非完全同义统计学中“指标”，它是素质测评目标操作 化的表现形式
一、素质测评的内容、目标与指标
（一）测评的内容及其确定
测评内容在这里是指素质测评所指向的具体对象与范围，它具有相对性 测评内容的确定是以测评目的与所测评的客体的特点为依据。 考核性素质测评的内容一般范围越广泛越好，而诊断性素质 测评的内容一般要求精细和具有针对性，区分性素质测评则 要求选择那些变异较大的问题作为测评内容。
三、测评内容的标准化步骤 （一）明确测评的客体与目的。 （二）确定测评的项目；测评项目确定的方法：一是 工作目标因素分析法；二是工作内容因素分析法；三 是工作行为特征分析法。 （三）确定测评标准体系结构；工作分析是按一定的 层次结构分析 的。 （四）筛选与表 述测评指标；如何筛选？一是问这个测评指标是否具 有实际价值；二是问测评指标是否切实可行。 （五）确定测评指标权重； 权重分为纵向加权法、横向加权法和综合加权法
（二）质化研究中的效度
效度是传统的实证主义量化研究的一个判断标准，目的是通过客观 的测量和量化推论寻求一种普遍的法则。
质的研究中的效度问题主要分为：
1.描述型效度 是对外在可观察到的现象或事物进行描述的准确程度。衡 量效度有两个条件:所描述的事物或现象必须是实体的；这些事物或现象必须 是可见可闻的。 2.解释型效度 适用于质的研究。指的是研究者了解、理解和表达 被研究者对事物所赋予的意义的“确切”程度。 3.理论型效度 又称诠释效度，指的是研究所依据的理论以及从研究结果 中建立起来的理论是否真实地反映了所研究的现象。