情境判断测验技术

情境判断测验技术 (Situational Judgment Tests，SJT)
——SJT开发程序
童婷婷
1
题干（行为情景）
行为反应项 反应指导语
2
提纲
有关SJTs开发的各种不同问题，尤其是确定以下几个问 题：
1. 题目的题干(描述具体情境)； 2. 反应项(给出每个情景下可能的行为反应)； 3. 反应指导语的效应(明确测评方式)； 4. 行为反应项的标定； 5. SJTs的计分方法(确定如何计分，用于统计和计算分数)。
8
让受访者描述最近由自己主导的在管理工作中遇到的棘手 的事件，详细描述事件发生的时间、地点、起因、经过、 结果、背景、人物，当时的想法，采取的措施，事后的看 法。 这些情景必须满足以下几个要求： (1)关键事件性: (2)信息完备性： (3)事件典型性和普遍性： PS 附录 访谈提纲 访谈记录
9
b.档案记录法
5
多用关键事件法进行工作分析,同时辅助于其他的 方法、如访谈法,观察法、专家讨论法等。运用关 键事件法的目的是得到关于一个人如何开展工作 的详细描述,即得到一定工作情景中的“关键事 件”。然后,开发者对他们描述的“关键事件”进 行筛选、编辑和修订,使它们成为真正的关键事件。
6
关键事件法
a.主题专家法 （Subject Matter Expert SMEs） b.档案记录法
26
4.3理论法
理论法是基于理论或结构来判断行为项好坏的方法。但有人认 为这种方法过于主观。
27
5.计分方法
ຫໍສະໝຸດ Baidu5.1迫选法
28
第二种破选法
29
5.2 Likert量表法
以利克特量表形式呈现测验,令被试对每一选项在等级量 表上评出值,再计算出被试评出值与专家设定值的离差,离 差小者为优,或者是不求离差而求相关系数值,这时,要求 反应选项的个数应多,或者是只考察最有效(最愿意)项上 的离差;
我们也可以从档案性的来源渠道（档案记录法） 获得关键事件。Hunter(2003)在他关于飞行判断 的研究中，利用事故报告来识别飞行员所面临的 挑战性情境。尤其是那些为了其他目的而记录的 事件(例如：事故报告、保险调查报告、行动后报 告)，档案记录应该成为SJT所需事件的一个丰富 的渠道来源。
10
对“关键事件”进行筛选、编辑和修订，以这些 关键事件为基础，设计测验的情景部分。 典型情境的挑选具体操作步骤如下：
3
1. 试题题干设置
要考虑以下4个关键问题： (a)确定题目题干的来源或缘由； (b)题目题干的复杂性； (c)题目题干的保真性。
4
1.1题干的来源：
设置情景问题关键是要进行工作分析。工作分析 要解决两个方面的问题,即对工作本身作出规定和 确定工作对任职人员的行为要求,也就是工作描述 和职务要求。
14
2.1行为反应项的来源
主题专家法 第一种方法，对另一批在职员工进行施测，要求 他们用较好的处理办法作答情境问题； 第二种方法，采用行为事件访谈(BEI)的方法，通 过比较绩效优异者与绩效平平者的可能反应的差 别获得不同的反应项目，
15
编辑、整理可能的行为反应项。应注意： 注意一个行为反应项只有一个行为； 尽量避免“首先，然后”的作 去除与情境无关的作答反应方式； 对意思相近或相同的行为反应进行归类、合并。
缺点：样本量大
25
4.2 专家法
所谓专家法是一种是请专家先对反应项评判，讨论后达成 一致意见。没有达成的选项要修改甚至删除。也可以根据 专家独立评判出的结果来确定选项的标定。 另一种是新手专家比较法。请一批专家和一批新手进行测 试，然后通过比较新手和专家的作答来确定行为反应项的 标答。一般专家选择频率高但新手选择频率低的行为反应 项视为好的或正确的选项，而新手选择频率高但专家选择 频率低的行为反应项则视为不好的或错误的选项。
30
31
24
4.1实证法
(1)选择工作绩效为效标，用得较多的是直接主管的考核 法；
(2)求相关。先计算出各行为项上的得分，再计算得分与 效标的相关，被试的绩效越高，该反应项越好；(3)确定 行为反应项是否正确的规则。
有研究认为确定的规则有(a)选择该项的人数不能少于25 人；(b)效标关联效度不能低于0.1。实证法的不足之处 在于它对样本的强依赖性。
12
1.3 题干的保真度
另外一个相关问题是题目题干的保真度。一般情况下，保 真度是指题干的真实性程度，或真实地再现工作任务要求的 程度
现在重要的一点是要认识到反应形式上的差异，例如： 纸笔、计算机、互联网等形式，可能会导致反应上的差 异。 视频形式
13
2.确定行为反应项
2.1 行为反应项的来源 2.2反应选项的特点
一类是知识行为指导语或最佳行为指导语；一类是 行为倾向指导语或典型行为指导语。
前者要求被试对行为反应项的有效性进行评价，后者要 求被试选择自己可能采取的行为反应项或评价自己采取 各行为反应项的可能性大小。
20
21
二
22
L
23
4.行为反应项的标定
为了评判被试的水平，必须先有一个评判的标准， 即标定好的各行为项（标答），再把被试的作答 和标答进行对比，最后赋分。 答案的标定方法有三种：实证法、理论法、专家 法。
16
2.2特点
好的反应项应该具有如下特征： 反应项必须与所设置的情境有关； 有较强的区分鉴别能力,即通过做答能具体反应出被试能 力的强或弱; 数量恰当，一般应有 3 至 5 个反应项，并且按强度可 排序； 反应项要尽量降低社会的称许性。
17
18
19
3.反应指导语
反应指导语是测验中向答题者说明以何种方式进行答题 的部分。 情景判断测验的反应指导语主要有两大类：
(1)事件的编辑整理。通过行为事件访谈收集到 所有事件，有些复杂事件里又含有几个简单的事 件，需进一步提炼。
(2)采用专家讨论法对情境的典型性进行评定。 在专家评定的基础上进行统计，保留代表性和复 杂度都合适的情境，最后挑选出几个典型情境。
11
1.2题目的复杂性
二个问题是题目题干的复杂性、详细性和具体性的程度。 尽管有些SJTs的题目题干相对简单一些，但其他一些 SJTs对情境的描述就相当详细，题干也较长——实际上， 有些SJTs还采用了派生技术，以一个共同的“基本情境” 为基础派生出多个“亚情境”。 有研究表明，题干描述具体、详细，特定性强的，SJT的 效度就越高。
7
a.主题专家法
一般情况下，关键事件是从现任者和主管那里收集而来,但 也不仅限于此。 eg：如果为销售岗位或顾客服务岗位开发一套SJT，从顾客 那里收集的关键事件可能会提升这套SJT测验的质量。 访谈、问卷调查等手段搜集职务专家（在职员工、直接主管、 其他熟悉该职位工作的相关人员）工作中遇到的一些工作情 景；在描述每个工作情景的时候，可以采用结构化的格式， 要求由职务专家说明当时的情景、如何处理以及结果如何。