认知任务分析在考试中的应用

要素 概率 性质 1 性质 2 加法定理 乘法定理 极限概念
（三）认知能力评价 本题需要以下认知能力（见表 3）。
可见性 □弱 □中 ■强 □弱 ■中 □强 ■弱 □中 □强 ■弱 □中 □强 ■弱 □中 □强 □弱 ■中 □强
表 3 认知能力分项目评价表
项目 注意 记忆
子项目 细节洞察能力 短时记忆 长时记忆 概括能力——转译 逻辑推理能力 发散思维——尝试错误 评判与决策能力 ……
3. CTA 的发展
对工作进行系统、科学的任务分析始于 F. W. Taylor（1911）和 Gilbreth（1911），目的 是优化劳动技能，主要指标是时间和活动[1] [2]。 一战中及战后，工作中的疲劳、工作条件、环境等因素越来越受到研究者的重视。 Chapanis（1959）在传统的 Therbligs 系统的基础上，拓展了一些新的分析单元和人们感兴趣 的可见行为[3]。 Fitts & Jones（1947）和 Flanagan（1954）在分析空军飞行员任务中提出了一个新的单 元系统——关键事件技术（ Critical Incident Technique，CIT）[4][5]。该方法列出各种事件，
2. CTA 的定义和基本过程
CTA 指的是一系列的认知心理学技术，用于分析可见的任务行为，获取作为该行为的 基础的有关知识、思维过程和目标结构，并帮助设计更有效地处理复杂情境的认知技能。 CTA 的基本过程是：（1）归纳工作中所需的认知任务；（2）确定有关的知识表征方 式；（ 3）在 SME（Subject-Matter Experts）的帮助下进行知识生成（Knowledge-Elicitation）； （4）对生成的知识进行分析、组织和呈现。
- 3 -
http://www.paper.edu.cn
表 1 问题要素表征与教材的差别大小评价
要素 概率 微乎其微 天长日久 总会
差别 ■小 □中 □大 □小 ■中 □大 □小 □中 ■大 □小 ■中 □大
表 2 解题要素的可见性评价
2.解题过程涉及哪些概念、原理和技巧？其可见性（是否容易想到）评价（见表 2）？
4. CTA 在考试中的应用
CTA 在教育上也得到了广泛的应用。早在 20 世纪 50 年代，行为主义心理学的代表人 物之一 Skinner（1954）就根据自己的行为主义学习理论提出了教学机器和教育技术的概念。 他认为任何教学内容都是建立基本的刺激－反应联结， 形成联结的方式就是强化。 为此应采 取程序化教学[10]。但是，Gagné（1962）和 Glaser（1976）认为，应该确定的是需要传授的 关键技能和知识[11][12]。这可以看成 CTA 应用于教育领域的准备阶段。 不过，这时的 CTA 还很粗浅，后来，学者们（例如 David DuBois & Valerie L. Shalin， 2000）在区分了知识不同种类的基础上提出了以下分析框架 [13]。这个框架要求区分以下内 容： 陈述性知识（用语言表达的知识）——可进一步分解为事实（fact）、概念（concept）、 原理等（principle）； 程序性知识（关于如何完成某个任务的知识）——可进一步分解为：目标选择（ goal choice），条 件 /限制（ conditions/constraints），方 法 选 择（ method choice），方法执行（ method execution），目标标准（goal standards），模式识别（pattern recognition）等； 生成性知识（支持在新情境中解决问题的知识迁移效应）； 团队/自我知识（关于个人能力、策略或偏好等的知识）。
1. 引言
在考试实践中， 一道试题的质量和难度往往要在考试结束以后才能进行分析， 属于后验 检验。它带来的弊端是显而易见的，每次考试都不可避免地有一些题目缺乏效度和信度。 学生解答试题， 是一个复杂的认知加工过程。 如果能够从设计试题开始就对每道试题所 需的认知加工有一个细致的分析， 将大大提高考试的质量， 也可以为教师从学生认知心理出 发设计教法提供重要的指引。 能够帮助进行上述分析的， 就是近些年来国外认知心理学的重 要应用分支——认知任务分析（cognitive task analysis，以下简称 CTA）。 CTA 是传统的任务分析技术的拓展。因为随着自动化、信息化工作方式的到来，工作 者所需要掌握的动作技能越来越简单， 但是他们需要进行的认知加工却越来越复杂， 建立在 认知心理学基础上的 CTA 就应运而生。 目前 CTA 的应用遍及教学、 培训、 考试、 机构发展 、 人机界面设计、组织设计、产品设计、市场营销等。本文主要介绍其在考试——试题编制和 考前分析方面的应用。
评价（要求高低） □低 □中 ■高 ■低 □中 □高 □低 ■中 □高 □低 □中 ■高 □低 ■中 □高 □低 ■中 □高 □低 □中 ■高 ……
思维
……
百度文库
参考文献 [1] Taylor, F. W. (1911). Principles of scientific management. New York: Harper & Row. [2] Gilbreth, F. B. (1911). Motion Study. Princeton, NJ: Van Nostrand. [3] Chapanis, A. (1959). Research techniques in human engineering. Baltimore: Johns Hopkins Press. [4] Fitts, P. M. & Jones, R. H. (1947). Analysis of factors contributing to 460 “pilot error” experiences in operating aircraft controls. Report TSEAA-694-12, AML, Wright -Patterson Air Force Base, Dayton Ohio (Reprinted in W. H. Sinaiko [1961]. Selected papers on human factors in the design and use of control systems. New York: Dover Books.) [5] Flanagan, J. C. (1954). The critical incident technique. Psychological Bulletin, 51, 327-358. [6] Crossman, E. R. F. W. (1956, February). Perception Study: A Complement to Motion Study. The Manager, (pp. 141-145). [7] Miller, R. B. (1953). A Method for Man-Machine Task Analysis Dayton, OH: Wright Air
5. 关于试题的认知任务分析框架
目前，国内学者也有将认知任务分析引入对于职业技能等方面的研究，例如张璐璐 （2005）对简历筛选认知过程的模型进行过认知任务分析 [14]。但是很少有人将其用于试题 的前期分析。本文作者在编制试题的实践中，针对本土考试的特点，设计了一套便于把握的 CTA 框架，以下是其主要内容。 （一）概念地图 概念地图是体现某试题涉及的各个概念及其相互联系的图解,它的概念数、联系数等指 标可用于衡量试题的知识密度和难度。 （二）模式识别 所谓模式识别， 指的是解题者识别出试题所用的原型以及所用原理的过程。 这一过程受 到多种因素的影响，例如：
http://www.paper.edu.cn
认知任务分析在考试中的应用
邵志芳
华东师范大学心理学系 上海（200062） E-mail: zfshao@psy.ecnu.edu.cn 摘 要： 认知任务分析（CTA）是传统的任务分析的拓展，是认知心理学的重要应用领域， 其应用遍及教学、培训、考试、机构发展、人机界面设计、组织设计、产品设计、市场营销 等。本文介绍认知任务分析的定义、过程及其发展历程，认知任务分析在考试方面的应用前 景；本文还提出了试题的认知任务分析框架：以概念地图作为内容维度，以模式识别为过程 维度，以解题所需的认知能力评价为认知负荷维度，以确定试题（或试卷）的覆盖面、能力 要求、认知负荷和难度等质量指标。 关键词：认知任务分析，考试，试题分析
- 1 -
http://www.paper.edu.cn
包括各种事故和准事故及其原因等等。 1950 年代以来，工作的复杂程度大大提高，决定完成工作时间的是信息加工而主要不 是身体活动。 Crossman （1956） 等将传统的系统加以扩充， 使之不仅可以用来描述动作技能 ， 而且能够涵盖感觉信息的利用和决策过程[6]。后来 Miller（1953，1962）开创性地将系统思 想引入人类任务分析， 重点分析信息加工中操作者的任务， 目标是确定人和机器的功能分工
- 2 -
http://www.paper.edu.cn
问题本身有哪些要素？其表征与教材的差别大小评价？ 解题过程涉及哪些概念、原理和技巧？其可见性评价？ （三）认知能力评价 解题者解题时，不仅依赖于他的知识基础，也需要具备一些重要的认知能力，例如： 注意——细节洞察能力 ； 记忆——短时记忆、长时记忆； 思维——概括能力（转译）、逻辑推理能力、发散思维（尝试错误）与评判与决策能力 ； …… 对每一道试题，可以针对以上各方面指标，由多名心理学家和学科命题专家做出评价， 再通过一致性检验，确定该试题（进而整份试卷）的覆盖面、能力要求、认知负荷和难度等 质量指标。 这样我们在试卷编制阶段就能较好地把握试卷质量， 甚至对教学工作产生一定的 指导作用。 一个实例：某试题的认知任务分析框架 试题： “某种事故的发生概率微乎其微，但是天长日久总会发生的。 ”请用一个式子表示 上述说法。 解：设每天发生该事故的概率为 p，则每天不发生该事故的概率为 1 – p，连续 n 天都不 发生该事故的概率是(1 – p)n， 天长日久意味着 n 趋于无穷大， 故天长日久不发生该事故的概 率 lim1 p 0 ，因而发生该事故的概率就是 1 lim1 p 1 。这说明这种事故总是
n n n n
会发生的。 （一）概念地图 本题涉及的概念地图见图 1。其中：
性质 1 性质 2 性质 3 任何随机事件 A 的概率都介于 0 和 1 之间。即 0 ≤P(A)≤1。 不可能事件的概率等于 0，必然事件的概率等于 1。 设有限多个随机事件 A1，A2，…，An 两两互斥，那么它们的和的概率等于它们概率的和，即
P(A1 + A2 +…+ An) = P(A1) + P(A2) +…+ P(An) 性质 3 称为概率的加法定理。
性质 4 设 A、B 为两个相互独立的随机事件，则它们的积的概率，等于它们概率的积，即
P(A·B) = P(A)·P(B)
性质 4 称为概率的乘法定理。
图 1 与本题有关的概念地图
（二）模式识别 1.问题本身有哪些要素（用括号表示）？其表征与教材的差别大小评价（见表 1）？ 某种事故的发生〔概率〕〔微乎其微〕，但是〔天长日久〕〔总会〕发生的。请用一个式子 表示上述说法。
[7][8]。Annett
等人（1971）的层次任务分析（hierarchical task analysis，HTA）则将重点转移
到工作目标的分解[9]。因为人类行为总是根据一定的目标而产生的，而且目标是有层次的。 这段时间， 还出现了一些新的 CTA 技 术 ， 例如： 以 DENDRAL 为代表的专家系统 （Expert system）将专家知识以初学者能够用来指导其进行决策的方式封装（组织为单元）起来。专 家系统包括了有关的知识和策略。心理学家进一步区分了陈述性知识和程序性知识。 为了解决不同专家之间领域和目标上的分割，产生了一些技术，包括将 CTA 程序化的 软件。