概化理论简介

其实，在各种各样的测评活动中，把测量结果概括到 不同的程度，其测量精度是会大不相同的，二者之间存在 着此消彼长的关系。即，测验分数推论的范围越大，其测 量精度就会越小（测量误差增大，测量效度降低）。反之， 测量精度就会提高，误差就会缩小。 若要追求高标准的测量效度，测量误差就不能太大。 而要减小测量误差，就必须缩小测验分数的推论范围。不 过，若一味追求高效度，使得测验结果可解释或推论的范 围过小，则又会影响整个测验的意义。在现实生活中，当 这种误差落在我们可以接受的范围之内时，对测量结果的 这种概括就有一定实用价值了。显然，我们应当寻找一个 满意解，即，只要误差在能够容忍的范围之内，测验结果 就应当概括到尽可能大的范围上去，进而满足测验目的的 要求。
3.2全域分数的概念及其相关的假定
• 心理与教育测量的主要任务是用数值对测量对象（通常是 被试）的某种潜在心理特质水平（测量目标）给予确定。 CCT认为，被试的这种潜在心理特质水平用真分数（True Score）来刻画。而GT认为，测量对象的水平应该用全域 分数（Universe Score）来刻画。
GT不提真分数的概念，而提出全域分数的概念。 即，在讨论被试的某种潜在特质水平时，必须同时 指出这种水平是在何种测量条件下取得的，在根据行为样 本的表现（得分）估计行为总体的水平时，必须同时指出 测量条件样本是否也推论到了各自所对应的条件总体（全 域）。这种把被试的某种潜在特质水平定义在具体的测量 条件全域（范围）上的分数，就叫全域分数。
在现实中，由于人们对这种有关测验结果的概括程度 问题重视不够，所以给测量工作带来了许多问题。其中的 一个常见问题是，仅仅根据有限样本上的资料作出无限范 围的概括与推论，更没有指出作这种概括所犯的错误的概 率。 值得指出的是，概化理论是在继承CTT标准化技术和 项目分析技术等方法的基础上，通过吸收实验设计的原理 和方法，对真分数理论和参数估计方法等进行系统地改良 而产生出来的，它是CTT的进一步发展，二者同属于随机 抽样理论。事实上，在实验技术处理测量误差的三种方法 中，ＣＴＴ理论只用到了其中的标准化技术（含匹配技术） 和随机化技术，而概化理论则在此基础上还应用了其中的 第三种技术，即统计调整技术。
概化理论简介
目录
1引言 2概化理论的产生背景及其发展 3概化理论的基本概念 3.1测量目标 3.2全域分数的概念及其相关的假定 3.3数学模型及相关的假定 3.4概化理论的误差观点 4概化理论的基本方法 4.1概化理论研究问题的基本过程 4.2概化研究（G研究） 4.3决策研究（Ｄ研究）
1引言
在评价人的能力或某种素质时，必须使用科学的方法。 对于测评工作，人们通常主要关注两个问题： 其一，测验分数能不能有效地把应试者（被试）的真正水 区分开来（体现在选拔性测评工作中），这种目的的测验 称为常模参照测验（Norm-referenced Test）。 其二，测评分数是不是应试者真正水平的一个恰当的体现 （体现在达标性测评工作中），这种目的的测验称为标准 参照测验（Criterion-referenced Test）。
无论使用哪种方法，如何保证测评质量的问题是其首 要问题。一般来说，保证测评质量的主要方法是控制测评 误差。控制测评误差的方法主要有三种，即匹配或标准化 技术、随机化技术以及统计调整的技术。 标准化技术旨在从测量工作中各个环节上控制测量误 差，使得“测量误差不会干扰被测目标群体内个体间先后 顺序的排定工作。” 随机化技术旨在控制测量的系统误差。 统计调整技术则是把误差变量作为模型的参数来对待， 从而清楚地了解误差变量对测量目标的影响程度，以便在 一个可接受的误差范围内来解释测评结果。
• • • • • • • •
•
ＣＴＴ是标准化的理论支柱，在考试工作中发挥着重大的作用。 其突出优点是： 理论和方法体系相对完整； 前提假设比较弱，很容易为实际考试工作所满足； 所涉及的数学模型以及参数的概念和估计方法容易被人们理解和掌握； 所倡导的标准化技术在控制测验误差等方面具有明显的效果，并已为 许多人所认可。 不过，ＣＴＴ存在着许多先天不足，其主要缺点有： 第一，考生的能力参数严重地依赖于试题样本。 第二，对考生能力参数估计的精度指标不恰当。 第三，考试结果极易被人错误地推广到不恰当的范围上去。 第四，估计测量信度所依赖的经典平行测验假设在现实中无法满足。 第五，题目参数严重依赖于考生样本。 第六，题目的难度参数和考生的能力参数定义在不同的量表上，不利 于实现测验的预定目标。
其中的一个常见问题是仅仅根据有限样本上的资料作出无限范围的概括与推论更没有指出作这种概括所犯的错误的概值得指出的是概化理论是在继承ctt标准化技术和项目分析技术等方法的基础上通过吸收实验设计的原理和方法对真分数理论和参数估计方法等进行系统地改良而产生出来的它是ctt的进一步发展二者同属于随机抽样理论
2概化理论的产生背景及其发展
当今测量学界最有影响的三大理论是经典测量理论 (CTT),概化理论(GT)和项目反应理论(IRT)。前两者同属随 机抽样理论,GT是对CTT的扩展和改进,而项目反应理论是 从另外一个角度来分析每一个项目的项目特征曲线和项目 信息函数。 在GT理论产生之前,人们通常使用CTT对测量误差进 行分析。ＣＴＴ的理论体系由三部分构成，即关于真分数 的假定，关于测量信度的理论和关于测量效度的理论。其 方法体系包括题目分析技术和测验的标准化技术两大部分。 其中测验的标准化技术主要包括题目编制的标准化、测验 实施的标准化、阅卷评分的标准化以及分数的转换与解释 的标准化共４个环节。
概化理论的基本原理是： 首先运用实验设计的思想，分析影响测验分数变异的各种来源（如， 被试水平的差异、题目的难度、评分者的评分标准等）。 接着，运用方差分析的技术，分别估计各种变异来源对分数总变异所 作的贡献（通常用方差分变量作为指标）。 然后，根据不同的研究目的的需要，分别考察研究目标在测验总分变 异中所占的比重。一般地，当侧量目标引起的变异所占的比重较大时， 测量被看做是具有较高信度的。不过，测量信度的概念在概化理论中 为概化系数（Generalizability Coefficient）或可靠性指数 （Dependent Index）所代替。 概化理论一个突出特点是： 对同一次测量，可以根据研究目的的不同提供多个测量信度。事实上， 当测量目标发生变化（如，测量目标由被试水平改为评分者素质）时， 或者当测量结果被推论的范围不同时，测量信度都会发生变化。
上述弱点限制了CTT的进一步应用。鉴于CTT理论存在的不足,测量 的理论界和实践领域都呼唤一个全新的测量理论。正是在此背景 下,GT理论应运而生。 1963年,克龙巴赫等人(Cronbach,Ra-jaratnam,&Gleser,1963)在 《英国统计心理学杂志》上发表了论文《概化理论:信度理论的丰富 和发展》(Theory of Generalizability:A liberazation of relizability theory),这标志着GT理论的诞生,但正式提出这一理论的是 Cronbach等人在1972年出版的《行为测量的可靠性》一书。 到1983年,该理论开始走向成熟,各种术语等开始走向规范和统 一,相关的计算机软件也开发成功。当年出版的布瑞南(Brennan,1983) 的专著《概化理论纲要》以及相应的软件GE-NOVA,对GT理论的发展起 了很大的推动作用。该书在1992年又被再版发行,同一时期,谢伟森和 韦伯(Shavelson&Webb,1991)也出版了自己的专著:《概化理论入门》。 2001年,布瑞南重新出版了《概化理论》专著,该书大量增加了不 平衡设计和多元GT理论的内容,并同时推出了相应的软件包。随着研 究水平的提高,GT理论的范围越来越大。 目前,GT理论不仅被用于标准化的常模参照性测验,而且还被广泛 用于标准性参照测验,非标准化测验,表现性评价等多方面,对教师的 教学评价和人事测评中的面试均有直接的帮助。
因此，除了测量目标（如被试）以外，凡是会影响测 验得分的条件因素都称之为测量侧面。这里测量侧面类似 于数学中的维度，也相当于实验设计中的干扰因素。 本例中只有一个面，即试题面。在实际工作中，测量 侧面可能有若干个。例如，在面试工作中，通常就有两个 面，即是试题面和平分这面。有时还能有更多的侧面。值 得指出的是，测量目标并不应是被试，它也可以是试题或 评估者，如，在考察普通话测试评分员水平时，可以录制 10个有代表性考生的普通话测试录音资料，再让评分员一 个一个来评分。这时，被试成了测量面，而评分者面转化 为测量目标。即，GT可以根据研究的需要，自行确定测量 目标。
3.21全域分数
GT认为，被试的潜在特质水平不能抽象地描述为真分 数，而应根据决策的需要，把它置于指定的条件范围之中 进行解释。事实上，每次测量工作所涉及的条件[或称影 响测量结果的因素、侧面（facet）]是不尽相同的，研究 者对测验结果的用途（即推论或概括的程度）也不尽相同。 GT认为，测量工作的精确程度（科学性程度）取决于研究 者获取行为样本数据时所涉及的条件个数、结构与性理论的基本概念
概化理论的基本概念主要有： ①全域分数与测量目标 ②测量侧面与观测全域和概括全域或概化全域 ③相对误差与概化系数（G系数） ④绝对误差与可靠性指数（） ⑤此外还有关于测量模式、设计结构、样本容量 和随机平行测验假定，等等。
3.1测量目标
• 在CCT中，测量目标（Object of measurement）通常是指 被试的某种潜在心理特质，但在GT中，测量目标不仅是被 试的某种潜在特质，也可以是试题或评分者的某种特质。
3.22测量情景的描述
既然在对行为样本推论行为总体时，要同时指出测量 条件是否也从样本推论到了全域等情景因素之上，因此， GT对测量情景作了以下必要的说明。 （１）测量侧面（facets） 在说明测量情景时，最重要的是要明确有哪些因素 （条件）会影响被试的得分。 例如，在一次标准化的客观性测验中，因评分标准不 会因人而异，所以评分者因素（条件）不会影响测验得分。 但是，题目样本的代表性以及题目与被试间的交互作用等 却会给测验分数带来重大影响。于是，试题这一影响因素 （测量条件）就被定义为测量的侧面。
另外，相对项目反应理论（Item Response Theory， IRT）而言，概化理论比较重视结论的宏观解释，而IRT更 重视内部的实质关系，即，IRT更重视被试的潜在特质水 平与试题的正确作答之间的实质性关系。 简单地说， ＩＲＴ在处理微观问题（即被试水平与答题目之间的实质 性的关系）时优势比较明显。 CTT在处理中观问题（如处理常见的标准化考试等）时显 得方便易懂。 GT则在处理宏观问题（如对结果作推论）时更显出色。 三种现代化测量理论各有长短，也各有用武之地。
在各种控制测评误差的方法中，标准化技术用得最多。 如在各种大规模的常模参照测验之中，以经典测验理论 （Classical Test Theory，CTT）为指导，通过大量采用 像托福考试一样的测验标准化技术，较好地控制了测评误 差，达到了考试的目的。当然，这种方法付出了高昂的代 价：费时、费力建题库的临时性的常模参照测验，以及所 有的标准参照性测验来说，标准化方法很难实施。这就使 得测量误差的控制工作变得十分困难，因此需要寻找新的 方法。
概化理论（Generalization Theory，GT或G理论）是 一种能够同时达到区分考生与评估应考者真正实力之目的， 并较好地控制测评误差的现代化测量理论。它控制测量误 差的方法主要增加了统计调整技术。即，把干扰测验分数 的无关变量或因素引入测量模型之中，然后用统计技术分 别估计出这些因素或因素之间的交互作用对测验分数的影 响程度。剔除这些影响后被试之间的真正差异便能得到非 常清晰的显现，即达到了控制测评误差的目的。
概化理论的主要用途有： 其一，根据不同的需要，对各种标准化测验提供多个更为 恰当的测量信度估计，给测验一个正确和公正的评价； 其二，对非标准化测验，准确地分析测量误差的来源并估 计各种误差源对分数总变异的影响程度，为改进测验提供 具体的有益信息； 其三，同时估计出成套测验及其各分测验的测量信度，使 得测验结果的解释更加准确和合理。