第八章了解研究效度的方法

第八章了解研究效度的方法
研究设汁中总要安排研究情境，控制相关的因素，以减少研究的误差。

为此需要了解研究效度(research validity)及其影响因素。

研究效度常用于左量研究，了解研究效度可以使我们细致地进行研究设计，更好地控制无关变量，使研究更趋完善。

一、研究效度的概念
从事任何研究，我们都期望研究是有效的，是基于事实的，是能够被证明的，这些就是研究的效度。

研究效度是指研究的有效性和真实程度，是指研究结果的可靠性和普遍性，通俗的说就是一个测验如果能测出来预期想要测量的能力或特质时，这个测验就是有效的，否则就是无效的。

科学研究最怕的就是失去效度，尤其是实验研究。

研究效度涉及两个概念：内在效度(internal validity)和外在效度(cxtcmal validity)。

内在效度是指研究人员控制外部变量的程度，是指研究结果能否被明确解释的程度。

内在效度通常要回答的问题是：研究结果是否真实可信？研究结果是否是由所操纵的自变量引起？外在效度是指研究结果的代表性和可推广程度，即研究结果能否被推广到更大范用的程度。

外在效度通常要回答的问题是：研究结果是否具有代表性并能解释一般的情形？研究结果有多大的概括性？在类似情境中能否验证研究结果？
研究效度通常是衡量研究质量水平的指标，研究设计也是以提髙研究的内在效度和外在效度为基本目标。

要提髙研究的效度，提髙研究设计的水平，首先要了解威胁或影响研究内在效度及外在效度的因素，然后采取措施，设法排除或控制这些因素。

二. 影响内在效度的因素
内在效度又称内部效度，是指研究结果的解释能力和可靠性，即研究结果是否完全归因于自变量的操纵，是否真实地反映了自变量和因变量的关系。

内在效度与无关变量的控制有关，一个研究能有效地控制研究条件，能淸楚地解释研究结果，能合理地推论因果关系，这个研究的内在效度就髙：反之，一个研究不能有效地控制研究条件，不能合理地推论因果关系，这个研究的内在效度就低。

一般来说，除了研究变量以外，所有的可能影响研究结果的因素都是对内在效度的威胁。

研究中最忌讳的就是变量混淆，以至于无法解释研究结果。

影响研究内在效度的因素很多，最经典的槪括是坎贝尔和斯坦利1963年提出的影响研究内在效度的8个因素人以及1979年库克和坎贝尔加以补充的一些因素％综合起来有以下一些：
1、偶然事件(History)
偶然事件也有人译为“历史S指研究过程中发生的.没有预料到的，会影响研究结果的因素「例如，研究者采用问卷调查学生对学校生活的满意程度，但实施调査时正逢学校校庆周，一系列的校庆活动使学校生活变得丰富多彩，因此在回答问卷时就有可能获得偏向满意方向的答案。

这类的事件，研究者应予密切关注。

由于这类事件难以事先估计，防不胜防，通常可以在研究设讣时，设置一个对照组加以控制，使偶然事件的效力对两个组的影响均等。

如，用一种新的教学方法对某一班级进行一年的实验，由于在这一年中学生除了在课堂教学中学到了一些知识，可能还从课外吸收许多知识，会经历学校很多的各种各样的活动，设置一个经历相同的对照组，可以控制偶然事件的影响。

2、成熟的过程(Maturation)
成熟是指在研究过程中被试生理或心理方而发生的变化。

教冇研究的对象通常是学生，是
'D. T. Campbell & J. C. Stanley (1963), Experimental and Quasi-Experimenlal Designs for Research, p.5.
T. D. Cook & D. T. CampbelK 1979k Quasi-Experimentalion: Design and Analysis Issues for Field Settings. Boston: Houghton Mifflin Company, p.51.
成长中的个体，在研究周期比较长的研究中，其身心状况可能会发生改变，这种改变对学生的学习会产生影响，有时能促进学业成绩，像认知能力的发展与成熟，体能更强壮，更自信或更独立。

如，对初一新生进行逻借思维的测验.然后进行有关的训练，三年后再进行逻借思维的测验发现学生逻辑思维能力增强了，但是这种增强是来自于逻辑:思维能力训练呢？还是来自学生三年来自身的成熟？或是逻借思维能力训练与成熟的共同作用？
成熟有时则对学业成绩起消极作用，如饥饿、疲劳等。

有人研究语言习得的关键期效应. 分别用成人组＞12-15岁组、8・10岁组.3・5岁组四个组进行实验，最后测试时间长达一个半小时。

无论结果如何，让后两组参加这样长时间的测试是不合适的，他们的成绩会受测试疲劳的影响。

总之，凡涉及时间较长的研究，都会受到被试自身成熟过程的影响。

尤英是年龄小的被试在成熟问题上，反应更明显。

控制的方法可以设置对照组，或缩短研究时间的周期。

3、前测效应(Testing)
前测效应是指有前测的经历会对后测的效果造成影响，有人称之为练习效应或热身效应。

凡是有前后测设汁的研究，被试有了前测的经验，会有利于后测的作答。

因此，这种后测分数比前测分数高的现象未必就是研究的本身的效果，有可能来自被试对测验内容或形式的了解和熟悉，来自于对前测的敏感。

尤其是在能力、成就、情感、态度等方而的测试，前测效应更为明显。

一般来说，当研究者有理由怀疑前测会对研究结果造成影响，或者前测很花费时间和经费，那么最好避免采用前后测设计，仅采用后测设计。

4、测虽:工具(Instrumentation)
指测量手段不统一产生的负而效果°如果用来测量研究结果的工具，在前测与后测中所用的内容.难度都不一样.就难以确左研究结果的最终效果。

如一位老师进行教改实验，上一学期自己命题进行期终考试，班级学生平均分为75分：这一学期他又自己命题进行期终考试，班级学生平均分为80分。

表而上这学期比上学期平均分提髙了5分，但很难说这增长的分数一左归功于教改的效果。

因为两次测验的内容和难度不一样，上学期考的是上学期的内容，这学期考的是这学期的内容，没有可比性：也可能由于这学期考试题比上一学期的试题更容易些。

另外，考试测验的程序、标准、时间等也不同，都会影响测验结果。

如两位主考人对同一教学实验进行后测，但所用的测量工具不统一，所用的标准和方法也不一致，最后导致测验结果的差异。

5、统计回归(Statistical regression)
统计回归是指多次测量研究对象时出现的一种倾向•即对一个变疑进行测试时，他们的分数出现两极分化，但当再次进行冋样的测试时•他们的分数更接近于平均数°如选择研究对象时，录用测量中获极端分值段的被试。

假如我们选择60分左右的被试，再次测验的分数可能会高于第一次测验的分数。

同样道理，如果我们选择90分左右的被试，再次测验的分数可能会低于第一次测验的分数，原因可能就是统汁回归。

统计回归的基本原理如同政治经济学中的有关价格和价值的关系，即价格是用绕着价值这根中轴上下波动，当价格离价值中轴太远了，就有向价值中轴回归的趋向。

如图
回归趋势回归趋势
图8-1 统计回归示意图
在研究过程中，如果以测验成绩为基础来选择被试.选择测验成绩较高或较低的为样本. 在实施后测时就会受到统汁回归的影响。

假设进行一项数学教学方法改革的实验研究，通过测量选择数学学习成绩很差的学生为被试，可以设想，他们可能会有怎样的结局？他们原有的数学水平如此之低，
通常只是在教室陪练，他们已经不太可能变得更糟了，已经到了学习的底部, 跌不动了，而向平均数回归的机会往往要大于再往下跌的可能。

同样道理，如果选择的对象都是学习成绩90分以上的学生，最后考试成绩往下降的可能性要大于往上升。

所以统计学家经常举例告诫，身材非常髙大的父母，他们子女的身高可能比他们綾：而身材非常矮小的父母，他们子女的身高可能比他们髙。

统计回归的威胁主要是所选择的被试处于极端的位置，随后测量他们发生的变化会让人误判为实验处理的效果。

实验设计中要避免选择测试特别好的或特別差的被试，因此选择被试要随机化，要有代表性。

6、被试选择的偏差(Selection biases)
当必须采用两组被试进行比较研究，如果这两组被试的能力、特质、条件、背景等因素不相同，那么就会导致测验结果的差异，从而混淆研究的效果。

如某学校在三年级两个班进行教改对比实验，实验班本来就是一个髙分录取的髙才生班.对照班则是普通水平的班。

加上实验班配备有经验的优秀教师，对照班则是一般的教师。

这样的比较研究没有实际意义，两组根本没有可比性。

控制样本偏差的措施是随机抽样，随机分组、随机分配实验处理，尽可能使实验组和对照组除了在实验处理上的不同外，在其他各种条件上做到均等.相似。

7、实验样本的流失(Experimental mortality)
实验样本的流失有的翻译为实验的偶然减员，是指在研究期间有些被试缺席或中途退岀，以致前测与后测人数不符，样本失去代表性，而影响统计分析的结论。

如，在一项判断运动效果的健康实验中，部分被试感到这项运动难度太大而中途退出。

由于这部分被试都属于某一特征的被试，可能是很少参加运动的学生或运动技能比较差的学生，去掉这部分学生，会对最后研究的统计结果产生影响。

一般，流失的被试是在前测中成绩较差者，则样本后测的平均成绩会提髙：反之，流失的被试是在前测中成绩较好者，则样本后测的平均成绩会降低。

8、选择与成熟的交互作用(Interactions of selection and maturation)
研究中最忌讳的是变量的混淆，各种因素互相干扰.互相作用，以至于无法确切解释自变量和因变量之间的关系。

在研究设计中，由于被选取的两组被试具有不同的能力、特质、条件, 导致对以上各个因素产生不同的作用，从而影响研究结果。

如，对两所学校学生进行课程改革的研究，由于两所学校入学政策不同，因此具有较好的家處社会经济背景的学校.可能在认知能力的发展与成熟方而要比较差社会经济背景的学校在后测中更易获得好成绩。

这就是选择与成熟的交互作用。

又如，进行教学方法的比较实验，实验组的平均年龄比对照组大6个月(选择与成熟)，因此在学业成绩方而的各种差异都可能归因于学生年龄差异的影响，而不是教学方法的效果。

9^ 因果方向不明(Ambiguity about the direction of causal inference)
在研究中分不淸自变量和因变量的研究不多见，但有时由于研究设计的不确切，导致在两个变量之间很难确泄谁是因，谁是果，这种现象在相关性研究中尤为普遍.一旦因果关系不明，对研究结论的解释会受到挑战。

如，探讨教师期望与学生学业成绩的关系时，如果设计不明确, 可能很难由研究结果断言是教师期望影响学生学业成绩。

或许真实情景是学生学业成绩影响教师的期望水平。

又如，据调查，学生的侵犯性行为与喜欢看暴力电视有较髙的相关，但究竟是看暴力电视导致侵犯性行为增加，还是具有较髙侵犯性行为的学生更喜欢看眾力电视。

这些都需要做进一步的因果研究设汁来探讨其中的方向关系。

有较髙的相关不一泄具有因果关系，但具有因果关系必定有很髙的相关◎ 10> 实验处理的扩散(Diffusion of treatments)
有时在实验研究中，实验组与对照组互相沟通，导致主试或被试有可能把实验处理传递给对照组，对照组可能会有意无意的模仿、运用、吸收，产生与实验处理相符的行为和活动，产生与实验组相同的结果。

这种实验处理扩散的结果就是：实验处理的效果会被抵消。

为了避免实验处理的扩散，应尽量将实验组与对照组的接触降到最低限度。

11、补偿性均等(Compensatory equalization of treatments)
在现场的教学实验研究中，实验处理往往是向实验组被试提供较好的学习机会，提供具有吸引力的材料(如采用多媒体教学，或试验新教材)，而对照组被试经常要被剥夺某种好的学习机会或被认为有价值的东西，以配合实验组。

但是从教冇伦理角度考虑，这样做对某些学生不公平，学生的学习和发展机会应该均等。

因此，有时校方或行政管理人员会为他们提供有益于学习的活动或资源，
作为某种补偿，以示均等。

这种做法.将使对照组被试也有良好的学习表现，从而导致实验效果的混淆。

12^ 补偿性的竞争(Compensatory rivalry)
补偿性的竞争指对照组被试在与实验组竞争时，表现出超常努力的现象。

海尼奇于1970年在评论电视教学与课堂常规教学的研究时，把这种现彖命名为约翰•亨利效应。

传说有一名叫约翰•亨利的黑人铁路工人是位打道钉能手，为了与刚引进的蒸汽打道钉机抗争，以维持职业和地位，所以拼命以他的体力和技巧手工打道钉，想把蒸汽打道钉机给拼掉。

最后却耗尽体力而死。

补偿性的竞争这种现象在教育研究情景中常会发生。

如在新的教学方法与旧的教学方法比较研究中，对照组被试往往会把实验情景看作一种竞争或威胁，或者由于没有作为实验组心里不服气，从而加倍努力，以证明自己能力不亚于实验组。

结果造成无法确泄教学实验效果。

13、自暴自弃(Demoralization)
自暴自弃是指被试由于得知未被选为实验组产生的怨恨，并且故意怠工，失去自信心，表现比平时差，自甘堕落的现象。

这样会导致实验处理效果突显，但这种实验效果未必貞•实可靠。

以上提到的13种因素，都会对研究的内在效度产生影响。

事实上，内在效度就是指研究结论有没有准确地反映研究内容本身。

只要研究内容以外的因素影响了因变量，就会威胁研究的内在效度，就会导致研究结果的混淆。

因此，在研究设计时对以上这些因素要认真考虑，对可能产生影响的因素要设法加以控制。

一般来说，随机分配、设对照组、前测和后测的安排都是研究设计需要着重考虑的关键因素。

三、影响外在效度的因素
外在效度(external validity)是指研究结果的代表性或普遍性。

具体说来，就是指研究结果是否可以推广到类似情景中去的程度。

如果能在实际研究以外的更大范用获得相似的结果，研究的外在效度就髙，研究结果的解释与推论范用越广，研究的外在效度越髙：如果一个研究在相似的情景中难以重复，研究结果不能推广运用到现实世界，那么，这个研究的外在效度就低。

影响研究外在效度的因素很多，经典的是坎贝尔(D. T. Campbell)与斯坦利(J. C. Stanley) 提出的4个影响外在效度的因素：前测与实验处理的交互作用：选择偏差与实验处理的交互作用：实验安排的反作用：多重实验处理的干扰。

以上4个因素都是干扰因子与实验处理结合才产生作用，导致在实验结果不能类推到相似情境中去。

后经布莱切(G.H.B说cht)与格拉斯(G・V・Glass)将外在效度分为总体效度(population validity)和生态效度(ecological validity)两类，并加以扩充成以下一些影响因素①。

1、取样的偏差
由于抽样范用的限制，样本不具有代表性，无法将研究结果类推到样本以外的人群，从而影响研究的外在效度。

例如，要从事一项有关上海市中学生道徳发展的研究，但样本仅从上海几所重点中学抽取，这样的研究结果只能代表重点中学学生的道徳发展情况，不能代表一般中学学生的道徳发展情况。

由于样本有偏差，研究结果就难以推论整个上海市中学生的道徳发展
转引自吴明淸：《教育研尤：基木观念与方法分析》五南图书出版公司，1991年.第248-251页的普遍状况。

因此，为了使研究结果具有可推广性，研究设计时应考虑样本与总体的同质性和代表性，避免抽样的偏差。

样本必须要有一泄的量才会有足够的代表性。

对有些研究来说要找到足够的被试并不容易，尤其是周期比较长的研究，要占用被试许多时间。

为了获得被试，有些研究要给被试一泄的报酬，有些研究招收自愿者。

当然，自愿者作为被试有时会使样本失去一部分代表性，影响研究结果的外推能力，影响研究的外在效度。

2、被试与实验处理的交互作用
只要研究对象是人，就会具有个别差异。

由于每个人的特质不同，对于实脸处理的反应也会不一样。

交互作用就是不同变虽之间的影响相互不一致。

例如，智力水平比较髙的学生喜欢讨论式教
学，智力水平较低的学生则喜欢传统式的讲授式教学。

在一个常规班级（既有智力髙的学生.也有智力低的学生）进行实验，由于学生特质（智力程度）与实验处理（讨论式教学）具有交互作用，对智力髙的学生更有效，因此在解释实验结果时，不可将样本当作一个“整体” 来说明。

当实验被试与实验处理具有交互作用时，用样本推论总体就受到限制，研究结果可能只适用于解释总体中的某一种特征的人，而不适用于总体中的全部成员。

因此，在研究设计中要关注总体中各层次的差异，要考虑研究结果能否解释总体中的各个层次。

3、研究变量与情景的叙述不淸
外在效度关心的一个问题是：研究结果会不会因环境的不同而变化，在研究情景中表现出的效果是否会在一般情景中再现，换句话说，就是能否“复制S任何研究均需界左研究变疑，并说明研究情景，给人以操作的程序和测量的标准。

如果研究变量没有明确界定，研究情景也不交代淸楚，他人便无法知晓研究的程序和方法，也无法了解研究结果的真实性和适用范I休研究的推广解释就会受到限制。

因此，研究设计过程中，必须界总研究变量，下操作性定义，规定研究的情景和条件。

4、重复测验的干扰
重复测验的干扰是指前测对后测的影响或交互作用.前测的内容或程序可能会引起被试的对某些论题或事物的注意和敏感，往往会影响后测的成绩。

例如，研究人员想了解学生经过思想品徳教育后思想认识和态度的变化。

学习前，先进行思想认识和态度的测验，经过两周的集中学习后，再用相似内容测学生的思想认识和态度，结果发现测验成绩有变化°这种变化可能来自于两周的思想品徳教冇，也可能来自前测所产生的敏感效应，还可能来自思想品徳教育与前测敏感的共同作用，这些可能性给研究结果的推论带来了麻烦。

因此，当估计前测会对后测造成影响，研究设计应尽可能避免采用有前测的设计，无论这种影响是积极的还是消极的。

5、实验安排的反作用
实验安排的反作用是指由于实验情境的安排，被试知道自己正在被观察或正在接受实验处理而产生的一种实验效应（霍桑效应）。

被试往往会投实验者之所好，改变自己原来的常态行为，表现更积极，更努力，提供实验者所期望的行为。

这样往往会对实验效果的推论造成影响。

例如，当学生知道自己所在班级为实验班，正在进行一种新的教学方法的实验，因此在实验过程中全班学生表现比平时更积极、更主动，情绪髙涨，干劲倍增，结果造成实验效果无法确泄是来自新的教学方法，还是来自学生的积极投入，或者是两者的结合。

因此，在研究设计时，最好不让被试知道齐自扮演的角色，采用盲法控制。

或设对照组，并宣布两个组都为实验组，让实验效应互相抵消。

6、新颖的干扰
由于实验情景是经过特别安排的，其内容、程序.步骤、环境等都可能给被试带来新奇感，由此会激发被试的参与热情，进而促使实验效果的提髙。

例如，参加某项课堂教学实验的学生会有某种优越感.他们可能对实施的新的教学方法好奇，感到新鲜，因而特别投入，主动参与。

这种非常态的实验情景与真实情景的差异，会对实验结果的推论和解释造成麻烦。

因此，在研究设计中始终要考虑研究情景的生态效应，尽可能保持实验情景与非实验情景的一致性程度，以提髙研究结果推论的合理性和解释的适切性。

7、实验者效应
实验者效应指在实验情景中，实验者或主试的行为、外表对被试行为的影响。

实验者或主试的仪表容貌、言语风格、性格特征.行为习惯等，会潜移默化、无意间影响被试的行为表现, 这种影响会导致研究结果不能推广到不同实验者的其他同类研究中去。

如主试的而部表情、语音语调.口头暗示或鼓励、对被试的期望等，都有可能促成被试所做出的行为反应与平时不同。

另外，主试的年龄、性别.种族、身高等，也可能影响或改变被试的行为。

在观察研究中，观察者也有类似的影响作用。

在化学实验室里，不管研究者如何对试管捶胸顿足，化学反应照旧, 不受影响。

但在以学生为对象的教育实验中，只要有“他人”在场，被试的行为就有可能改变。

因此，在研究设计中，应考虑避免实验者效应。

8、特殊事件的影响
在研究期间可能会发生许多意想不到的事，这些事是事先无法估计到，但又会影响研究的结果。

如果将这样的研究结果去推论解释一般情况下，无类似特殊事件时，则类推结果就会受到一左的限
制。

因为我们无法证明会发生同样的特殊事件。

正如，没有两个人是完全相似一样, 每个人的经历、时空条件或多或少都有差异，有些差异的来源我们可以分析，有些我们根本就没有认识到。

因此，在研究设讣时，要充分考虑研究条件的相似性和可重复性，尽可能缩短实验的周期，减少特殊事件可能的干扰。

9、因变咼的测量
因变量的测量是研究结果的依据，因此因变量的操作性怎义和测蚩:工具成了决立研究结果的关键因素。

通常研究者都会以多种指标来界左因变量，并且在各种相关的测疑工具中选择合适的进行测虽:。

然而，这些指标及测量工具在非研究的一般情景中未必都能被了解或采纳。

因此，研究结果的普遍性就受到限制。

另外，不同的收集数据的方法反映了看问题的不同角度，冋时也影响到数据所反映的现象的不同方而，对形成研究结果会有影响。

例如，有研究者想验证语言习得的关键期，是否青春期以后学习第二语言，他们的语音永远达不到讲本族语的人的水平匚为了验证这一假设，欧亚玛(OwinG与非本族语者谈话，录下谈话片段，放给本族人听，让他们判断是否发音地道，有没有外国腔。

而奥尔圣(Olson)和塞缪尔斯(Samuels)则把非本族语者放在语言实验室里进行语音测验，让他们发出各种语音序列。

如此不同的收集数拯的方法，给予研究者的启示也一龙相差甚远。

我们可以反问：他们研究的是同一个假设吗？当然方法不对就会失去研究的外在效度。

10、时间效应(the effect of time)
任何实验必须要有后测，研究结果只有通过后测才能显现。

但是有些实验处理的效果是隐晦或不完整的，有些结果具有即时性，只有在实验后立即实施后测才能显示效果。

通常实验研究均在实验处理之后立即测量实验效果，但此时所测得的效果，有时因变量还没有来得及发生变化。

另一方而，也有这样的可能性，实验效果产生很快，即刻效应明显。

较长时间后，效应未必存在或保持不变。

例如，英语考试前二周集中复习.立即测试，发现学生英语水平提髙很快，效果明显。

但随考试时间的延长，学生考试成绩会下降。

因此，如以实验后所测得的效果来推论一般情景中的可能效果，由于测量效果的时间不同，推论的精确性也就受到限制。

四、内在效度与外在效度的关系
以上罗列并说明了影响研究效度的种种因素，目的是为完善研究设计提供思考框架，为进一步控制研究条件，排除无关变量的干扰提供参考依据。

虽然将研究效度划分为内在效度和外在效度，并且细分为二十几项影响研究效度的具体因素，但是，所有的影响因素不可能在一项研究中集中出现，各种因素之间是彼此关联，互相影响。

当我们在进行研究设讣的过程中，需要认真考虑每一个因素的可能影响，提岀如何加以控制的策略。

只有这样，才能使研究设讣更周全.合理，研究结果更精确、可靠，研究结论更可信、更具有普遍意义。

效度是研究设讣必须考虑的问题。

效度只是程度上的问题，是髙与低的问题。

效度不会全
1刘润清：《外语教学中的科研方法》外语教学与研尤出版社.1999年，第229页。

有或全无。

内在效度是研究设计的基本要求，是研究质虽:的根本保证，是外在效度的先决条件。

没有内在效度便无所谓外在效度，因为一个研究本身不科学、不精确，内在效度很低，即使它再容易推广、再现，外在效度再髙，也不能正确解释问题现象，也不可能有什么实际意义。

一般来说，内在效度越充分，结果的可推广度越大，研究也越有价值。

正如有位科学家的需言：知道原因的失败，优于不知道原因的成功。

内在效度的目的在于排除另类的解释，使研究变量关系纯化、凸现，能经得起重复.验证。

只有这样，最终的研究结果才能被大家所接受。

研究设计时，研究者本人应该确左自己研究的内在效度，在确保研究最基本的内在效度的基础上，考虑研究的外在效度，即在保证研究科学性的前提下，考虑研究的可推广性。

当然在强调研究内在效度的同时，也不应该忽视研究的外在效度。

我们希望研究能构建新的理论•能贡献新的知识，能为科研宝库添砖加瓦。

要使研究结果形成放之四海而皆准的理论, 首先要看这个研究是否具有内在效度，其次考虑外在效度，即研究结果是否能推广到其它相似情境中去。

但是，内在效度高的研究不一泄具有较高的外在效度，有时二者往往难以都得到充分满足。

有。