实验设计与数据统计分析

第二章实验设计与数据统计分析

实验设计的基本问题

–变量的选择与控制

–实验中的效度

真实验设计

–完全随机设计

–多因素实验设计

–随机化区组设计

准实验设计和非实验设计

一、实验设计的基本问题

（一）变量的选择与控制

1、变量的选择

2、实验设计中的控制

–何谓控制？

–控制的应用

对变量的控制：随机化

使用控制组

3、实验误差

–是存在于实验单元内作同样处理所得观测数据间的变差的度量。

–实验误差的来源：内在变差；环境和操作的不一致；重复实验的误差。或S;G;R型误差。

（二）实验中的效度

何谓实验效度？

–一项实验所能揭示的事物本质规律的有效性程度。

自从1966年科贝尔(Campbell)和斯大理(Stanly)提出内在效度(InternaI Validity)和外在效度(ExternalVa1idity)这一概念描述研究效度以来，很多学者对影响效度的因素作过认真的研究，提出很多

方面的因素。1979年库克(Cook)和科柏尔(Campbell)认为这一划分方法不够完整，后又从内在效度中抽出

一部分命名为统计结论效度(Statistical Conc1usion Validity)，由外在效度中提出一部分命名为构想效度(Construct Validity)。

1、内部效度及影响因素

含义：实验处理被精确估计的程度。

影响内部效度的因素

–历史：在实验中，与实验变量同时发生，并对实验结果产生影响的特定事件。

–成熟或自然发展的影响：

–选择：

–测验：

–被试的亡失：

–统计回归：

–仪器的使用：

–选择和成熟的交互作用及其他。

2、外部效度及影响因素

含义：实验结果能被概括到实验情境条件以外的程度。

影响外部效度的因素：

–测验的反作用效果

–选择偏差和实验变量的交互作用

–实验安排的反作用效果

–重复实验处理的干扰

3、统计结论效度

含义：统计方法的适切性所引起的结论有效性程度，它主要反映统计量与总体参数之间的关系。内在效度

是总体参数（真值）与有系统偏差的实验总体参数之间的关系问题，如没有系统误差，两个总体参数之间

应该无差异。而统计结论效度所指的统计量，是用不同方法计算的统计量，二者是不同的。例如：一个按

几何级数变化的数据，如用几何平均数计算统计量，就可能较好地反映总体参数情况，如用算术平均数作

为代表值，就不适切就不能很好的代表总体参数，据此所得的统计结论，其效度当然就存在一定的问题。

统计结论效度是关于研究的数据分析处理程序的效度检验，或者说，它是检验研究结果的数据分析程

序与方法的有效性的指标。统计结论效度的基本问题是研究误差、变异来源与如何适当地运用统计显著性

检验，它不涉及系统性偏差的来源问题，而是研究误差变异情况和如何适当运用统计显著性检验的问题。

例如，采用小样本的研究数据时，由于样本成份与测量数据都波动比较大，稳定性差，如果依赖统计显著

性水平做出推论是不可靠的。在这种情况下，应该运用功效分析（power analysis），看看一定的样本范围、变异程度和α水平上能够检验出多大的效应。这就是统计结论效度所考虑的问题。

影响统计结论效度的因素：

–统计检验力低（power of statistical tests）：样本大小——样本小，统计检验力低；显著性水平α

的大小，α越小，β错误就越大，统计检验力就降低；因变量的误差变异（标准差）的大小，标准差越大，

标准误也越大，达到显著水平时，β错误增加。

–统计方法依据的假设条件的满足程度（是否违反统计方法的使用条件）

–多重比较和误差变异。如果实验误差太大，标准误也增大，实验处理的层次增加，摒弃虚无假设的可

能性增加，α错误也增加。

–测量工具的信度

–实验处理执行的信度，即实施实验时遵守设计要求的程度。

–实验环境内，无定性非相关事故的影响。

–被试者的随机变异。

统计结论效度的条件

–研究的统计结论效度主要取决于两个方面的条件：

一是数据的质量，数据分析程序的效度是以数据的质量作为基础的，数据质量差的研究是谈不上统计结论效度的；

二是统计检验方法，数据分析中所采用的各种统计方法，都有其明确的统计检验条件的要求，一项研

究中统计检验条件不明确或者被违反，就会显著降低统计结论效度。

4、构思效度

含义：关于关系变量及变量之间关系构想的准确性，以及实验变量在实验时的操作定义与推论时的定

义一致性程度。换句话，所研究的特质在理论上构想的全面性。

–研究的构思效度是指理论构思或假设的合理性、科学性，及其转换为研究目标的恰当程度和可操作性。它涉及建立研究方案和测量指标的理论构思（或观察指标的理论设想）及其操作化等方面的问题，即理论

构思及其转换的有效性。为了使研究具有较高的构思效度，研究的理论构思首先要结构严谨、层次分明，

形成某种“构思网络”，其次对研究内容做出严格的抽象与操作性定义（如针对研究构思的特点，给予明确

的操作定义）。

影响因素：

–操作化前对概念的分析是否完整

–单一操作的偏差

–单一方法的偏差

–被试在执行实验时对假设的猜测，称作“要求特征”。

–被试对被评价的不安感

–实验者的期望效应

–混淆的构想和构思层次。如：学校可分为：重点和非重点两个间断性层次，而年级是连续变量。如果

只依据一类学校得出年级与教学方法的效果之间存在线性关系，推论可就会出现问题。

–不同处理的交互影响，导致混淆难辨。控制方法，让被试只接收一种实验处理，或将不同实验处理加

以控制，以便作个别分析。

构思效度的条件

（1）理论构思要结构严谨、符合逻辑、层次分明，形成某种“构思网络”。例如，将儿童的自我意识发