实验设计与数据统计分析说课材料

第二章实验设计与数据统计分析

✶实验设计的基本问题

–变量的选择与控制

–实验中的效度

✶真实验设计

–完全随机设计

–多因素实验设计

–随机化区组设计

✶准实验设计和非实验设计

一、实验设计的基本问题

（一）变量的选择与控制

1、变量的选择

2、实验设计中的控制

–何谓控制？

–控制的应用

对变量的控制：随机化

使用控制组

3、实验误差

–是存在于实验单元内作同样处理所得观测数据间的变差的度量。

–实验误差的来源：内在变差；环境和操作的不一致；重复实验的误差。或S;G;R型误差。

（二）实验中的效度

何谓实验效度？

–一项实验所能揭示的事物本质规律的有效性程度。

自从1966年科贝尔(Campbell)和斯大理(Stanly)提出内在效度(InternaI Validity)和外在效度(ExternalVa1idity)这一概念描述研究效度以来，很多学者对影响效度的因素作过认真的研究，提出很多方面的因素。1979年库克(Cook)和科柏尔(Campbell)认为这一划分方法不够完整，后又从内在效度中抽出一部分命名为统计结论效度(Statistical Conc1usion Validity)，由外在效度中提出一部分命名为构想效度(Construct Validity)。

1、内部效度及影响因素

含义：实验处理被精确估计的程度。

♦影响内部效度的因素

–历史：在实验中，与实验变量同时发生，并对实验结果产生影响的特定事件。

–成熟或自然发展的影响：

–选择：

–测验：

–被试的亡失：

–统计回归：

–仪器的使用：

–选择和成熟的交互作用及其他。

2、外部效度及影响因素

含义：实验结果能被概括到实验情境条件以外的程度。

♦影响外部效度的因素：

–测验的反作用效果

–选择偏差和实验变量的交互作用

–实验安排的反作用效果

–重复实验处理的干扰

3、统计结论效度

含义：统计方法的适切性所引起的结论有效性程度，它主要反映统计量与总体参数之间的关系。内在效度是总体参数（真值）与有系统偏差的实验总体参数之间的关系问题，如没有系统误差，两个总体参数之间应该无差异。而统计结论效度所指的统计量，是用不同方法计算的统计量，二者是不同的。例如：一个按几何级数变化的数据，如用几何平均数计算统计量，就可能较好地反映总体参数情况，如用算术平均数作为代表值，就不适切就不能很好的代表总体参数，据此所得的统计结论，其效度当然就存在一定的问题。

统计结论效度是关于研究的数据分析处理程序的效度检验，或者说，它是检验研究结果的数据分析程序与方法的有效性的指标。统计结论效度的基本问题是研究误差、变异来源与如何适当地运用统计显著性检验，它不涉及系统性偏差的来源问题，而是研究误差变异情况和如何适当运用统计显著性检验的问题。例如，采用小样本的研究数据时，由于样本成份与测量数据都波动比较大，稳定性差，如果依赖统计显著性水平做出推论是不可靠的。在这种情况下，应该运用功效分析（power analysis），看看一定的样本范围、变异程度和α水平上能够检验出多大的效应。这就是统计结论效度所考虑的问题。

♦影响统计结论效度的因素：

–统计检验力低（power of statistical tests）：样本大小——样本小，统计检验力低；显著性水平α的大小，α越小，β错误就越大，统计检验力就降低；因变量的误差变异（标准差）的大小，标准差越大，标准误也越大，达到显著水平时，β错误增加。

–统计方法依据的假设条件的满足程度（是否违反统计方法的使用条件）

–多重比较和误差变异。如果实验误差太大，标准误也增大，实验处理的层次增加，摒弃虚无假设的可能性增加，α错误也增加。

–测量工具的信度

–实验处理执行的信度，即实施实验时遵守设计要求的程度。

–实验环境内，无定性非相关事故的影响。

–被试者的随机变异。

♦统计结论效度的条件

–研究的统计结论效度主要取决于两个方面的条件：

一是数据的质量，数据分析程序的效度是以数据的质量作为基础的，数据质量差的研究是谈不上统计结论效度的；

二是统计检验方法，数据分析中所采用的各种统计方法，都有其明确的统计检验条件的要求，一项研究中统计检验条件不明确或者被违反，就会显著降低统计结论效度。

4、构思效度

含义：关于关系变量及变量之间关系构想的准确性，以及实验变量在实验时的操作定义与推论时的定义一致性程度。换句话，所研究的特质在理论上构想的全面性。

–研究的构思效度是指理论构思或假设的合理性、科学性，及其转换为研究目标的恰当程度和可操作性。它涉及建立研究方案和测量指标的理论构思（或观察指标的理论设想）及其操作化等方面的问题，即理论构思及其转换的有效性。为了使研究具有较高的构思效度，研究的理论构思首先要结构严谨、层次分明，形成某种“构思网络”，其次对研究内容做出严格的抽象与操作性定义（如针对研究构思的特点，给予明确的操作定义）。

♦影响因素：

–操作化前对概念的分析是否完整

–单一操作的偏差

–单一方法的偏差

–被试在执行实验时对假设的猜测，称作“要求特征”。

–被试对被评价的不安感

–实验者的期望效应

–混淆的构想和构思层次。如：学校可分为：重点和非重点两个间断性层次，而年级是连续变量。如果

只依据一类学校得出年级与教学方法的效果之间存在线性关系，推论可就会出现问题。

–不同处理的交互影响，导致混淆难辨。控制方法，让被试只接收一种实验处理，或将不同实验处理加以控制，以便作个别分析。

♦构思效度的条件

（1）理论构思要结构严谨、符合逻辑、层次分明，形成某种“构思网络”。例如，将儿童的自我意识发展分为自我认识、自我体验和自我控制三方面，而自我认识进一步细分为对生理自我的认识、对心理自我的认识和对社会自我的认识。这样的理论构思，就比较严谨、完整，有层次，并且形成一种“网络”，便于理解和研究。

（2）清晰、准确的界定研究的环境条件和变量。例如，“小学五年级学生发散思维问题研究”这样一个课题，对研究被试的年龄段，生理智力发展，学习、生活、社会环境等需要明确界定范围，用文字和语言两种形式完整、准确地表述研究变量。

（3）对研究变量做出准确、严格的操作定义，并选择相应客观的观测指标。

（4）避免采用单一方法或单一指标去代表或分析多维的、多层次的、多侧面的事物和活动，尽可能采用多种方法、多种指标，从不同角度分析研究相同的理论构思。

实验设计

♦心理学实验设计的逻辑分析

♦数理统计是心理学实验的逻辑基础

研究设计是基于统计的，不会统计就不会设计

统计检验的基本思想

宗旨：确定以事实支持的概率。

研究假说与统计假说相同吗？

研究假说是备择假说

统计假说包括：虚无假说和备择假说，统计检验的是虚无假说

方差分析的基本思想

同时检验两个或多个平均数之间的差异，并且可以解释几个因素之间的交互作用

把平均数之间是否存在差异的检验转化为变异是否存在差异的检验

♦控制是心理学实验的基本手段

♦实验中各种变异的控制

♦实验设计最重要的功能是控制变异

♦变异包括：

系统变异（因变量的变异中可以有研究者操作的实验变量解释的那一部分变异，是研究者理论上期望获得的）

无关变异（研究者不感兴趣，但对因变量有影响的变量所引起的变异）

误差变异（实验中的随机波动，如被试误差、测量误差）

实验设计的功能是使系统变异的效应最大，控制无关变异，使误差变异最小。

♦如何使系统变异的效应最大？

–选取适当的自变量水平。

–提高测量的辨别力，即选择对自变量的变化敏感的因变量。

–例如：研究阅读课文的长度对阅读成绩的影响。阅读课文的长度500字、550字、1000字；所有被试的测分在90-95。

♦如何控制无关变异？

–Randomization

实验单元或被试是从一个更大的、研究者感兴趣的总体中随机选择的；（对实验结果的概括力最重要）实验单元或被试是随机分配给各个处理条件的。（对实验的内部效度是关键的：原因——随机分配的随机化，在理论上可以认为实验中各个处理组在各个方面上是统计上没有差异的）

–Elimination

尽可能选择在某个维度上同质的单元，以使无关变量消除。如：性别、智力

这种方法是通过消除变量本身来控制无关变量。