怎样阅读定量研究报告

2019/9/12
23
• 内容分析：收集并仔细观察分析文件的过 程称为内容分析。
• 在评价这种内容分析可靠性的时候，应该 注意：
• 1.类别界定清楚而且有价值； • 2.文献样本的选取程序可靠； • 3.不同的观察者可以可靠的使用这些类别。
2019/9/12
24
• 测量效度 • 测量效度指的是“证据和理论在多大程度上支持计划使用
2019/9/12
31
• 讨论部分
• 这一部分的目的是说明结果的含义和推论。 研究者要说明他们进行对结果的理解，评 价研究设计和研究中的不足，得出关于研 提供统计分究结果的实践和理论意义的结 论，对后续研究提出建议等。结果部分应 该析的客观理由，而讨论部分则需要更个 人化的观点。
2019/9/12
2019/9/12
18
• 注意：
• 1.研究者在开始主要的研究之前要试用问卷并分 析小样本中个体的反应，问卷要预先检验。
• 2.问卷中不能包含诱导性的问题，诱导性问题在 提问方式上给予了被调查者关于预期回答的某些 线索，由诱导性问题得到的结果可能是有偏见的。
• 3.问卷中不应包含任何具有心理威胁性的问题。
• 其实对总体效度的最好的检验室实验一下研究结 果所建议的教育策略，收集数据看一看它们推广 到当地群体后的效果，即进行行动研究。
2019/9/12
14
方法部分：测量工具
• 定量研究中常用的测量工具有四种类型： （1）纸笔测验和量表；
• （2）问卷； • （3）访谈； • （4）直接观察
2019/9/12
2019/9/12
26
• 估计测量信度的程序：
• 1.项目一致性 测验编织者要让测验中所有 的项目都测量同样的构建概念，也就是说， 他们要让所有的项目都具有一致性。
• 2.测量的稳定性 研究者对一个样本人群进 行测验，隔一段时间后再对同样的样本进 行同样的测验，从两次测验中获得的分数 是相关的，其相关系数可以用来判断它们 的信度。这叫重测信度或测验稳定性。
2019/9/12
25
• 测量信度
• 在经典测量理论中，测量误差被看作是个体在测 验中实际获得的分数与他们的真实分之间的差异。
• 一个教育测量的信度程度通常用相关系数来表示。 信度系数最低值为0，意味着没有信度；最高值为 1，表示最有信度。信度系数为0意味着测验分数 没有意义，完全由测量误差组成，信度系数为1意 味着测量绝对没有测量误差，一般而言，如果一 个测量的信度系数等于或大于0.80，就可以认为 是可靠的。
•
测量（或材料）
•
研究设计和程序
• 结果
• 讨论
2019/9/12
3
摘要和引言部分
• 一份研究报告的开始是摘要，这是对报告 内容的简要总结。先阅读摘要会使你了解 研究的目的、所用的研究方法和主要的结 果。
• 定量研究报告引言部分说明研究的目的、 相关变量和研究假设、研究问题和研究目
标。此外，引言部分包括对以往研究结果 的评述及其他与研究有关的信息。
2019/9/12
29
• 测验效度和信度的局限
• 一个测量对一个总体来说可能是有效的和 可信的，但对另一个来说则不是这样。
• 方法部分：研究设计与程序
• 研究报告应该描述用于收集检验研究假设 所需数据、回答研究问题或实现研究目标 的研究设计。
2019/9/12
30
• 结果部分
• 定量研究报告的结果部分呈现了对数据统 计分析的结果，这些数据是研究者从对样 本进行的测量中获得的。
2019/9/12
6
例
• 提出假设：一个研究小组想了解高水平认知的认 知问题对学生学习社会研究课程的影响，但是找 不到关于影响情况的假设根据。
• 提出问题：高水平的认知问题对学生学习社会研 究课程的影响是什么？
• 提出目标：本研究的目标是确定高水平的认知问 题是否可以改善学生社会研究课程的学习。
2019/9/12
• 4.收到问卷的人应该是研究者所需要的信息的人 群。
2019/9/12
19
• 问卷和量表的区别： • 量表是经过标准化的测量工具，一个量表的编制
是很困难的，一般要几年的时间，要做许多的数 据收集工作。而因为编写很严格，所以数据处理 非常容易。 • 量表还涉及到信度和效度的问题，都需要经过长 期检验，并得到广泛认可才可以正式使用。而量 表编制过程中，经常会用问卷来收集数据，是一 个辅助手段。 • 量表的严格程度、规范程度和标准化程度比问卷 高。
怎样阅读定量研究报告
2019/9/12
1
• 定量研究的主要特点是其认识论认为存在 客观现实，将现实分解为可测量的变量， 研究代表总体的样本以及使用统计方法分 析材料。
• 定量研究报告与质性研究报告相比一般更 非主观性，更客观。
2019/9/12
2
定量研究报告的结构
• 摘要
• 引言
• 方法
•
抽样程序
2019/9/12
21
• 直接观察
• 直接观察是在个体进行某种形式的行为或 某一事件正在展开的时候收集数据。直接 观察与问卷和访谈相比往往在无意间能够 获得更准确的有关某些变量的数据。但是 直接观察的弊端是它往往非常耗时，而且 观察者往往在无意间会改变被观察的情境。
2019/9/12
22
• 采用直接观察法进行评价时，应考虑以下问题：
2019/9/12
27
• 3.实施与评分的一致性
• 实施测验或评分的个体也会导致测量误差。 客观性较低的测验，如个人进行的智力和 人格测验或直接观察，更容易出现实施和 评分误差。主持测量或给测量评分的个体 的信度的程度被称为评分者信度或观察者 一致性。
2019/9/12
28
• 4.测量标准差
• 标准差（Standard Deviation） ，是各数据 偏离平均数的距离的平均数，它是离均差 平方和平均后的方根，用σ表示。标准差是 方差的算术平方根。标准差能反映一个数 据集的离散程度。平均数相同的，标准差 未必相同。
2019/9/12
5
研究假设、问题或目标
• 研究中的假设是对两个或更多变量之间关系的一 个理性推测。在提出了假设后，研究者收集研究 假设的数据，然后考察数据来决定是否认证这个 假设。
• 假设的提出通常建立在理论和以往研究成果的基 础上，如果理论或以往研究没有为提出具体假设 提供充分的基础，许多研究者会提出问题或者研 究目标来引导自己的研究。
2019/9/12
16
• 纸笔测验和量表的局限：
• 1.要求被测验的人能够读写。
• 2.依靠自陈报告（self-report）在测量态度 时个体可能隐藏自己的真实态度。
• 3.许多测验和量表是对集体实施的，研究者 很难确定每个被评估者当时的生理和心理 状态。
2019/9/12
17
• 问卷
• 纸笔测验和量表通常测量一到两个变量， 相比之下问卷一般测量许多变量，对每个 问题的回答可以构成研究中的一个单独的 变量。
7
• 提出假设、问题或目标是研究者计划一项定量研 究时首先要采取的步骤之一。这些假设、问题或 目标支配着研究过程的其他部分以及数据收集和 数据分析。因此，你应该在研究报告的引言部分 中寻找假设、问题或目标。如果什么都没有，你 有理由担心此研究的质量以及研究结果的效度。
• 变量及其之间的相互关系要在假设、问题或目标 中明确。
ቤተ መጻሕፍቲ ባይዱ
15
• 纸笔测验和量表
• 测验测量一个人在某一个课程领域内的知 识、理解的深度或技能。量表测量一个人 的态度、个性特征、情绪状态、兴趣、价 值和其他相关因素。
• 纸笔测量方法VS 实际作业测量
• 实际作业测量是在个体从事实际生活中的 复杂的任务时对个体进行的评价，例如驾 驶测试。实际作业测量必须个别来实施。
2019/9/12
4
构建概念与变量
• 研究报告中的引言部分应该确定和说明所 研究的每一个概念（构建概念或变量）。
• 构建概念是从被观察的现象中推导出的结 构或过程。定量研究通常使用术语“变量” 而不是“构建概念”。变量是构建概念的 定量的表达。如果构建概念是研究设计中 的一部分，而且没有变化，就称为常量。
2019/9/12
12
志愿者样本
• 几乎所有的教育研究采用的都是志愿者样 本，即不是基于系统抽样策略的样本，而 是基于表示愿意参与研究的志愿者的样本。
2019/9/12
13
总体效度
• 总体效度是指研究中的个体样本代表从其中抽取 此样本的总体的程度。
• 要建立总体效度，研究者必须要说明（1）样本 （2）可获得总体（3）目标总体 三者在研究问题 所涉及的变量上有何相似性，相似的证据有助于 建立他们样本的总体效度。
的测验产生的分数的解释”
• 五个证据和理论可用来说明从个体测验或其他测量分数进 行推论的效度：
• 1.得自测验内容的证据：这一类型的效度证据要证明测验 项目的内容与要测量的内容相一致
• 2.得自内部结构的证据 • 3.得自与其他变量的关系的证据 证据是建立在个体在测验
中的分数和他们在另外一个测量中的分数之间的联系程度 的基础上的 • 4.得自反应过程的证据 • 5.得自测验后果的证据
32
2019/9/12
11
抽样的类型
• 简单随机抽样和分层随机抽样
• 简单随机抽样要确定总体中的所有个体都有成为 样本一员的同等的和独立的机会。“独立”的意 思是指一个个体的选择不会影响到任何其他个体 的选择机会。
• 分层随机抽样是一个保证样本能够代表总体中具 有一定特征的个体的程序。例：有单亲母亲的男 孩；有单亲母亲的女孩；有单亲父亲的男孩；有 单亲父亲的女孩；有双亲的男孩；有双亲的女孩。 为了保证样本能够代表所有六个组，研究者可以 使用分层随机抽样。
2019/9/12
20
• 访谈
• 1. 灵活性，训练有素的访谈者可以随时改变访谈 的局面以便从受访者那儿获得尽可能全面的回应。
• 2. 获得的数据比其他可能的测量技术获得的要深 入得多。
• 3.主要弊端是研究者与受访者之间的直接互动使 得主观和偏见容易产生，基于访谈法的研究结果 的效度在很大程度上取决于访谈者的人际交往能 力。
2019/9/12
8
• 文献综述
• 研究报告中要引用一些关键的研究，五到 十个最相关的以往的研究还是应该讨论到 的。
2019/9/12
9
• 研究者的资格
• 定量研究者要努力做到客观。有关研究者 的信息可以提供某些线索或迹象，以判断 是否研究者的偏见影响了他们的研究结果。
2019/9/12
10
方法部分：抽样过程
• 目标总体：由具有研究者感兴趣的特征的个体组 成的完整集合体，是研究者希望从中归纳出研究 结果的所有个体。是研究者想用来推广或应用其 研究成果的总体。
• 可获得总体是由能够被实际可行的包含在研究样 本中的一批人、事件或物体构成的整体，是研究 者直接从中抽取样本的总体。样本极少具有和总 体完全一模一样的特征，抽样误差是样本统计量 和总体同一统计量之间的差异。即使在总体中随 机抽取样本，抽样误差也可能发生。误差的大小 往往随随机抽样样本的增多而减少。
• 1.被观察的是高推断性变量还是低推断性变量。 推断性越高，可能效度越低。
• 2.观察者有没有经过培训以学会如何确定将要进 行观察的变量。研究者应该介绍观察者所接受的 培训的种类和程度以及他们使用的是否是标准的 观察表格或程序。
• 3.观察时间要有足够的长度以便获得被研究行为 的有代表性的样本。
• 4.观察者尽可能不引人注意比较好。