管理研究的有效性
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（Reliability），可靠性指度量在何种程度上避 免了随机误差，可靠性是有效性的必要条件。
表面有效性和内容有效性
表面有效性是指由一组专家做出判断，确定 一种度量方法是否确实度量了它名义上要度 量的概念。表面有效性评估是个主观过程， 但它通常是有效性评价的先决条件，观念度 量多数情况下必须首先通过表面有效性检验。
维度有效性和理论有效性
维度有效性指度量结果显示的维度是否与 理论对概念界定的维度认识一致。
概念作为理论的构件，根据理论的定义和 推演，与理论中的其他概念形成一系列的 相互关系。理论有效性是指用于度量的操 作变量之间的关系是否与理论中描述的相 应概念之间的相互关系符合。
相关标准有效性
某些度量能够（或者其目的就是）对某些相关变量（称为标 准变量）做出推断和预测，相关标准有效性指度量结果是否 有助于推断或预测其它的相关变量。
对一个变量的度量即使高度可靠，即度量的随机误 差很小（实际上，任何度量都不可避免会有随机误 差），也可能不具有高的概念建构有效性。因为可 能是可靠地度量了其它概念，而不是原来希望度量 的概念 。
概念的多操作化定义
操作性界定 2
操作性界定 1
操作性界定 3
被度量的 Construct
被度量的 Construct
用来评价会聚有效性和差别有效性的常用方法是 多属性－多方法矩阵。该矩阵的元素表示分别用 不同的方法对不同的属性进行度量的结果相互之 间的相关系数。产生多属性多方法矩阵的方法和 属性应该尽可能独立。
会聚有效性和差别有效性评价举例
为了测度学校教师对MBA教育的看法，设计一种 书面问卷进行抽样调查，问卷的项目是向被访问 者提问对开展MBA教育所带来的各种影响的态度， 如MBA教育的社会影响、开展MBA教育对学校地 位的影响、MBA教育对学术研究的影响等，用1 分到7分别表示从不满意到满意，各项得分加总作 为受试者对MBA教育的测量值。为了评价该度量 的会聚有效性和差别有效性，引入另外两个概念： 对学校住房制度的态度和对校园环境的满意程度， 同时采用不同的度量方法（如访谈或电话采访）。
研究有效性的类别
研究的有效性（Validity）主要分为三种： 概念建构有效性
（Construct Validity，简称C.V.）； 内部有效性
（Internal Validity，简称I.V.） 外部有效性
（External Validity，简称E.V.）
各种有效性的定义
概念建构有效性是指理论中的抽象概念在多大程 度上在实际研究中成功地进行了操作化，即操作 变量在何种程度上体现了它想要体现的理论概念 的真正含义。
误差
度量误差来源举例
如果要研究采用多媒体手段教学与学生学习效果 的关系，可以设计一种实验，通过考试测度采用 多媒体手段与不采用多媒体手段学生学习成绩的 差别，以检验所提出的假设。
学生的学习成绩作为一种操作变量既反映我们希 望反映的概念“学习效果”，也会反映不希望反 映的概念，如：考试测试了与学习成绩无关的内 容：学习兴趣、考试引起的紧张、学生的语言能 力和应试经验等，这些都会给测试带来系统误差。
对概念的度量应该是能够量度绝大多数希 望反映的概念，而最大程度地避免不希望 反映的概念和随机误差的影响。
考察概念建构有效性的必要性
概念建构有效性是理论发展与检验的必要条件。 如果抽象概念与它的操作变量之间缺乏一致性， 理论也就难以成立和发展。研究如果缺乏概念建 构有效性，无论随后的数据分析多么复杂精细， 研究的结论也是没有意义的。
多属性－多方法矩阵
方法 1
方法 2
对 MBA 对住房制 对环境的 对 MBA 对住房制 对环境的
的态度 度的态度 满意度 的态度 度的态度 满意度
对 MBA ①
的态度
0.896
对住房制 ② 方法 1 度的态度 -0.236
对环境的
满意度 -0.356
0.670 -0.075
0.817
对 MBA ③
管理研究的有效性
管理研究中，有效性（Validity）是被普遍接受的 评价研究的指标。这种评价与其说是对方法本身 的优劣进行评价，不如说是对研究方法选择与应 用是否适当进行评价。
任何理论都是由对有关概念、概念间关系的描述 组成，并有其特定的理论背景和应用范围。因此 对管理研究的评价，就集中在对有关概念及概念 间关系研究的评价上，同时考察理论的背景和应 用范围。
概念的操作化过程不可避免地会包括一些不应包 括的内容，同时又没有把一部分应包括的内容包 括进来，因而管理研究在不同程度上都存在概念 建构有效性问题。
概念度量误差的基本来源
概念度量误差的一个基本来源是观测变量对概念内 涵反映的不充分和不准确。
操作层次的可观测变量是对理论层次的抽象概念的 一种表示。实际上，变量不可能只反映它感兴趣的 理论概念，也不可能完全体现理论概念。
对象群体
对象群体
E.V.
变量 x
C.V. 概念 X
I.V.
变量 y
C.V.
概念 Y
统计结论有效性
还有一种分类法是把有效性分为四种，即：概念 建构有效性；统计结论有效性（Statistical Conclusion Validity,简称S.C.V.）；内部有效性 和外部有效性。
统计结论有效性是指关于变量之间相关变化的统 计推论在何种程度上得到证实。对内部有效性则 定义为：观察到的相关变化在何种程度上可被认 为是因果关系。
概念之间的关系可以表现为相关关系和因果关系， 相关关系是因果关系的必要条件。这种分类方法 是把前一种分类法中内部有效性的内容分成统计 结论有效性和内部有效性两个层次。
一、概念建构有效性
概念建构有效性指的是一种操作化方案在 何种程度上反映而且只反映希望度量的概 念，而不受其他概念的系统影响。它反映 了理论层次的抽象概念与度量抽象概念的 操作变量之间的符合程度。
评价概念建构有效性的思路
度量同一概念的不同变量间应具有高相关性。
所有操作变量与概念有关的部分称为公共核。如果所 有变量都来自同一个概念域，则这些变量的度量结果 应该高度相关。当随机误差为零时，它们应完全相关。
度量不同概念的不同变量间应缺乏相关性
度量某个特定概念的变量不应与度量不同概念的其他 变量相关，否则可能说明该变量和其他变量都具有共 同的系统误差。
如果度量同一概念的变量中有某些变量不是来自正确 的概念域。不同变量的度量结果之间相关性必然低。 如果某变量完全不能度量目标概念，假定不同变量包 含的系统误差来源不同，该变量与其它变量的度量结 果应完全不相关。
评价概念建构有效性的要点
（1）明确目标概念的外延及维度，明确与概念有关 的可观察变量的范围，哪些变量可以度量目标概念， 各个变量分别可以度量目标概念的哪些方面，以及 各个变量可能反映哪些目标概念之外的内容；
度量某个概念的变量不应与度量不同概念的其它 变量相关，否则可能说明该变量和其他变量度量 了共同的其他内容而非该变量希望度量的概念。
基于预期的概念建构有效性
基于预期的概念建构有效性包括： 维度有效性（Dimension Validity） 理论有效性（Nomological Validity） 相关标准有效性（Criteria-Related Validity）
内部有效性是指在多大程度上研究允许得出两个 变量之间是因果关系的推断。
外部有效性是指在多大程度上可以将对特定研究 样本和在特定研究环境下所得到的研究结果推广 到理论假设中所明确的总体和环境中去，因而又 可称为可推广性（generalibility）。
三种有效性之间的关系
真实世界
特定时间、背景、 其它时间、背景、
基于预期的概念建构有效性。
指对概念的度量是否与根据理论推演出的预期 结果一致。基于预期的概念建构有效性可看作 是外部的。
属性有效性
属性有效性包括：
➢ 表面有效性（Face Validity）； ➢ 内容有效性（Content Validity）： ➢ 会聚有效性（Convergent Validity） ； ➢ 差别有效性（Discriminant Validity） ➢广 义 的 属 性 有 效 性 还 包 括 可 靠 性
误差。此时不包括可靠性。 有效性以可靠性为前提，没有可靠性就没有有效性。
在假定度量具有高可靠性的前提下，概念建构有效 性主要取取决于系统误差XS 。
概念建构有效性的层次
按照理论在概念建构有效性验证过程中的作用，可 以将概念建构有效性区分为：
属性有效性
指在概念建构有效性验证过程中，不考虑理论 的作用（理论只用于最初定义概念），在理论 的真空中考察概念与其度量变量之间是否一致， 属性有效性是内部的。
④
的态度
0.450 -0.082
对住房制 ④ 方法 2 度的态度 -0.244
0.395
对环境的
满意度 -0.252 -0.141
-0.054 ②
-0.142 -0.147
0.464 -0.170 -0.289
多属性－多方法矩阵说明
矩阵元素表示分别用不同的方法对不同的属性进 行度量的结果之间的相关系数。矩阵由4种元素分 块组成，分别在分块左上角用数字标识： ① 可靠性对角； ③ 有效性对角； ② 异属性－同方法三角形； ④ 异方法三角形。
度量的会聚有效性说明用不同度量方法度量同一 概念的度量结果在何种程度上共同变化 （Conmon Variance），
会聚有效性要通过判断不同度量方法的度量结果 之间是否具有高相关性来评价。
差别有效性评价
差别有效性表示对一个新概念的测度在多大程度 不是由测度变量与别的变量的相关性导致的。
差别有效性要通过判断该度量方法与用来测度不 同概念的其它方法之间是否缺乏相关性来评价。
（2）通过经验研究和统计分析，确定不同度量方法 在多大程度上度量的是同一抽象概念，或者在多大 程度上度量的是不同概念。
（3）通过控制性实验和调查研究等方法，确定与概 念对应的变量产生的结果在何种程度上与和该概念 有关的、并与得到广泛认可的理论结论相一致，度 量是否与预期的结果相符。
会聚有效性评价
科学研究的一个基本原则是任何特定概念应该可 以用多种不同方法分别度量。否则研究者无法知 道测得的结果是基准概念还是度量过程本身的产 物。
不同度量方法有着互不相关的不同的误差来 源（理想状态下，不同度量方法之间应不具 有共同的干扰因素），但度量同一概念的不 同变量应高度相关。
差别有效性
度量不同概念的不同方法之间的差异程度用差别 有效性（Discriminant Validity）表示。
差别有效性反映拟度量不同概念的变量之间不相 关的程度，表明了拟度量不同概念的变量在何种 程度上度量了相异部分。
例如，对新员工考试是为了预测该员工未来的工作绩效。如 果发现在考试成绩与工作绩效之间确实存在较高的相关关系， 则该度量具有相关标准的有效性。
对应于相关标准变量发生时间在过去、现在和将来，相关标 准有效性又分别称为： ➢ 历史有效性（Postdictive Validity）； ➢ 并行有效性（Concurrent Validity）； ➢ 预测有效性（Predictive Validity）。
内容有效性指度量是否包括了足够有代表性 的项目集来度量基准概念。度量方案中的项 目越充分地代表了待测概念的概念域，就越 具有内容有效性。
wk.baidu.com
会聚有效性
度量同一概念的不同方法之间的重合程度用 会聚有效性（Convergent Validity）表示。
会聚有效性表明用不同方法度量同一概念所 得出的度量结果的相关程度。反映使用不同 方法度量同一概念所得出的度量结果之间的 一致性。
另外，度量中还会有随机误差，如阅卷错误、记 录错误等。
组成概念度量值的成份
在概念域界定清楚的前提下，用操作变量对概念进 行度量的结果一般由三部分组成：
（1）希望反映的目标概念的内容（真实值）；
（2）不希望反映的非目标概念的内容（系统误差）；
（3）随机误差。
即： 其中，
X0＝XT＋XS＋XR X0为度量值； XT为真实值； XS为系统误差；
XR为随机误差。
有效性与可靠性的关系
对X称S信概。度念与）度XR，量有指有关在效的何性部种的分程评称度价为上包可度靠括量性了避（两免R个了e部l随ia分b机il：i误tyX差，R。和又 广义的有效性是指操作化定义或测试的结果多大程
度上能代表要研究的复合概念。本身包括可靠性。 狭义的有效性是指测试结果多大程度上能避免系统
表面有效性和内容有效性
表面有效性是指由一组专家做出判断，确定 一种度量方法是否确实度量了它名义上要度 量的概念。表面有效性评估是个主观过程， 但它通常是有效性评价的先决条件，观念度 量多数情况下必须首先通过表面有效性检验。
维度有效性和理论有效性
维度有效性指度量结果显示的维度是否与 理论对概念界定的维度认识一致。
概念作为理论的构件，根据理论的定义和 推演，与理论中的其他概念形成一系列的 相互关系。理论有效性是指用于度量的操 作变量之间的关系是否与理论中描述的相 应概念之间的相互关系符合。
相关标准有效性
某些度量能够（或者其目的就是）对某些相关变量（称为标 准变量）做出推断和预测，相关标准有效性指度量结果是否 有助于推断或预测其它的相关变量。
对一个变量的度量即使高度可靠，即度量的随机误 差很小（实际上，任何度量都不可避免会有随机误 差），也可能不具有高的概念建构有效性。因为可 能是可靠地度量了其它概念，而不是原来希望度量 的概念 。
概念的多操作化定义
操作性界定 2
操作性界定 1
操作性界定 3
被度量的 Construct
被度量的 Construct
用来评价会聚有效性和差别有效性的常用方法是 多属性－多方法矩阵。该矩阵的元素表示分别用 不同的方法对不同的属性进行度量的结果相互之 间的相关系数。产生多属性多方法矩阵的方法和 属性应该尽可能独立。
会聚有效性和差别有效性评价举例
为了测度学校教师对MBA教育的看法，设计一种 书面问卷进行抽样调查，问卷的项目是向被访问 者提问对开展MBA教育所带来的各种影响的态度， 如MBA教育的社会影响、开展MBA教育对学校地 位的影响、MBA教育对学术研究的影响等，用1 分到7分别表示从不满意到满意，各项得分加总作 为受试者对MBA教育的测量值。为了评价该度量 的会聚有效性和差别有效性，引入另外两个概念： 对学校住房制度的态度和对校园环境的满意程度， 同时采用不同的度量方法（如访谈或电话采访）。
研究有效性的类别
研究的有效性（Validity）主要分为三种： 概念建构有效性
（Construct Validity，简称C.V.）； 内部有效性
（Internal Validity，简称I.V.） 外部有效性
（External Validity，简称E.V.）
各种有效性的定义
概念建构有效性是指理论中的抽象概念在多大程 度上在实际研究中成功地进行了操作化，即操作 变量在何种程度上体现了它想要体现的理论概念 的真正含义。
误差
度量误差来源举例
如果要研究采用多媒体手段教学与学生学习效果 的关系，可以设计一种实验，通过考试测度采用 多媒体手段与不采用多媒体手段学生学习成绩的 差别，以检验所提出的假设。
学生的学习成绩作为一种操作变量既反映我们希 望反映的概念“学习效果”，也会反映不希望反 映的概念，如：考试测试了与学习成绩无关的内 容：学习兴趣、考试引起的紧张、学生的语言能 力和应试经验等，这些都会给测试带来系统误差。
对概念的度量应该是能够量度绝大多数希 望反映的概念，而最大程度地避免不希望 反映的概念和随机误差的影响。
考察概念建构有效性的必要性
概念建构有效性是理论发展与检验的必要条件。 如果抽象概念与它的操作变量之间缺乏一致性， 理论也就难以成立和发展。研究如果缺乏概念建 构有效性，无论随后的数据分析多么复杂精细， 研究的结论也是没有意义的。
多属性－多方法矩阵
方法 1
方法 2
对 MBA 对住房制 对环境的 对 MBA 对住房制 对环境的
的态度 度的态度 满意度 的态度 度的态度 满意度
对 MBA ①
的态度
0.896
对住房制 ② 方法 1 度的态度 -0.236
对环境的
满意度 -0.356
0.670 -0.075
0.817
对 MBA ③
管理研究的有效性
管理研究中，有效性（Validity）是被普遍接受的 评价研究的指标。这种评价与其说是对方法本身 的优劣进行评价，不如说是对研究方法选择与应 用是否适当进行评价。
任何理论都是由对有关概念、概念间关系的描述 组成，并有其特定的理论背景和应用范围。因此 对管理研究的评价，就集中在对有关概念及概念 间关系研究的评价上，同时考察理论的背景和应 用范围。
概念的操作化过程不可避免地会包括一些不应包 括的内容，同时又没有把一部分应包括的内容包 括进来，因而管理研究在不同程度上都存在概念 建构有效性问题。
概念度量误差的基本来源
概念度量误差的一个基本来源是观测变量对概念内 涵反映的不充分和不准确。
操作层次的可观测变量是对理论层次的抽象概念的 一种表示。实际上，变量不可能只反映它感兴趣的 理论概念，也不可能完全体现理论概念。
对象群体
对象群体
E.V.
变量 x
C.V. 概念 X
I.V.
变量 y
C.V.
概念 Y
统计结论有效性
还有一种分类法是把有效性分为四种，即：概念 建构有效性；统计结论有效性（Statistical Conclusion Validity,简称S.C.V.）；内部有效性 和外部有效性。
统计结论有效性是指关于变量之间相关变化的统 计推论在何种程度上得到证实。对内部有效性则 定义为：观察到的相关变化在何种程度上可被认 为是因果关系。
概念之间的关系可以表现为相关关系和因果关系， 相关关系是因果关系的必要条件。这种分类方法 是把前一种分类法中内部有效性的内容分成统计 结论有效性和内部有效性两个层次。
一、概念建构有效性
概念建构有效性指的是一种操作化方案在 何种程度上反映而且只反映希望度量的概 念，而不受其他概念的系统影响。它反映 了理论层次的抽象概念与度量抽象概念的 操作变量之间的符合程度。
评价概念建构有效性的思路
度量同一概念的不同变量间应具有高相关性。
所有操作变量与概念有关的部分称为公共核。如果所 有变量都来自同一个概念域，则这些变量的度量结果 应该高度相关。当随机误差为零时，它们应完全相关。
度量不同概念的不同变量间应缺乏相关性
度量某个特定概念的变量不应与度量不同概念的其他 变量相关，否则可能说明该变量和其他变量都具有共 同的系统误差。
如果度量同一概念的变量中有某些变量不是来自正确 的概念域。不同变量的度量结果之间相关性必然低。 如果某变量完全不能度量目标概念，假定不同变量包 含的系统误差来源不同，该变量与其它变量的度量结 果应完全不相关。
评价概念建构有效性的要点
（1）明确目标概念的外延及维度，明确与概念有关 的可观察变量的范围，哪些变量可以度量目标概念， 各个变量分别可以度量目标概念的哪些方面，以及 各个变量可能反映哪些目标概念之外的内容；
度量某个概念的变量不应与度量不同概念的其它 变量相关，否则可能说明该变量和其他变量度量 了共同的其他内容而非该变量希望度量的概念。
基于预期的概念建构有效性
基于预期的概念建构有效性包括： 维度有效性（Dimension Validity） 理论有效性（Nomological Validity） 相关标准有效性（Criteria-Related Validity）
内部有效性是指在多大程度上研究允许得出两个 变量之间是因果关系的推断。
外部有效性是指在多大程度上可以将对特定研究 样本和在特定研究环境下所得到的研究结果推广 到理论假设中所明确的总体和环境中去，因而又 可称为可推广性（generalibility）。
三种有效性之间的关系
真实世界
特定时间、背景、 其它时间、背景、
基于预期的概念建构有效性。
指对概念的度量是否与根据理论推演出的预期 结果一致。基于预期的概念建构有效性可看作 是外部的。
属性有效性
属性有效性包括：
➢ 表面有效性（Face Validity）； ➢ 内容有效性（Content Validity）： ➢ 会聚有效性（Convergent Validity） ； ➢ 差别有效性（Discriminant Validity） ➢广 义 的 属 性 有 效 性 还 包 括 可 靠 性
误差。此时不包括可靠性。 有效性以可靠性为前提，没有可靠性就没有有效性。
在假定度量具有高可靠性的前提下，概念建构有效 性主要取取决于系统误差XS 。
概念建构有效性的层次
按照理论在概念建构有效性验证过程中的作用，可 以将概念建构有效性区分为：
属性有效性
指在概念建构有效性验证过程中，不考虑理论 的作用（理论只用于最初定义概念），在理论 的真空中考察概念与其度量变量之间是否一致， 属性有效性是内部的。
④
的态度
0.450 -0.082
对住房制 ④ 方法 2 度的态度 -0.244
0.395
对环境的
满意度 -0.252 -0.141
-0.054 ②
-0.142 -0.147
0.464 -0.170 -0.289
多属性－多方法矩阵说明
矩阵元素表示分别用不同的方法对不同的属性进 行度量的结果之间的相关系数。矩阵由4种元素分 块组成，分别在分块左上角用数字标识： ① 可靠性对角； ③ 有效性对角； ② 异属性－同方法三角形； ④ 异方法三角形。
度量的会聚有效性说明用不同度量方法度量同一 概念的度量结果在何种程度上共同变化 （Conmon Variance），
会聚有效性要通过判断不同度量方法的度量结果 之间是否具有高相关性来评价。
差别有效性评价
差别有效性表示对一个新概念的测度在多大程度 不是由测度变量与别的变量的相关性导致的。
差别有效性要通过判断该度量方法与用来测度不 同概念的其它方法之间是否缺乏相关性来评价。
（2）通过经验研究和统计分析，确定不同度量方法 在多大程度上度量的是同一抽象概念，或者在多大 程度上度量的是不同概念。
（3）通过控制性实验和调查研究等方法，确定与概 念对应的变量产生的结果在何种程度上与和该概念 有关的、并与得到广泛认可的理论结论相一致，度 量是否与预期的结果相符。
会聚有效性评价
科学研究的一个基本原则是任何特定概念应该可 以用多种不同方法分别度量。否则研究者无法知 道测得的结果是基准概念还是度量过程本身的产 物。
不同度量方法有着互不相关的不同的误差来 源（理想状态下，不同度量方法之间应不具 有共同的干扰因素），但度量同一概念的不 同变量应高度相关。
差别有效性
度量不同概念的不同方法之间的差异程度用差别 有效性（Discriminant Validity）表示。
差别有效性反映拟度量不同概念的变量之间不相 关的程度，表明了拟度量不同概念的变量在何种 程度上度量了相异部分。
例如，对新员工考试是为了预测该员工未来的工作绩效。如 果发现在考试成绩与工作绩效之间确实存在较高的相关关系， 则该度量具有相关标准的有效性。
对应于相关标准变量发生时间在过去、现在和将来，相关标 准有效性又分别称为： ➢ 历史有效性（Postdictive Validity）； ➢ 并行有效性（Concurrent Validity）； ➢ 预测有效性（Predictive Validity）。
内容有效性指度量是否包括了足够有代表性 的项目集来度量基准概念。度量方案中的项 目越充分地代表了待测概念的概念域，就越 具有内容有效性。
wk.baidu.com
会聚有效性
度量同一概念的不同方法之间的重合程度用 会聚有效性（Convergent Validity）表示。
会聚有效性表明用不同方法度量同一概念所 得出的度量结果的相关程度。反映使用不同 方法度量同一概念所得出的度量结果之间的 一致性。
另外，度量中还会有随机误差，如阅卷错误、记 录错误等。
组成概念度量值的成份
在概念域界定清楚的前提下，用操作变量对概念进 行度量的结果一般由三部分组成：
（1）希望反映的目标概念的内容（真实值）；
（2）不希望反映的非目标概念的内容（系统误差）；
（3）随机误差。
即： 其中，
X0＝XT＋XS＋XR X0为度量值； XT为真实值； XS为系统误差；
XR为随机误差。
有效性与可靠性的关系
对X称S信概。度念与）度XR，量有指有关在效的何性部种的分程评称度价为上包可度靠括量性了避（两免R个了e部l随ia分b机il：i误tyX差，R。和又 广义的有效性是指操作化定义或测试的结果多大程
度上能代表要研究的复合概念。本身包括可靠性。 狭义的有效性是指测试结果多大程度上能避免系统