评价系统的可靠性分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
系统评价学· 刘新建 6
以上对信度、效度和区分度的定义都是定 性的，是对概念的质的描述。要具体衡量 它们的大小，就要给出一个量的定义。由 于系统评价处理的对象特性的模糊性、灰 色性及模式本身的灵敏性等问题产生的复 杂性，使这种衡量变得比较困难。下面各 节将逐一推敲这些概念，试图从理论方法 上来解决这一问题。
系统评价学
刘新建
第八章 评价系统的可靠性分析
对于建立的一套系统评价模式（或评价方案），其质量效果如 何也是需要评价的。这种评价包括两个方面： ⑴对于达到管理目的或实现评价目标，其质量效果如何? ⑵实施这一评价活动的经济或社会效益如何? 本章仅讨论第一方面。
在工程系统中，人们提出了系统可靠性的概念，把系统的可靠 度、系统维修度和系统有效度统称为系统可靠性。 在教育与心 理测量中，为了评价测量工具的质量，人们也提出了信度、效 度和区分度等概念。无论是工程系统的三度还是教育与心理测 量的三度，它们都描述的是一个系统完成既定功能的能力。对 于一般系统评价模式[1]，我们提出其质量评价问题，把它的三 度也分别叫做信度、效度和区分度。关于一个系统评价模式的 这种三度分析，我们也称之为系统评价模式的可靠性分析。
⑵H 0 ： x
其中， x0 表示排除所有随机干扰因素后的评价应有结果， 称为真值。由于 x0 是不可能得知的，故假设 H 0 的直接检 验是不可能的。下面用两种方式来处理。 1.差异系数法
x0 统计成立。
2.对半差异法
系统评价学· 刘新建
8
1.差异系数法 在这种方法中认为：当 S 2很小时，它只能是由随机 2 S 误差构成的，这样就免去了 H 0 的检验问题。但 小到 什么程度算小呢？第一，可以根据经验判断；第二， 消除 x 的单位选择影响，用统计学中的差异系数来 衡量信度，即：
N 1 2
Baidu Nhomakorabea
当假设 H 0成立时, T ~ t (2 N 2) 。 因为的 H 0 检验结果涉及到检验水平 的取值大小， 所以我们用下面的量表示信度的大小 rx 1 sup{α α 是一个否决 H 的检验水平
(3)
｝ 1 inf{ 是一个接受 H 0 的检验水平｝
x r s
(1)
对于同一评价问题的不同评价模式，r越大，信度越 高。
系统评价学· 刘新建 9
2.对半差异法
在此法中，我们用样本均值来代替真值，通过比较两半原 样本的均值差异的方法，来检验 H 0。具体作法是：
将原样本数据从大到小排列，按顺序将其分为两半，今设 大数端的均值为 x1，方差为 s12 ；小数端的均值为 x2 ，方 2 差为 s 2 ，建立统计量： n x1 x 2 , N (2) T 1 2 s2 s2
0
系统评价学· 刘新建
10
8.2.2大样本对象系统下的信度
设对象系统的大小为n，实施一次评价其结果为：
(1) (1) x1(1) , x2 ,, xn
设实施第i 次的评价结果为：
(i ) (i ) x1(i ) , x2 ,, xn
根据前面关于信度的定性定义，当一套评价模式 具有高的信度时，对每一个评价对象它都应通过 8.2.1中的检验程序。这样的话，检验的工作量将 是巨大的。为了缩小工作量，我们把整个对象系 统作为一个单位来进行检验。如果整体的综合信 度被认为是高的，那么就认为个体的差异是由随 机因素引起的，而模式在一般情况下都是高信度 的。在此认识基础上，我们建立的检验程序如下：
系统评价学· 刘新建 11
1.均值差异检验
2.相关系数
3.回归系数检验
系统评价学· 刘新建
12
8.3效度的基本理论
根据8.1对效度的定义，系统评价模式的效度是直接 与评价目标（管理目的）有关的，这在本质上就是 一个准则选择问题。也就是，我们要通过所建立的 系统评价模式与某一规定标准（准则）相比较来判 断我们的模式的效度高低。在教育与心理测量中， 认为一个评价模式的效度应从三个方面考虑，从而 得三类效度：⑴准则关联效度；⑵内容效度；⑶结 构效度。这种分类对一般系统评价模式同样适用。 下面首先研究这三类效度的基本内涵，然合后寻求 合适的衡量方法。
系统评价学· 刘新建 3
8.1基本概念
8.1.1信度 可靠度是描述现代工程系统的质量的基本指标之一，其原 来的涵义是：系统在一定时间内（如单位时间内）无故障 工作的概率。 可靠度概念的实质是：一个可靠性高的系统，其输出结果 都具有较高的稳定性，也就是说，系统能够抵制随机干扰 的作用，对于相同的输入情景都产生一致的输出结果。因 此，我们认为，一个评价模式的可靠度就是指：对同一或 对等的评价对象，在没有灾难性破坏和主要环境因子都相 同的情况下，评价结果一致的程度。
我们把系统评价中的可靠度叫做信度，严格定义如下：
对同一评价对象，一评价模式在多次对等的实施过程中给 出的结果的一致性程度叫做该评价模式的信度。
系统评价学· 刘新建 4
8.1.2效度 一套系统评价模式总是为了达到某种管理目的或实 现某种评价目标而建立的，那么，该模式对目的或 目标的完成程度应是它的重要质量特性之一。 效度的定义就是：实施一套评价模式，其输出结果 对要达到的管理目的或目标的完成程度叫做该模式 的效度。 比如一套心理测验要测定儿童的智力发育状况，即 综合智商，那么该测验中的各种问题是否与儿童的 智力有关？是否包括了智力的所有方面？得到的结 果是否真能反映儿童的智力水平？这些都是关于这 套测验模式的效度问题。
系统评价学· 刘新建 5
8.1.3区分度 不同的评价对象在综合评价指标上的表现是 不一样的，否则就无须进行评价了，或者说 该综合评价指标是不合理的。所以，一套评 价模式区分各种评价对象的能力也是其主要 质量指标之一。兹定义如下： 一套系统评价模式的区分度就是它将评价对 象系统的各个个体对综合指标的表现区分开 来实现评价目标的能力。
系统评价学· 刘新建
7
8.2信度的基本理论
8.2.1单体评价对象系统下的信度
x1 , x2 ,, xn 设对评价对象 w，评价模式实施了n次，结果如下：
根据信度的定性定义，在信度高的时候，这一个数据列应 当有较小的离差，且这些离差都是由随机误差构成的，即：
2 n
2 S ( x x ) i ⑴ 应当小； i 1
以上对信度、效度和区分度的定义都是定 性的，是对概念的质的描述。要具体衡量 它们的大小，就要给出一个量的定义。由 于系统评价处理的对象特性的模糊性、灰 色性及模式本身的灵敏性等问题产生的复 杂性，使这种衡量变得比较困难。下面各 节将逐一推敲这些概念，试图从理论方法 上来解决这一问题。
系统评价学
刘新建
第八章 评价系统的可靠性分析
对于建立的一套系统评价模式（或评价方案），其质量效果如 何也是需要评价的。这种评价包括两个方面： ⑴对于达到管理目的或实现评价目标，其质量效果如何? ⑵实施这一评价活动的经济或社会效益如何? 本章仅讨论第一方面。
在工程系统中，人们提出了系统可靠性的概念，把系统的可靠 度、系统维修度和系统有效度统称为系统可靠性。 在教育与心 理测量中，为了评价测量工具的质量，人们也提出了信度、效 度和区分度等概念。无论是工程系统的三度还是教育与心理测 量的三度，它们都描述的是一个系统完成既定功能的能力。对 于一般系统评价模式[1]，我们提出其质量评价问题，把它的三 度也分别叫做信度、效度和区分度。关于一个系统评价模式的 这种三度分析，我们也称之为系统评价模式的可靠性分析。
⑵H 0 ： x
其中， x0 表示排除所有随机干扰因素后的评价应有结果， 称为真值。由于 x0 是不可能得知的，故假设 H 0 的直接检 验是不可能的。下面用两种方式来处理。 1.差异系数法
x0 统计成立。
2.对半差异法
系统评价学· 刘新建
8
1.差异系数法 在这种方法中认为：当 S 2很小时，它只能是由随机 2 S 误差构成的，这样就免去了 H 0 的检验问题。但 小到 什么程度算小呢？第一，可以根据经验判断；第二， 消除 x 的单位选择影响，用统计学中的差异系数来 衡量信度，即：
N 1 2
Baidu Nhomakorabea
当假设 H 0成立时, T ~ t (2 N 2) 。 因为的 H 0 检验结果涉及到检验水平 的取值大小， 所以我们用下面的量表示信度的大小 rx 1 sup{α α 是一个否决 H 的检验水平
(3)
｝ 1 inf{ 是一个接受 H 0 的检验水平｝
x r s
(1)
对于同一评价问题的不同评价模式，r越大，信度越 高。
系统评价学· 刘新建 9
2.对半差异法
在此法中，我们用样本均值来代替真值，通过比较两半原 样本的均值差异的方法，来检验 H 0。具体作法是：
将原样本数据从大到小排列，按顺序将其分为两半，今设 大数端的均值为 x1，方差为 s12 ；小数端的均值为 x2 ，方 2 差为 s 2 ，建立统计量： n x1 x 2 , N (2) T 1 2 s2 s2
0
系统评价学· 刘新建
10
8.2.2大样本对象系统下的信度
设对象系统的大小为n，实施一次评价其结果为：
(1) (1) x1(1) , x2 ,, xn
设实施第i 次的评价结果为：
(i ) (i ) x1(i ) , x2 ,, xn
根据前面关于信度的定性定义，当一套评价模式 具有高的信度时，对每一个评价对象它都应通过 8.2.1中的检验程序。这样的话，检验的工作量将 是巨大的。为了缩小工作量，我们把整个对象系 统作为一个单位来进行检验。如果整体的综合信 度被认为是高的，那么就认为个体的差异是由随 机因素引起的，而模式在一般情况下都是高信度 的。在此认识基础上，我们建立的检验程序如下：
系统评价学· 刘新建 11
1.均值差异检验
2.相关系数
3.回归系数检验
系统评价学· 刘新建
12
8.3效度的基本理论
根据8.1对效度的定义，系统评价模式的效度是直接 与评价目标（管理目的）有关的，这在本质上就是 一个准则选择问题。也就是，我们要通过所建立的 系统评价模式与某一规定标准（准则）相比较来判 断我们的模式的效度高低。在教育与心理测量中， 认为一个评价模式的效度应从三个方面考虑，从而 得三类效度：⑴准则关联效度；⑵内容效度；⑶结 构效度。这种分类对一般系统评价模式同样适用。 下面首先研究这三类效度的基本内涵，然合后寻求 合适的衡量方法。
系统评价学· 刘新建 3
8.1基本概念
8.1.1信度 可靠度是描述现代工程系统的质量的基本指标之一，其原 来的涵义是：系统在一定时间内（如单位时间内）无故障 工作的概率。 可靠度概念的实质是：一个可靠性高的系统，其输出结果 都具有较高的稳定性，也就是说，系统能够抵制随机干扰 的作用，对于相同的输入情景都产生一致的输出结果。因 此，我们认为，一个评价模式的可靠度就是指：对同一或 对等的评价对象，在没有灾难性破坏和主要环境因子都相 同的情况下，评价结果一致的程度。
我们把系统评价中的可靠度叫做信度，严格定义如下：
对同一评价对象，一评价模式在多次对等的实施过程中给 出的结果的一致性程度叫做该评价模式的信度。
系统评价学· 刘新建 4
8.1.2效度 一套系统评价模式总是为了达到某种管理目的或实 现某种评价目标而建立的，那么，该模式对目的或 目标的完成程度应是它的重要质量特性之一。 效度的定义就是：实施一套评价模式，其输出结果 对要达到的管理目的或目标的完成程度叫做该模式 的效度。 比如一套心理测验要测定儿童的智力发育状况，即 综合智商，那么该测验中的各种问题是否与儿童的 智力有关？是否包括了智力的所有方面？得到的结 果是否真能反映儿童的智力水平？这些都是关于这 套测验模式的效度问题。
系统评价学· 刘新建 5
8.1.3区分度 不同的评价对象在综合评价指标上的表现是 不一样的，否则就无须进行评价了，或者说 该综合评价指标是不合理的。所以，一套评 价模式区分各种评价对象的能力也是其主要 质量指标之一。兹定义如下： 一套系统评价模式的区分度就是它将评价对 象系统的各个个体对综合指标的表现区分开 来实现评价目标的能力。
系统评价学· 刘新建
7
8.2信度的基本理论
8.2.1单体评价对象系统下的信度
x1 , x2 ,, xn 设对评价对象 w，评价模式实施了n次，结果如下：
根据信度的定性定义，在信度高的时候，这一个数据列应 当有较小的离差，且这些离差都是由随机误差构成的，即：
2 n
2 S ( x x ) i ⑴ 应当小； i 1