计数型 MSA 补充内容
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
如果某个分级员的Kappa测量值很小，那么该分级员自己没 有很好地重复判定
如果分级员自己没有很好地重复判定，那么他也不能和其它 分级员很好的做重复判定，这将掩盖其它分级员内部重复判 定的好坏
根据每个分级员的首次判定建立一个Kappa表，计算不同分级员之间 的Kappa值
不同分级员之间的Kappa值将进行两两对比 (A和 B, B和C, A和C)
A
Bad 0.693878 0.222440 3.11940 0.0009
Good 0.693878 0.222440 3.11940 0.0009
B
Bad 0.375000 0.223607 1.67705 0.0468
Good 0.375000 0.223607 1.67705 0.0468
C
BAassdessment A0g.re7e9me1n6t 67 0.223607 3.54044Dateof stu0dy.: 0002
- 举个例，不良率0.1%→0.001% 改善课题的情况下检出率必须为 100%.
- 满足指数40% → 60% 改善课题时，如果检出率是70%以上就可以被选择。
基本上，达不到100%时，必须调查其原因。
7
在选择研究的部件时，要考虑以下几方面因素： 如果你只有两个类别，优良和次劣，你至少应该选择 20个优良品和20个次劣品 最多可选择 50个优良品和50个次劣品 尽量保持大约50%的优良品和50%的次劣品 选择不同程度的优良和次劣
Good
9
Rater B First
3
12
Measure Bad
2
6
8
11
9
两个分级员都判定为优良的次数 (使用首次测量)
26
分级员之间的Kappa
Rater A First Measure Rater A to Rater B Good Bad
Good
9
Rater B First
3
12
Measure Bad
First Mea. Second Mea. First Mea. Second Mea. First Mea. Second Mea.
Part Rater A Rater A Rater B Rater B Rater C Rater C
1
Good
Good
Good
Good
Good
Good
2
Bad
Bad
10
2
12
1
7
8
11
9
14
交叉表
第二格代表分级员A在第一次测量中 判定一个单元为次劣，在第二次测量 中判定为优良的次数
Rater A First Measure Good Bad
Rater A Good
10
2
12
Second
Measure Bad
1
7
8
11
9
15
交叉表
Rater A First Measure Good Bad
Pobserved
– 判定员一致同意的单元的比率=判定员A二次一致判定为 优良的比率+判定员A二次一致判定为次劣的比率
Pchance
– 预期偶然达成一致的比率=（判定员A第一次判定为优良 的比率*判定员A第二次判定为优良的比率）+（判定员A 第一次判定为次劣的比率*判定员A第二次判定为次劣的 比对率Ka）ppa的定义将有所不同，取决于我们是在定义分级员内
Good
Good
Good
Good
Good
10
Bad
Bad
Bad
Bad
Bad
Bad
11
Good
Good
Good
Good
Good
Good
12
Good
Good
Good
Bad
Good
Good
13
Bad
Bad
Bad
Bad
Bad
Bad
14
Good
Good
Bad
Good
Good
Good
15
Good
Good
Good
P chance
预期偶然达成一致的比率=（判定员A判定为优良的比率 *判定员B判定为优良的比率）+（判定员A判定为次劣的 比率*判定员B判定为次劣的比率）
注意： 上述等式适用于两类分析，即优良或次劣
5
K Pobserved Pchance 1 Pchance
要达成完全一致， P observed = 1 且 K=1 一般说来，如果Kappa值低于0.7，那么测量系统是 不适当的 如果Kappa值为0.9或更高，那么测量系统是优秀的
Good
Good
Good
16
Bad
Good
Good
Good
Good
Good
17
Bad
Bad
Bad
Good
Bad
Good
18
Good
Good
Good
Good
Good
Good
19
Bad
Bad
Bad
Bad
Bad
Bad
20
Bad
Good
Good
Bad
Bad
Bad
12
分级员A的 交叉表
在每个单元格中填入收集到的信息
28
分级员之间的Kappa
Rater A First Measure Rater A to Rater B Good Bad
Good
9
Rater B First
3
12
Measure Bad
2
6
8
11
9
两个分级员都判定为次劣的次数 (使用首次测量)
29
分级员之间的Kappa–数字
计算分级员之间的 Kappa:
2
12
1
7
8
11
9
第四格代表分级员A在第一次测量和第二次测 量中判定一个单元为次劣的次数
17
交叉表
Rater A Second Measure
Good Bad
Rater A First Measure Good Bad
10
2
12
1
7
8
11
9
边格的数字代表行和列的总和
18
交叉表-比例
Rater A First Measure Good Bad
Rater A First Measure Good Bad
Rater A Good
10
2
12
Second
Measure Bad
1
7
811ຫໍສະໝຸດ 913交叉表
Rater A Second Measure
Good Bad
第一格代表分级员A在第一次 和第二次测量中判定为优良的 次数
Rater A First Measure Good Bad
Rater B Second Measure
Good Bad
Rater B First Measure Good Bad
数字
K Rater B =
比例 23
各分級員的Kappa值
Cohen's Kappa Statistics
Appraiser Response Kappa SE Kappa Z P(vs > 0)
Reported by:
Good 0.791667 0.223607 3.54044Nameof p0rod.uc0t: 002
Misc:
Within Appraisers
100
80
95.0% CI Percent
60
Percent
40
20
0 A
B Apprai ser
C 24
分级员之间的Kappa
10
Kappa 例子#1
Bill Blackbelt正在努力改进一个具有高退货率的油漆过程 在工程早期，由于很明显的检验员之间和检验员内部的差
别，所以测量系统就是一个关注的问题 下一页的数据是在测量系统研究中收集的。 需要计算每个操作员的Kappa和操作员之间的 Kappa
11
考虑下列数据
8
如果你的类别超过2种，其中一类是优良，其它类别是不 同的缺陷方式，那么你至少应该选择大约50%的优良品和 每種缺陷方式中的最少为10%的产品
你可以把一些缺陷方式合并称为“其它” 这些类别应该互相排斥，否则它们应该合并起来
9
让每个分级员至少两次判定同一单元 为每个分级员建立独立的Kappa表，计算他们的Kappa值
Rater B First
Measure Bad
0.1
0.3
0.4
0.55
0.45
下表代表上表中的数据，其中每 个单元格以总数的百分比来表示
30
记得怎样计算Kappa吗?
K Pobserved Pchance 1 Pchance
Pobserved
Rater A Good
10
2
12
Second
Measure Bad
1
7
8
11
9
第三格代表分级员A在第一次测量中 判定一个单元为优良，在第二次测量 中判定为次劣的次数
16
交叉表
Rater A Second Measure
Good Bad
Rater A First Measure Good Bad
10
Pchance 等于每个分类概率乘积的总和： Pchance =(0.6*0.55) + (0.4*0.45) = 0.51
那么 Krater A=(0.85 - 0.51)/(1 - 0.51)=0.693
22
计算分级员B的Kappa
Rater B Second Measure
Good Bad
Rater B First Measure Good Bad
Kappa的下限为0到 -1 如果 P observed = P chance 那么 K=0 因而Kappa值为 0表示达成一致和随机偶然预期达 成的一致是一样的
6
Kappa量测能力评价指标
判断指标
判断基准 (良好)
90% ↑
判断基准 (考虑)
70~90%
判断基准 (不足)
70% ↓
上面的判断基准根据Project的目标有可能变更。
2
6
8
11
9
分级员A判定一单元为优良而分级员B判定为 次劣的次数（使用首次测量）
27
分级员A对分级员B的Kappa
Rater A First Measure Rater A to Rater B Good Bad
Good
9
Rater B First
3
12
Measure Bad
2
6
8
11
9
分级员A判定一单元为优良而分级员B判定为次劣 的次数（使用首次测量）
Good
Bad
Bad
Bad
3
Good
Good
Good
Good
Good
Good
4
Good
Bad
Good
Good
Good
Good
5
Bad
Bad
Bad
Bad
Bad
Bad
6
Good
Good
Good
Good
Good
Good
7
Bad
Bad
Bad
Bad
Bad
Bad
8
Good
Good
Bad
Good
Good
Bad
9
Good
能保证，分级是正确的 如果评估员不能达成足够的一致，那么分级的可用性就很
有限了
差劲的属性测量系统几乎总是可以归咎于 差劲的操作定义
4
K Pobserved Pchance 1 Pchance
P observed
判定员一致同意的单元的比率=判定员一致判定为优良 的比率+判定员一致判定为次劣的比率
Rater A First Measure Rater A to Rater B Good Bad
Good
9
Rater B First
3
12
Measure Bad
2
6
8
11
9
Rater A First Measure Rater A to Rater B Good Bad
Good
0.45
0.15
0.6
MSA 资料-计数型
测量系统分析
适用于属性数据的Kappa
同等处理所有误分类 要求单元之间相互独立，并且檢驗员或分级员
是独立作出分级的 要求评估类别是相互排斥的
3
存在着一些质量特点，或者难以定义或者定义很耗费时间 要一致地评估分类，几个单元必须由一个以上的评估人或
判定人作出分类 如果评估员之间达成足够的一致，那么就有可能，尽管不
部Kappa，还是在定义分级员之间的Kappa
21
计算分级员A的Kappa
Rater A First Measure Good Bad
Rater A Good
0.5
0.1
0.6
Second
Measure Bad
0.05
0.35
0.4
0.55
0.45
Pobserved 等于上表对角线上概率的总和： P observed =(0.5 + 0.35) = 0.850
代表10/20 0.6 0.4
19
交叉表-比例
Rater A First Measure Good Bad
Rater A Good
0.5
0.1
0.6
Second
Measure Bad
0.05
0.35
0.4
0.55
0.45
由行和列的总和计算而得
20
记得怎样计算Kappa吗?
K Pobserved Pchance 1 Pchance
Rater A Good
10
2
12
Second
Measure Bad
1
7
8
11
9
Rater A First Measure Good Bad
Rater A Good
0.5
0.1
Second
Measure Bad
0.05 0.35
0.55 0.45
分级员A比例
下表代表上表的数据，其中每个单元格 用总数的百分比来表示
我们使用相同程序估计分级员之间的Kappa 计算中，我们将限于我们感兴趣的一对检验员的
首次判定 如果有检验员的重复性很差（低于85%），那么
在计算检验员间分级中不用到他/她
25
Kappa – 分级员A对分级员B
Rater A First Measure Rater A to Rater B Good Bad
如果分级员自己没有很好地重复判定，那么他也不能和其它 分级员很好的做重复判定，这将掩盖其它分级员内部重复判 定的好坏
根据每个分级员的首次判定建立一个Kappa表，计算不同分级员之间 的Kappa值
不同分级员之间的Kappa值将进行两两对比 (A和 B, B和C, A和C)
A
Bad 0.693878 0.222440 3.11940 0.0009
Good 0.693878 0.222440 3.11940 0.0009
B
Bad 0.375000 0.223607 1.67705 0.0468
Good 0.375000 0.223607 1.67705 0.0468
C
BAassdessment A0g.re7e9me1n6t 67 0.223607 3.54044Dateof stu0dy.: 0002
- 举个例，不良率0.1%→0.001% 改善课题的情况下检出率必须为 100%.
- 满足指数40% → 60% 改善课题时，如果检出率是70%以上就可以被选择。
基本上，达不到100%时，必须调查其原因。
7
在选择研究的部件时，要考虑以下几方面因素： 如果你只有两个类别，优良和次劣，你至少应该选择 20个优良品和20个次劣品 最多可选择 50个优良品和50个次劣品 尽量保持大约50%的优良品和50%的次劣品 选择不同程度的优良和次劣
Good
9
Rater B First
3
12
Measure Bad
2
6
8
11
9
两个分级员都判定为优良的次数 (使用首次测量)
26
分级员之间的Kappa
Rater A First Measure Rater A to Rater B Good Bad
Good
9
Rater B First
3
12
Measure Bad
First Mea. Second Mea. First Mea. Second Mea. First Mea. Second Mea.
Part Rater A Rater A Rater B Rater B Rater C Rater C
1
Good
Good
Good
Good
Good
Good
2
Bad
Bad
10
2
12
1
7
8
11
9
14
交叉表
第二格代表分级员A在第一次测量中 判定一个单元为次劣，在第二次测量 中判定为优良的次数
Rater A First Measure Good Bad
Rater A Good
10
2
12
Second
Measure Bad
1
7
8
11
9
15
交叉表
Rater A First Measure Good Bad
Pobserved
– 判定员一致同意的单元的比率=判定员A二次一致判定为 优良的比率+判定员A二次一致判定为次劣的比率
Pchance
– 预期偶然达成一致的比率=（判定员A第一次判定为优良 的比率*判定员A第二次判定为优良的比率）+（判定员A 第一次判定为次劣的比率*判定员A第二次判定为次劣的 比对率Ka）ppa的定义将有所不同，取决于我们是在定义分级员内
Good
Good
Good
Good
Good
10
Bad
Bad
Bad
Bad
Bad
Bad
11
Good
Good
Good
Good
Good
Good
12
Good
Good
Good
Bad
Good
Good
13
Bad
Bad
Bad
Bad
Bad
Bad
14
Good
Good
Bad
Good
Good
Good
15
Good
Good
Good
P chance
预期偶然达成一致的比率=（判定员A判定为优良的比率 *判定员B判定为优良的比率）+（判定员A判定为次劣的 比率*判定员B判定为次劣的比率）
注意： 上述等式适用于两类分析，即优良或次劣
5
K Pobserved Pchance 1 Pchance
要达成完全一致， P observed = 1 且 K=1 一般说来，如果Kappa值低于0.7，那么测量系统是 不适当的 如果Kappa值为0.9或更高，那么测量系统是优秀的
Good
Good
Good
16
Bad
Good
Good
Good
Good
Good
17
Bad
Bad
Bad
Good
Bad
Good
18
Good
Good
Good
Good
Good
Good
19
Bad
Bad
Bad
Bad
Bad
Bad
20
Bad
Good
Good
Bad
Bad
Bad
12
分级员A的 交叉表
在每个单元格中填入收集到的信息
28
分级员之间的Kappa
Rater A First Measure Rater A to Rater B Good Bad
Good
9
Rater B First
3
12
Measure Bad
2
6
8
11
9
两个分级员都判定为次劣的次数 (使用首次测量)
29
分级员之间的Kappa–数字
计算分级员之间的 Kappa:
2
12
1
7
8
11
9
第四格代表分级员A在第一次测量和第二次测 量中判定一个单元为次劣的次数
17
交叉表
Rater A Second Measure
Good Bad
Rater A First Measure Good Bad
10
2
12
1
7
8
11
9
边格的数字代表行和列的总和
18
交叉表-比例
Rater A First Measure Good Bad
Rater A First Measure Good Bad
Rater A Good
10
2
12
Second
Measure Bad
1
7
811ຫໍສະໝຸດ 913交叉表
Rater A Second Measure
Good Bad
第一格代表分级员A在第一次 和第二次测量中判定为优良的 次数
Rater A First Measure Good Bad
Rater B Second Measure
Good Bad
Rater B First Measure Good Bad
数字
K Rater B =
比例 23
各分級員的Kappa值
Cohen's Kappa Statistics
Appraiser Response Kappa SE Kappa Z P(vs > 0)
Reported by:
Good 0.791667 0.223607 3.54044Nameof p0rod.uc0t: 002
Misc:
Within Appraisers
100
80
95.0% CI Percent
60
Percent
40
20
0 A
B Apprai ser
C 24
分级员之间的Kappa
10
Kappa 例子#1
Bill Blackbelt正在努力改进一个具有高退货率的油漆过程 在工程早期，由于很明显的检验员之间和检验员内部的差
别，所以测量系统就是一个关注的问题 下一页的数据是在测量系统研究中收集的。 需要计算每个操作员的Kappa和操作员之间的 Kappa
11
考虑下列数据
8
如果你的类别超过2种，其中一类是优良，其它类别是不 同的缺陷方式，那么你至少应该选择大约50%的优良品和 每種缺陷方式中的最少为10%的产品
你可以把一些缺陷方式合并称为“其它” 这些类别应该互相排斥，否则它们应该合并起来
9
让每个分级员至少两次判定同一单元 为每个分级员建立独立的Kappa表，计算他们的Kappa值
Rater B First
Measure Bad
0.1
0.3
0.4
0.55
0.45
下表代表上表中的数据，其中每 个单元格以总数的百分比来表示
30
记得怎样计算Kappa吗?
K Pobserved Pchance 1 Pchance
Pobserved
Rater A Good
10
2
12
Second
Measure Bad
1
7
8
11
9
第三格代表分级员A在第一次测量中 判定一个单元为优良，在第二次测量 中判定为次劣的次数
16
交叉表
Rater A Second Measure
Good Bad
Rater A First Measure Good Bad
10
Pchance 等于每个分类概率乘积的总和： Pchance =(0.6*0.55) + (0.4*0.45) = 0.51
那么 Krater A=(0.85 - 0.51)/(1 - 0.51)=0.693
22
计算分级员B的Kappa
Rater B Second Measure
Good Bad
Rater B First Measure Good Bad
Kappa的下限为0到 -1 如果 P observed = P chance 那么 K=0 因而Kappa值为 0表示达成一致和随机偶然预期达 成的一致是一样的
6
Kappa量测能力评价指标
判断指标
判断基准 (良好)
90% ↑
判断基准 (考虑)
70~90%
判断基准 (不足)
70% ↓
上面的判断基准根据Project的目标有可能变更。
2
6
8
11
9
分级员A判定一单元为优良而分级员B判定为 次劣的次数（使用首次测量）
27
分级员A对分级员B的Kappa
Rater A First Measure Rater A to Rater B Good Bad
Good
9
Rater B First
3
12
Measure Bad
2
6
8
11
9
分级员A判定一单元为优良而分级员B判定为次劣 的次数（使用首次测量）
Good
Bad
Bad
Bad
3
Good
Good
Good
Good
Good
Good
4
Good
Bad
Good
Good
Good
Good
5
Bad
Bad
Bad
Bad
Bad
Bad
6
Good
Good
Good
Good
Good
Good
7
Bad
Bad
Bad
Bad
Bad
Bad
8
Good
Good
Bad
Good
Good
Bad
9
Good
能保证，分级是正确的 如果评估员不能达成足够的一致，那么分级的可用性就很
有限了
差劲的属性测量系统几乎总是可以归咎于 差劲的操作定义
4
K Pobserved Pchance 1 Pchance
P observed
判定员一致同意的单元的比率=判定员一致判定为优良 的比率+判定员一致判定为次劣的比率
Rater A First Measure Rater A to Rater B Good Bad
Good
9
Rater B First
3
12
Measure Bad
2
6
8
11
9
Rater A First Measure Rater A to Rater B Good Bad
Good
0.45
0.15
0.6
MSA 资料-计数型
测量系统分析
适用于属性数据的Kappa
同等处理所有误分类 要求单元之间相互独立，并且檢驗员或分级员
是独立作出分级的 要求评估类别是相互排斥的
3
存在着一些质量特点，或者难以定义或者定义很耗费时间 要一致地评估分类，几个单元必须由一个以上的评估人或
判定人作出分类 如果评估员之间达成足够的一致，那么就有可能，尽管不
部Kappa，还是在定义分级员之间的Kappa
21
计算分级员A的Kappa
Rater A First Measure Good Bad
Rater A Good
0.5
0.1
0.6
Second
Measure Bad
0.05
0.35
0.4
0.55
0.45
Pobserved 等于上表对角线上概率的总和： P observed =(0.5 + 0.35) = 0.850
代表10/20 0.6 0.4
19
交叉表-比例
Rater A First Measure Good Bad
Rater A Good
0.5
0.1
0.6
Second
Measure Bad
0.05
0.35
0.4
0.55
0.45
由行和列的总和计算而得
20
记得怎样计算Kappa吗?
K Pobserved Pchance 1 Pchance
Rater A Good
10
2
12
Second
Measure Bad
1
7
8
11
9
Rater A First Measure Good Bad
Rater A Good
0.5
0.1
Second
Measure Bad
0.05 0.35
0.55 0.45
分级员A比例
下表代表上表的数据，其中每个单元格 用总数的百分比来表示
我们使用相同程序估计分级员之间的Kappa 计算中，我们将限于我们感兴趣的一对检验员的
首次判定 如果有检验员的重复性很差（低于85%），那么
在计算检验员间分级中不用到他/她
25
Kappa – 分级员A对分级员B
Rater A First Measure Rater A to Rater B Good Bad