检验员检验能力鉴定-Kappa分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Pg 8
Kappa 例子#1
Rater A Second Measure
Good Bad
Rater A First Measure Good Bad
5
0
5
1
4
5
6
4
第四格代表检验员王鲁在第一次测量和第二次 测量中判定一个单元为次劣的次数
Pg 9
Kappa 例子#1
Rater A Second Measure
晋健 10 5 50.00 (18.71, 81.29)
王鲁 10 9 90.00 (55.50, 99.75)
梁延 10 6 60.00 (26.24, 87.84)
石兰 10 4 40.00 (12.16, 73.76)
杨松 10 7 70.00 (34.75, 93.33)
向显波 10 6 60.00 (26.24, 87.84)
标准不相同者。
Pg 19
Attribute Agreement Analysis
检验员 肖宽鸿 晋健 王鲁 梁延 石兰 杨松 向显波 张宇 罗明英 张玄 罗胜 王良科 文远秀
5、检查员与标准 分 响应 Kappa Kappa 标准误
Z P(与 > 0 )
#1
#0
/ 0 百分比 / 1 百分比
2 33.33 0 0.00
2 33.33 0 0.00
0 0.00 0 0.00
2 33.33 0 0.00
5 83.33 1 25.00
1 16.67 0 0.00
2 33.33 1 25.00
3 50.00 0 0.00
4 66.67 1 25.00
1 16.67 1 25.00
1 0.39394 0.316228 1.24575 0.1064 晋健 0 0.39394 0.316228 1.24575 0.1064
1 0.39394 0.316228 1.24575 0.1064 王鲁 0 0.79798 0.316228 2.52343 0.0058
1 0.79798 0.316228 2.52343 0.0058 梁延 0 0.58333 0.316228 1.84466 0.0325
0.5
0
0.5
Second
Measure Bad
0.1
0.4
0.5
0.6
0.4
由行和列的总和计算而得
Pg 12
Kappa 例子#1
检验员王鲁的Kappa
Rater A First Measure
Good
Baidu Nhomakorabea
Bad
Rater A Good
0.5
0
0.5
Second
Measure Bad
0.1
0.4
0.5
Pg 1
二厂包装检验员检验能力分析
二厂边窗玻璃外观质量客户退货PPM高 外观质量是检验员靠目视检验，由于很明显的检验员之间
和检验员内部的差别及检验能力问题，所以测量系统就是 一个关注的问题 下一页的数据是在测量系统研究中收集的。 需要计算每个操作员的Kappa和操作员之间的 Kappa
Pg 2
二厂包装检验员检验能力分析
2月16日对：二厂包装检验员共有13个检验员，进行检验能力分析，若检验员 的检验能力不足，误判的概率会很高。若把外观不合格的玻璃误判成合格品 发给客户，造成客户投诉和退货；若把外观合格的玻璃误判成不合格品给公 司造成损失。
解：
步骤一：
1、样本选定（编号及其判定标准） 2、分析对象（人员、测量次数） 3、实施分析
0.6
0.4
Pobserved 等于上表对角线上概率的总和： P observed =(0.5 + 0.4) = 0.9
Pchance 等于每个分类概率乘积的总和： Pchance =(0.6*0.5) + (0.4*0.5) = 0.5
那么 Krater A=(0.9 - 0.5)/(1 - 0.5)=0.8＞0.7检验员王鲁检验能力合格
Good Bad
Rater A First Measure Good Bad
5
0
5
1
4
5
6
4
边格的数字代表行和列的总和
Pg 10
Kappa 例子#1
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
Pg 7
Kappa 例子#1
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
第三格代表检验员王鲁在第一次测量 中判定一个单元为优良，在第二次测 量中判定为次劣的次数
1、检查员与标准不 一致分类；
# 1 / 0: 多个试验中误将标准 = 0 者一致评估为 = 1 的次数 # 0 / 1: 多个试验中误将标准 = 1 者一致评估为 = 0 的次数 # Mixed: 多个试验中所有的评估与标准不相同者。
OK标准被判NG（拒真）
NG标准被判OK（误收）
多个试验中所有的评估与
张宇 10 5 50.00 (18.71, 81.29)
罗明英 10 4 40.00 (12.16, 73.76)
张玄 10 6 60.00 (26.24, 87.84)
罗胜 10 5 50.00 (18.71, 81.29)
王良科 10 4 40.00 (12.16, 73.76)
文远秀 10 4 40.00 (12.16, 73.76)
第一格代表检验员王鲁在第一次 和第二次测量中判定为优良的 次数
Rater A First Measure Good Bad
5
0
5
1
4
5
6
4
Pg 6
Kappa 例子#1
应急表
第二格代表检验员王鲁在第一次测量 中判定一个单元为次劣，在第二次测 量中判定为优良的次数
Rater A First Measure Good Bad
名称
1、检查员前后判断 一致性比率； 2、95%之一致性置 信区间；
≧90%
# 相符数: 检验员在多个试验之间，他/她自身标准一致。
Pg 16
Attribute Agreement Analysis
检验员 响应 Kappa Kappa 标准误 Z P(与 > 0 ) 肖宽鸿 0 0.39394 0.316228 1.24575 0.1064
一二次次次次次次次次次次一二次次一二次次次次一二一二标
次次检检检检检检检检检检次次检检次次检检检检次次次次准
检检验验验验验验验验验验检检验验检检验验验验检检检检
验验
验验
验验
验验验验
1110111011110110100111111111 2111100111110111111111111110 3010111110011001111001111111 4111111111111111111111111101 5111101001100100011011111000 6010000000000000000000011000 7000000111100110011101110010 8011111111111110111111111011 9000000001111001110001110110 10 0 0 0 1 0 0 1 0 1 1 0 0 0 0 1 1 1 1 0 0 1 1 1 1 1 1 0
Pg 4
Kappa 例子#1
王鲁检验员的 应急表
在每个单元格中填入收集到的信息
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
Pg 5
Kappa 例子#1
应急表
Rater A Second Measure
Good Bad
步骤四：分析判读
1、同检查员一致性分析
肖宽鸿 1, 肖宽鸿 2, 晋健1, 晋健2, 王鲁1, 王鲁2, 梁延1, ... 的属性一
致性分析
检验员自身
测试日期
评估一致性
报告者
检验员 肖宽鸿 晋健 王鲁 梁延 石兰 杨松 向显波 张宇 罗明英 张玄 罗胜 王良科 文远秀
#检 #相 验数 符数 百分比 95 % 置信区间 10 7 70.00 (34.75, 93.33) 10 7 70.00 (34.75, 93.33) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 10 100.00 (74.11, 100.00) 10 8 80.00 (44.39, 97.48) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 10 100.00 (74.11, 100.00) 10 8 80.00 (44.39, 97.48) 10 7 70.00 (34.75, 93.33)
1 0.58333 0.316228 1.84466 0.0325 石兰 0 1.00000 0.316228 3.16228 0.0008
1 1.00000 0.316228 3.16228 0.0008 杨松 0 0.60000 0.316228 1.89737 0.0289
1 0.60000 0.316228 1.89737 0.0289 向显波 0 0.79798 0.316228 2.52343 0.0058
P chance：预期偶然达成一致的比率
=（判定员第一次判定为优良的比率*判定员第二次判定为优良的比率）+（判定员第 一次判定为次劣的比率*判定员第二次判定为次劣的比率）
要达成完全一致， P observed = 1 且 K=1 一般说来，如果Kappa值低于0.7，那么测量系统是不 适当的 如果Kappa值为0.9或更高，那么测量系统是优秀的
1、检查员与标准之 一致性比率； 2、95%之一致性置 信区间；
≧90%
# 相符数: 检验员在多次试验中的评估与已知标准一致。
Pg 18
Attribute Agreement Analysis
评估不一致
4、检查员与标准不一致分析
检验员 肖宽鸿 晋健 王鲁 梁延 石兰 杨松 向显波 张宇 罗明英 张玄 罗胜 王良科 文远秀
2、每一检查员 Kappa分析
1、每一检查员Kappa值
≦0.7：不适合 ≧0 .9：优秀
Pg 17
Attribute Agreement Analysis
评估一致性
3、检查员与标准一致性分析
#检 #相
95 % 置信区间
检验员 验数 符数 百分比
肖宽鸿 10 5 50.00 (18.71, 81.29)
二厂包装检验员检验能力分析 Kappa技术
K Pobserved Pchance 1 Pchance
P observed---判断一致性比率; P chance ---偶然达成一致比率;
P observed
判定员一致同意的单元的比率=判定员一致判定为优良的比率+判定员一致判定为次 劣的比率
Rater A Good
0.5
0
Second
Measure Bad
0.1
0.4
0.6
0.4
检验员王鲁比例
下表代表上表的数据，其中每个单元格 用总数的百分比来表示
代表5/10 0.5 0.5
Pg 11
Kappa 例子#1
应急表-比例
Rater A First Measure Good Bad
Rater A Good
Pg 3
步骤二：检验员检验数据收集记录
样本
玻璃
每一检验员测2次之结果记录
标准
编号
序 肖肖晋晋王王梁梁石石杨杨向向张张罗罗张张罗罗王王文文判
号 宽宽健健鲁鲁延延兰兰松松显显宇宇明明玄玄胜胜良良远远断
鸿鸿第第第第第第第第第第波波第第英英第第第第科科秀秀样
第第一二一二一二一二一二第第一二第第一二一二第第第第本
5 83.33 0 0.00
4 66.67 0 0.00
3 50.00 0 0.00
# Mixed 百分比 3 30.00 3 30.00 1 10.00 2 20.00 0 0.00 2 20.00 1 10.00 2 20.00 1 10.00 2 20.00 0 0.00 2 20.00 3 30.00
Pg 13
Attribute Agreement Analysis
步骤三：MINITAB操作
操作菜单 ①统计
②质量工具
③属性一致 性分析
Pg 14
Attribute Agreement Analysis
检查员判 定结果 共13个 检查员 每人测2次
样本标准
Pg 15
Attribute Agreement Analysis
Kappa 例子#1
Rater A Second Measure
Good Bad
Rater A First Measure Good Bad
5
0
5
1
4
5
6
4
第四格代表检验员王鲁在第一次测量和第二次 测量中判定一个单元为次劣的次数
Pg 9
Kappa 例子#1
Rater A Second Measure
晋健 10 5 50.00 (18.71, 81.29)
王鲁 10 9 90.00 (55.50, 99.75)
梁延 10 6 60.00 (26.24, 87.84)
石兰 10 4 40.00 (12.16, 73.76)
杨松 10 7 70.00 (34.75, 93.33)
向显波 10 6 60.00 (26.24, 87.84)
标准不相同者。
Pg 19
Attribute Agreement Analysis
检验员 肖宽鸿 晋健 王鲁 梁延 石兰 杨松 向显波 张宇 罗明英 张玄 罗胜 王良科 文远秀
5、检查员与标准 分 响应 Kappa Kappa 标准误
Z P(与 > 0 )
#1
#0
/ 0 百分比 / 1 百分比
2 33.33 0 0.00
2 33.33 0 0.00
0 0.00 0 0.00
2 33.33 0 0.00
5 83.33 1 25.00
1 16.67 0 0.00
2 33.33 1 25.00
3 50.00 0 0.00
4 66.67 1 25.00
1 16.67 1 25.00
1 0.39394 0.316228 1.24575 0.1064 晋健 0 0.39394 0.316228 1.24575 0.1064
1 0.39394 0.316228 1.24575 0.1064 王鲁 0 0.79798 0.316228 2.52343 0.0058
1 0.79798 0.316228 2.52343 0.0058 梁延 0 0.58333 0.316228 1.84466 0.0325
0.5
0
0.5
Second
Measure Bad
0.1
0.4
0.5
0.6
0.4
由行和列的总和计算而得
Pg 12
Kappa 例子#1
检验员王鲁的Kappa
Rater A First Measure
Good
Baidu Nhomakorabea
Bad
Rater A Good
0.5
0
0.5
Second
Measure Bad
0.1
0.4
0.5
Pg 1
二厂包装检验员检验能力分析
二厂边窗玻璃外观质量客户退货PPM高 外观质量是检验员靠目视检验，由于很明显的检验员之间
和检验员内部的差别及检验能力问题，所以测量系统就是 一个关注的问题 下一页的数据是在测量系统研究中收集的。 需要计算每个操作员的Kappa和操作员之间的 Kappa
Pg 2
二厂包装检验员检验能力分析
2月16日对：二厂包装检验员共有13个检验员，进行检验能力分析，若检验员 的检验能力不足，误判的概率会很高。若把外观不合格的玻璃误判成合格品 发给客户，造成客户投诉和退货；若把外观合格的玻璃误判成不合格品给公 司造成损失。
解：
步骤一：
1、样本选定（编号及其判定标准） 2、分析对象（人员、测量次数） 3、实施分析
0.6
0.4
Pobserved 等于上表对角线上概率的总和： P observed =(0.5 + 0.4) = 0.9
Pchance 等于每个分类概率乘积的总和： Pchance =(0.6*0.5) + (0.4*0.5) = 0.5
那么 Krater A=(0.9 - 0.5)/(1 - 0.5)=0.8＞0.7检验员王鲁检验能力合格
Good Bad
Rater A First Measure Good Bad
5
0
5
1
4
5
6
4
边格的数字代表行和列的总和
Pg 10
Kappa 例子#1
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
Pg 7
Kappa 例子#1
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
第三格代表检验员王鲁在第一次测量 中判定一个单元为优良，在第二次测 量中判定为次劣的次数
1、检查员与标准不 一致分类；
# 1 / 0: 多个试验中误将标准 = 0 者一致评估为 = 1 的次数 # 0 / 1: 多个试验中误将标准 = 1 者一致评估为 = 0 的次数 # Mixed: 多个试验中所有的评估与标准不相同者。
OK标准被判NG（拒真）
NG标准被判OK（误收）
多个试验中所有的评估与
张宇 10 5 50.00 (18.71, 81.29)
罗明英 10 4 40.00 (12.16, 73.76)
张玄 10 6 60.00 (26.24, 87.84)
罗胜 10 5 50.00 (18.71, 81.29)
王良科 10 4 40.00 (12.16, 73.76)
文远秀 10 4 40.00 (12.16, 73.76)
第一格代表检验员王鲁在第一次 和第二次测量中判定为优良的 次数
Rater A First Measure Good Bad
5
0
5
1
4
5
6
4
Pg 6
Kappa 例子#1
应急表
第二格代表检验员王鲁在第一次测量 中判定一个单元为次劣，在第二次测 量中判定为优良的次数
Rater A First Measure Good Bad
名称
1、检查员前后判断 一致性比率； 2、95%之一致性置 信区间；
≧90%
# 相符数: 检验员在多个试验之间，他/她自身标准一致。
Pg 16
Attribute Agreement Analysis
检验员 响应 Kappa Kappa 标准误 Z P(与 > 0 ) 肖宽鸿 0 0.39394 0.316228 1.24575 0.1064
一二次次次次次次次次次次一二次次一二次次次次一二一二标
次次检检检检检检检检检检次次检检次次检检检检次次次次准
检检验验验验验验验验验验检检验验检检验验验验检检检检
验验
验验
验验
验验验验
1110111011110110100111111111 2111100111110111111111111110 3010111110011001111001111111 4111111111111111111111111101 5111101001100100011011111000 6010000000000000000000011000 7000000111100110011101110010 8011111111111110111111111011 9000000001111001110001110110 10 0 0 0 1 0 0 1 0 1 1 0 0 0 0 1 1 1 1 0 0 1 1 1 1 1 1 0
Pg 4
Kappa 例子#1
王鲁检验员的 应急表
在每个单元格中填入收集到的信息
Rater A First Measure Good Bad
Rater A Good
5
0
5
Second
Measure Bad
1
4
5
6
4
Pg 5
Kappa 例子#1
应急表
Rater A Second Measure
Good Bad
步骤四：分析判读
1、同检查员一致性分析
肖宽鸿 1, 肖宽鸿 2, 晋健1, 晋健2, 王鲁1, 王鲁2, 梁延1, ... 的属性一
致性分析
检验员自身
测试日期
评估一致性
报告者
检验员 肖宽鸿 晋健 王鲁 梁延 石兰 杨松 向显波 张宇 罗明英 张玄 罗胜 王良科 文远秀
#检 #相 验数 符数 百分比 95 % 置信区间 10 7 70.00 (34.75, 93.33) 10 7 70.00 (34.75, 93.33) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 10 100.00 (74.11, 100.00) 10 8 80.00 (44.39, 97.48) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 9 90.00 (55.50, 99.75) 10 8 80.00 (44.39, 97.48) 10 10 100.00 (74.11, 100.00) 10 8 80.00 (44.39, 97.48) 10 7 70.00 (34.75, 93.33)
1 0.58333 0.316228 1.84466 0.0325 石兰 0 1.00000 0.316228 3.16228 0.0008
1 1.00000 0.316228 3.16228 0.0008 杨松 0 0.60000 0.316228 1.89737 0.0289
1 0.60000 0.316228 1.89737 0.0289 向显波 0 0.79798 0.316228 2.52343 0.0058
P chance：预期偶然达成一致的比率
=（判定员第一次判定为优良的比率*判定员第二次判定为优良的比率）+（判定员第 一次判定为次劣的比率*判定员第二次判定为次劣的比率）
要达成完全一致， P observed = 1 且 K=1 一般说来，如果Kappa值低于0.7，那么测量系统是不 适当的 如果Kappa值为0.9或更高，那么测量系统是优秀的
1、检查员与标准之 一致性比率； 2、95%之一致性置 信区间；
≧90%
# 相符数: 检验员在多次试验中的评估与已知标准一致。
Pg 18
Attribute Agreement Analysis
评估不一致
4、检查员与标准不一致分析
检验员 肖宽鸿 晋健 王鲁 梁延 石兰 杨松 向显波 张宇 罗明英 张玄 罗胜 王良科 文远秀
2、每一检查员 Kappa分析
1、每一检查员Kappa值
≦0.7：不适合 ≧0 .9：优秀
Pg 17
Attribute Agreement Analysis
评估一致性
3、检查员与标准一致性分析
#检 #相
95 % 置信区间
检验员 验数 符数 百分比
肖宽鸿 10 5 50.00 (18.71, 81.29)
二厂包装检验员检验能力分析 Kappa技术
K Pobserved Pchance 1 Pchance
P observed---判断一致性比率; P chance ---偶然达成一致比率;
P observed
判定员一致同意的单元的比率=判定员一致判定为优良的比率+判定员一致判定为次 劣的比率
Rater A Good
0.5
0
Second
Measure Bad
0.1
0.4
0.6
0.4
检验员王鲁比例
下表代表上表的数据，其中每个单元格 用总数的百分比来表示
代表5/10 0.5 0.5
Pg 11
Kappa 例子#1
应急表-比例
Rater A First Measure Good Bad
Rater A Good
Pg 3
步骤二：检验员检验数据收集记录
样本
玻璃
每一检验员测2次之结果记录
标准
编号
序 肖肖晋晋王王梁梁石石杨杨向向张张罗罗张张罗罗王王文文判
号 宽宽健健鲁鲁延延兰兰松松显显宇宇明明玄玄胜胜良良远远断
鸿鸿第第第第第第第第第第波波第第英英第第第第科科秀秀样
第第一二一二一二一二一二第第一二第第一二一二第第第第本
5 83.33 0 0.00
4 66.67 0 0.00
3 50.00 0 0.00
# Mixed 百分比 3 30.00 3 30.00 1 10.00 2 20.00 0 0.00 2 20.00 1 10.00 2 20.00 1 10.00 2 20.00 0 0.00 2 20.00 3 30.00
Pg 13
Attribute Agreement Analysis
步骤三：MINITAB操作
操作菜单 ①统计
②质量工具
③属性一致 性分析
Pg 14
Attribute Agreement Analysis
检查员判 定结果 共13个 检查员 每人测2次
样本标准
Pg 15
Attribute Agreement Analysis