KAPPA知识
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
不评估它们的后果是什么呢？
W4-4 Attribute MSA - 7
测量系统分析 – 属性数据
什么方法适于评估属性测量系统？
属性系统 － 同等处理所有误分类的Kappa技术 顺序系统 －考虑误分类等级的Kappa技术
例如，如果我们从1到5判断一油漆产品的等级，检验员A把
它评为1级，检验员B评为5级，比起检验员A把它评为4级而 检验员B评为5级来，具有更大的误分类
W4-4 Attribute MSA - 8
数据: Scales
常态:
包含不具有排序基础或可以分别出量的差别的数字例(如，标签) 一车间中: 机器1、机器2、机器3 运输的类型: 船、火车、飞机
例子: 一公司中: A部门、B部门、 C部门
顺序:
包含可以分等级的数字。但是不能根据该标度推断出数字之间差 别的程。
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
W4-4 Attribute MSA - 26
应急表
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
最多可选择 50个优良品和50个次劣品
尽量保持大约50%的优良品和50%的次劣品 选择不同程度的优良和次劣
如果只选择优良品进行研究，那么P-chance会如何呢?
W4-4 Attribute MSA - 19
属性测量系统指导
如果你的类别超过2种，其中一类是优良，其它类
别是不同的缺陷方式，那么你至少应该选择大约 50%的优良品和和每重缺陷方式中的最少为10%的 产品
W4-4 Attribute MSA - 14
假设（重要性）测验中的风险
你已经“发现”一些实 际不存在的东西！
我们的决策
“不拒绝 Ho” “拒绝Ho”
Ho真 (无变化)
正确
I类错误 风险)
结果?
真
Ha真 (变化)
结果?
假正
II类错误 风险) 正确
假负
你已经漏掉一个重 要的效应
W4-4 Attribute MSA - 15
W4-4 Attribute MSA - 23
分级员A的 应急表
在每个单元格中填入收集到的信息
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
W4-4 Attribute MSA - 24
设法获取连续数据
W4-4 Attribute MSA - 6
属性和顺序测量
属性和顺序测量经常依靠主观分类或分级
例子包括：
把部件特征分级为好或坏
在品尝之后分级葡萄酒的香味和口感
从1到5给雇员的表现分级 给体操打分
在利用这些测量系统在6 工程中决策之前，我们
应该评估它们吗？
W4-4 Attribute MSA - 1a
同等处理所有误分类 不假定分级是平均分布于可能的范围 要求单元之间相互独立，并且判定员或分级员是独立作 出分级的 要求评估类别是相互排斥的
W4-4 Attribute MSA - 11
小练习
课堂上有多少人穿白色衬衫？
学习目标
概念上理解如何评估“通过/失败”测量系统和顺
序测量系统
认识到各种Kappa方法的存在 练习使用Minitab支持属性测量系统数据的分析 认识到低质量测量系统带来的问题
W4-4 Attribute MSA - 3
能为我做什么?
是评估属性测量系统的可重复性和再现性的一种简
阶段
目标
测量
流程图 SIPOC 集思广义 名义小组技术 亲合力图表 Pareto图表 因果图表 因果模型 检查单 移动图表s 控制图表 量表R&R 过程能力 QFD
分析
绘图工具/技巧 抽样策略 概率 假设检验 简单回归 变异成分 多变量图 FMEA（失效模式分析） 过程绘制 多元主观评价 Kappa/ICC
Pobserved Pchance K 1 Pchance
判定员一致同意的单元的比率=判定员一致判定为优良的 比率+判定员一致判定为次劣的比率
P chance
预期偶然达成一致的比率=（判定员A判定为优良的比率* 判定员B判定为优良的比率）+（判定员A判定为次劣的比 率*判定员B判定为优良的比率）
你可以把一些缺陷方式合并称为“其它” 这些类别应该互相排斥，否则它们应该合并起来
W4-4 Attribute MSA - 20
分级员内部/可重复性考虑
让每个分级员至少两次判定同一单元 为每个分级员建立独立的Kappa表，计算他们的Kappa值
如果某个分级员的Kappa测量值很小，那么该
应急表
第一格代表分级员A在第一次 和第二次测量中判定为优良的 次数
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
W4-4 Attribute MSA - 25
应急表
第二格代表分级员A在第一次测量中 判定一个单元为次劣，在第二次测量 中判定为优良的次数
测量系统分析 – 属性数据
属性数据 Kappa 操作定义 属性测量系统指导 列联表 分级员之间的Kappa Minitab 例子 练习
6改进过程
确认小目标，确认业务机会 定义目前状态 收集并陈列基础数据 确认并定义关键需求 决定过程能力 确定可能的根本原因 利用收集的静态数据寻找因果 关系 研究可能的根本原因 阐明问题陈述 缩小潜在的 KPIV’s KPOV’s 确认根本原因 提出潜在的解决方法 主动确认根本原因 决定最优方案 文书将来的过程 估计财务收益 提出执行计划 提出控制计划/SOP 监测性能 提出沟通计划 确定并提出替代及标准机会 提出项目停止计划 研究附加机会
注意： 上述等式适用于两类分析，即优良或次劣
W4-4 Attribute MSA - 17
Kappa
Pobserved Pchance K 1 Pchance
要达成完全一致， P
observed = 1 且 K=1
一般说来，如果Kappa值低于0.7，那么测量系统是不适当 的 如果Kappa值为0.9或更高，那么测量系统是优秀的
Kappa的下限为0到 -1
如果 P observed = P chance 那么 K=0 因而Kappa值为 0表示达成一致和随机偶然预期达成的一 致是一样的
W4-4 Attribute MSA - 18
属性测量系统指导
在选择研究的部件时，要考虑以下几方面因素：
如果你只有两个类别，优良和次劣，你至少应该选择20 个优良品和20个次劣品
例子： 产品性能: 优秀、很好、好、一般、差
沙司品尝试验： 味淡、辣、很辣、辣得难受 客户调查： 强烈同意、同意、反对、强烈反对
W4-4 Attribute MSA - 9
Kappa技术
Kappa适用于非定量系统，如
好或坏 通过/不通过 区分声音 (嘶嘶声、叮当声、重击声) 通过/失败
单方法
能够辨别你的属性测量系统中的弱操作定义
W4-4 Attribute MSA - 4
属性测量系统
大多数物理测量系统都使用能够提供连续数据的测
量装置
对于连续数据测量系统分析，我们可以使用控制图或量 具R&R 方法
属性/顺序测量系统使用了接受/拒绝标准或分级，
例如， 用(1-5) 确定是否达到可以接受的质量水平
W4-4 Attribute MSA - 21
Kappa 例子#1
Bill Blackbelt正在努力改进一个具有高退货率的油漆
过程
在工程早期，由于很明显的检验员之间和检验员内
部的差别，所以测量系统就是一个关注的问题
下一页的数据是在测量系统研究中收集的。
需要计算每个操作员的Kappa和操作员之间的 Kappa
W4-4 Attribute MSA - 22
考虑下列数据
Part 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 First Mea. Second Mea. First Mea. Second Mea. First Mea. Second Mea. Rater A Rater A Rater B Rater B Rater C Rater C Good Good Good Good Good Good Bad Bad Good Bad Bad Bad Good Good Good Good Good Good Good Bad Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Bad Good Good Bad Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Good Good Good Good Good Bad Good Good Bad Bad Bad Bad Bad Bad Good Good Bad Good Good Good Good Good Good Good Good Good Bad Good Good Good Good Good Bad Bad Bad Good Bad Good Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Bad Good Good Bad Bad Bad
Kappa技术可以用来评估这些属性和顺序测量系统
W4-4 Attribute MSA - 5
你真的拥有太多的属性数据吗?
很多检验过程能够收集连续数据并选择属性数据以
简化检验员的任务
例如，很多功能测验将连续地评估一项产品（温度
、压力降低、电压降低、维量、硬度等等）并以通 过/失败记录其结果
W4-4 Attribute MSA - 12
操作定义
存在着一些质量特点，或者难以定义或者定义很耗费时间 要一致地评估分类，几个单元必须由一个以上的评估人或判 定人作出分类
如果评估员之间达成足够的一致，那么就有可能，尽管不能 保证，分级是正确的
如果评估员不能达成足够的一致，那么分级的可用性就很有 限了
分级员自己没有很好地重复判定 如果分级员自己没有很好地重复判定，那么他 也不能和其它分级员很好的做重复判定，这将 掩盖其它分级员内部重复判定的好坏
根据每个分级员的首次判定建立一个Kappa表，计算不同分
级员之间的Kappa值
不同分级员之间的Kappa值将进行两两对比
C)
(A和 B, B和C, A和
结果?
哪些是重要的应关心的问题？
如果检验员之间和内部不能达成很好的一致，会有什么 风险呢？
次品正在流向下一步操作或客户吗？
优质品正在被返工或处理掉吗？ 评估的标准是什么？
如何度量一致性？
评估的操作定义是什么呢？
W4-4 Attribute MSA - 16
什么是 Kappa?
P observed
差劲的属性测量系统几乎总是可以归咎于差劲 的操作定义
W4-4 Attribute MSA - 13
属性测量系统中的α 和β 风险
α
风险/生产者风险
合格产品被拒绝 不必要的碎片/返工的原因 被人为削减的过程性能
β
风险/消费者风险
接受了不合格产品 太多的保证要求 不满意的客户 夸大的过程性能
改进
多元回归 单向方差分析 双向方差分析 全因素实验 部分因素实验 对表面设计的反应 财务基础 过程绘图 FMEA 过程能力 绘图工具/技巧
控制
CUSUM 控制图 EWMA 控制图 过程控制计划 执行计划 沟通计划 Poka-Yoke 5S Kaizen
可能工具
W4-4 Attribute MSA - 2
第三格代表分级员A在第一次测量中 判定一个单元为优良，在第二次测量 中判定为次劣的次数
W4-4 Attribute MSA - 7
测量系统分析 – 属性数据
什么方法适于评估属性测量系统？
属性系统 － 同等处理所有误分类的Kappa技术 顺序系统 －考虑误分类等级的Kappa技术
例如，如果我们从1到5判断一油漆产品的等级，检验员A把
它评为1级，检验员B评为5级，比起检验员A把它评为4级而 检验员B评为5级来，具有更大的误分类
W4-4 Attribute MSA - 8
数据: Scales
常态:
包含不具有排序基础或可以分别出量的差别的数字例(如，标签) 一车间中: 机器1、机器2、机器3 运输的类型: 船、火车、飞机
例子: 一公司中: A部门、B部门、 C部门
顺序:
包含可以分等级的数字。但是不能根据该标度推断出数字之间差 别的程。
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
W4-4 Attribute MSA - 26
应急表
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
最多可选择 50个优良品和50个次劣品
尽量保持大约50%的优良品和50%的次劣品 选择不同程度的优良和次劣
如果只选择优良品进行研究，那么P-chance会如何呢?
W4-4 Attribute MSA - 19
属性测量系统指导
如果你的类别超过2种，其中一类是优良，其它类
别是不同的缺陷方式，那么你至少应该选择大约 50%的优良品和和每重缺陷方式中的最少为10%的 产品
W4-4 Attribute MSA - 14
假设（重要性）测验中的风险
你已经“发现”一些实 际不存在的东西！
我们的决策
“不拒绝 Ho” “拒绝Ho”
Ho真 (无变化)
正确
I类错误 风险)
结果?
真
Ha真 (变化)
结果?
假正
II类错误 风险) 正确
假负
你已经漏掉一个重 要的效应
W4-4 Attribute MSA - 15
W4-4 Attribute MSA - 23
分级员A的 应急表
在每个单元格中填入收集到的信息
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
W4-4 Attribute MSA - 24
设法获取连续数据
W4-4 Attribute MSA - 6
属性和顺序测量
属性和顺序测量经常依靠主观分类或分级
例子包括：
把部件特征分级为好或坏
在品尝之后分级葡萄酒的香味和口感
从1到5给雇员的表现分级 给体操打分
在利用这些测量系统在6 工程中决策之前，我们
应该评估它们吗？
W4-4 Attribute MSA - 1a
同等处理所有误分类 不假定分级是平均分布于可能的范围 要求单元之间相互独立，并且判定员或分级员是独立作 出分级的 要求评估类别是相互排斥的
W4-4 Attribute MSA - 11
小练习
课堂上有多少人穿白色衬衫？
学习目标
概念上理解如何评估“通过/失败”测量系统和顺
序测量系统
认识到各种Kappa方法的存在 练习使用Minitab支持属性测量系统数据的分析 认识到低质量测量系统带来的问题
W4-4 Attribute MSA - 3
能为我做什么?
是评估属性测量系统的可重复性和再现性的一种简
阶段
目标
测量
流程图 SIPOC 集思广义 名义小组技术 亲合力图表 Pareto图表 因果图表 因果模型 检查单 移动图表s 控制图表 量表R&R 过程能力 QFD
分析
绘图工具/技巧 抽样策略 概率 假设检验 简单回归 变异成分 多变量图 FMEA（失效模式分析） 过程绘制 多元主观评价 Kappa/ICC
Pobserved Pchance K 1 Pchance
判定员一致同意的单元的比率=判定员一致判定为优良的 比率+判定员一致判定为次劣的比率
P chance
预期偶然达成一致的比率=（判定员A判定为优良的比率* 判定员B判定为优良的比率）+（判定员A判定为次劣的比 率*判定员B判定为优良的比率）
你可以把一些缺陷方式合并称为“其它” 这些类别应该互相排斥，否则它们应该合并起来
W4-4 Attribute MSA - 20
分级员内部/可重复性考虑
让每个分级员至少两次判定同一单元 为每个分级员建立独立的Kappa表，计算他们的Kappa值
如果某个分级员的Kappa测量值很小，那么该
应急表
第一格代表分级员A在第一次 和第二次测量中判定为优良的 次数
Rater A First Measure Good Bad Rater A Second Measure Good Bad 10 1 11 2 7 9 12 8
W4-4 Attribute MSA - 25
应急表
第二格代表分级员A在第一次测量中 判定一个单元为次劣，在第二次测量 中判定为优良的次数
测量系统分析 – 属性数据
属性数据 Kappa 操作定义 属性测量系统指导 列联表 分级员之间的Kappa Minitab 例子 练习
6改进过程
确认小目标，确认业务机会 定义目前状态 收集并陈列基础数据 确认并定义关键需求 决定过程能力 确定可能的根本原因 利用收集的静态数据寻找因果 关系 研究可能的根本原因 阐明问题陈述 缩小潜在的 KPIV’s KPOV’s 确认根本原因 提出潜在的解决方法 主动确认根本原因 决定最优方案 文书将来的过程 估计财务收益 提出执行计划 提出控制计划/SOP 监测性能 提出沟通计划 确定并提出替代及标准机会 提出项目停止计划 研究附加机会
注意： 上述等式适用于两类分析，即优良或次劣
W4-4 Attribute MSA - 17
Kappa
Pobserved Pchance K 1 Pchance
要达成完全一致， P
observed = 1 且 K=1
一般说来，如果Kappa值低于0.7，那么测量系统是不适当 的 如果Kappa值为0.9或更高，那么测量系统是优秀的
Kappa的下限为0到 -1
如果 P observed = P chance 那么 K=0 因而Kappa值为 0表示达成一致和随机偶然预期达成的一 致是一样的
W4-4 Attribute MSA - 18
属性测量系统指导
在选择研究的部件时，要考虑以下几方面因素：
如果你只有两个类别，优良和次劣，你至少应该选择20 个优良品和20个次劣品
例子： 产品性能: 优秀、很好、好、一般、差
沙司品尝试验： 味淡、辣、很辣、辣得难受 客户调查： 强烈同意、同意、反对、强烈反对
W4-4 Attribute MSA - 9
Kappa技术
Kappa适用于非定量系统，如
好或坏 通过/不通过 区分声音 (嘶嘶声、叮当声、重击声) 通过/失败
单方法
能够辨别你的属性测量系统中的弱操作定义
W4-4 Attribute MSA - 4
属性测量系统
大多数物理测量系统都使用能够提供连续数据的测
量装置
对于连续数据测量系统分析，我们可以使用控制图或量 具R&R 方法
属性/顺序测量系统使用了接受/拒绝标准或分级，
例如， 用(1-5) 确定是否达到可以接受的质量水平
W4-4 Attribute MSA - 21
Kappa 例子#1
Bill Blackbelt正在努力改进一个具有高退货率的油漆
过程
在工程早期，由于很明显的检验员之间和检验员内
部的差别，所以测量系统就是一个关注的问题
下一页的数据是在测量系统研究中收集的。
需要计算每个操作员的Kappa和操作员之间的 Kappa
W4-4 Attribute MSA - 22
考虑下列数据
Part 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 First Mea. Second Mea. First Mea. Second Mea. First Mea. Second Mea. Rater A Rater A Rater B Rater B Rater C Rater C Good Good Good Good Good Good Bad Bad Good Bad Bad Bad Good Good Good Good Good Good Good Bad Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Bad Good Good Bad Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Good Good Good Good Good Good Good Good Good Bad Good Good Bad Bad Bad Bad Bad Bad Good Good Bad Good Good Good Good Good Good Good Good Good Bad Good Good Good Good Good Bad Bad Bad Good Bad Good Good Good Good Good Good Good Bad Bad Bad Bad Bad Bad Bad Good Good Bad Bad Bad
Kappa技术可以用来评估这些属性和顺序测量系统
W4-4 Attribute MSA - 5
你真的拥有太多的属性数据吗?
很多检验过程能够收集连续数据并选择属性数据以
简化检验员的任务
例如，很多功能测验将连续地评估一项产品（温度
、压力降低、电压降低、维量、硬度等等）并以通 过/失败记录其结果
W4-4 Attribute MSA - 12
操作定义
存在着一些质量特点，或者难以定义或者定义很耗费时间 要一致地评估分类，几个单元必须由一个以上的评估人或判 定人作出分类
如果评估员之间达成足够的一致，那么就有可能，尽管不能 保证，分级是正确的
如果评估员不能达成足够的一致，那么分级的可用性就很有 限了
分级员自己没有很好地重复判定 如果分级员自己没有很好地重复判定，那么他 也不能和其它分级员很好的做重复判定，这将 掩盖其它分级员内部重复判定的好坏
根据每个分级员的首次判定建立一个Kappa表，计算不同分
级员之间的Kappa值
不同分级员之间的Kappa值将进行两两对比
C)
(A和 B, B和C, A和
结果?
哪些是重要的应关心的问题？
如果检验员之间和内部不能达成很好的一致，会有什么 风险呢？
次品正在流向下一步操作或客户吗？
优质品正在被返工或处理掉吗？ 评估的标准是什么？
如何度量一致性？
评估的操作定义是什么呢？
W4-4 Attribute MSA - 16
什么是 Kappa?
P observed
差劲的属性测量系统几乎总是可以归咎于差劲 的操作定义
W4-4 Attribute MSA - 13
属性测量系统中的α 和β 风险
α
风险/生产者风险
合格产品被拒绝 不必要的碎片/返工的原因 被人为削减的过程性能
β
风险/消费者风险
接受了不合格产品 太多的保证要求 不满意的客户 夸大的过程性能
改进
多元回归 单向方差分析 双向方差分析 全因素实验 部分因素实验 对表面设计的反应 财务基础 过程绘图 FMEA 过程能力 绘图工具/技巧
控制
CUSUM 控制图 EWMA 控制图 过程控制计划 执行计划 沟通计划 Poka-Yoke 5S Kaizen
可能工具
W4-4 Attribute MSA - 2
第三格代表分级员A在第一次测量中 判定一个单元为优良，在第二次测量 中判定为次劣的次数