精密度和正确度方法学评价赵海舰

评价 标准
卫生行业标准 室间质量评价1/3TEa 依据生物学制定 方法决定图
EP5-A2 注意事项
样本的稳定性 校准物的正确保存 试剂的正确保存、使用 仪器的正常维护 离群值
29
Westgard确定偏倚的方法
可比较实验方法
• 参考方法 • 决定性方法 • 配套系统的常规方法
患者样本的数量
精密度和正确度确认
卫生部临床检验中心 赵海舰 杭州 2015.06.16
如何使检验结果准确？
1
使用好的检验方法
2
做好质量控制
---陈文祥
2
关于确认(Validation):
CNAS-CL38 医学实验室质量
给出主要方法性能：和能力化学认可准则在临床 ―正确度(trueness) 化学检验领域的应用说明 ― 精密is度o1(5p1re8c9is:2io0n1)2定义：通过提供客观证
关于确认(Validation):
卫生行业标准：WS/T 420-2013
(临床实验室对商品定量试剂盒分析性能的验证）
临床实验室建立的新方法或试剂盒 对我国食品药品监督管理局（FDA）批 准的检验方法或试剂盒进行重要修改
与精密度和正确度相关的确认文件
精密度
Westgard方 法 EP5
正确度
• 均值 • 标准差
数据计算 • 变异系数
• 建议使用CLIA可接受标准
接受指标
批内/日内CV<1/4TEa 实验室内CV<1/3TEa
定量测定方法精密度性能评价
NCCLS EP5-2A: Evaluation of Precision Performance of Clinical Chemistry Devices; Approved Guide
样本号
比对方法/仪器
待评方法/仪器
结果1（Xi1 ) 结果2 (Xi2 ) 结果1（Yi1 ) 结果2 (Yi2 )
1 5 … 19 … 40
数据分析
删除超出可报告范围以外的数据
初步数据检查 线性回归 计算预期偏差及其可信区间
40
数据的删除
EP9-A文件规定，不使用超出可 报告范围以外的数据。 删除超出可报告范围以外数据， 再继续数据的处理。
适用范围
此文件为用户提供了设计一个评价试验和选择方 法的指南，用于量化患者标本测定方法之间的系 统测量误差(偏倚或差异)。该指南的目的用户为体 外诊断试剂的制造商以及监管机构和临床实验室 人员。
33
CLSI EP9-A3修改及新增内容
回归分析：包括加权、Deming回归和 Passing-Bablok方法（新增）
重现性：则是在不同实验室、不同条件下获得的精 密度,故又称实验室间精密度。
实验室内精密度：同一实验室内，使用同样的设备 ，由不同操作者在不同时间内获得的精密度，以前 曾被称为总精密度。
准确度、正确度和精密度？
准确度(ACCURACY) 不确定度(UNCERTAINTY)
正确度 (TRUENESS)
数据记录表格
天 第一批（上午）
第二批（下午）
数 (I) Xi11 Xi12 Xi1 Xi11-
Xi12
Xi21 Xi22 Xi2 Xi21-Xi22
1
2
… …
20
Xi
20
举例-TG精密度评价
材料 试剂：上海复兴长征公司 甘油三酯试剂
盒 校准品：上海复兴长征公司 仪器：日立7170A自动分析仪 样本：Roche公司质控血清（正常和病理）
陈文祥、申子瑜、郭健、杨振华,临床检验量值溯源中的重要术语与概念及有关问题 中华检验医学杂志2005年2月第28卷第2期
精密度
重复性：是指在相同条件(时间、校准、操作者、仪 器等)下获得的精密度,即所谓的批内精密度;
中间精密度：是指在一种或几种条件因素发生变化, 但在同一实验室内获得的精密度;
举例-TG精密度评价
步骤：2个标本每天测定2次，双份测定， 共测定20天。
（两次测定间隔大于8小时时要重新作质控）
离群点的检查：如每次双份测定的差值超过 初步精密度时5.5标准差，该组数据为“离 群点”，应弃去或重做。 使最终收集到的数据不少于80个。
实验结果
天 数 Xij1
j=1批
Xij2 Xi1 Xij1-Xij2 (Xij1-Xij2)2 Xij1 Xij2
样本来源 －应来源于健康人或患者，无明显干扰因素，并
应尽量避免使用贮存样本。
标本数 －40份
标本浓度
实验方案
测定方法： 用对比方法和待评方法进行双管测定
分析顺序： 每天 —1、2、3、4、5、6、7、8
8、7、6、5、4、3、2、1 测定次数： 至少5天，总共40个样本
38
病人样本检验结果－表1
17
离群值的检查
标准：重复测定的绝对差值超出5.5倍的初步批内 精密度评价的标准差
数量：5% 情况1：如果发现了离群值，需要寻找问题的原因，
并重复该批号样本。 情况2：如果超出了5%的数据被拒绝，同时没有
发现可归属的原因，操作者考虑仪器性能不稳定。
18
精密度确认实验需要计算的统计量
B A
使用不同统计图分析偏倚（新增） 临床决定水平的偏倚分析（修改） 所有参数的置信区间计算（修改） 用extreme studentized deviate（极端 学生化偏差法）进行异常值检测（修改）
……
实验前准备
对仪器进行一次完整的保养 准备同一批号足够的试剂/校准品 整个实验过程都必须有质量控制 每个检测项目的可报告范围
均值与真值的接近程度
系统误差
偏倚(BIAS)
精密度 (PRECISION)
重复测量结果之间的接近程度
随机误差
标准差(SD)/变异系数（CV）
[ISO 5725-1: 1994]
误差 的类型
系统误差
性能 特性
正确度
性能特性的 定量表达
偏倚（bias）
（总）误差
准确度
测量不确定度
随机误差
精密度
标准差 变异系数
描述了方法比对的结果，x轴对应的是参比方 法的结果，y轴对应的是候选方法的结果。
数据作图－散点图
全部结果的散点图：Yij → Xi
数据作图-散点图（图1）
SD恒定的散点图
数据作图—散点图（图2）
CV恒定的散点图
数据作图—散点图（图3）
混合的差异变异 （标准差SD和变异系数CV）
数据作图—偏差图
比对方法/仪器（X）
熟悉仪器操作及保养程序 准备足够同一批号的试剂/校准品
整个实验过程必须有质量控制
进行精密度实验
待评方法/仪器（Y）
实验方案
收集样本：只能两个病人样本混合
（调整的样本不能超过20% ） 样本数量：实验室至少40份、厂家至少用
100份 样本储存： 样本浓度：区间要足够宽
标本要求
3 0.986 1.014 1.000 -0.028 0.000784 1.010 0.960 0.985 0.05 0.0025 0.992
……
18 0.948 0.920 0.934 0.028 0.000784 0.955 0.937 0.946 0.018 0.000324 0.940
19 0.908 0.936 0.922 -0.028 0.000784 0.890 0.917 0.904 -0.027 0.000729 0.913
数据分析
删除超出可报告范围以外的数据
初步数据检查 线性回归 计算预期偏差及其可信区间
42
初步数据检查过程
方法内双份数据中离群值的检查 数据作图 线性相关的目测检查 方法间离群点的检查 X值合适范围的检查
方法内离群值的检查过程
计算绝对差值 DXi=︱Xi1-Xi2︱
离群点判断规则
方法内离群值的检查结果－表2
如果厂家的声明
• T检验
没有偏倚
• 计算的t值与临界t值
比较
如果厂家的声明 • 确定实验室估计偏倚的置信区间
有偏倚
• 看厂家声明是否在置信区间内 • 公式=实验室的偏倚±t.SD/N1/2
用患者样本进行方法对比及偏倚评估
EP9-3A： Methods Comparison and Bias Estimation Using Patient Samples; Approved Guideline, Third Edition
精密度、正确度、准确度？
Westgard确定不精密度的方
法
•批内 •日间
实验周期 •实验室内不精密度（总不精密度）
•标准溶液 •控制溶液
样本基质 •患者样本
•来自百度文库键是医学决定水平
•
两个水平
样本浓度 •
三个水平
Westgard确定不精密度的方
法
• 至少20个 • 更多更好
样本个数 • 考虑成本和时间
―特异据性对(s待pe定ci的fi预ci期ty用) 途或应用要求得到满 ―检测足限的和认定定量。限(LOD and LOQ, "灵敏度") ― 线性(linearity)
― 生物参考区间
―耐变性(robustness)
... ...
关于确认(Validation):
ISO 15189:2012 5.5.1.3检验程序的确认： 非标准方法 实验室设计或制定的方法 超出预期范围使用的标准方法 修改过的确认方法
• 至少40份 • 覆盖方法的可报告范围
测定次数及时间周期
• 单次/双份 • 至少5天 • 2小时内完成实验方法与比对方法的测定
Westgard确定偏倚的方法
图形显示数据
• 参考方法 • 差值图 • 比对图
计算适当的统计量
• 偏倚 • 相关系数r
• 总误差
可接受性能标准
• 与CLIA允许总误差比
Westgard验证偏倚的方法
I=试验天数 Xi1=第i天第一批实验结果的平均值（通常重复2次） Xi2=第I天第二批实验结果的平均值（通常重复2次）
25
3.日间不精密度
I = 实验天数
x =第i天全部实验结果的平均值 i =所有结果的平均值
26
4.总不精密度
27
举例-TG精密度评价结果
批内CV为2.23% 批间CV为2.46% 日间CV为3.48% 总CV为4.19%
j=2批
Xi2 Xij1-Xij2 (Xij1-Xij2)2
1 0.960 0.950 0.955 0.010 0.0001 0.990 0.980 0.985 0.010 0.0001 0.978
2 0.920 0.930 0.925 -0.010 0.0001 1.010 1.010 1.010 0.000 0.0000 0.968
Westgard方 法 EP9
准确度、正确度和精密度？
准确度(accuracy): 一次测量的结果与被测量真值的 接近程度。
正确度(trueness): 真实度，无限多次测量的均值与真 值的接近程度。一般用10-12次测定结果的均值计算
精密度 (PRECISION) : 在规定条件下获得的独立测量 结果之间的接近程度。
偏差图：y轴表示测量结果与参考浓度之间的 差值，x轴表示参考浓度
注1：若差值为0则画一条虚线 注2：参考浓度通常为测量结果的均值 注3：差值是相对于参考浓度而言的
用于表示方法比对的结果，x轴表示的是被测 物的浓度，y轴表示候选方法与参比方法之间 的差值
。
数据作图－偏倚图
当比对方法X为参考方法
数据作图－偏倚图
适用范围
该文件适用于体外诊断仪器或试剂制造商以期望 建立自己产品精密度性能。还适用于临床实验室 期望建立自己所用检测系统（不配套的检测系统 ）的精密度性能。
15
仪器熟悉阶段 评价方案熟悉阶段
先作一个初步的批内 实验用的试剂、校准物、
精密度测定
质控物均应为同一批号
评价前的准备
实验方法
每天分2批测定样本 各批实验间隔至少2小时以上 每批测定2个浓度样本，每个样本重复测定2次。 共测定20天
20 0.889 0.944 0.917 -0.055 0.003025 0.901 0.920 0.910 -0.019 0.000361 0.914
结果计算
1.批内不精密度
I=总试验天数（一般为20天） J=每天测定的批次（一般为2批） Xij1=第i天j批实验第一次结果
24
2. 批间不精密度
当比对方法X不是参考方法
数据作图—偏差图
绝对偏差图
允许偏倚
质控供应商：伯乐、朗道等
（Bias%)
SD恒定的散点图
相对偏差图
数据作图—偏差图
绝对偏差图
相对偏差图
CV恒定的散点图
数据—偏差图
待评方法/仪器
比对方法/仪器
样本号
绝对 (DYi )
均值 标准化 （Yi） (DY i’ )
绝对 (DXi )
均值 标准化 （Xi） (DX i’ )
1
5
…
19
…
40
均值
数据作图－散点图
散点图：在直角坐标系中表示一组数据的两 个变量。
注1：数据用观测点表示，每个点在x轴对应的 位置为一个变量的值，在y轴上对应的位置为 另一个变量的值。