PCR检测方法分析性能评价2012.3

2
什么情况下要做性能验证
• 开展新项目 • 更换检测系统:更换仪器或试剂
3
分析性能验证项目
• 对配套系统,一般验证以下指标 精密度 准确度 可报告范围 参考区间 • 对非配套系统除验证上述指标外 分析灵敏度 分析特异性
4
依据文件(CLSI 文件)
• EP5-A2:定量测量方法的精密度性能评价
• EP6-A:定量测量方法的线性评价 • EP7-A:临床化学的干扰实验
31ቤተ መጻሕፍቲ ባይዱ
检测方法与明确诊断比较2*2列联表
检测方法 阳性 阳性 阴性 总数 A C A+C 明确诊断 阴性 B D B+D 总数 A+B C+D A+B+C+D
灵敏度=100%[A/(A+C)] 特异性=100%[B/(B+D)] 阳性预测值=100%[A/(A+B)] 阴性预测值=100%[A/(A+C)]
23
20-1000个检测值符合超出LoB预期95%比例 的下限
检测数
20 30 40 50 60 70 80 90
观察比例的下限(%)
85 87 88 88 88 89 89 90
检测数
100 150 200 250 300 400 500 1000
观察比例的下限(%）
90 91 92 92 92 93 93 94
24
分析测量范围:概念
• 分析测量范围(线性范围):指患者样本未经任何处理 (稀释、浓缩或其他预处理),由检测系统直接测量得到 的可靠结果范围,在此范围内一系列不同样本分析物的 测量值与其实际浓度(真值)呈线性比例关系.
• 临床可报告范围:指定量检测项目向临床能报告的检测 范围,患者样本可经稀释、浓缩或其他预处理. • 线性:检测样本时,在一定范围内可以直接按比例关系 得出分析物含量的能力.
33
总体设计
• 首先完成精密度实验,精密度良好是其他方法学验证实 验的保障 • 准确度实验 • 分析测量范围、检出限
34
谢谢大家
35
14
实验数据处理
• 计算每个标本两种方法间结果的差异
偏倚bi=实验方法结果i-比较方法结果i 偏倚%=100%(实验方法结果i-比较方法结果i)/比较方法结果I
• 画出每个标本两种方法结果的偏倚或百分比偏倚图,比较两种方 法间在检测的浓度范围内标本结果差异是否一致 • 计算两种方法间的平均偏倚 • 计算偏倚或百分比偏倚的标准差
• 确定比较方法
6
EP15-A2:精密度和准确度性能的用户验证
• 实验室验证方法的操作与厂家的申明一致 • 为验证重复性、实验室内精密度的申明提供方案和数 据分析 • 其他的 CLSI 文件为厂家做出精密度(EP5-A2)和准确 度(EP9-A2)的申明提供指南
7
精密度验证
• 重复性:指在相同条件 (时间、操作者、仪器)下获得 的精密度,也称批内精密度 • 实验室内精密度:同一实验室内，使用相同的设备, 在 不同时间内获得的精密度,也称总精密度.(不包括大的 设备维护、仪器校准和更换试剂批号等)
2)如果σ批内>2/3 σ总:每天分析1批次,2个浓度,每个 浓度重复测定3次,连续3天. 3)如果σ批内与 σ总相对关系未知:每天分析1批次,2个 浓度,每个浓度重复测定4次,连续5天. • 每天做室内质控,如果失控,剔除数据,重新进行测定 • 实验数据的统计学处理:批内标准差、实验室内标准差
10
PCR检测系统分析性能验证
上海市临床检验中心 肖艳群
1
相关规定
• 医学实验室质量和能力认可准则在基因扩增检验领域 的指南CNAS-GL xx 5.5.2) 实验室应在应用于医学检验之前验证所使用的检验方 法和程序的分析性能.对于定量检测项目内容至少包括 正确度、精密度、可报告(或线性)范围.对于定性检测 项目内容应包括灵敏度、特异性或符合率及重复性 • 上海市医疗机构临床基因扩增检验技术审核办法 临床基因扩增检验实验室在技术审核前应完成拟开展 检测项目方法学验证。方法学验证实验应包括但不限 于：精密度、正确度、检测限、线性范围、可报告范 围、特异性试验
8
实验要求
• 试剂:同一批号 • 实验样本 以前分析过的病人样本 其他已知值的物质 浓度要求: 医学决定水平 厂家说明书精密度指标所用浓度 内容 重复性 实验室内精密度
9
实验步骤
• 根据厂家申明的精密度比例关系可分为3种情况:
1)如果σ批内<2/3 σ总:每天分析1批次,2个浓度,每个 浓度重复测定4次,连续5天.
15
结果判断
• 如果偏倚<厂家指标(实验室指标),验证通过 • 如果偏倚>厂家指标(实验室指标),则通过计算验证值 进行差异的显著性检验, 在验证限范围内,验证通过
16
• 选择厂家申明中使用的比较方法为本方案的比较方法
• 如两种方法在检测的浓度范围内标本结果差异不一致, 应参考EP9-A2文件(用病人标本进行方法学比对和偏倚 评估)来进行实验
27
结果判断
• 线性范围应符合制造商规定的要求,且线性相 关系数|r|≥0.97
28
定性检测项目的性能验证
29
两种方法
• 诊断明确的定性检测性能评估:灵敏度、特异性 • 诊断不明确的定性检测性能评估:结果的一致性, Kappa值表示
30
诊断明确的定性检测
• 比较方法:目前正在使用的、”金标准”方法、某种定量 方法或临床诊断 • 样本要求:量足够大,稳定 • 样本数量:取决于评价者的目的 • 结果不一样标本的处理:用金标准或参考方法明确结果
25
实验样品准备
• 选择与临床样本同样的基质,不含干扰物质; 或厂家推荐的产品 • 数量 验证实验:5-7个不同浓度的样本,高值样本应高于 线性上限30%,低值样本低于线性下限,
26
实验方法
• 上限的高值样本按一定比例稀释为至少5种浓度,按试 剂说明书操作,将每一浓度样本重复检测2次,计算线性 相关系数
检验效能=100%[(A+D)/N]
32
诊断不明确的定性检测项目性能评估
检测方法、可比较方法一致程度比较
检测方法 阳性 阴性 总计
可比较方法 阳性 阴性
a c a+c b d b+d
总计 a+b c+d n
一致程度百分比= 100%(a+d)/n Kappa值>0.75，一致性优秀 Kappa值：0.4-0.75，一致性较好 Kappa值>0.75，一致性差
11
准确度与正确度、精密度的关系
准确度
正确度 均值与真值的接近程度 系统误差 偏倚(bias)
精密度 重复测量结果之间的接近程度 随机误差 标准差(SD)
12
正确度验证
• 比对方法:用临床病人样本进行方法学比对,类似EP9A2文件
• 参考物质
13
两种方法间病人标本结果的比较
• 实验设计: 1)收集20份病人样本,其浓度分布整个线性范围,不使 用超出线性范围的标本 2)在3-4天时间内,每天用实验和比对方法测定5-7份样 本 3)每天做室内质控,如果失控,剔除,问题纠正后重新测 定该批标本
18
实验步骤
• 至少2个物质,浓度为可报告范围中高和低的测量范围
• 在3-5天内每天测定一次,每次重复2次 • 将结果与设定要求进行比较,比如与能力比对实验组织 者的接受标准或医学允许总误差来比较
19
定量检出限的验证(EP17-A)
20
概念
• 能可靠检出分析物的最低实际浓度,并在该浓度下的总 误差符合准确度要求
17
使用参考物质的正确度方案
• 参考物质 1)新鲜冰冻人血清或其他一些未掺入成分的人体物质: 已用参考方法或决定性方法定值 2)从能力比对实验中获得的参考物 3)厂家提供的正确度确认物或质控物 4)实验室室间质评物被众多的实验室分析,他们的均值 可用于评估一致性 5)由第三方提供的已用一些不同方法定值的物质
结果判断
• 重复性验证: • 批内标准差<厂家申明, 验证通过 • 批内标准差>厂家申明, 则通过计算验证值进行 差异的显著性检验, 批内标准差<验证值验 证通过 • 实验室内精密度验证: • 实验室内标准差<厂家申 明,验证通过 • 实验室内标准差>厂家申 明,则通过计算验证值进 行差异的显著性检验, 实验室内标准差<验证 值,验证通过
• 总误差目标来源:实验室的需求、室间质评结果、厂家 的申明
21
实验样本
• 低浓度参考物质
• 已知浓度或活性的样品适当稀释成3-5个低浓度实验样 品
22
实验步骤
• 至少25个重复测量
• 每个样品重复测量的结果与该样品的参考值比较,以确 定是否超出目标误差,超过误差目标的结果数量可用于 评价此方法在该浓度是否合适.
• EP9-A2:用患者样本进行方法学比对及偏倚评估
• EP12-A2:定性实验方法评价用户协议 • EP15-A2: 用户对精密度和准确度核实试验
• EP17-A: 检出限和定量检出限确定方案
• C28-A2: 医学实验室参考区间的定义和确定
5
性能验证前的准备
• 应熟悉待验证的检测系统
• 应熟悉验证方案的步骤(PCR检测项目成本高、阳性标 本来源困难,精密度和正确度验证可以采用EP15-A2 文 件) • 制定质量保证措施 • 确保足够的样本数量和覆盖较宽检测范围