诊断实验评价的设计及资料分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
III.重测稳定性：同一试验条件、同批次试剂、同一试验操作员、对同一 个样品反复多次（10次以上）重复测量。（要求：一般针对测量值是连 续性变量的指标）。
稳定性（可重复性、信度）研究的评价
• 1.评价原则：根据测量指标不同，选择不同的相关指标。
• 2.具体评价方法： （相关指标≥ 90%，说明诊断试剂的稳定性理想）
同 （1）连续测量的指标，如血脂、血糖、肝功能指标等：
一
可采用person相关
批 （2）等级测量的指标，如抗体滴度、抗原水平等：
样 品
可采用Speaman相关，肯德尔相关系数
（3）分类或较少等级的指标：如阳/阴性；疾病临床分期等：
可采用kappa指标计算
（4）同一个样品重复多次的测量：CV≤ 10%
变异系数CV =重复测量的标准差（s）/重复测量的均数
Kappa分析： Kappa值=实际一致性/非机遇一致性
B测量者 阳性
A测量者 阳性
A
阴性 B
合计 R1
阴性
C
D
R2
合计
C1
C2
N
Kappa N ( A D) (R1C1 R2C2 ) N 2 (R1C1 R2C2 )
• 2.研究设计： （1）研究人群和样本量可沿用真实性评价样本人群和样本量。 （2）研究内容： I.方法稳定性：同一试验条件、同批次的试剂、不同的试验操作员同期 对同一批生物样品/或人群进行盲法检测。
II.试剂的时间稳定性：同一试验条件、同批次试剂、试剂保存期内，对 同一批样品进行Baidu Nhomakorabea后两次盲法检测。（要求：生物样品中所检测的物质 具有生物稳定性，如特异性的抗体）。
内容
• 第一部分 新诊断试剂产品的临床研究 第一节 诊断试剂（方法）效果评价研究的基本 内容 • （一）真实性 • （二）稳定性 • （三）收益 第二节 连续性测量指标的新诊断试剂参考值或 截断值的确定
• 第二部分 改进方法与已有同品种批准上市产品 的比对研究
第一部分 新诊断试剂产品的临床研究
第一节 诊断试剂(方法)效果评价的基本内容
知晓 开放 盲法
实验操作者 资料收集分 设计者 析者
+
+
+
-
-/+
+
诊断试剂（方法）效果评价研究的基本要求（续）
• 3.伦理学要求 有创检查应提交伦理委员会的审查意见及受试者的知情同意书。 必须符合赫尔辛基宣言的伦理学准则。 为研究对象保密，尊重个人隐私。
评价诊断试剂真实性（效度）的研究设计
• 1. 采用成组对比设计的方案 研究对象应包括两组：一组是用金标准确定为有某病的病例组，另一组是用 金标准证实无该病的患者或正常人群，作为对照组。即把检查对象判断为二 分类变量
Ref：陈捷,等.临床诊断试验中金标准应用分析与理论思考.中华检验医学杂志 ,2005;28(9):892~893
诊断试剂（方法）效果评价研究的基本要求（续）
• 2.盲法设计（Blind design ） 盲法是临床研究设计的核心，能保证收集的资料不受实施者和研究者的 主观因素的影响。
盲法：即是指在实施诊断实验评价时，实验操作者、资料分析者某个环 节对象不知道对象分组。
导言
• 体外诊断试剂的临床研究（包括与已上市产品进行比较研究 在内的临床验证）是指在相应的临床环境中，对其临床性能 进行的系统性研究。
– 1.新诊断试剂产品的临床研究 • 新方法诊断效果的系统评价 • 新方法参考值和截断值的确定（cutoff value）
– 2.“已有同品种批准上市”产品的临床研究“ -改进方法与老方法的对比评价
待评价的诊断试剂： （1）测量结果可能是分类变量（是/否）：直接可用后续介绍的真实性指标 评价 （2）若测量的结果是连续变量（如血糖值）：需要先确定测量的截断值； 再根据截断值将检查对象分为分类变量，再根据真实性指标来评价。(见本部 分第二节)
病例组是病例的一个随机样本，应包括该病种的不同病例，如症状典型和非 典型的，病程早、中、晚期的，病情轻、中、重型的，不同年龄层次的等， 以保证病例有足够的代表性。
金标准
特 定 人 群
病人
非病 人
待评价诊 断试剂
阳 性 阴 性
阳性
阴性
评价指标
图1 诊断试剂的评价程序
评价诊断试剂真实性（效度）的研究设计
2.样本量： • 病例组的样本量参数: 灵敏度;显著性检验水平;容许误差 • 对照组的样本量参数：特异度；显著性检验水平;容许误差
公式1
评价诊断试剂真实性（效度）的研究评价指标
（四）似然比
➢ 阳性似然比： 筛检试验结果的真阳性率与假阳性率之比
真阳性率 灵敏度 LR 假阳性率 1 特异度
➢ 阴性似然比： 筛检试验结果的假阴性率与真阴性率之比
LR
假阴性率 真阴性率
1
灵敏度 特异度
（二）诊断试剂的稳定性研究
稳定性（可重复性、信度）研究的设计
• 1.信度的概念：是指在相同条件下，同一试验对相同人群重复试验获得 相同结果的稳定程度。
一、真实性（效度）：诊 二、稳定性
断方法甄别病例和非病 例的符合程度
（方法的稳定性和可重复性） 1.标准差与变异系数
➢ 灵敏度与假阴性率
2.符合率与kappa值
➢ 特异度与假阳性率
➢ 正确指数 ➢ 符合率 ➢ 似然比
三、收益（用于评价筛查试剂效
果的指标） • 阳性预测值 • 阴性预测值
(一) 真实性（效度）的评价
诊断试验评价整理表
金标准
筛检试验 阳性
患者
真阳性 A
非患者
假阳性 B
合计 R1
阴性
假阴性
真阴性
R2
C
D
合计
C1
C2
N
（一）灵敏度(sensitivity)(真阳性率)
灵敏度 A 100% AC
（二）特异度(specificity)(真阴性率)
特异度 D 100% BD
（三）正确指数约登指数（Youden’s index） 正确指数＝（灵敏度十特异度）－ 1 ＝l－（假阳性率十假阴性率）
诊断试剂真实性（效度）评价研究的基本要求
• 1.确定一个参照标准（Reference standard of diagnosis），即金标准 “gold standard”。 该标准应该是临床医学界公认的诊断疾病最可靠的诊断方法，应用标准 诊断方法能正确地确诊该病。
关于金标准的讨论： 首选金标准：是指病理学检查、手术所见、尸体解剖、长期随防、特殊 影像诊断等。 替代选择“综合诊断标准” ：在临床实际情况下，某些疾病可能没有明 确的可靠的诊断方法，在评价新诊断方法时可以用“综合诊断标准”替 代。
稳定性（可重复性、信度）研究的评价
• 1.评价原则：根据测量指标不同，选择不同的相关指标。
• 2.具体评价方法： （相关指标≥ 90%，说明诊断试剂的稳定性理想）
同 （1）连续测量的指标，如血脂、血糖、肝功能指标等：
一
可采用person相关
批 （2）等级测量的指标，如抗体滴度、抗原水平等：
样 品
可采用Speaman相关，肯德尔相关系数
（3）分类或较少等级的指标：如阳/阴性；疾病临床分期等：
可采用kappa指标计算
（4）同一个样品重复多次的测量：CV≤ 10%
变异系数CV =重复测量的标准差（s）/重复测量的均数
Kappa分析： Kappa值=实际一致性/非机遇一致性
B测量者 阳性
A测量者 阳性
A
阴性 B
合计 R1
阴性
C
D
R2
合计
C1
C2
N
Kappa N ( A D) (R1C1 R2C2 ) N 2 (R1C1 R2C2 )
• 2.研究设计： （1）研究人群和样本量可沿用真实性评价样本人群和样本量。 （2）研究内容： I.方法稳定性：同一试验条件、同批次的试剂、不同的试验操作员同期 对同一批生物样品/或人群进行盲法检测。
II.试剂的时间稳定性：同一试验条件、同批次试剂、试剂保存期内，对 同一批样品进行Baidu Nhomakorabea后两次盲法检测。（要求：生物样品中所检测的物质 具有生物稳定性，如特异性的抗体）。
内容
• 第一部分 新诊断试剂产品的临床研究 第一节 诊断试剂（方法）效果评价研究的基本 内容 • （一）真实性 • （二）稳定性 • （三）收益 第二节 连续性测量指标的新诊断试剂参考值或 截断值的确定
• 第二部分 改进方法与已有同品种批准上市产品 的比对研究
第一部分 新诊断试剂产品的临床研究
第一节 诊断试剂(方法)效果评价的基本内容
知晓 开放 盲法
实验操作者 资料收集分 设计者 析者
+
+
+
-
-/+
+
诊断试剂（方法）效果评价研究的基本要求（续）
• 3.伦理学要求 有创检查应提交伦理委员会的审查意见及受试者的知情同意书。 必须符合赫尔辛基宣言的伦理学准则。 为研究对象保密，尊重个人隐私。
评价诊断试剂真实性（效度）的研究设计
• 1. 采用成组对比设计的方案 研究对象应包括两组：一组是用金标准确定为有某病的病例组，另一组是用 金标准证实无该病的患者或正常人群，作为对照组。即把检查对象判断为二 分类变量
Ref：陈捷,等.临床诊断试验中金标准应用分析与理论思考.中华检验医学杂志 ,2005;28(9):892~893
诊断试剂（方法）效果评价研究的基本要求（续）
• 2.盲法设计（Blind design ） 盲法是临床研究设计的核心，能保证收集的资料不受实施者和研究者的 主观因素的影响。
盲法：即是指在实施诊断实验评价时，实验操作者、资料分析者某个环 节对象不知道对象分组。
导言
• 体外诊断试剂的临床研究（包括与已上市产品进行比较研究 在内的临床验证）是指在相应的临床环境中，对其临床性能 进行的系统性研究。
– 1.新诊断试剂产品的临床研究 • 新方法诊断效果的系统评价 • 新方法参考值和截断值的确定（cutoff value）
– 2.“已有同品种批准上市”产品的临床研究“ -改进方法与老方法的对比评价
待评价的诊断试剂： （1）测量结果可能是分类变量（是/否）：直接可用后续介绍的真实性指标 评价 （2）若测量的结果是连续变量（如血糖值）：需要先确定测量的截断值； 再根据截断值将检查对象分为分类变量，再根据真实性指标来评价。(见本部 分第二节)
病例组是病例的一个随机样本，应包括该病种的不同病例，如症状典型和非 典型的，病程早、中、晚期的，病情轻、中、重型的，不同年龄层次的等， 以保证病例有足够的代表性。
金标准
特 定 人 群
病人
非病 人
待评价诊 断试剂
阳 性 阴 性
阳性
阴性
评价指标
图1 诊断试剂的评价程序
评价诊断试剂真实性（效度）的研究设计
2.样本量： • 病例组的样本量参数: 灵敏度;显著性检验水平;容许误差 • 对照组的样本量参数：特异度；显著性检验水平;容许误差
公式1
评价诊断试剂真实性（效度）的研究评价指标
（四）似然比
➢ 阳性似然比： 筛检试验结果的真阳性率与假阳性率之比
真阳性率 灵敏度 LR 假阳性率 1 特异度
➢ 阴性似然比： 筛检试验结果的假阴性率与真阴性率之比
LR
假阴性率 真阴性率
1
灵敏度 特异度
（二）诊断试剂的稳定性研究
稳定性（可重复性、信度）研究的设计
• 1.信度的概念：是指在相同条件下，同一试验对相同人群重复试验获得 相同结果的稳定程度。
一、真实性（效度）：诊 二、稳定性
断方法甄别病例和非病 例的符合程度
（方法的稳定性和可重复性） 1.标准差与变异系数
➢ 灵敏度与假阴性率
2.符合率与kappa值
➢ 特异度与假阳性率
➢ 正确指数 ➢ 符合率 ➢ 似然比
三、收益（用于评价筛查试剂效
果的指标） • 阳性预测值 • 阴性预测值
(一) 真实性（效度）的评价
诊断试验评价整理表
金标准
筛检试验 阳性
患者
真阳性 A
非患者
假阳性 B
合计 R1
阴性
假阴性
真阴性
R2
C
D
合计
C1
C2
N
（一）灵敏度(sensitivity)(真阳性率)
灵敏度 A 100% AC
（二）特异度(specificity)(真阴性率)
特异度 D 100% BD
（三）正确指数约登指数（Youden’s index） 正确指数＝（灵敏度十特异度）－ 1 ＝l－（假阳性率十假阴性率）
诊断试剂真实性（效度）评价研究的基本要求
• 1.确定一个参照标准（Reference standard of diagnosis），即金标准 “gold standard”。 该标准应该是临床医学界公认的诊断疾病最可靠的诊断方法，应用标准 诊断方法能正确地确诊该病。
关于金标准的讨论： 首选金标准：是指病理学检查、手术所见、尸体解剖、长期随防、特殊 影像诊断等。 替代选择“综合诊断标准” ：在临床实际情况下，某些疾病可能没有明 确的可靠的诊断方法，在评价新诊断方法时可以用“综合诊断标准”替 代。