系统评价Meta分析常用质量评价工具简介ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 质量评价（quality assessment）是评估单个研 究在设计、实施、结果分析整个过程中可能出现 各种偏倚的程度。
• 质量评价工具则是依据这些可能出现的偏倚的各 个方面设计的。主要有3种类型：
– 条目（component/items） – 一览表或清单（checklist） – 量表（scale）
测
个案或病例 系列报告
二、RCT的质量评价工具
• RCT是实验性研究设计中的“金标准”
• AHRQ研究显示，涉及RCT的评价工具共20种量表、11 种清单及1种组成部分的评价工具和7类指导性文件
• RCT：采用随机分配方法（随机数字表、计算机随机 序列、抛硬币法等）将受试者分入不同处理组。
• CCT：采用半随机分配方法（按入院顺序、住院号、 研究对象生日的奇偶）分配到不同处理组。
记分 0 1 2 0 1 2 0 1
2.3 Delphi清单
• 由马斯特里赫特大学Verhagen及其同事1998年依据 Maastricht和Chalmers量表，遵照Delphi法制作
• 针对RCT的内部有效性、外部有效性和统计分析3个方 面
• 共8个条目，其中第1条又分为两个部分 • 采用“是”、“否”、“不清楚”进行判断 • 缺点：基于专家共识而非实验数据
选择偏倚
选择偏倚 选择偏倚 测量偏倚 实施偏倚 实施偏倚 ？ 随访偏倚
2.3 Delphi清单
1.治疗分组： 是否采用随机分组 是否采用分配隐藏
2.重要结局基线是否相似 3.清楚描述受试者入选条件 4.对结果评价者施盲 5.对研究者施盲 6.对受试者施盲 7.提供主要结局的点估计值和可信区间 8.意向治疗分析
1.3 质量的定义
• 试验设计产生无偏倚结论的可能性（内部真实性）
• ——Jadad AR，牛津大学，1996
• 在设计与研究过程中反映结论真实性的一系列因 素，这些因素与临床试验的内部真实性、外部真 实性和统计分析有关
• ——Verhagen AP，荷兰马斯特里赫特大学，1998
1.4 相关名词
系统评价/Meta分析常用 质量评价工具简介
华西期刊社/中国循证医学中心 2013.5.18
提纲
• 一、背景 • 二、RCT的质量评价工具 • 三、观察性研究的质量评价工具 • 四、非随机实验性研究的质量评价工具 • 五、诊断性研究的质量评价工具 • 六、动物实验的质量评价工具 • 七、SR/Meta分析（MA）的质量评价工具
• 真实性
– 是指研究的设计和实施中防止系统误差或偏倚的程度，主要 包括内部真实性与外部真实性
• 内部真实性
– 是指单个研究结果接近真实值的程度，即受各种偏倚因素， 如选择偏倚、实施偏倚、失访偏倚及测量偏倚的影响情况。
• 外部真实性
– 又称适用性或外部有效性，主要指研究结果是否可以应用于 研究对象以外的其他人群，即结果的使用价值与推广应用的 条件，主要与研究对象的特征、干预措施和结局的选择标准 有关。
2.1 Cochrane偏倚风险评估工具
CJEBM干预类SR中67.6%使用
领域 选择偏倚
实施偏倚 测量偏倚 随访偏倚 报告偏倚 其他偏倚
条目 1.随机序列产生 2.分配隐藏 3.对研究者和受试者施盲 4.研究结果盲法评价 5.结果数据的完整性 6.选择性报告研究结果 7.其他偏倚来源
说明
2.2 Jadad量表
Jadad scale
CJEBM干预类SR中12.1%使用
• 1996年由Jadad等发布
• 最初目的是为了评价疼痛治疗的RCT质量，从随机方案及其隐匿、 盲法、退出与失访病例的原因及数量3方面进行评价
• 采用0-5分计分法，≤2分为低质量，≥3分为高质量
• 优点：简单明了，直接评价经验证的、与试验效应估计中的偏 倚有直接关系的试验特征
是，否，不清楚
2.4 PEDro量表
Physiotherapy Evidence Database
物理治疗证据数据库，1999，乔治中心的物理治疗循证中心
序号
条目
1
清楚描述受试者纳入标准
2
随机分配
3
分配隐藏
4
重要指标基线相似
5
源自文库
受试者盲法
6
治疗师盲法
7
评价者盲法
8*
>85%的受试者进行至少一项主要结局测量
• 缺点：存在诸多不组，如未考虑分配隐藏
• 推荐：将Jadad量表与隐蔽分组的评价结合起来
评价指标 随机
盲法
退出/失访
2.2 Jadad量表
Jadad scale
内容 未随机/不清楚/假随机 提及“随机”，但未描述具体的随机方法 采用“随机”，并描述了正确的随机方法 未实施双盲/假双盲 提及“双盲”，但未描述具体的施盲方法 采用“双盲”，并描述了正确的施盲方法 未提及 描述退出/失访例数及原因
1.5 临床流行病学研究设计分类
是否由研究者分配暴露
试验性研究 （是）
是否随机分配
非随机对照试验 （否）
随机对照试验 （是）
观察性研究 （否）
是否设立比较组
分析性研究 （是）
描述性研究 （否）
同期对 照试验
非同期对 平行 交叉
队列研究
病例对照研究 横断面 监
照试验
试验 试验 （暴露→结局） （暴露→结局） 研究
9
有测量结果受试者需遵方案治疗，或行意向治疗
分析
10*
对至少一项主要结局的组间统计进行报告
11
提供至少一项主要结局的点估计值和可信区间
基于Delphi清单制作，* 在Delphi清单基础上增加的条目
记分
每个条目1分， 采用“是”、 “否”进行判断
2.5 Chalmers 量表
1.4 相关名词
• 对偏倚的认识是质量评价的核心
• 偏倚（bias）又称系统误差，是指研究的结果或 推论偏离真实值，或导致这种偏离的过程，也可 以说在资料收集、分析、解释或发表过程中，能 够导致结论系统地与真实值有所不同的任何趋势
– 选择偏倚、实施偏倚、损耗偏倚、测量偏倚、报告偏 倚、其他偏倚
1.4 相关名词
一、背景 1.1 为什么要进行质量评价？
造假
造假
+
=？
垃圾
垃圾
+
=？
• 真假难辨——诚信、政策、监督 • 好坏可评——质量评价工具
1.2 质量评价评什么？
• 什么决定研究的好坏？
– 其结果接近真实情况，稳定 – 偏倚程度小（可能出现在研究设计、实施、结果分析
的整个过程） – 集中反映在研究报告的方法学部分 – 高质量报告≠高质量研究
• 质量评价工具则是依据这些可能出现的偏倚的各 个方面设计的。主要有3种类型：
– 条目（component/items） – 一览表或清单（checklist） – 量表（scale）
测
个案或病例 系列报告
二、RCT的质量评价工具
• RCT是实验性研究设计中的“金标准”
• AHRQ研究显示，涉及RCT的评价工具共20种量表、11 种清单及1种组成部分的评价工具和7类指导性文件
• RCT：采用随机分配方法（随机数字表、计算机随机 序列、抛硬币法等）将受试者分入不同处理组。
• CCT：采用半随机分配方法（按入院顺序、住院号、 研究对象生日的奇偶）分配到不同处理组。
记分 0 1 2 0 1 2 0 1
2.3 Delphi清单
• 由马斯特里赫特大学Verhagen及其同事1998年依据 Maastricht和Chalmers量表，遵照Delphi法制作
• 针对RCT的内部有效性、外部有效性和统计分析3个方 面
• 共8个条目，其中第1条又分为两个部分 • 采用“是”、“否”、“不清楚”进行判断 • 缺点：基于专家共识而非实验数据
选择偏倚
选择偏倚 选择偏倚 测量偏倚 实施偏倚 实施偏倚 ？ 随访偏倚
2.3 Delphi清单
1.治疗分组： 是否采用随机分组 是否采用分配隐藏
2.重要结局基线是否相似 3.清楚描述受试者入选条件 4.对结果评价者施盲 5.对研究者施盲 6.对受试者施盲 7.提供主要结局的点估计值和可信区间 8.意向治疗分析
1.3 质量的定义
• 试验设计产生无偏倚结论的可能性（内部真实性）
• ——Jadad AR，牛津大学，1996
• 在设计与研究过程中反映结论真实性的一系列因 素，这些因素与临床试验的内部真实性、外部真 实性和统计分析有关
• ——Verhagen AP，荷兰马斯特里赫特大学，1998
1.4 相关名词
系统评价/Meta分析常用 质量评价工具简介
华西期刊社/中国循证医学中心 2013.5.18
提纲
• 一、背景 • 二、RCT的质量评价工具 • 三、观察性研究的质量评价工具 • 四、非随机实验性研究的质量评价工具 • 五、诊断性研究的质量评价工具 • 六、动物实验的质量评价工具 • 七、SR/Meta分析（MA）的质量评价工具
• 真实性
– 是指研究的设计和实施中防止系统误差或偏倚的程度，主要 包括内部真实性与外部真实性
• 内部真实性
– 是指单个研究结果接近真实值的程度，即受各种偏倚因素， 如选择偏倚、实施偏倚、失访偏倚及测量偏倚的影响情况。
• 外部真实性
– 又称适用性或外部有效性，主要指研究结果是否可以应用于 研究对象以外的其他人群，即结果的使用价值与推广应用的 条件，主要与研究对象的特征、干预措施和结局的选择标准 有关。
2.1 Cochrane偏倚风险评估工具
CJEBM干预类SR中67.6%使用
领域 选择偏倚
实施偏倚 测量偏倚 随访偏倚 报告偏倚 其他偏倚
条目 1.随机序列产生 2.分配隐藏 3.对研究者和受试者施盲 4.研究结果盲法评价 5.结果数据的完整性 6.选择性报告研究结果 7.其他偏倚来源
说明
2.2 Jadad量表
Jadad scale
CJEBM干预类SR中12.1%使用
• 1996年由Jadad等发布
• 最初目的是为了评价疼痛治疗的RCT质量，从随机方案及其隐匿、 盲法、退出与失访病例的原因及数量3方面进行评价
• 采用0-5分计分法，≤2分为低质量，≥3分为高质量
• 优点：简单明了，直接评价经验证的、与试验效应估计中的偏 倚有直接关系的试验特征
是，否，不清楚
2.4 PEDro量表
Physiotherapy Evidence Database
物理治疗证据数据库，1999，乔治中心的物理治疗循证中心
序号
条目
1
清楚描述受试者纳入标准
2
随机分配
3
分配隐藏
4
重要指标基线相似
5
源自文库
受试者盲法
6
治疗师盲法
7
评价者盲法
8*
>85%的受试者进行至少一项主要结局测量
• 缺点：存在诸多不组，如未考虑分配隐藏
• 推荐：将Jadad量表与隐蔽分组的评价结合起来
评价指标 随机
盲法
退出/失访
2.2 Jadad量表
Jadad scale
内容 未随机/不清楚/假随机 提及“随机”，但未描述具体的随机方法 采用“随机”，并描述了正确的随机方法 未实施双盲/假双盲 提及“双盲”，但未描述具体的施盲方法 采用“双盲”，并描述了正确的施盲方法 未提及 描述退出/失访例数及原因
1.5 临床流行病学研究设计分类
是否由研究者分配暴露
试验性研究 （是）
是否随机分配
非随机对照试验 （否）
随机对照试验 （是）
观察性研究 （否）
是否设立比较组
分析性研究 （是）
描述性研究 （否）
同期对 照试验
非同期对 平行 交叉
队列研究
病例对照研究 横断面 监
照试验
试验 试验 （暴露→结局） （暴露→结局） 研究
9
有测量结果受试者需遵方案治疗，或行意向治疗
分析
10*
对至少一项主要结局的组间统计进行报告
11
提供至少一项主要结局的点估计值和可信区间
基于Delphi清单制作，* 在Delphi清单基础上增加的条目
记分
每个条目1分， 采用“是”、 “否”进行判断
2.5 Chalmers 量表
1.4 相关名词
• 对偏倚的认识是质量评价的核心
• 偏倚（bias）又称系统误差，是指研究的结果或 推论偏离真实值，或导致这种偏离的过程，也可 以说在资料收集、分析、解释或发表过程中，能 够导致结论系统地与真实值有所不同的任何趋势
– 选择偏倚、实施偏倚、损耗偏倚、测量偏倚、报告偏 倚、其他偏倚
1.4 相关名词
一、背景 1.1 为什么要进行质量评价？
造假
造假
+
=？
垃圾
垃圾
+
=？
• 真假难辨——诚信、政策、监督 • 好坏可评——质量评价工具
1.2 质量评价评什么？
• 什么决定研究的好坏？
– 其结果接近真实情况，稳定 – 偏倚程度小（可能出现在研究设计、实施、结果分析
的整个过程） – 集中反映在研究报告的方法学部分 – 高质量报告≠高质量研究