系统评价Meta分析常用质量评价工具简介 PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6 | Chin J Evid-Based Med | May 22, 2020
1.4 相关名词
• 对偏倚的认识是质量评价的核心
• 偏倚（bias）又称系统误差，是指研究的结果或推 论偏离真实值，或导致这种偏离的过程，也可以 说在资料收集、分析、解释或发表过程中，能够 导致结论系统地与真实值有所不同的任何趋势
– 选择偏倚、实施偏倚、损耗偏倚、测量偏倚、报告偏 倚、其他偏倚
7 | Chin J Evid-Based Med | May 22, 2020
1.4 相关名词
• 质量评价（quality assessment）是评估单个研究 在设计、实施、结果分析整个过程中可能出现各 种偏倚的程度。
• 质量评价工具则是依据这些可能出现的偏倚的各 个方面设计的。主要有3种类型：
2.重要结局基线是否相似 3.清楚描述受试者入选条件 4.对结果评价者施盲 5.对研究者施盲 6.对受试者施盲 7.提供主要结局的点估计值和可信区间 8.意向治疗分析
是，否，不清楚
15 | Chin J Evid-Based Med | May 22, 2020
2.4 PEDro量表
Physiotherapy Evidence Database
记分 0 1 2 0 1 2 0 1
13 | Chin J Evid-Based Med | May 22, 2020
2.3 Delphi清单
• 由马斯特里赫特大学Verhagen及其同事1998年依据 Maastricht和Chalmers量表，遵照Delphi法制作
• 针对RCT的内部有效性、外部有效性和统计分析3个方 面
3.1.1 队列研究NOS量表
研究人群选择
条目
评价标准
暴露组的代表性如何
1. 真正代表人群中暴露组的特征； 2. 一定程度上代表了人群中暴露组的特征； 3. 选择某类人群，如护士、志愿者； 4. 未描述暴露组来源情况。
非暴露组的选择方法 1. 与暴露组来自同一人群； 2. 与暴露组来自不同人群； 3. 未描述非暴露组来源情况。
• 与RCT相比，更易受（选则性）偏倚风险影响（横断面 > 病例对照 > 队列）
• 2005年，剑桥大学Simon Sanderson等研究显示：
– 86种观察性研究质量评价工具：
• 19%→病例-对照；27%→队列；7%→横断面 • 45%→病例-对照/ 队列；15%→3种设计
• 2010年，明尼苏达大学Tatyana Shamliyan等研究显示：
• ——Jadad AR，牛津大学，1996
• 在设计与研究过程中反映结论真实性的一系列因 素，这些因素与临床试验的内部真实性、外部真 实性和统计分析有关
• ——Verhagen AP，荷兰马斯特里赫特大学，1998
5 | Chin J Evid-Based Med | May 22, 2020
1.4 相关名词
足够长
2. 否。
暴露和非暴露组的随 访是否充分
1. 随访完整；
2. 有少量研究对象失访但不至于引入偏倚 （规定失访率或描述失访情况）；
3. 有失访（规定失访率）但未行描述； 4. 未描述随访情况
21 | Chin J Evid-Based Med | May 22, 2020
3.1.2 病例-对照研究NOS量表
• 共8个条目，其中第1条又分为两个部分 • 采用“是”、“否”、“不清楚”进行判断 • 缺点：基于专家共识而非实验数据
14 | Chin J Evid-Based Med | May 22, 2020
选择偏倚
选择偏倚 选择偏倚 测量偏倚 实施偏倚 实施偏倚 ？ 随访偏倚
2.3 Delphi清单
1.治疗分组： 是否采用随机分组 是否采用分配隐藏
组间可比性 结果测量
条目
评价标准
设计和统计分析时考 1. 研究控制了最重要的混杂因素；
虑暴露组和未暴露组 2. 研究控制了任何其他的混杂因素（此条可
的可比性
修改用以说明特定控制第二重要因素。
研究对于结果的评价 是否充分
1. 盲法独立评价； 2. 有档案记录； 3. 自我报告； 4. 未描述。
结果发生后随访是否 1. 是（评价前规定恰当的随访时间）；
– 条目（component/items） – 一览表或清单（checklist） – 量表（scale）
8 | Chin J Evid-Based Med | May 22, 2020
1.5 临床流行病学研究设计分类
是否由研究者分配暴露
试验性研究 （是）
观察性研究 （否）
是否随机分配
非随机对照试验 （否）
2 | Chin J Evid-Based Med | May 22, 2020
一、背景 1.1 为什么要进行质量评价？
造假
造假
+
=？
垃圾
垃圾
+
=？
• 真假难辨——诚信、政策、监督 • 好坏可评——质量评价工具
3 | Chin J Evid-Based Med | May 22, 2020
1.2 质量评价评什么？
物理治疗证据数据库，1999，乔治中心的物理治疗循证中心
序号
条目
1
清楚描述受试者纳入标准
2
随机分配
3
分配隐藏
4
重要指标基线相似
5
受试者盲法
6
治疗师盲法
7
评价者盲法
8*
>85%的受试者进行至少一项主要结局测量
9
有测量结果受试者需遵方案治疗，或行意向治疗
分析
10*
对至少一项主要结局的组间统计进行报告
11
23 | Chin J Evid-Based Med | May 22, 2020
评价标准
1. 研究控制了最重要的混杂因素； 2. 研究控制了任何其他的混杂因素（此条可
随机对照试验 （是）
是否设立比较组
分析性研究 （是）
描述性研究 （否）
同期对 非同期对 平行 交叉
队列研究
病例对照研究
横断面 监 个案或病例
照试验
照试验
试验 试验 （暴露→结局） （暴露→结局） 研究
测
系列报告
9 | Chin J Evid-Based Med | May 22, 2020
二、RCT的质量评价工具
• 一般情况不参与记分，研究方案、统计分析、结果3 部分按6：3：1权重记分，共27个条目，总分100分
• 缺点：实施繁琐、耗时；部分内容与报告质量混淆
17 | Chin J Evid-Based Med | May 22, 2020
三、观察性研究的质量评价工具
• 非实验性研究（队列、病例-对照、横断面），未加干预，允许 事件自然发展
10 | Chin J Evid-Based Med | May 22, 2020
2.1 Cochrane偏倚风险评估工具
CJEBM干预类SR中67.6%使用
领域 选择偏倚
实施偏倚 测量偏倚 随访偏倚 报告偏倚 其他偏倚
条目
1.随机序列产生 2.分配隐藏 3.对研究者和受试者施盲 4.研究结果盲法评价 5.结果数据的完整性 6.选择性报告研究结果 7.其他偏倚来源
系统评价/Meta分析常用 质量评价工具简介
杜亮
华源自文库期刊社/中国循证医学中心 2013.5.18
1 | Chin J Evid-Based Med | May 22, 2020
提纲
• 一、背景 • 二、RCT的质量评价工具 • 三、观察性研究的质量评价工具 • 四、非随机实验性研究的质量评价工具 • 五、诊断性研究的质量评价工具 • 六、动物实验的质量评价工具 • 七、SR/Meta分析（MA）的质量评价工具
1. 无目标疾病史（端点）； 2. 未描述来源。
22 | Chin J Evid-Based Med | May 22, 2020
3.1.2 病例-对照研究NOS量表
组间可比性
条目
设计和统计分析时考 虑病例和对照的可比 性
暴露因素的测 暴露因素的确定 量
采用相同的方法确定 病例和对照组暴露因 素 无应答率
– 96种观察性研究质量评价工具（46量表，51清单）：
• 21.88%→队列；13.54%→病例-对照；5.21%→横断面
18 | Chin J Evid-Based Med | May 22, 2020
3.1 NOS量表
The Newcastle-Ottawa Scale
• 纽卡斯尔-渥太华量表（The Newcastle-Ottawa Scale, NOS） • 3大块（人群选择、可比性、暴露评价或结果评价），8个条目 • 采用星级系统的半量化原则，满分队列研究为13颗星，病例-对
• RCT是实验性研究设计中的“金标准” • AHRQ研究显示，涉及RCT的评价工具共20种量表、11
种清单及1种组成部分的评价工具和7类指导性文件 • RCT：采用随机分配方法（随机数字表、计算机随机
序列、抛硬币法等）将受试者分入不同处理组。 • CCT：采用半随机分配方法（按入院顺序、住院号、
研究对象生日的奇偶）分配到不同处理组。
提供至少一项主要结局的点估计值和可信区间
16基| 于CDhineJlpEvhidi-B清ase单d M制ed 作| Ma，y 2*2, 2在020Delphi清单基础上增加的条目
记分
每个条目1分， 采用“是”、 “否”进行判断
2.5 Chalmers 量表
• 1981年由Chalmers等提出
• 分一般情况记录、研究方案、统计分析、结果陈述4 部分，36个条目，均为经验条目
倚有直接关系的试验特征
• 缺点：存在诸多不组，如未考虑分配隐藏 • 推荐：将Jadad量表与隐蔽分组的评价结合起来
12 | Chin J Evid-Based Med | May 22, 2020
评价指标 随机
盲法
退出/失访
2.2 Jadad量表
Jadad scale
内容 未随机/不清楚/假随机 提及“随机”，但未描述具体的随机方法 采用“随机”，并描述了正确的随机方法 未实施双盲/假双盲 提及“双盲”，但未描述具体的施盲方法 采用“双盲”，并描述了正确的施盲方法 未提及 描述退出/失访例数及原因
条目 研究人群选择 病例确定是否恰当
病例的代表性 对照的选择
对照的确定
评价标准
1. 恰当，有独立的确定方法和人员； 2. 恰当，如基于档案记录或自我报告； 3. 未描述。
1. 连续或有代表性的系列病例； 2. 有潜在的选择偏倚或未描述。
1. 与病例同一人群的对照； 2. 与病例同一人群的住院人员为对照； 3. 未描述。
• 真实性
– 是指研究的设计和实施中防止系统误差或偏倚的程度，主要 包括内部真实性与外部真实性
• 内部真实性
– 是指单个研究结果接近真实值的程度，即受各种偏倚因素， 如选择偏倚、实施偏倚、失访偏倚及测量偏倚的影响情况。
• 外部真实性
– 又称适用性或外部有效性，主要指研究结果是否可以应用于 研究对象以外的其他人群，即结果的使用价值与推广应用的 条件，主要与研究对象的特征、干预措施和结局的选择标准 有关。
暴露因素的确定方法
1. 固定的档案记录（如外科手术记录）； 2. 采用结构式访谈； 3. 研究对象自己写的报告； 4. 未描述。
确定研究起始时尚无 1. 是； 要观察的结局指标 2. 否。
20 | Chin J Evid-Based Med | May 22, 2020
3.1.1 队列研究NOS量表
• 什么决定研究的好坏？
– 其结果接近真实情况，稳定 – 偏倚程度小（可能出现在研究设计、实施、结果分析
的整个过程） – 集中反映在研究报告的方法学部分 – 高质量报告≠高质量研究
4 | Chin J Evid-Based Med | May 22, 2020
1.3 质量的定义
• 试验设计产生无偏倚结论的可能性（内部真实性）
照研究9颗星 • 被Cochrane协作网的非随机研究方法学组用于培训，并被推荐
使用。 • 免费下载网址
http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp
19 | Chin J Evid-Based Med | May 22, 2020
说明
11 | Chin J Evid-Based Med | May 22, 2020
2.2 Jadad量表
Jadad scale
CJEBM干预类SR中12.1%使用
• 1996年由Jadad等发布 • 最初目的是为了评价疼痛治疗的RCT质量，从随机方案及其隐匿、
盲法、退出与失访病例的原因及数量3方面进行评价 • 采用0-5分计分法，≤2分为低质量，≥3分为高质量 • 优点：简单明了，直接评价经验证的、与试验效应估计中的偏
1.4 相关名词
• 对偏倚的认识是质量评价的核心
• 偏倚（bias）又称系统误差，是指研究的结果或推 论偏离真实值，或导致这种偏离的过程，也可以 说在资料收集、分析、解释或发表过程中，能够 导致结论系统地与真实值有所不同的任何趋势
– 选择偏倚、实施偏倚、损耗偏倚、测量偏倚、报告偏 倚、其他偏倚
7 | Chin J Evid-Based Med | May 22, 2020
1.4 相关名词
• 质量评价（quality assessment）是评估单个研究 在设计、实施、结果分析整个过程中可能出现各 种偏倚的程度。
• 质量评价工具则是依据这些可能出现的偏倚的各 个方面设计的。主要有3种类型：
2.重要结局基线是否相似 3.清楚描述受试者入选条件 4.对结果评价者施盲 5.对研究者施盲 6.对受试者施盲 7.提供主要结局的点估计值和可信区间 8.意向治疗分析
是，否，不清楚
15 | Chin J Evid-Based Med | May 22, 2020
2.4 PEDro量表
Physiotherapy Evidence Database
记分 0 1 2 0 1 2 0 1
13 | Chin J Evid-Based Med | May 22, 2020
2.3 Delphi清单
• 由马斯特里赫特大学Verhagen及其同事1998年依据 Maastricht和Chalmers量表，遵照Delphi法制作
• 针对RCT的内部有效性、外部有效性和统计分析3个方 面
3.1.1 队列研究NOS量表
研究人群选择
条目
评价标准
暴露组的代表性如何
1. 真正代表人群中暴露组的特征； 2. 一定程度上代表了人群中暴露组的特征； 3. 选择某类人群，如护士、志愿者； 4. 未描述暴露组来源情况。
非暴露组的选择方法 1. 与暴露组来自同一人群； 2. 与暴露组来自不同人群； 3. 未描述非暴露组来源情况。
• 与RCT相比，更易受（选则性）偏倚风险影响（横断面 > 病例对照 > 队列）
• 2005年，剑桥大学Simon Sanderson等研究显示：
– 86种观察性研究质量评价工具：
• 19%→病例-对照；27%→队列；7%→横断面 • 45%→病例-对照/ 队列；15%→3种设计
• 2010年，明尼苏达大学Tatyana Shamliyan等研究显示：
• ——Jadad AR，牛津大学，1996
• 在设计与研究过程中反映结论真实性的一系列因 素，这些因素与临床试验的内部真实性、外部真 实性和统计分析有关
• ——Verhagen AP，荷兰马斯特里赫特大学，1998
5 | Chin J Evid-Based Med | May 22, 2020
1.4 相关名词
足够长
2. 否。
暴露和非暴露组的随 访是否充分
1. 随访完整；
2. 有少量研究对象失访但不至于引入偏倚 （规定失访率或描述失访情况）；
3. 有失访（规定失访率）但未行描述； 4. 未描述随访情况
21 | Chin J Evid-Based Med | May 22, 2020
3.1.2 病例-对照研究NOS量表
• 共8个条目，其中第1条又分为两个部分 • 采用“是”、“否”、“不清楚”进行判断 • 缺点：基于专家共识而非实验数据
14 | Chin J Evid-Based Med | May 22, 2020
选择偏倚
选择偏倚 选择偏倚 测量偏倚 实施偏倚 实施偏倚 ？ 随访偏倚
2.3 Delphi清单
1.治疗分组： 是否采用随机分组 是否采用分配隐藏
组间可比性 结果测量
条目
评价标准
设计和统计分析时考 1. 研究控制了最重要的混杂因素；
虑暴露组和未暴露组 2. 研究控制了任何其他的混杂因素（此条可
的可比性
修改用以说明特定控制第二重要因素。
研究对于结果的评价 是否充分
1. 盲法独立评价； 2. 有档案记录； 3. 自我报告； 4. 未描述。
结果发生后随访是否 1. 是（评价前规定恰当的随访时间）；
– 条目（component/items） – 一览表或清单（checklist） – 量表（scale）
8 | Chin J Evid-Based Med | May 22, 2020
1.5 临床流行病学研究设计分类
是否由研究者分配暴露
试验性研究 （是）
观察性研究 （否）
是否随机分配
非随机对照试验 （否）
2 | Chin J Evid-Based Med | May 22, 2020
一、背景 1.1 为什么要进行质量评价？
造假
造假
+
=？
垃圾
垃圾
+
=？
• 真假难辨——诚信、政策、监督 • 好坏可评——质量评价工具
3 | Chin J Evid-Based Med | May 22, 2020
1.2 质量评价评什么？
物理治疗证据数据库，1999，乔治中心的物理治疗循证中心
序号
条目
1
清楚描述受试者纳入标准
2
随机分配
3
分配隐藏
4
重要指标基线相似
5
受试者盲法
6
治疗师盲法
7
评价者盲法
8*
>85%的受试者进行至少一项主要结局测量
9
有测量结果受试者需遵方案治疗，或行意向治疗
分析
10*
对至少一项主要结局的组间统计进行报告
11
23 | Chin J Evid-Based Med | May 22, 2020
评价标准
1. 研究控制了最重要的混杂因素； 2. 研究控制了任何其他的混杂因素（此条可
随机对照试验 （是）
是否设立比较组
分析性研究 （是）
描述性研究 （否）
同期对 非同期对 平行 交叉
队列研究
病例对照研究
横断面 监 个案或病例
照试验
照试验
试验 试验 （暴露→结局） （暴露→结局） 研究
测
系列报告
9 | Chin J Evid-Based Med | May 22, 2020
二、RCT的质量评价工具
• 一般情况不参与记分，研究方案、统计分析、结果3 部分按6：3：1权重记分，共27个条目，总分100分
• 缺点：实施繁琐、耗时；部分内容与报告质量混淆
17 | Chin J Evid-Based Med | May 22, 2020
三、观察性研究的质量评价工具
• 非实验性研究（队列、病例-对照、横断面），未加干预，允许 事件自然发展
10 | Chin J Evid-Based Med | May 22, 2020
2.1 Cochrane偏倚风险评估工具
CJEBM干预类SR中67.6%使用
领域 选择偏倚
实施偏倚 测量偏倚 随访偏倚 报告偏倚 其他偏倚
条目
1.随机序列产生 2.分配隐藏 3.对研究者和受试者施盲 4.研究结果盲法评价 5.结果数据的完整性 6.选择性报告研究结果 7.其他偏倚来源
系统评价/Meta分析常用 质量评价工具简介
杜亮
华源自文库期刊社/中国循证医学中心 2013.5.18
1 | Chin J Evid-Based Med | May 22, 2020
提纲
• 一、背景 • 二、RCT的质量评价工具 • 三、观察性研究的质量评价工具 • 四、非随机实验性研究的质量评价工具 • 五、诊断性研究的质量评价工具 • 六、动物实验的质量评价工具 • 七、SR/Meta分析（MA）的质量评价工具
1. 无目标疾病史（端点）； 2. 未描述来源。
22 | Chin J Evid-Based Med | May 22, 2020
3.1.2 病例-对照研究NOS量表
组间可比性
条目
设计和统计分析时考 虑病例和对照的可比 性
暴露因素的测 暴露因素的确定 量
采用相同的方法确定 病例和对照组暴露因 素 无应答率
– 96种观察性研究质量评价工具（46量表，51清单）：
• 21.88%→队列；13.54%→病例-对照；5.21%→横断面
18 | Chin J Evid-Based Med | May 22, 2020
3.1 NOS量表
The Newcastle-Ottawa Scale
• 纽卡斯尔-渥太华量表（The Newcastle-Ottawa Scale, NOS） • 3大块（人群选择、可比性、暴露评价或结果评价），8个条目 • 采用星级系统的半量化原则，满分队列研究为13颗星，病例-对
• RCT是实验性研究设计中的“金标准” • AHRQ研究显示，涉及RCT的评价工具共20种量表、11
种清单及1种组成部分的评价工具和7类指导性文件 • RCT：采用随机分配方法（随机数字表、计算机随机
序列、抛硬币法等）将受试者分入不同处理组。 • CCT：采用半随机分配方法（按入院顺序、住院号、
研究对象生日的奇偶）分配到不同处理组。
提供至少一项主要结局的点估计值和可信区间
16基| 于CDhineJlpEvhidi-B清ase单d M制ed 作| Ma，y 2*2, 2在020Delphi清单基础上增加的条目
记分
每个条目1分， 采用“是”、 “否”进行判断
2.5 Chalmers 量表
• 1981年由Chalmers等提出
• 分一般情况记录、研究方案、统计分析、结果陈述4 部分，36个条目，均为经验条目
倚有直接关系的试验特征
• 缺点：存在诸多不组，如未考虑分配隐藏 • 推荐：将Jadad量表与隐蔽分组的评价结合起来
12 | Chin J Evid-Based Med | May 22, 2020
评价指标 随机
盲法
退出/失访
2.2 Jadad量表
Jadad scale
内容 未随机/不清楚/假随机 提及“随机”，但未描述具体的随机方法 采用“随机”，并描述了正确的随机方法 未实施双盲/假双盲 提及“双盲”，但未描述具体的施盲方法 采用“双盲”，并描述了正确的施盲方法 未提及 描述退出/失访例数及原因
条目 研究人群选择 病例确定是否恰当
病例的代表性 对照的选择
对照的确定
评价标准
1. 恰当，有独立的确定方法和人员； 2. 恰当，如基于档案记录或自我报告； 3. 未描述。
1. 连续或有代表性的系列病例； 2. 有潜在的选择偏倚或未描述。
1. 与病例同一人群的对照； 2. 与病例同一人群的住院人员为对照； 3. 未描述。
• 真实性
– 是指研究的设计和实施中防止系统误差或偏倚的程度，主要 包括内部真实性与外部真实性
• 内部真实性
– 是指单个研究结果接近真实值的程度，即受各种偏倚因素， 如选择偏倚、实施偏倚、失访偏倚及测量偏倚的影响情况。
• 外部真实性
– 又称适用性或外部有效性，主要指研究结果是否可以应用于 研究对象以外的其他人群，即结果的使用价值与推广应用的 条件，主要与研究对象的特征、干预措施和结局的选择标准 有关。
暴露因素的确定方法
1. 固定的档案记录（如外科手术记录）； 2. 采用结构式访谈； 3. 研究对象自己写的报告； 4. 未描述。
确定研究起始时尚无 1. 是； 要观察的结局指标 2. 否。
20 | Chin J Evid-Based Med | May 22, 2020
3.1.1 队列研究NOS量表
• 什么决定研究的好坏？
– 其结果接近真实情况，稳定 – 偏倚程度小（可能出现在研究设计、实施、结果分析
的整个过程） – 集中反映在研究报告的方法学部分 – 高质量报告≠高质量研究
4 | Chin J Evid-Based Med | May 22, 2020
1.3 质量的定义
• 试验设计产生无偏倚结论的可能性（内部真实性）
照研究9颗星 • 被Cochrane协作网的非随机研究方法学组用于培训，并被推荐
使用。 • 免费下载网址
http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp
19 | Chin J Evid-Based Med | May 22, 2020
说明
11 | Chin J Evid-Based Med | May 22, 2020
2.2 Jadad量表
Jadad scale
CJEBM干预类SR中12.1%使用
• 1996年由Jadad等发布 • 最初目的是为了评价疼痛治疗的RCT质量，从随机方案及其隐匿、
盲法、退出与失访病例的原因及数量3方面进行评价 • 采用0-5分计分法，≤2分为低质量，≥3分为高质量 • 优点：简单明了，直接评价经验证的、与试验效应估计中的偏