GRADE方法及系统评价的质量评价
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢ 真实性（研究方法是否科学合理） 如治疗性研究的对照设置、随机化及隐蔽分组、
盲法、是否按分配组别分析全部研究对象等等
➢ 重要性（研究结果是否有价值） 如相对效应与绝对效应（RRR和ARR），NNT，
效应的一致性，效应估计的精确性（95% CI），统 计学意义与临床意义等；灵敏度、特异度、阳性及 阴性预测值等（对诊断性研究）
产生：只要所选的样本不能代表整体 特征就可能产生 • 选择时 • 分组时
11
选择性偏倚的分类： • 组成成员偏倚（membership bias）
自愿入组
目标人群
基线情况：试验组≠ 对照组
试验组 对照组
12
• 诊断信息偏倚（detection signal bias 或 unmasking bias）
GRADE方法及系统评价的质量评价
杨晓妍 四川大学 华西临床医学院/华西医院
2015年7月
内容：
一、影响研究质量的因素 二、GRADE方法 三、系统评价的质量评价 四、实例
2
一、影响研究质量的因素
科研道德
随机误差
机遇 chance
系统误差
Winter,2002
偏倚 bias
Wan CM,MD PhD
➢ 适用性（研究结果是否可推广） 如患者特点、干预措施是否适用、价值观等
36
评价系统评价需要考虑的方面：
应从其制作全过程的各关键环节展开，如：
• 提出的决策问题是否恰当 • 该问题是否在进行系统评价前即已提出（对Cochrane系统评价必
须事先发表系统评价计划书） • 检索原始研究是否全面及是否评价了发表偏倚 • 纳入及排除标准设置是否恰当 • 是否有重复的文献筛选、资料提取及原始研究质量评价过程（如至
➢ 实施研究时： 参照设计方案严格实施，做好关键点控制
➢ 总结研究结果时： 基于研究实施及结果，全面规范报告
21
措施：
• 设计方案的选择 • 纳入/排除标准的制定 • 对照 • 随机（随机抽样、随机分组） • 盲法（盲谁？） • 限制 • 匹配 • 分层方法（分层抽样、分层随机、分层分析等） • 入组后维持均衡性的措施（依从性、失访、是否依从者的
非研究因素
混杂因素示意
17
产生： 存在两种以上的因素，其中包括研究因素和非研究因素 非研究因素对最后结果有影响，且与研究因素有关 非研究因素不是研究因素与疾病因果关系的中间因素 在研究因素的不同水平，非研究因素的分布不一致
18
eg：服用维生素E与心肌梗死
组别
服用维生素Leabharlann Baidu 未服用维生素E
心肌梗死
有
机遇（chance）： 又称为概率（probability），是指某一事件
发生的可能性大小。对于一个假定完全避免了偏 倚的样本作观察时，所得结果仍会与真实情况有 一定差异。这是来自于测量过程本身或生物学变 异所产生的随机变异（random variation）造成 的，这种单纯由机会引起的差异称为机遇，是一 种随机误差。
指标 偏倚与机遇的关系示意图
9
（一）偏倚 偏倚的分类 ➢ 选择性偏倚（selection bias） ➢ 测量性偏倚（measurement bias） ➢ 混杂性偏倚（confounding bias）
10
1.选择性偏倚（selection bias）
定义： 不正确地选择了研究对象，使研
究开始时，两组研究对象就存在除研 究因素以外的其它因素分布的不均衡 性，因而导致研究结果与真实情况之 间产生差异。
以发表于某杂志的SR为对象的（如《中国循证医学杂志》、《中华儿科 杂志》）
以研究领域的SR为对象的（如护理、公共卫生）
以疾病或疾病状况的SR为对象的（如肺癌、脑出血）
以治疗手段的SR为对象的（如针灸、中药等）
以从业者发表的SR为对象的（如药学人员）
……
35
评价医学文献的一般原则：
analysis • Various restrictions in practice • Threshold set to limit chance’s effect within
an acceptable interval 2、观察对象间的差异大小——重要因素 3、观察结果的差异——重要参数 4、对两类错误的容许范围
34
系统评价再评价（Overview ）的研究现状
20世纪末国外学者开始进行系统评价再评价研究
国内发表的overview始见于2010年，较英、美、澳等国晚十年
至2013年4月检索到十篇中文，之后的两年内发表文献增加了一倍
以“系统评价”和“质量”为主题词检索CNKI（ 2015-6-30 ），检 中5486条结果，文献可归纳为：
9个方面，10个条目，其中1个综合评分：
39
AMSTAR 11个条目
40
AMSTAR(continued)
41
PRISMA
7个方面27个条目
42
PRISMA(continued)
43
注意：
无论何种工具都有其适用条件及局限性，须结合专业及具体情 况有选择、有甄别地使用 各工具均基于报告内容，研究未报告某些重要影响因素信息时 对其评价并不全面 有的工具未提供总评价条目，就不必强求总评分，因涉及各条 目的权重，本身就是一个需要研究的问题 评价的关键是使用者结合具体情况，对影响SR质量的各个方面 作出自己的判断 评价系统评价的核心问题是评价其可重复性及偏倚控制情况
7
偏倚与机遇的关系：
共性：
不同点： 本质 方向性 能否避免 控制方法
偏倚
任何类型研究 任何研究阶段
影响真实性
机遇
系统误差 有 能
完善设计、分析手段， 客观测量
随机误差 无
不能 扩大样本，限制大小
8
真值
观
●
察
●
次
●
数
●
●
●
●
●
测量值
●
●
●●
● ● ●●
● ●●
●●
● ●
● ●
●●
●
●● ●
机遇
偏倚
120
心肌梗死
有
无
240
30
580
300
心肌梗死
有
无
160
570
20
100
吸烟率（%） 27 88
RR=1.35>1
RR=1.32>1
20
偏倚防控
策略:
➢ 制定研究方案（计划书）时：
• 遵循科研设计基本原则（随机、对照、盲法、基线可比） • 参照相关质量评价标准 • 根据偏倚类型、产生阶段及产生原因合理选择控制措施
5
总体： 根据研究目的确定的全体同质观察对象。
样本： 从总体中按一定方式抽取出来的部分观察单
位的集合。
抽样： 总体中抽取部分观察单位获得样本的过程。
抽样误差： 样本与总体之间由于抽样过程引起的差异，
在统计学上称为抽样误差。
6
偏倚（bias）： 当临床研究受到某些因素的影响，使最终观
察的结果一致向真实结果的某一方向偏离的现象， 即称为偏倚。是一种系统误差。
少两人独立地进行） • 是否提供了纳入研究特征表或用文字表述 • 综合各研究结果的方法是否恰当 • 得出结论时是否考虑了纳入研究的质量 • 是否申明利益冲突 • ……
37
系统评价再评价工具
➢ 方法学质量评价工具：OQAQ和AMSTAR ➢ 报告质量评价工具：PRISMA
38
Overview Quality Assessment Questionnaire (OQAQ)
GRADE分级软件（GRADEprofiler，简 称GRADEpro）
该软件可免费下载和安装 （http://ims.cochrane.org/revman/gradepro）
该软件主要用于创建结果总结表（Summary of Findings，SoF） 和证据概要表（GRADE evidence profile）
➢以系统评价为证据来源的进一步研究综合被称为系统评 价再评价（Overview），其本质是一种系统评价，是针 对同一问题多个系统评价的一种综合研究方法。
➢Overview在以下情况下可能有用：总结针对某种疾病 的多种干预措施证据（最常见），或总结某种干预措施 治疗不同疾病的证据，或总结某种干预措施的不良反应 （价值有限）。其方法仍在发展中。
25
GRADE证据质量评价与推荐强度评级
GRADE将证据质量分为高、中、低、极低4级， 推荐强度分为强、弱2级，对应解释如下： 证据质量
高： 非常确信（很有把握认为真实值与估计值接近） 中： 信心一般（真实值可能与估计值接近，但存在二者
完全不同的可能性） 低： 信心有限（真实值可能与估计值完全不同） 极低：几乎没什么信心（估计值很不确定）
14
测量性偏倚的分类： • 疑诊偏倚（diagnostic-suspicious bias），也称期
望偏倚 关注组阳性发现 非关注组阳性发现 • 沾染性偏倚（contamination bias） 差异 • 干扰性偏倚（co-intervention bias） 差异 • 其他测量性偏倚
15
3. 混杂性偏倚（confounding bias） 定义：
简称混杂，研究暴露于某因素与某疾病 之间的关系时，由于一个或多个既与疾病有 关，又与暴露因素相关的外部因素 （extraneous）的影响，掩盖或夸大了研究 的暴露因素与该疾病的联系。这种影响所带 来的误差称为混杂偏倚或混杂。
16
研究因素
观察到的关联 推断的因果关系
疾病 结局
未观察到的关联
真正的关联
推荐强度
强：明确显示干预措施利大于弊或弊大于利 弱：利弊不确定或无论质量高低的证据均显示利弊相当
26
影响证据质量的八因素
起点
可能升高级别的因素：
可能降低级别的因素：
✓效应量大 ✓剂量反应关系
➢偏倚风险
✓混杂因素会降低效应
➢不一致性（对系统评价）
➢间接性
起点
➢不精确性
➢发表偏倚（对系统评价）
27
28
特征差异等） • 统计分析控制（标准化法、分层分析、多因素分析） • 操作层面的控制（技术方案、培训、统一工具并校正、数
据录入与质控、分析方法选择与参数设置、全面报告） • ……
22
（二）机遇
影响机遇的因素
1、样本大小——主要因素 • Rationale for large sample study and meta
无
400
600
600
400
RR=0.67<1 （保护因素）
发现： 组别
吸烟 不吸烟
心肌梗死
有
无
820
350
180
670
RR=3.38 （危险因素）
19
组别
服用维生素E 未服用维生素E 吸烟者中：
组别
服用维生素E 未服用维生素E 不吸烟者中：
组别
服用维生素E 未服用维生素E
吸烟
有
无
270
730
880
研 究 结 果 的 真 实 可 靠
3
几个基本概念
➢试验性研究与非试验性研究 ➢总体与样本 ➢抽样与抽样误差 ➢偏倚与机遇
4
试验性研究： 对可进行人为分组的对象，人为施加某种干
预措施，以探讨该措施对各组结局影响的研究 非试验性研究：
亦称观察性研究，指对无法进行人为分组的 对象，被动观察各组相关特征的差别，以探讨某 因素（特征）在各组间的差异
结果总结表(Summary of Findings，SoF) 示例
Source: GRADE-1
30
续表：
31
证据概要表(GRADE evidence profile) 示例
Source: GRADE-1
32
续表：
33
三、系统评价的质量评价
➢系统评价（SR）作为合成证据，是一种重要的证据形 式，其信息含量高，是决策的重要基础，但其质量仍存 在差异
关注真阴性还是真阳性 两类错误的大小仅反映研究受机遇影响的大小，并不 代表研究的总体质量
23
二、GRADE方法
用于系统评价、卫生技术评估（HTAs）及临 床实践指南中备选方案的证据质量评价和推 荐强度评级的系统 当前最成熟的应用领域为干预性系统评价和 治疗性临床实践指南
24
上述译文见《中国循证医学杂志》，原文见Journal of Clinical Epidemiology 其他资源：GRADE工作组主页(http://www.gradeworkinggroup.org/)
89
106
195
OR=9.8
OR=1.7
86.5% VS 58.4%
• 其他选择性偏倚
13
2. 测量性偏倚（measurement bias）
定义： 在资料收集阶段，由于观察和测量方
法上有缺陷，组间不一致，使各组所获得 的信息产生系统误差，即为测量性偏倚 （信息偏倚）。
产生： • 对两组观察强度或频度差异 • 实验非规范化操作 • 影像学资料定性或定量差异
在选择纳入观察病例时，因某种与观察内容 无直接关系的症状或体征，加速或促进本病的发 现，而错误地判定因果关系。
eg：绝经期妇女服用雌激素与子宫内膜癌
组别
服用雌激素 未服用雌激素
以阴道出血纳入观察子宫内 膜癌病例
有
无
合计
45
7
52
72
110
182
以病理诊断纳入观察子宫内 膜癌病例
有
无
合计
59
42
101
盲法、是否按分配组别分析全部研究对象等等
➢ 重要性（研究结果是否有价值） 如相对效应与绝对效应（RRR和ARR），NNT，
效应的一致性，效应估计的精确性（95% CI），统 计学意义与临床意义等；灵敏度、特异度、阳性及 阴性预测值等（对诊断性研究）
产生：只要所选的样本不能代表整体 特征就可能产生 • 选择时 • 分组时
11
选择性偏倚的分类： • 组成成员偏倚（membership bias）
自愿入组
目标人群
基线情况：试验组≠ 对照组
试验组 对照组
12
• 诊断信息偏倚（detection signal bias 或 unmasking bias）
GRADE方法及系统评价的质量评价
杨晓妍 四川大学 华西临床医学院/华西医院
2015年7月
内容：
一、影响研究质量的因素 二、GRADE方法 三、系统评价的质量评价 四、实例
2
一、影响研究质量的因素
科研道德
随机误差
机遇 chance
系统误差
Winter,2002
偏倚 bias
Wan CM,MD PhD
➢ 适用性（研究结果是否可推广） 如患者特点、干预措施是否适用、价值观等
36
评价系统评价需要考虑的方面：
应从其制作全过程的各关键环节展开，如：
• 提出的决策问题是否恰当 • 该问题是否在进行系统评价前即已提出（对Cochrane系统评价必
须事先发表系统评价计划书） • 检索原始研究是否全面及是否评价了发表偏倚 • 纳入及排除标准设置是否恰当 • 是否有重复的文献筛选、资料提取及原始研究质量评价过程（如至
➢ 实施研究时： 参照设计方案严格实施，做好关键点控制
➢ 总结研究结果时： 基于研究实施及结果，全面规范报告
21
措施：
• 设计方案的选择 • 纳入/排除标准的制定 • 对照 • 随机（随机抽样、随机分组） • 盲法（盲谁？） • 限制 • 匹配 • 分层方法（分层抽样、分层随机、分层分析等） • 入组后维持均衡性的措施（依从性、失访、是否依从者的
非研究因素
混杂因素示意
17
产生： 存在两种以上的因素，其中包括研究因素和非研究因素 非研究因素对最后结果有影响，且与研究因素有关 非研究因素不是研究因素与疾病因果关系的中间因素 在研究因素的不同水平，非研究因素的分布不一致
18
eg：服用维生素E与心肌梗死
组别
服用维生素Leabharlann Baidu 未服用维生素E
心肌梗死
有
机遇（chance）： 又称为概率（probability），是指某一事件
发生的可能性大小。对于一个假定完全避免了偏 倚的样本作观察时，所得结果仍会与真实情况有 一定差异。这是来自于测量过程本身或生物学变 异所产生的随机变异（random variation）造成 的，这种单纯由机会引起的差异称为机遇，是一 种随机误差。
指标 偏倚与机遇的关系示意图
9
（一）偏倚 偏倚的分类 ➢ 选择性偏倚（selection bias） ➢ 测量性偏倚（measurement bias） ➢ 混杂性偏倚（confounding bias）
10
1.选择性偏倚（selection bias）
定义： 不正确地选择了研究对象，使研
究开始时，两组研究对象就存在除研 究因素以外的其它因素分布的不均衡 性，因而导致研究结果与真实情况之 间产生差异。
以发表于某杂志的SR为对象的（如《中国循证医学杂志》、《中华儿科 杂志》）
以研究领域的SR为对象的（如护理、公共卫生）
以疾病或疾病状况的SR为对象的（如肺癌、脑出血）
以治疗手段的SR为对象的（如针灸、中药等）
以从业者发表的SR为对象的（如药学人员）
……
35
评价医学文献的一般原则：
analysis • Various restrictions in practice • Threshold set to limit chance’s effect within
an acceptable interval 2、观察对象间的差异大小——重要因素 3、观察结果的差异——重要参数 4、对两类错误的容许范围
34
系统评价再评价（Overview ）的研究现状
20世纪末国外学者开始进行系统评价再评价研究
国内发表的overview始见于2010年，较英、美、澳等国晚十年
至2013年4月检索到十篇中文，之后的两年内发表文献增加了一倍
以“系统评价”和“质量”为主题词检索CNKI（ 2015-6-30 ），检 中5486条结果，文献可归纳为：
9个方面，10个条目，其中1个综合评分：
39
AMSTAR 11个条目
40
AMSTAR(continued)
41
PRISMA
7个方面27个条目
42
PRISMA(continued)
43
注意：
无论何种工具都有其适用条件及局限性，须结合专业及具体情 况有选择、有甄别地使用 各工具均基于报告内容，研究未报告某些重要影响因素信息时 对其评价并不全面 有的工具未提供总评价条目，就不必强求总评分，因涉及各条 目的权重，本身就是一个需要研究的问题 评价的关键是使用者结合具体情况，对影响SR质量的各个方面 作出自己的判断 评价系统评价的核心问题是评价其可重复性及偏倚控制情况
7
偏倚与机遇的关系：
共性：
不同点： 本质 方向性 能否避免 控制方法
偏倚
任何类型研究 任何研究阶段
影响真实性
机遇
系统误差 有 能
完善设计、分析手段， 客观测量
随机误差 无
不能 扩大样本，限制大小
8
真值
观
●
察
●
次
●
数
●
●
●
●
●
测量值
●
●
●●
● ● ●●
● ●●
●●
● ●
● ●
●●
●
●● ●
机遇
偏倚
120
心肌梗死
有
无
240
30
580
300
心肌梗死
有
无
160
570
20
100
吸烟率（%） 27 88
RR=1.35>1
RR=1.32>1
20
偏倚防控
策略:
➢ 制定研究方案（计划书）时：
• 遵循科研设计基本原则（随机、对照、盲法、基线可比） • 参照相关质量评价标准 • 根据偏倚类型、产生阶段及产生原因合理选择控制措施
5
总体： 根据研究目的确定的全体同质观察对象。
样本： 从总体中按一定方式抽取出来的部分观察单
位的集合。
抽样： 总体中抽取部分观察单位获得样本的过程。
抽样误差： 样本与总体之间由于抽样过程引起的差异，
在统计学上称为抽样误差。
6
偏倚（bias）： 当临床研究受到某些因素的影响，使最终观
察的结果一致向真实结果的某一方向偏离的现象， 即称为偏倚。是一种系统误差。
少两人独立地进行） • 是否提供了纳入研究特征表或用文字表述 • 综合各研究结果的方法是否恰当 • 得出结论时是否考虑了纳入研究的质量 • 是否申明利益冲突 • ……
37
系统评价再评价工具
➢ 方法学质量评价工具：OQAQ和AMSTAR ➢ 报告质量评价工具：PRISMA
38
Overview Quality Assessment Questionnaire (OQAQ)
GRADE分级软件（GRADEprofiler，简 称GRADEpro）
该软件可免费下载和安装 （http://ims.cochrane.org/revman/gradepro）
该软件主要用于创建结果总结表（Summary of Findings，SoF） 和证据概要表（GRADE evidence profile）
➢以系统评价为证据来源的进一步研究综合被称为系统评 价再评价（Overview），其本质是一种系统评价，是针 对同一问题多个系统评价的一种综合研究方法。
➢Overview在以下情况下可能有用：总结针对某种疾病 的多种干预措施证据（最常见），或总结某种干预措施 治疗不同疾病的证据，或总结某种干预措施的不良反应 （价值有限）。其方法仍在发展中。
25
GRADE证据质量评价与推荐强度评级
GRADE将证据质量分为高、中、低、极低4级， 推荐强度分为强、弱2级，对应解释如下： 证据质量
高： 非常确信（很有把握认为真实值与估计值接近） 中： 信心一般（真实值可能与估计值接近，但存在二者
完全不同的可能性） 低： 信心有限（真实值可能与估计值完全不同） 极低：几乎没什么信心（估计值很不确定）
14
测量性偏倚的分类： • 疑诊偏倚（diagnostic-suspicious bias），也称期
望偏倚 关注组阳性发现 非关注组阳性发现 • 沾染性偏倚（contamination bias） 差异 • 干扰性偏倚（co-intervention bias） 差异 • 其他测量性偏倚
15
3. 混杂性偏倚（confounding bias） 定义：
简称混杂，研究暴露于某因素与某疾病 之间的关系时，由于一个或多个既与疾病有 关，又与暴露因素相关的外部因素 （extraneous）的影响，掩盖或夸大了研究 的暴露因素与该疾病的联系。这种影响所带 来的误差称为混杂偏倚或混杂。
16
研究因素
观察到的关联 推断的因果关系
疾病 结局
未观察到的关联
真正的关联
推荐强度
强：明确显示干预措施利大于弊或弊大于利 弱：利弊不确定或无论质量高低的证据均显示利弊相当
26
影响证据质量的八因素
起点
可能升高级别的因素：
可能降低级别的因素：
✓效应量大 ✓剂量反应关系
➢偏倚风险
✓混杂因素会降低效应
➢不一致性（对系统评价）
➢间接性
起点
➢不精确性
➢发表偏倚（对系统评价）
27
28
特征差异等） • 统计分析控制（标准化法、分层分析、多因素分析） • 操作层面的控制（技术方案、培训、统一工具并校正、数
据录入与质控、分析方法选择与参数设置、全面报告） • ……
22
（二）机遇
影响机遇的因素
1、样本大小——主要因素 • Rationale for large sample study and meta
无
400
600
600
400
RR=0.67<1 （保护因素）
发现： 组别
吸烟 不吸烟
心肌梗死
有
无
820
350
180
670
RR=3.38 （危险因素）
19
组别
服用维生素E 未服用维生素E 吸烟者中：
组别
服用维生素E 未服用维生素E 不吸烟者中：
组别
服用维生素E 未服用维生素E
吸烟
有
无
270
730
880
研 究 结 果 的 真 实 可 靠
3
几个基本概念
➢试验性研究与非试验性研究 ➢总体与样本 ➢抽样与抽样误差 ➢偏倚与机遇
4
试验性研究： 对可进行人为分组的对象，人为施加某种干
预措施，以探讨该措施对各组结局影响的研究 非试验性研究：
亦称观察性研究，指对无法进行人为分组的 对象，被动观察各组相关特征的差别，以探讨某 因素（特征）在各组间的差异
结果总结表(Summary of Findings，SoF) 示例
Source: GRADE-1
30
续表：
31
证据概要表(GRADE evidence profile) 示例
Source: GRADE-1
32
续表：
33
三、系统评价的质量评价
➢系统评价（SR）作为合成证据，是一种重要的证据形 式，其信息含量高，是决策的重要基础，但其质量仍存 在差异
关注真阴性还是真阳性 两类错误的大小仅反映研究受机遇影响的大小，并不 代表研究的总体质量
23
二、GRADE方法
用于系统评价、卫生技术评估（HTAs）及临 床实践指南中备选方案的证据质量评价和推 荐强度评级的系统 当前最成熟的应用领域为干预性系统评价和 治疗性临床实践指南
24
上述译文见《中国循证医学杂志》，原文见Journal of Clinical Epidemiology 其他资源：GRADE工作组主页(http://www.gradeworkinggroup.org/)
89
106
195
OR=9.8
OR=1.7
86.5% VS 58.4%
• 其他选择性偏倚
13
2. 测量性偏倚（measurement bias）
定义： 在资料收集阶段，由于观察和测量方
法上有缺陷，组间不一致，使各组所获得 的信息产生系统误差，即为测量性偏倚 （信息偏倚）。
产生： • 对两组观察强度或频度差异 • 实验非规范化操作 • 影像学资料定性或定量差异
在选择纳入观察病例时，因某种与观察内容 无直接关系的症状或体征，加速或促进本病的发 现，而错误地判定因果关系。
eg：绝经期妇女服用雌激素与子宫内膜癌
组别
服用雌激素 未服用雌激素
以阴道出血纳入观察子宫内 膜癌病例
有
无
合计
45
7
52
72
110
182
以病理诊断纳入观察子宫内 膜癌病例
有
无
合计
59
42
101