医学论文中存在的问题及改进措施讲解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2
一、科研设计方面的问题
1.科研设计的论证强度不高 2.缺少对照组或对照组选择不恰当 3.未采用随机化方法或随机化方法不正确 4.样本缺乏代表性 5.样本量不足
3
1.科研设计的论证强度不高
各种病因学研究设计的科学论证度
设计类型
性 质 可行性 病因论证度
随机对照试验 前瞻性
差 ++++
定群研究
前瞻性
2 研究对象选择缺陷 选择健康人作为对照 研究对象中不包括容易混淆的病例 不交代病例的严重程度 无对照组
31
3.金标准比较方法缺陷 不使用盲法 未说明重复性试验的结果 没有采用诊断性试验的评价方法
32
4.诊断性试验评价指标的缺陷 临界值确定不适当 指标计算不正确 指标评价不恰当
33
34
35
36
46
疗效性论文常见错误
事先未进行设计或者设计不完善 对随机的方法未足够的重视和说明 对照组设立不合理或者没有 不测量基线资料 受试对象的诊断不明确 不如实报告所有疗效结果 样本量太小,没有代表性
47
论文的材料与方法中入选的例数与分析结果的 例数不一致
对失访或者中途退出未交代 较少使用盲法 对结果只用数字大小下结论,不进行统计处理 所选择的统计学方法不正确 未交代偏倚、沾染和干扰等问题 未涉及远期疗效
对比不完善 影响皮质醇水平的因素不只感染一项, 应加设一个同龄健康儿童组。
9
下列特殊情况下,不可能或 不必设置对照组:
-罕见病,不易获得足够的病例数; -严重疾病,不允许病人不接受治疗; -特效药物,不给病人服用违反道德。
10
3、随机化方面的问题
随机化是科研设计的重要原则之一,是避 免偏倚和混杂因素的最有效的方法。
配对设计: 1)两个同质受试对象分别接受两种不同的
处理 2)同一受试对象分别接受两种不同的处理 3)同一受试对象处理前后
17
7、忽视重复测量特性
重复测量是指对同一试验对象的某些观 察指标在部分条件改变的前提下,进行 多次重复观察。常误用t检验或一般的方 差分析。如服用减肥药后0、8、16、24 周测体重进行比较的资料。
14
二、统计学分析方面的问题
1、缺少统计学分析 2、未说明应用的统计学方法
论文中只有P值,无法判断检验方法和统计量的 大小。读者无法对文中应用的统计学方法的正确 性进行评价。 3、使用标准误代替标准差
标准差反映一组变量值的变异程度 标准误反映抽样误差的大小 4、检验的前提不具备 每一种统计学方法都要求满足一定的前提条件, 如t检验要求资料呈正态分布,组间方差齐。
12
5、样本量不足
样本量的大小与下列因素有关:
-试验设计方法 -组间临床上有意义的最少差值 -I类和II类误差的大小 -资料类型和分析方法 -估计的应答率
13
样本量方面的问题 o 论文中对如何确定样本量没有进行说 明,即没有对上述与样本量大小有关的 信息进行描述。 o 对从小样本研究中得出的阴性结果 (无统计学意义的结果)过于自信,没 有进行客观的分析。
好 +++
病例- 对照研究 回顾性
好
++
断面研究
现况性
好
+
叙述性研究 前瞻/回顾
好
±
4
2、缺少对照组或对照组不恰当
(1)缺少对照组
"中药止血粉治疗溃疡病出血 " 用中药止血粉结合其他治疗措施,治疗36例溃 疡病出血,结果35例恢复,大便潜血试验平均 6.1天转阴。作者认为以中药止血粉为主,治 疗溃疡病出血36例,获得满意效果。
医学论文中存在的 问题及论文评阅
流行病与卫生统计学系 王虹
1
论文为什么被拒绝发表
。研究没有阐述重要的科学课题 。 研究不是原始性的(其他人已经作了同样或类似
的研究) 。 研究并没有真正检验作者所提出的假设 。 应该进行另一种类型的研究 。 执行困难(例如,筛选研究对象),使得作者改
变原先的研究方案 。 样本量太少 。 研究没有设对照组或对照不充分 。 统计学分析方法错误或不恰当 。 作者从研究资料中得出的结论不正确 。 论文写作水平太差,不能被理解
(7)诊断方法是否具有可重复性:重复性不好,结论就 不可靠。
(8)是否有有效的质量控制措施:由于有各种因素干扰 研究结果,故必须采取行之有效的质控措施。
(9)诊断试验的实用性是否良好:包括推广应用价值与 前景、有无副反应、对人是否有害等。
30
诊断性试验常见的方法学错误
1 金标准选择缺陷 以不可靠的方法作为金标准 缺乏金标准,仅与非金标准试验比较
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
59
九.预后性研究文献的评阅原则
(1)研究对象应是处于疾病早期或至少是处于同一病程 阶段的患者 (2)是否叙述了研究对象的来源:应描述研究的地区、 纳入对象的来源以及纳入标准等。 (3) 是否随访了全部研究对象 (4)是否采用了客观的预后指标 (5)是否盲法判断预后 (6)是否校正了影响预后的其它因素
用盐酸可乐定注射液治疗Ⅲ期高血压病,甲组 103例,用药剂量为0.15mg,有效率87.4%; 乙组15例,用药剂量为0.3mg,有效率100%, P<0.05。
结论:乙组优于甲组,建议推广使用0.3mg。
两组例数相差太大,不具可比性。 应扩大乙组例数
8
观察感染期患儿血浆皮质醇水平,设置 全身感染组、局部感染组,以同期非感 染组为对照
25
2、结论依据不足 例:用两药对比治疗效果,结果两组均值 无显著性差异。
可能是观察例数太少,未能揭示事物 的真相,不应过早下结论,应扩大观 察例数
26
四、资料收集、整理方面问题
医学论文中经常缺少或描述不完整的 资料有:
-研究对象的纳入、排除标准; -随机化方法; -实现盲法的方法 -获得知情同意和科研伦理委员会批准情况 -样本量的确定方法 -统计学方法的描述
t检验或一般的方差分析要求数据之间相 互独立,不存在相关性,而重复资料不 能满足这一要求,故应采用重复测量设 计资料的方差分析。
18
8、多个变量反复比较 两组之间多个变量( >10个)反复比较,使统 计学上出现第一类误差(假阳性)的机会远远 大于通常假设的0.05。
9、其他 o 相对数的误用:构成比与率混淆 o 统计图表方面的问题
(4)是否采用了随机方法抽取和分配研究对象:若不随 机就缺乏代表性和可比性,结果就不可靠。
29
(5)试验组和对照组的诊断标准、诊断程序是否相同: 若对试验组给予精细的诊断,而对照组则草草了事,或 两组的诊断标不一致,所得结果肯定不可信。
(6)正常值的确定是否合理、可靠:若正常值确定不当, 将 影响诊断试验的敏感性和特异性。
正常人一天内血压变动也可达此差值
24
甲医院用新法治疗某病,与对照组比较 p<0.01,乙医院用常规疗法治疗某病, 与对照组比较p<0.05,
说明新法治疗某病效果优于常规疗法。
统计学p值只意味着对比组之间的差异由抽 样误差造成的可能性有多大,两组各自的p 值只能说明比较者自身,与另一比较者无关
15
5、t检验代替方差分析 t检验仅用于单因素两水平设计 ,方差分析用 于单因素k水平设计(k>3)和多因素设计的定 量资料的均值检验。 医学论文中普遍存在的一种错误倾向是,多次 用t检验进行均数之间的两两比较,取代方差分 析,增加了得出错误结论的风险。
16
6、忽视配对资料特性 o 用成组t检验代替配对t检验 o 用一般卡方检验代替配对卡方检验
37
38
39
40
41
42
43
44源自文库
七.疗效性试验的评阅
研究对象是否真正随机抽样 研究对象是否真正随机分组 研究对象是否有纳入标准 研究对象是否有排除标准 所有的研究对象是否都使用相同的方法
和程序得到确诊 是否如实的报告所有病例的结果
45
是否交代了研究对象的情况 报道的病例构成是否与临床实际相同 有多少病例得到完整的随访 病人的依从性如何 是否对病人的流失进行了说明 是否区别了统计学意义和临床意义 是否评价了干预性措施的实用性和效益 是否详细描述了干预性措施
27
五、发表偏倚
造成发表偏倚的原因: 1.作者因担心阴性结果的论文不会被发 表,或自己认为阴性结果没有临床价值 而没有投稿。 2.杂志选择论文发表的标准有问题,编 辑或审稿人员更愿意发表阳性结果的论 文。 3.发表偏倚也广泛存在于药物的II期临床 试验报告中,对一些得出阴性结果的药 物研究报告药厂不愿意发表。
5
用大量碳酸钙片加次碳酸铋加维生素B6 治疗溃疡病。
不知哪种药有效,哪种药多余 可能加重病人的身体负担,也可能造成浪费
6
(2)对照组不恰当 主要有以下几种情况: -使用非同期对照或历史对照; -组间基础状况缺乏可比性; -对照组例数太少; -对照不全或多余对照; -配对设计,但两组例数不一致。
7
随机化方面常见的问题有:
-对照研究中未采用随机化分组方法。 -随机化方法错误,如奇偶数、单双日、入院顺 序等 -论文中没有描述分组方法或随机化方法描述不 充分(单纯、分层、系统及整群随机抽样法; 随机数目表、计算机生成随机数字)
11
4、样本缺乏代表性
论文中必须详细说明研究对象的来源、 纳入和排除标准,讨论中也应说明研究本身 的局限性,以便于读者判断该研究结果是否 适合于自己的情况,避免误导。
48
49
50
51
52
53
54
55
56
57
58
八.临床病因学研究论文评阅
(1)联系的强度:表示因果相关性大小的指标为联系的 强度。主要有OR、RR、AR等。 通常,联系强度越大, 因果联系的可能性就越大;反之亦然。
(2)联系的一致性: (3)因果效应的时间顺序是否确切: (4)病因的致病效应是否特异: (5)致病因素是否有剂量——效应的致病关系: (6)被研究的因果效应,与其它研究是否雷同: (7)有无动物实验的证据: (8)病因学研究是否符合流行病学规律: (9)病因学研究是否符合生物学规律:
19
人 数
年龄 岁 某市1953年乙脑患者的年龄分布
20
人 数
年龄(岁)
某市1953年乙脑患者的年龄分布(正确图)
21
22
23
三、结果解释方面的问题
1、P值含义理解错误 评价一项研究结果是否有意义,要看其是 否具有临床意义和统计学意义两个方面。
例:比较两组药物的降血压效果,平均舒 张压相差0.533kPa(4mmHg),p<0.05,认 为两药疗效不同。
28
六.诊断性试验文献的评阅原则
(1)是否将诊断与金标准进行了盲法对比:即要明确诊 断试验的真实性和可靠性。真实性和可靠性愈高,诊断 试验的价值就越大。
(2)研究对象是否包括了各型病例:轻型、重型、治疗 的、未治疗的以及有极易混淆的疾病患者都应包括进来。 这样才能保证所得结论可靠且有外推价值。
(3)研究样本量是否足够:只有足够的样本量,才能得 到可靠的结论。
一、科研设计方面的问题
1.科研设计的论证强度不高 2.缺少对照组或对照组选择不恰当 3.未采用随机化方法或随机化方法不正确 4.样本缺乏代表性 5.样本量不足
3
1.科研设计的论证强度不高
各种病因学研究设计的科学论证度
设计类型
性 质 可行性 病因论证度
随机对照试验 前瞻性
差 ++++
定群研究
前瞻性
2 研究对象选择缺陷 选择健康人作为对照 研究对象中不包括容易混淆的病例 不交代病例的严重程度 无对照组
31
3.金标准比较方法缺陷 不使用盲法 未说明重复性试验的结果 没有采用诊断性试验的评价方法
32
4.诊断性试验评价指标的缺陷 临界值确定不适当 指标计算不正确 指标评价不恰当
33
34
35
36
46
疗效性论文常见错误
事先未进行设计或者设计不完善 对随机的方法未足够的重视和说明 对照组设立不合理或者没有 不测量基线资料 受试对象的诊断不明确 不如实报告所有疗效结果 样本量太小,没有代表性
47
论文的材料与方法中入选的例数与分析结果的 例数不一致
对失访或者中途退出未交代 较少使用盲法 对结果只用数字大小下结论,不进行统计处理 所选择的统计学方法不正确 未交代偏倚、沾染和干扰等问题 未涉及远期疗效
对比不完善 影响皮质醇水平的因素不只感染一项, 应加设一个同龄健康儿童组。
9
下列特殊情况下,不可能或 不必设置对照组:
-罕见病,不易获得足够的病例数; -严重疾病,不允许病人不接受治疗; -特效药物,不给病人服用违反道德。
10
3、随机化方面的问题
随机化是科研设计的重要原则之一,是避 免偏倚和混杂因素的最有效的方法。
配对设计: 1)两个同质受试对象分别接受两种不同的
处理 2)同一受试对象分别接受两种不同的处理 3)同一受试对象处理前后
17
7、忽视重复测量特性
重复测量是指对同一试验对象的某些观 察指标在部分条件改变的前提下,进行 多次重复观察。常误用t检验或一般的方 差分析。如服用减肥药后0、8、16、24 周测体重进行比较的资料。
14
二、统计学分析方面的问题
1、缺少统计学分析 2、未说明应用的统计学方法
论文中只有P值,无法判断检验方法和统计量的 大小。读者无法对文中应用的统计学方法的正确 性进行评价。 3、使用标准误代替标准差
标准差反映一组变量值的变异程度 标准误反映抽样误差的大小 4、检验的前提不具备 每一种统计学方法都要求满足一定的前提条件, 如t检验要求资料呈正态分布,组间方差齐。
12
5、样本量不足
样本量的大小与下列因素有关:
-试验设计方法 -组间临床上有意义的最少差值 -I类和II类误差的大小 -资料类型和分析方法 -估计的应答率
13
样本量方面的问题 o 论文中对如何确定样本量没有进行说 明,即没有对上述与样本量大小有关的 信息进行描述。 o 对从小样本研究中得出的阴性结果 (无统计学意义的结果)过于自信,没 有进行客观的分析。
好 +++
病例- 对照研究 回顾性
好
++
断面研究
现况性
好
+
叙述性研究 前瞻/回顾
好
±
4
2、缺少对照组或对照组不恰当
(1)缺少对照组
"中药止血粉治疗溃疡病出血 " 用中药止血粉结合其他治疗措施,治疗36例溃 疡病出血,结果35例恢复,大便潜血试验平均 6.1天转阴。作者认为以中药止血粉为主,治 疗溃疡病出血36例,获得满意效果。
医学论文中存在的 问题及论文评阅
流行病与卫生统计学系 王虹
1
论文为什么被拒绝发表
。研究没有阐述重要的科学课题 。 研究不是原始性的(其他人已经作了同样或类似
的研究) 。 研究并没有真正检验作者所提出的假设 。 应该进行另一种类型的研究 。 执行困难(例如,筛选研究对象),使得作者改
变原先的研究方案 。 样本量太少 。 研究没有设对照组或对照不充分 。 统计学分析方法错误或不恰当 。 作者从研究资料中得出的结论不正确 。 论文写作水平太差,不能被理解
(7)诊断方法是否具有可重复性:重复性不好,结论就 不可靠。
(8)是否有有效的质量控制措施:由于有各种因素干扰 研究结果,故必须采取行之有效的质控措施。
(9)诊断试验的实用性是否良好:包括推广应用价值与 前景、有无副反应、对人是否有害等。
30
诊断性试验常见的方法学错误
1 金标准选择缺陷 以不可靠的方法作为金标准 缺乏金标准,仅与非金标准试验比较
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
59
九.预后性研究文献的评阅原则
(1)研究对象应是处于疾病早期或至少是处于同一病程 阶段的患者 (2)是否叙述了研究对象的来源:应描述研究的地区、 纳入对象的来源以及纳入标准等。 (3) 是否随访了全部研究对象 (4)是否采用了客观的预后指标 (5)是否盲法判断预后 (6)是否校正了影响预后的其它因素
用盐酸可乐定注射液治疗Ⅲ期高血压病,甲组 103例,用药剂量为0.15mg,有效率87.4%; 乙组15例,用药剂量为0.3mg,有效率100%, P<0.05。
结论:乙组优于甲组,建议推广使用0.3mg。
两组例数相差太大,不具可比性。 应扩大乙组例数
8
观察感染期患儿血浆皮质醇水平,设置 全身感染组、局部感染组,以同期非感 染组为对照
25
2、结论依据不足 例:用两药对比治疗效果,结果两组均值 无显著性差异。
可能是观察例数太少,未能揭示事物 的真相,不应过早下结论,应扩大观 察例数
26
四、资料收集、整理方面问题
医学论文中经常缺少或描述不完整的 资料有:
-研究对象的纳入、排除标准; -随机化方法; -实现盲法的方法 -获得知情同意和科研伦理委员会批准情况 -样本量的确定方法 -统计学方法的描述
t检验或一般的方差分析要求数据之间相 互独立,不存在相关性,而重复资料不 能满足这一要求,故应采用重复测量设 计资料的方差分析。
18
8、多个变量反复比较 两组之间多个变量( >10个)反复比较,使统 计学上出现第一类误差(假阳性)的机会远远 大于通常假设的0.05。
9、其他 o 相对数的误用:构成比与率混淆 o 统计图表方面的问题
(4)是否采用了随机方法抽取和分配研究对象:若不随 机就缺乏代表性和可比性,结果就不可靠。
29
(5)试验组和对照组的诊断标准、诊断程序是否相同: 若对试验组给予精细的诊断,而对照组则草草了事,或 两组的诊断标不一致,所得结果肯定不可信。
(6)正常值的确定是否合理、可靠:若正常值确定不当, 将 影响诊断试验的敏感性和特异性。
正常人一天内血压变动也可达此差值
24
甲医院用新法治疗某病,与对照组比较 p<0.01,乙医院用常规疗法治疗某病, 与对照组比较p<0.05,
说明新法治疗某病效果优于常规疗法。
统计学p值只意味着对比组之间的差异由抽 样误差造成的可能性有多大,两组各自的p 值只能说明比较者自身,与另一比较者无关
15
5、t检验代替方差分析 t检验仅用于单因素两水平设计 ,方差分析用 于单因素k水平设计(k>3)和多因素设计的定 量资料的均值检验。 医学论文中普遍存在的一种错误倾向是,多次 用t检验进行均数之间的两两比较,取代方差分 析,增加了得出错误结论的风险。
16
6、忽视配对资料特性 o 用成组t检验代替配对t检验 o 用一般卡方检验代替配对卡方检验
37
38
39
40
41
42
43
44源自文库
七.疗效性试验的评阅
研究对象是否真正随机抽样 研究对象是否真正随机分组 研究对象是否有纳入标准 研究对象是否有排除标准 所有的研究对象是否都使用相同的方法
和程序得到确诊 是否如实的报告所有病例的结果
45
是否交代了研究对象的情况 报道的病例构成是否与临床实际相同 有多少病例得到完整的随访 病人的依从性如何 是否对病人的流失进行了说明 是否区别了统计学意义和临床意义 是否评价了干预性措施的实用性和效益 是否详细描述了干预性措施
27
五、发表偏倚
造成发表偏倚的原因: 1.作者因担心阴性结果的论文不会被发 表,或自己认为阴性结果没有临床价值 而没有投稿。 2.杂志选择论文发表的标准有问题,编 辑或审稿人员更愿意发表阳性结果的论 文。 3.发表偏倚也广泛存在于药物的II期临床 试验报告中,对一些得出阴性结果的药 物研究报告药厂不愿意发表。
5
用大量碳酸钙片加次碳酸铋加维生素B6 治疗溃疡病。
不知哪种药有效,哪种药多余 可能加重病人的身体负担,也可能造成浪费
6
(2)对照组不恰当 主要有以下几种情况: -使用非同期对照或历史对照; -组间基础状况缺乏可比性; -对照组例数太少; -对照不全或多余对照; -配对设计,但两组例数不一致。
7
随机化方面常见的问题有:
-对照研究中未采用随机化分组方法。 -随机化方法错误,如奇偶数、单双日、入院顺 序等 -论文中没有描述分组方法或随机化方法描述不 充分(单纯、分层、系统及整群随机抽样法; 随机数目表、计算机生成随机数字)
11
4、样本缺乏代表性
论文中必须详细说明研究对象的来源、 纳入和排除标准,讨论中也应说明研究本身 的局限性,以便于读者判断该研究结果是否 适合于自己的情况,避免误导。
48
49
50
51
52
53
54
55
56
57
58
八.临床病因学研究论文评阅
(1)联系的强度:表示因果相关性大小的指标为联系的 强度。主要有OR、RR、AR等。 通常,联系强度越大, 因果联系的可能性就越大;反之亦然。
(2)联系的一致性: (3)因果效应的时间顺序是否确切: (4)病因的致病效应是否特异: (5)致病因素是否有剂量——效应的致病关系: (6)被研究的因果效应,与其它研究是否雷同: (7)有无动物实验的证据: (8)病因学研究是否符合流行病学规律: (9)病因学研究是否符合生物学规律:
19
人 数
年龄 岁 某市1953年乙脑患者的年龄分布
20
人 数
年龄(岁)
某市1953年乙脑患者的年龄分布(正确图)
21
22
23
三、结果解释方面的问题
1、P值含义理解错误 评价一项研究结果是否有意义,要看其是 否具有临床意义和统计学意义两个方面。
例:比较两组药物的降血压效果,平均舒 张压相差0.533kPa(4mmHg),p<0.05,认 为两药疗效不同。
28
六.诊断性试验文献的评阅原则
(1)是否将诊断与金标准进行了盲法对比:即要明确诊 断试验的真实性和可靠性。真实性和可靠性愈高,诊断 试验的价值就越大。
(2)研究对象是否包括了各型病例:轻型、重型、治疗 的、未治疗的以及有极易混淆的疾病患者都应包括进来。 这样才能保证所得结论可靠且有外推价值。
(3)研究样本量是否足够:只有足够的样本量,才能得 到可靠的结论。