医学科研项目评估方式

医学科研项目评估方式

医学科研项目评估就是依据一定的标准,应用科学的方法从不同层面对医学科学研究项目进行价值判断的过程。课题为科研项目的组成部分,故广义上的科研项目评估应包括课题的评估。科研项目评估在国外开展较早。我国对科技项目的评估起步较晚,直到上世纪90年代才受到关注1。本文采用系统评价的原理和方法,全面检索关于医学科研项目评估方法的研究,并评估其质量,为科研管理者了解科研项目评估的内容提供帮助。

1材料与方法

1.1检索

1.1.1电子数据库选择检索中国科技期刊数据库(维普,VIP),中国知网数据库(CNKI),中国科技论文与引文数据库(万方,CSTPCD),中国生物医学文献数据库(CBM),检索年限从数据库创始至2010年8月,中文检索词采用：“科研项目、评估方法和评估体系”,英文检索词采用“medicalresearch,management,as-sessment,evaluation”。根据不同数据库的特点制定检索策略进行检索。

1.1.2手工检索手工检索《中华医学科研管理杂志》中关于研究项目评估方法的文献。

1.1.3网络搜索采用Google高级搜索功能,在官方网站上搜索关于医学科研项目评估方法相关的信息。

1.1.4其他检查纳入文献的参考文献,从题目判断是否符合纳入标准,如不能从题目判断是否相关,则获取全文后决定是否纳入。咨询相关领域的专家或管理人员,询问医学科研项目评估方法相关问题。

1.2文献筛选和数据提取由两名研究者独立筛选文献和提取数据,不一致的地方讨论后解决。如果讨论后仍不能达成一致,则请第三方裁决。数据提取采用统一的数据提取表格,但根据文献类型和内容有所不同。

主要分两个部分：建立评估指标体系和选择评价内容,前者包括：评估

指标筛选、评估指标确定、指标值的标准化和权重分配方法;后者包括

立项评估、项目过程评估、项目验收评估和项目绩效评估。

1.3数据分析对个案报告或经验总结的文献采用主题分析方法的定性

分析方法,提炼各评估方法或措施的主要内容和核心词汇,将不同科研

项目评估方法纳入确定的主题下。对相同或相似的措施合并,或用能涵

盖两者意义的词语代替。

1.4研究质量评价采用2006年中国循证医学中心针对管理领域的证据分级标准,反应本研究提供的证据强度2。

2结果

2.1筛选结果共检出65篇文献,经筛选后最终纳入17篇文献3~19,其

中立题评估5篇,过程评估3篇,验收评估2篇,成果评估4篇,全程评

估3篇。证据等级方面,有两篇文献为综述或专家经验介绍,属D级证

据12,15,其他有明确的研究方法,属C级证据。

2.2建立评估系统的方法科研项目评估较常用的是德尔菲法和综合评

价法。指标的筛选及选择主要采用下面两种途径实现：①专家评议法：根据指标的重要性打分,按加权总分值从大到小排序来取舍指标。②现

场调查法：通过一定数量的样本调查对备选指标进行实际测量,再对各

项备选指标的实测值做统计处理,根据统计分析的结果筛选指标。常用

的分析方法有：变异系数法、相关系数法、多元回归法、主成分分析法、因子分析法、聚类分析法及判别分析法。指标评价标准的确定：

①使用上级部门提出的各项标准与要求。②参考相关机构提出的相关

目标与指标;③根据历史上一段时期的指标值,经统计处理而获得评价

标准,即根据被评价样本的均值或最优值为标准。指标值的标准化要采

用累计概率法、指数法、线性插值法、等级划分法对指标值进行量化

处理。确定指标的权重,处于不同层次水平的各项指标,在整个指标体

系中的贡献并不相等,根据各指标在评估中的重要水准,科学、合理地

确定每一项指标的权重是保证指标体系在评估中切实可行的关键。可

通过直接经验法、特尔菲法、百分权重法、层次分析法、排序法、连

环比率法和集值迭代法。其中百分权重法和层次分析法是较为常用的

确定权重方法。综合评价方法主要有加权求和法、单纯求积法、对数

形式的加权平均法、几何平均法、分组乘积求和法(综合指数法)、分

组相加求积法(综合系数法)、模糊数学综合评判法、交叉积差法和

Ridit法等。各种综合评价的方法都有其优缺点和适用条件,在实际应

用中根据具体情况选择使用。

2.3评估内容5篇文献介绍了立题评估的方法4,7,10,11,14。立项评

估按照公开、公平和竞争的原则,对科研项目进行的评判活动。主要内

容包括：立项的必要性、研究目标及技术路线的可行性、成果的应用

前景、课题实施的人员、设备及组织管理等条件。总的来说立项评估

就是通过对项目的立题依据、研究方案、研究基础、研究队伍及经费

等的评价,来反映项目是否具有科学性、创新性、可行性和实施的必要性。3篇文献介绍了过程评估的方法12,17,18。项目过程评估为了解、控制并及时对项目进行调整,管理部门或人员必须跟踪项目进展并对其

进行评估。过程评估是根据项目需要而进行。因为缺乏及时的项目信

息交流手段和有效的监控办法,管理部门难以掌握项目的动态情况,使

得过程评估成为科研项目评估的难点。项目实施过程中的评价和调控

仍是我国科技项目管理中的薄弱环节,也是容易被忽视的环节1。2篇

文献介绍了验收评估的方法5,19。在项目结束后进行,主要根据项目任务书的内容做最终结题检查。各种科技计划及基金项目都有明确的要求,如国家自然科学基金项目结题报告包括研究计划执行情况、研究工

作主要进展和所取得的成果、国内外学术合作交流与人才培养情况、

经费使用情况的说明、存有的问题、建议及其他需要说明的情况。4篇研究介绍了绩效评估的方法3,6,8,10。项目绩效评估多在项目结束一

定时间后进行,一般以投入产出来评价项目的绩效,投入指人力、物力、财力和信息资源,产出包括论文论著、人才培养、科学成果、发明专利

和技术服务等。因为该系统多指标量化困难,实际评估中多以易获得的

指标来分析投入产出,投入指标常为人力和经费,前者包括学历、职称等,产出为科研成果、鉴定成果、论文论著、人才培养、专利及学术交