国内外典型教学研究项目评估方法比较分析

国内外典型教学研究项目评估方法比较分析

摘要：本文针对教学研究项目的特点，进行了国内外项目评估方法的现状分析，比较分析了国内外进行科技评估以来的主要的经典评估方法及其优缺点，为今后的教学研究项目评估工作中选择适用的评估方法提供参考。

关键词：教学研究项目；评估方法；对比分析；优缺点中图分类号：G724 文献标识码：A

一、引言

随着全国科技创新大会的胜利召开，科技创新呈现在更加突出的位置。各大继续教育机构也越来越重视通过开展教学研究创新来提升自身的综合竞争力。采用教学研究项目评估，可提高资源的使用效率，为教学创新决策系统调整，学科布局提供科学依据和建议，使之更加适合机构事业发展的需要。

教学研究项目评估要遵循一定的原则、程序和标准，运用科学、规范的方法，对项目的执行过程以及目标实现程度、经费的使用管理、项目成果价值、项目社会影响与效益等方面进行综合评价考核。如何选择适用的项目评估模型和数据处理方法成为教学研究项目研究的重点。目前国内外科技评估的评估方法研究较为完善，本文总结了国内外在科技评估

中形成的一些经典的评估方法，希望对教学研究项目评估方法的研究提供参考。

二、国内外典型科技评估方法的比较研究

国内外在科技评估方面采用的方法很多，但就评估而言并没有通用的方法库。每种方法都有一定的使用范围，而解决一个具体问题又常需结合多种方法。评估者在评估的实践中，应根据不同目的、对象确定不同方法或方法组合。这些方法通常可以划分为定性评估方法和定量评估方法。

定性评估方法主要依靠评估者的洞察、分析能力，借助于以往的经验和逻辑推断能力来进行评估。定量评估主要以评估指标的统计数据为依据，建立评估数学模型，用数学运算求得评估结果，并以数量表示出来的一类评估方法。定性评估方法本身也包含需要量化的部分，而单纯的定量评估方法得出的评估结果往往没有意义。本文将目前比较常用的定性和定量的评估方法分为三类：专家评估方法（定性/定量）、文献计量分析方法（定量）、数学分析方法（定量）。表1中对可参考的科技评估常用方法及其优缺点进行了总结。

（一）专家评估方法

专家评估方法是专家根据其多获得的信息对评估要素（尤其是难以用客观数据表示的因素）直接打分或做出定性判断，包括同行评议方法、特尔斐（Delphi）法等。

1.同行评议法

英国是使用同行评议方法最早的国家，后来被逐渐引入政府投资的机构进行项目选择。同行评议法可以定义为“由从事该领域或接近该领域的专家来评定一项研究工作的学

术水平或重要性的一种方法”。这种方法常常被科学界用来判断工作程序的正确性，确认结果的可靠性以及对有限资源分配的公认性和特殊荣誉。

优点：一是应用最频繁，经发达国家的实践证明，效果较好、可信度较高。二是适用不同阶段的评估。三是充分依靠科学家群体进行民主管理，在科学研究资源的分配中引入竞争机制，使得知识生产的要素优化配置。同行评议为科学共同建立了内部审查体系和荣誉机制，成为科学发展的一大动力源泉。

缺点：一是其假设条件是评议专家具有崇高科学的敬业精神和客观、公正、务实的职业修养。这种假设条件却容易缺乏有效的监督和控制。美国科学技术委员会的一项研究认为，同行评议像其他依赖于人的判断方法一样，受自己利益，特别是朋友关系和偏见的影响，容易形成“熟人关系网”，“老朋友网络”。二是专家的选择也存在难以避免的局限性。

2.特尔斐法

特尔斐法最早于20世纪50年代末由美国著名的咨询机构兰德公司提出并使用的。特尔斐法本质上是一种专家匿名反馈征询法，它是对所评估的问题以问卷的方式征得专家的

意见之后，进行整理、归纳以及统计，再匿名反馈给各专家，再次征询意见，再进行整理、归纳以及统计，经过多轮反馈后，直到得到比较一致的意见。特尔斐法是一种群体决策技术，能够有效的征求和提炼群体的意?，由于其可信度高，已迅速传播到世界各国。

特尔斐法的基本程序大致分为4步：一是提出问题。二是选择专家。三是开始多轮征询程序，每轮都基本按照制定发放本轮调查问卷，手机问卷，统计归纳，形成下一轮调查问卷的程序循环进行。四是准备最后的结果分析报告。

优点：一是匿名：采取“背靠背”的方式，征询过程不暴露专家的名字，每位专家也不知道共有多少位专家，哪些专家参与咨询。在提意见时，没有心理压力，可畅所欲言。二是定量：能够对大量非技术性的无法定量分析的因素做出概率估算。三是反馈：特尔斐法在每轮征询中作出概率估算后会将概率估算结果反馈给专家，充分发挥了信息反馈的作用。四是趋向：特尔斐法经过多轮的征询反馈，也充分发挥了信息控制的作用，将分散的评估意见逐次收敛，趋向一致。

缺点：一是费时：由于需要采取多轮征询程序才会使得评估意见趋向一致，当轮次较多时，得到最后的结果分析报告相当费时。二是局限：当评估意见分散程度较大时，虽经过多轮反馈，仍可能出现意见不收敛的情况。

（二）文献计量方法

文献计量法用于分析科学研究活动始于19世纪末和20世纪初。文献计量法是指利用出版物、专利、引文等科技评估指标进行评价的一种定量评估方法。在此，出版物和专利被认为是衡量产出能力的尺度，引文数则是衡量其工作结果影响力的尺度。基于文献计量的科技评估是目前比较被认可的方法之一，具有客观、量化、易于比较等特点，并能够对科技产出能力等重要指标有较为直观的评估。文献计量法常采用的方法主要有出版物数量计量、著者数量计量、引文分析等。

优点：一是用客观的数据取代了主观判断。二是它对所有的引证都基本做到公平公正。

缺点：一是作为研究成果发表的文献数量与项目研究质量并不必然正相关。二是文献被引用可能是因为个人关系、人为的自引等因素，很难表征质量上的差异。三是不同学科的引文率有差异。四是因存在期刊本身质量的差别，发表在不同期刊的论文质量可能具有极大差异。五是文献计量法仅限于就论文、专著、专利等成果进行定量分析，不能全面度量科技产出的质量及影响。（三）数学分析方法科技不同阶段的评估都是多属性决策的问题，既要??科技做出定性的评价，又需要结合科学的评估方法得出定量的分析。在科技的评估实践中，单纯的专家评估或文献计量方法往往不能满足评估的要求，还需要进行量化处理，引