国内外科研评估的起源和发展
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
国内外科研评估的起源和发展
(一)评估的起源
1.早期的评估活动
1662年成立的英国皇家学会,其宗旨就是将当时的所谓的自然哲学感兴趣的人组织起来。
当时学会的秘书奥尔登伯格负责从会员和其他科学通讯员那里收取报告他们科学新发现的信件。
于是,他天才地想到要将这些信件印发,加以流通。
1这样,一些科学家对另一些科学家的研究工作进行评议的活动就诞生了。
经过几个世纪的发展,这种活动逐渐演变为今天的同行评议。
美国是第二个采用同行评议的国家,二十世纪50、60年代专家评审制度在美国被广泛接受并大力推行,研究经费的分配也由评议来决定。
这种制度一直被专家学者认为是促成美国研究型大学在基础科学研究实力方面处于领先地位的主要原因。
2
直到二十世纪初,科技评估机制及管理机制才被正式引入科技活动中。
美国国会设立了国会咨询服务部门(CRS),该部门的任务之一就是针对国会各委员会和议员提出的与科技相关的问题进行研究、分析和评估,这就是科技评估的雏形。
3在此基础上,经过多年的发展,美国的评估工作已经形成了完善的评估机制及相应的支持系统。
当前许多开展科研评估的国家和地区,都在某些程度上,在评估的理论、体系、机制、形式和内容等方面效仿和借鉴过美国的经验和模式。
法国、德国、加拿大、日本、丹麦的评估活动开始于二十世纪40年代至60年代,瑞士、瑞典、英国、澳大利亚、韩国开始于二十世纪80年代,西班牙、新西兰、泰国开始于二十世纪90年代。
2.早期的评估机构
1972年美国国会技术评估办公室成立,开始对技术进行定期评估。
1992年美国国会的一份报告进一步建议:“采用立法手段和其他措施将绩效评估机制纳入研究过程之中,以帮助评估联邦资助研究计划的有效性。
”1993年国会正式颁布了“政府效绩与结果法案”(GPRA)。
根据GPRA的规定,科技评估的概念与制度、美国国会一级的有关科技评估机构的作用、功能、权力和责任都有明确的法律条文予以确定。
通过绩效评价来检查年度工作计划执行情况及总体5年战略
1麦克格雷著,丰成君等译.信息环境的演变[M].书目文献出版社,1988, P98.
2韦莉莉,孙晶.人文社会科学评价理论与实践评价[J].人文社会科学评价理论与实践评析,2006(4).
3卢进.科技评估及其发展[J].广东科技.2001(3).
规划的效果,同时绩效评估的结果直接与该机构的预算相联系。
4之后,美国又陆续设立了一些评估机构,例如:美国管理科学开发咨询公司(MSD),世界技术评估中心(WTEC),国会服务部(CRS),美国审计总署(GAO)等。
3.不同学科的发展促成科研评估理论的形成
科研评估从最初的同行评议以定性为主的活动,逐步开始成为注重定量分析的活动,20世纪中叶开始,美国、法国等国家逐渐把许多数学、运筹学、统计学以及经济学的计量分析等理论和方法引入到科研评估中,试图提高评估的科学性,评估的质量得到进步提高。
在这些实践的基础上,1939年科学学以贝尔纳(J.D.Bernal)的《科学的社会功能》奠基性的著作为标志已诞生68年。
在科学学理论体系中,科研管理是其一个重要的学科分支,科研评估的理论是建立在科学学理论基础上的。
5科学学的产生就在于运用科学本身的定量方法来研究科学。
科研评估理论的产生晚于科研评估活动的开展,但是其理论产生后对活动有巨大的影响,促进科研评估活动的发展,是科研评估活动的动力。
(二)评估理论技术层面的发展
科研评估在国外有较长的发展历程,经过数十年的发展,在理论的指导下评估的技术和方法在逐步发展和不断完善。
最初的评估是以定性方法为主,定性评价(qualitative evaluation)是一种以人的主观经验、价值观、思维方式等为依据的判断活动,将评价对象作概念、程度上的质的规定,然后进行分析评定以说明评价对象的性质或程度。
这种评价比定量评价简便易行,但它不如定量评价精确具体。
不过,在实际评价工作中,定性评价也是不可缺少的,因为在复杂的科研工作中,有些对象可以量化,有些不易量化或不能量化。
所以应该将定量评价与定性评价结合起来使用。
6定性评价最常用的是同行评议法。
同行评议法(peer review)是运用最早、利用最为广泛的一种评价方法,它主要是指某一领域或与其邻近领域的专家采用同一种评价标准,共同对涉及相关领域的科学技术活动(包括科研活动、科研资助、科研管理等)进行价值评议的一种方法,其评价结果为有关部门的决策提供依据。
7由于同一行业的专家最了解研究工作的水平、
4李晓轩,王凌勇.国际科技评估的理论与实践[J].科技成果纵横,2003(5).
5刘则渊.科学学理论体系建构的思考[J].科学学研究,2006 (2).
6王汉澜.教育评价学[M].开封:河南大学出版社,1995,P17-87.
7刘云.科学技术评价方法及主要国家的做法.,2005-1-5.
价值以及该领域研究的前沿动态,因而同行评议法是一种最有效和常用的评价大学科研活动的方法,尤其是对用定量方法难以测度和判断的科研活动的价值评估(merit review),比如在评审科研项目申请、科研成果的验收与评奖、科技政策和科技计划评价及评议研究机构的运作等方面应用较为普遍,具有其他方法不可替代的优势。
8毋庸置疑,同行评议是一种行之有效的评议制度。
在下一章还有对同行评议和其他评估方法的详细介绍。
二十世纪70 年代末、80年代初,随着科学学中的科学计量学日趋成熟,在欧美诸发达国家里引文计量法向同行评议法提出了谨慎的挑战。
在美国,人们也发现在科研经费分配过程中,传统的同行评议并不总是有效的。
9同行评议的主要缺陷——受个人主观因素影响逐渐暴露出来,评估活动公平、公正、科学的宗旨受到专家学者的质疑,学术垄断的现象愈演愈烈。
而且,当研究成果是应用性的而不是理论性的,或当研究是多学科或新兴学科而不是单一学科时,同行评议的适用范围将受到限制。
10
20世纪中叶开始,数学、运筹学、统计学以及经济学的计量分析等学科方法的引入,使评估更具有科学性。
至此,评估理论指导下技术层面的方法进入定性分析和定量分析相结合的阶段。
定量评价(quantitative evaluation)是依据具体的数据对事物和人展开评价的活动,它将评价对象进行数量化的分析和计算,从而判断出其价值。
定量评价可以使一些概念精确化,加强评价的区分度,降低评价的主观性和模糊性,增加评价的说服力。
11定量评价法主要受到科学学中科学计量理论的影响。
科学计量学兴起源于美国《科学引文索引》(SCI)的引入和应用。
科学计量学中的各项指标不是要取代专家,而是为了能够对研究工作进行更仔细的观察和评论,从而使专家能够掌握足够的信息,使评估工作更具有权威性、公正性。
近些年来,这种定量评价得到了迅速的发展,目前,科学计量学还存在一些问题有待澄清、有待精确化,但它在评价中的作用却是非常重要的。
匈牙利著名科学计量学家布劳温曾指出,在对个人的、小组的、机构的或者国家规模的基础科研活动的认识上,使用数量的分析和评价是绝对必要的,只有这样,才能从
8安璐.高校人文社会科学研究竞争力评价:[武汉大学硕士学位论文].武汉:武汉大学信息管理学院,2004,3-31. 9[匈]T.布劳温,W.格伦采尔,A.舒伯特著.科学计量学指标:国自然科学文献与引文影响的比较分析.赵红州,蒋
国华译.北京:科学出版社,1989,3-291.
10代蕊华.高校的教学、科研及其评价[J].高等教育研究,2000,(1).
11王汉澜.教育评价学[M].开封:河南大学出版社,1995,P17-87.
运动机制上发现带规律性的东西。
12
目前,很多国家机构评估是以定性分析为基础,以定量分析为手段,采用定性与定量相结合的方法,但也有一些国家仍只采用定性分析为主的方法进行评估。
美国、法国、日本等国家的科技评估活动目前是采用定性和定量分析相结合的方法;英国、瑞士进行科技评估是以定性分析为主;瑞典基本是定性分析。
我国目前也是采用定性和定量相结合的方法对科研进行评估,定量的评估方法主要有指标综合评价法、指数法、经济分析法、数学方法和计算机方法以及文献计量法等。
综合评价法(comprehensive evaluation)是运用定性评价与定量评价相结合的方法对多因素事物或现象进行总的评价。
它的基本思想是根据综合评价的目标,对客观事物的影响因素进行分解,以构造不同层次的评价指标体系,然后对这些指标进行赋值并确定其权重系数,最后采用综合评价模型进行综合得到最终评价值,以此进行排序和评价。
13综合评价法结合了定性评价与定量评价的特点,并广泛应用于科研绩效评价。
较常用的综合评价法有层次分析法、定标比超法等。
层次分析法(AHP)基于评价目标和评价对象确定评价原则、构建递阶多层的评价指标体系,并采取专家调查法构建各层次指标权重判断矩阵,计算各指标的权重赋值。
通过专家咨询、论证确定各指标的评分标准和评分范围。
专门的评价小组依据评分标准和评分范围,对各项指标评分,经过加权总和,得出总平均分值,14将在第三章具体阐述层次分析法。
12[匈]T.布劳温,W.格伦采尔,A.舒伯特著.科学计量学指标:国自然科学文献与引文影响的比较分析.赵红州,
蒋国华译.北京:科学出版社,1989,3-291.
13王凭慧.科学研究项目评估方法综述.,2002-10-14.
14刘云.科学技术评价方法及主要国家的做法.,2005-1-5.。