科学计量方法辅助代表作评价的探讨-情报资料工作-中国人民大学

理论探索＊本文系国家社会科学基金项目“人文社会科学评价中同行评议与科学计量相结合的机理分析与对策研究”（编号：１１ＢＴＱ２１）和中央高校基本科研业务费项目“基于科学计量学方法的人文社会科学代表性论文评价研究”（编号：ＤＵＴ１４ＲＷ２０６）的阶段性成果。

科学计量方法辅助代表作评价的探讨＊姜春林张立伟张春博（大连理工大学公共管理与法学学院ＷＩＳＥ实验室辽宁１１６０２４）摘要文章在探讨代表作制在实施过程中可能存在的潜在问题的同时，提出科学合理的学术评价制度应当是基于同行评议的代表作制度与科学计量评价方法二者的有效结合，并且以科学计量学分析软件Ｃｉｔｅｓｐａｃｅ为工具，以Ｂｏｒｎｍａｎｎ发表的代表性学术论文为例，在一定程度上论证了科学计量方法辅助代表作制度进行学术评价的可能性。

关键词学术评价科学计量代表作制同行评议ＡＰｒｏｂｅｉｎｔｏＳｃｉｅｎｔｉｆｉｃＭｅｔｒｏｌｏｇｉｃａｌＭｅｔｈｏｄ－ａｉｄｅｄＭａｇｎｕｍＯｐｕｓＥｖａｌｕａｔｉｏｎＪｉａｎｇＣｈｕｎｌｉｎＺｈａｎｇＬｉｗｅｉＺｈａｎｇＣｈｕｎｂｏ（ＷＩＳＥＬａｂ熏ＳｃｈｏｏｌｏｆＰｕｂｌｉｃＡｄｍｉｎｉｓｔｒａｔｉｏｎａｎｄＬａｗ熏ＤａｌｉａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ熏Ｌｉａｏｎｉｎｇ熏１１６０２４雪ＡｂｓｔｒａｃｔＴｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｓｐｏｔｅｎｔｉａｌｐｒｏｂｌｅｍｓｗｈｉｃｈｍａｙｏｃｃｕｒｉｎｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｐｒｏｃｅｓｓｏｆ“ｍａｇｎｕｍｏ-ｐｕｓ”ｒｅｇｉｍｅ熏ａｔｔｈｅｓａｍｅｔｉｍｅ熏ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓｔｈａｔｓｃｉｅｎｔｉｆｉｃａｃａｄｅｍｉｃｅｖａｌｕａｔｉｏｎｍｅｃｈａｎｉｓｍｉｎｆｕｔｕｒｅｓｈｏｕｌｄｂｅｔｈｅｃｏｍｂｉｎａｔｉｏｎｏｆ“ｍａｇｎｕｍｏｐｕｓ”ｒｅｇｉｍｅａｎｄｓｃｉｅｎｔｏｍｅｔｒｉｃｓｍｅｔｈｏｄｓ熏ａｌｓｏｗｅｕｓｅｔｈｅＣｉｔｅｓｐａｃｅｗｈｉｃｈｉｓｔｈｅｓｃｉｅｎｔｏｍｅｔｒｉｃｓａｎａｌｙｓｉｓｓｏｆｔｗａｒｅ熏ｔａｋｅｔｈｅｓｃｉｅｎｔｉｆｉｃｐａｐｅｒｓｆｒｏｍＢｏｒｎｍａｎｎａｓｅｘａｍｐｌｅ熏ｄｅｍｏｎｓｔｒａｔｅｔｈｅｆｅａｓｉｂｉｌｉｔｙｏｆｕｓｉｎｇｓｃｉｅｎｔｏｍｅｔｒｉｃｓｍｅｔｈｏｄｓａｓｓｉｓｔｉｎｇ“ｍａｇｎｕｍｏｐｕｓ”ｅｖａｌｕａｔｉｏｎｔｏｃａｒｒｙｏｕｔｔｈｅａｃａｄｅｍｉｃｅｖａｌｕａｔｉｏｎ．Ｋｅｙｗｏｒｄｓａｃａｄｅｍｉｃｅｖａｌｕａｔｉｏｎ熏ｓｃｉｅｎｔｏｍｅｔｒｉｃｓ“ｍａｇｎｕｍｏｐｕｓ”ｒｅｇｉｍｅ熏ｐｅｅｒｒｅｖｉｅｗ１引言在人文社会科学领域，我国当下的学术评价机制是一个颇具争议的话题。

所谓学术评价，简单说，是针对学者、学术成果以及学术机构的学术水平的测评、判断与鉴别，是衡量一个学者、一项科研成果、一所学术机构学术水平的主要尺度眼１演。

一项优秀的学术成果，必然会在引领思想、揭示科学本质、解决理论和现实问题、推动社会进步方面有所贡献。

作为科研工作者，参与并接受学术评价是必要的，合理、公正的评价机制也是学术发展的必然要求。

公正、合理、规范的学术评价体制，也在调动学术工作者的积极性、激发创新竞争意识、发现和培养优秀人才等方面起着重要作用眼２演。

学术评价的方法大体有两种：一种是同行评议，它是同行专家从专业学术角度对学术产品的创新性、前沿性、应用性等方面进行价值判断。

它历来是人文社会科学学术评价最主要、最基本的评价方法；另一种是量化评价，是科研管理机构和部门运用科学（文献、信息）计量学的方法，对科研人员进行绩效考核。

然而，近几年，我国高校科研人员的科研绩效考评出现了过度使用计量方法的问题，同行评议机制未能充分发挥其功能。

具体表现在：在评价标准上，普遍重视学术产品载体的等级和资助的背景，学术评价异化为期刊评价；评价方法上，重量化考评轻同行评议，重数量轻质量；评价导向上，重虚名轻实效，重结果轻过程，重物质轻精神眼３演。

人文社会科学科研活动具有复杂性、创新性和不确定性特点，需要进行长时间的探索和验证。

过度追求量化指标和期刊级别的结果被异化为学术评价的主要标准的学术评价制度，从根本上违背了人文社会科学研究的本质特性——探索性和创新性，违背了学术发展的规律。

因而，过度追求科研量化指标的学术31评价机制已暴露出越来越多的弊端，对学术的发展极为有害。

主要表现为：第一，在这种思维影响下，学术评价活动越来越忽视同行评议；第二，不仅没有带来高质量的学术产出，而且违背了学术研究的规律，促生了大量的学术垃圾、大量的学术腐败和学术不端行为；第三，消磨了科研人员追求“独创性”、追求知识增进、获得学术共同体承认的原始动力，并且助长了科研人员急功近利的价值倾向。

针对上述问题，学术界从不同角度做了一些较为深入的探讨。

邱均平和谭春辉构建了人文社会科学评价体系的四层结构模型，即学科发展评价、学科研究评价、学科教育评价和学科社会影响评价，指出学科研究评价是重点，研究成果评价是核心眼４演。

姜春林和刘则渊研究发现，利用引文方法开展科研评价时，对于文史哲等学科成果的引文评价时间应选择成果发表后的５～８年后进行，而经济学等应用性较强的学科则在３～５年后为宜眼５演。

倪润安认为，我国人文社会科学研究的评价正进入定性与定量相结合的综合评价阶段，指出这一阶段的特点是弹性评价，应遵循综合评价、连续评价、延时评价、创新至上等基本原则，建议将代表作制度发展成为定性与定量评价互动结合的调节器眼６演。

虞文提出借鉴美国的做法，定性评价与定量评价并重，采用代表作制度和第三方评价制度眼７演。

国内一些著名高校为克服学术评价中过度追求量化的现象，在学术评价方面也进行相应的改革，其中的措施之一是试行国外运行比较成功的代表作制度。

但是，代表作制度也引起广泛的争议，不少学者指出高校学术评价不宜简单采用代表作制度。

本文在充分梳理代表作制克服过度量化问题的实效性和可能存在问题的基础上，提出了代表作评价中同行评议和科学计量方法相结合，以科学计量学方法辅助当前代表作评价的初步设想和基本思路。

２“代表作”制的试行实践代表作制度是指对一至几个可以代表评价对象最高水平或最能体现评价对象风格和行为风范的成果进行评价的相关规则，作品的数量不再做硬性要求，数量再多也不加分眼８演。

在这种制度下，作品的内容和效用成为评价的主要内容：内容评价主要是指同行专家对成果内容进行精读、分析，评价其是否在观点、研究方法、资料、论证等方面有所创新，在学理上、逻辑上是否合理。

这种以专家评价为主的方式，对于消解学术评价中的行政化倾向具有直接的抑制作用；效用评价则看成果是否具有学术价值、社会价值和经济价值，是否已被证明或部分证明，对于强化质量与创新评价意识具有现实意义。

代表作制度是国外通行的比较成功的学术评价制度，为此，国内不少高校将引入代表作制度作为破除单纯学术量化评价弊端的重要举措。

２００５年，北京大学中文系在教师聘岗时已经实施代表作制度，即教师在聘期内只要发表了一篇有较大影响力的论文，经院系学术委员会认定，在相关的学科领域里属于领先地位，对该学者的科研工作就不再进行量化考核眼９演。

２００９年，中国人民大学在全校范围推行论文代表作制，评选教授不再是论文数量多多益善，而是由参评教师拿出有代表性的著作或论文，提交专家组评审眼１０演。

２０１０年，复旦大学开始试行代表作学术评价制度，２０１１年扩大到文科领域，２０１２年在全校推行教授职称代表作评价制度，要求参评者提交１～３篇代表作，学院学术评估通过后，由学校随机选择５位校外具有较高学术声望的学者，匿名对申请人进行学术评估，学校根据专家意见，决定是否同意候选人参加高级职称竞聘眼１１演。

“铅华洗尽始见金”，“代表作”制度的推行必然会带来过度量化考核的淡化，遏制学术浮躁之风，促进一批具有较大创新性的学术成果出现。

但是，代表作制度的推行也会一定程度上固化学者的研究方向和学术视野，减少学术成果数量，并忽视科研活动的效率，以及产生同行评审的不公正问题。

因此，在当前我国学术权力行政化、学术腐败没有根本遏制的环境下，代表作制度能否达到预期目标存在一定风险。

３代表作制的局限性３．１代表作评价制度容易忽视科研绩效国际上对科研人员成果的学术评价大致分为两个方面：一是由同行专家从专业的学术角度对科研论文的创新性、科学性和应用价值进行评价；二是利用科学计量学方法从科研管理角度对科研人员或机构的绩效进行评定（对已发表的论文尽可能做出客观、准确和量化的评价结果），完整的学术评价应该是两方面的有机结合眼１２演。

例如，荷兰标准评价协议（ＳＥＰ）主要从两个层次对科研活动进行评价：一是对科研机构和团队的评价，侧重于绩效和产出；二是对项目的评价，侧重于质量、学术价值和影响力眼１３演。

目前我国对科研人员和机构的学术评价制度过度依赖定量指标，以发表在核心期刊上的论文数量作为评价科研人员和机构业绩的主要依据，这种现象严重妨碍了人文社会科学研究的健康发展。

但是在学术评价中，如果只采用“代表作”制度将会引发对科研绩效的忽视。

虽然人文社会科学研究永远处于进行时，但也应当考虑科研活动的效率。

任何一个学术机构在投入国家大量人员和项目经费的前提下，“十年磨一剑”的学术理想与管理部门效率观和纳税人的知情权往往是矛盾的，纳什和钱钟书式的宽容性评价模式在当下显然不具有普遍性和可操作性。

片面强调忽视代表作而置科研绩效而不顾，可能会导致学者误以为对某一科研课题持续研究时间越久，单纯封闭性的“我思”就越能形成优秀的学术成果，这与学术评价活动的初衷也是不完全一致的。

所以，在学术评价制度的改革浪潮中，不宜盲目单一采用代表作评价制度。

理论探索32理论探索３．２代表作评价中专家评审潜在的问题代表作评价是同行专家针对评审成果做出的专业性、实质性的内容评判和鉴定，本质上是同行评议的一种形式。

这一制度的成功与否，取决于评审专家的权威性、评审程序的公正性、评审结论的客观性。

因而，在国际同行评议领域中容易出现的问题同样也是代表作评价制度中不可避免的问题。

为了客观阐述同行评议存在的问题，本文采集了１９９６～２０１３年间收录在《社会科学引文索引》（ＳＳＣＩ）有关同行评议的文献数据，利用Ｃｉｔｅｓｐａｃｅ软件统计数据中出现的高频关键词（见表１）来加以揭示。

表１高频关键词统计表由表１得知，１９９６～２０１３年间，同行评议相关文献中出现频次和中心性排前７位的关键词为“质量（ｑｕａｌｉｔｙ）”、“科学（ｓｃｉｅｎｃｅ）”、“影响（ｉｍｐａｃｔ）”、“偏见（ｂｉａｓ）”、“可靠性（ｒｅｌｉａｂｉｌｉｔｙ）”、“绩效（ｐｅｒｆｏｒｍａｎｃｅ）”、“有效性（ｖａｌｉｄｉｔｙ）”。

从而，我们可以推断“可靠性”、“科学”、“质量”和“偏见”一直是国际同行评议研究的热点问题。