山西省基础研究成果评价指标体系的构建研究＊

科技与创新｜Science and Technology & Innovation
2024年 第06期
DOI ：10.15913/ki.kjycx.2024.06.045
山西省基础研究成果评价指标体系的构建研究＊
崔培培
（太原理工大学艺术学院，山西 晋中 030060）
摘 要：基础研究成果评价体系建设不仅关系到科研成果评价，还关系到基础研究导向，是科研管理的重点和难点。

通过分析国内外基础研究成果的评价方法和山西省基础研究现状，构建了山西省基础研究成果评价指标体系，并运用层次分析法确定了各项指标权重。

用该指标体系对山西省基础研究项目成果进行了评价，并将评价结果与专家评价结果对比，发现其一致性较好。

此评价体系的建设有望确保山西省基础研究成果评价科学、合理。

关键词：基础研究成果；评价指标体系；量化评价；体系构建
中图分类号：G322 文献标志码：A 文章编号：2095-6835（2024）06-0154-03
——————————————————————————
＊［基金项目］山西省科技战略研究专项重点项目“山西省基础研究成果评价指标体系建设研究”（编号：202204031401027）基础研究是国家科技发展的基石。

2022年，山西省基础研究经费投入达11.5亿元，与中国经济发达地区仍有差距。

然而，依托于资源优势和传统产业，山西在煤炭、机械、新材料等领域产出了大量科研成果，展现出明显的地域特色和优势。

目前，山西省的科学研究评价以专家评议为主，缺乏量化评价体系。

基于此，构建科学、完善的符合山西省基础研究发展现状的评价指标体系具有重要的价值。

1 文献综述
1.1 国外基础研究成果评价指标体系的研究进展
国外科研绩效评价的经验丰富，英国、澳大利亚、荷兰等国家的科研绩效评价居于世界前列。

卓越研究框架（Research Excellence Framework ，REF ）是英国高校最主要的科研评价体系，其采用同行评议为主、文献计量为辅的评价方式[1]。

REF 的评价指标有科研产出、科研影响力和科研环境，重视成果质量，并将评价结果作为经费拨款依据。

澳大利亚科研卓越研究框架
（Excellence in Research for Australia ，ERA ）[2]
采用量化
指标和同行评议结合的方式进行评价，强调成果质量和社会影响力。

荷兰战略评估协议（Strategy Evaluation Protocol ，SEP ）强调研究质量、社会效益和研究机构的可持续发展能力[3]。

综上，国外科研评价多采用专家评议与量化指标结合的评价方式，注重成果质量、社会影响力和可持续发展能力。

1.2 国内基础研究成果评价指标体系的研究进展
近年来，国内的科研成果评价研究取得了一定进展。

2008年，刘法贵等（2008）[4]
利用层次分析法构建了基础研究成果的量化评价模型；马鲁豫等（2009）[5]通过
定量与定性相结合的评价方法构建了不同类别科技成
果的评价指标体系；陶晓丽等（2015）[6]确立了成果评价一级指标的参考元素和评价依据；朱艳（2016）[7]采用层
次分析法构建了科技成果转化的评价指标体系；孙凯
和钱昊（2016）[8]改进了浙江省自然科学基金产出绩效的量化评价体系；于志超和马莉莎（2023）[9]确立了基础
研究成果的评价指标及其权重。

综上，国内的科研评价已提出了分类评价、重视成果质量和社会效益等原则，指标体系建设仍有待完善。

2 基础研究成果评价指标体系的构建
2.1 基础研究成果评价指标体系的基本框架
同行评议和量化指标相结合的评价方式是国内外采用较多的科研成果评价方式。

山西省基础研究成果评价指标体系（S ）包括外省专家双盲函评（A ）和论文、专利、专著等量化指标赋分评价（B ）2个部分。

2.1.1 外省专家双盲函评
本体系的外省专家双盲函评（A ）包含成果的科学价值与意义等10项评价指标，体现了成果的创新性和社会影响力。

该10项指标采用likert 五级评分法评分，每项指标10分，总计100分。

2.1.2 论文、专利、获奖等量化指标赋分评价
论文、专利、获奖等量化指标赋分评价（B ）包含论文、专利等量化指标数量（C ）和论文、专利等量化指标质量（D ）2项二级指标。

论文、专利等量化指标数量以
论文完成数、专利完成数、专著完成数、获奖完成数和·
·154
Science and Technology & Innovation｜科技与创新2024年第06期
表1 山西省基础研究成果评价指标体系
山西省基础研究成果评价指标体系
（S）
一级指标
外省专家
双盲函评A
（分值a，权重
X
a
）
论文、专利等量
化指标赋分评
价B
（分值b，权重
X
b
）
权重/%
31.25
68.75
二级指标
成果的科学价值与意义
成果的应用价值
成果的创新性
研究成果在“卡脖子问题”领域的突破
论文、专利等的科学水平
培养教师和学生的情况
研究成果内容与任务书符合程度
研究成果与山西经济社会发展的关联性
论文、专利等数量与任务书符合程度
获国家及省部级奖励情况
论文、专利等量化指标的数量
（分值c，权重X
c
）
论文、专利等量化指标的质量
（分值d，权重X
d
）
权重/
%
10.000
10.000
10.000
10.000
10.000
10.000
10.000
10.000
10.000
10.000
27.027
72.973
三级指标
—
—
—
—
—
—
—
—
—
论文完成数
（分值Cr
1
，权重f
1
）
专利完成数
（分值Cr
2
，权重f
2
）
专著完成数
（分值Cr
3
，权重f
3
）
获奖完成数
（分值Cr
4
，权重f
4
）
获批项目完成数
（分值Cr
5
，权重f
5
）
论文质量
（分值m
1
d
1
，权重20%）
专利质量
（分值m
2
d
2
，权重20%）
专著质量
（分值m
3
d
3
，权重20%）
获奖质量（分值m
4
d
4
，
权重20%）
获批项目质量
（分值m
5
d
5
，权重20%）
权重/%
—
—
—
—
—
—
—
—
—
38.048
7.987
12.157
18.488
23.320
20.000
20.000
20.000
20.000
20.000
整体
权重/%
3.125
3.125
3.125
3.125
3.125
3.125
3.125
3.125
3.125
7.070
1.484
2.259
3.435
4.333
10.030
10.030
10.030
10.030
10.030
依托成果获得项目完成数5项三级指标进行评价。

论文、专利等量化指标的质量包括论文质量、专利质量、专著质量、获奖质量和依托成果获得项目质量5项三级指标。

论文质量等5项三级指标均包含四级指标。

2.2 基础研究成果评价指标权重的确定
本文对来自全国不同地区、高校和专业领域的具有5年以上研究经验的专家的问卷调查，通过层次分析法确定各指标权重。

由于论文质量等三级指标的相对重要性难以比较，将其权重均定为20%。

利用四级评价指标赋分体现其质量差别。

各指标的权重见表1、表2。

2.3 山西省基础研究成果评价指标体系的评分公式
本文将各指标的分值及权重以符号表示，S、a、b、
c、d和m为分值，X
a 、X
b
、X
c
、X
d
、f
1
、f
2
、f
3
、f
4
、f
5
为权重。

将C
定义为完成数，Cr定义为完成率。

其中，Cr
n
=
成果数量
任务书要求数量。

则有C
n
=100×Cr
n
f
n。

当任务书要求
数量为0时，Cr值默认取1。

为防止将不相关的成果作
为评价内容，将研究成果与项目内容的相关度系数定
义为g，其取值由函评专家给出。

赋分体系的计算公式
如下：
S=A+B=X
a
a+X
b
g（X
c
c+X
d
d）=
aX
a
X
b
g（X
c∑n=15c n+X d d）=
aX
a
+X
b
g[X c∑n=15（100×Cr n f n）+]
0.2X
d∑md m=
0.31a+0.69 g[0.27∑n=15（100×Cr n f n）+]
0.2×0.73∑md m=
0.31a+[0.18×（38Cr
1
+8Cr
2
+12Cr
3
+
]
19Cr
4
+23Cr
5
）+0.1×∑md m g（1）
·
·155
科技与创新｜Science and Technology & Innovation2024年第06期
表2 四级评价指标的权重和分值
2.4 量化绩效评价指标体系的实例验证
为验证上述评价指标体系的合理性，本文采用实例进行验证。

实例1：某项目研究成果有顶刊论文1篇，专利2项，满足任务书要求。

其结题评价结果为优秀，因此暂定其外省专家函评分数为90分。

假定g=1，按照本指标体系，总得分为108.3分。

实例2：某项目研究成果有二区论文1篇，三区论文1篇，专利2项，满足任务书要求。

其结题评价结果为合格，故暂定外省专家函评分数为84分，g=1。

按照本评价指标体系，总得分为87.35分。

3 结束语
本文构建了山西省基础研究成果评价指标体系，并进行了实例验证。

本体系的构建有望为山西省基础研究管理工作者提供决策参考。

参考文献：
[1] 张琳，韩钰馨.破除“唯论文”后的科研评价改革探索：国外
高校科研评价的实践与启示[J].世界社会科学，2023（3）：136-154，245.
[2] 蒋林浩，沈玉翠，张优良，等.澳大利亚卓越科研评价（ERA）
实践及启示[J].学位与研究生教育，2023（2）：86-93.
[3] 王楠，罗珺文，王红燕.荷兰科研评估的模式与特点：社会效
益与研究质量并重[J].高教探索，2018（10）：50-55.
[4] 刘法贵，张愿章，冯志君.基础研究科研成果评价研究[J].科
学管理研究，2008（11）：83-85.
[5] 马鲁豫，刘岩，何有琴.多元化科技成果评价指标体系的建
立[J].科技与创新，2009（5）：31-34.
[6] 陶晓丽，王海芸，王新.北京市科技成果评价指标体系参考
元素设计与测评：以基础研究类为例[J].科技和产业，2015（7）：80-85.
[7] 朱艳.科技成果转化评价指标体系构建：基于改进的层次分
析法[J].中国高校科技，2016（9）：10-11.
[8] 孙凯，钱昊.基础研究项目产出绩效的量化评价体系研究：
以浙江省自然科学基金为例[J].科技管理研究，2016（6）：58-62.
[9] 于志超，马莉莎.基础研究类科技成果指标体系的构建研究[J].
质量与市场，2023（7）：10-12.
————————
作者简介：崔培培（1986—），女，山东聊城人，博士，副教授，硕士生导师，研究方向为文物保护与修复、科学研究管理。

（编辑：严丽琴）
四级指标
顶刊论文
一区论文
二区论文
三区论文
四区论文
EI论文
论文第一标注
论文他引次数
国家级特等奖
国家级一等奖
国家级二等奖
省部级一等奖
省部级二等奖
省部级三等奖
国际发明专利
国家发明专利
专利转化加分
国自然重大项目
国自然杰青项目
国自然重点项目
国自然优青项目
国自然面上项目
国自然青年项目
国家973计划项目
其他国家级项目（＞1 000万）其他国家级项目（500万～999万）其他国家级项目（100万～499万）其他国家级项目（50万～99万）
专著权重/%
39.952
22.933
15.249
9.456
6.910
5.500
—
—
38.391
23.749
15.932
9.646
7.608
4.672
69.911
30.089
21.382
16.241
7.774
5.020
2.695
1.591
15.720
12.737
9.327
5.171
2.342
100.000
分值
480
276
180
108
84
72
24
0.12分/次
912
576
384
240
192
120
168
72
2.4分/万元
648
480
240
144
72
48
480
384
288
168
72
120
··156。