评估模型研究_科研立项评估

3．科研立项评估系统模型的建立3.1 分析并构建评估指标体系指标体系的建立是科研立项评估中的基础工作。

要保证客观、公正、高水平地完成科研立项评估，首先要建立科学、可行、易操作的项目立项评估指标体系，能正确反映项目立项评估中各种项目要素之间的逻辑关系，正确反映出项目评估程序的要求，正确反映软科学研究认识活动中主体、客体、中介之间的关系。

根据软科学立项评估的基本程序，该指标体系应该包括如下方面。

首先，要对项目的立项依据进行评估。

这是进行科学项目立项评估的核心，是确定一个项目是否应该立项的最重要的因素。

如果一个项目的立项依据不充分，也就是其意义及价值很小，即使其他方面的条件都很好，该项目也是不值得资助的。

评估项目的立项依据，重点要考察项目拟解决的关键问题、对研究内容的透彻分析及国内外相关研究概况的清晰交接等方面。

其次，要对项目的研究方案和方法进行评估。

这是对项目的研究方法和技术路线的评估，其实质是对研究方案质量的评估。

研究方案质量的高低直接影响到最后的研究成果的质量的高低。

因此，研究方案和技术路线必须可行、可靠，能够解决该项目中的所有难题，从而实现预期目标。

第三，要对完成项目的条件和能力进行评估。

对于方案和技术路线好的项目，接下去应考虑课题组是否具备顺利完成项目的条件和能力，这应该重点考察研究开发所需的实施条件、对该项目已有的研究基础、课题组人员构成等方面。

完成项目的条件和能力，不是项目获得支持的必要条件。

充分利用国内外庞大的信息网络和国内各种开放的图书馆、信息中心、教育中心，或采用协作方式，将会弥补某一机构物质和信息条件等项目实施条件的不足。

但是，必须承认，项目承担者所在单位的物质、信息条件差，将会增加项目难度，从而提高对项目承担者能力的要求。

另外，如果已有研究基础差，也会增加项目难度。

同样，项目研究人员结构合理性也影响着项目完成质量的高低，如果课题组人员的研究力量很弱、学术水平很低或结构不合理（特别是与其它学科交叉情况时），如年龄、职称、专业、知识结构，都可能造成一个有投入无产出或低产出的项目。

因而这一因素是对课题完成能力的衡量，是完成课题的力度体现，一个构成合理的课题组会产生1+1>2的效果。

第四，要对项目的研究计划与经费预算进行评估。

与完成项目的条件和能力同时考虑的还有项目研究计划与经费预算。

一个好的项目，研究计划、进度安排和经费预算应满足科学性、合理性。

由于软科学研究项目都是决策部门急需的项目，因而对项目的周期长短有明确的时间要求。

时间过长，可能研究的结果会失去时效性；时间过短，可能难以保证研究质量。

因此需要考虑计划的严谨性和时间安排的适度性。

同样，课题申请经费要合理。

软科学研究经费一般由以下条款构成：①资料费，即搜集、获取研究所需要的数据信息所必需的支付。

②调研费，指进行情报分析、问题调查和研究的有关费用。

③咨询费，指邀请、组织有关专家对研究问题和方案等进行技术咨询和论证的劳务费用支付。

④计算分析费，指研究方案在计算机上进行计算所需的机时费用和纸张材料的消耗费用。

⑤研究报告出版印刷费、成果鉴定费等。

⑥其它不可预见费，指由于研究中考虑不周或由于客观环境某些因素发生不可逆转而引起的费用增加。

第五，要对研究成果的预期效益进行评估。

科学研究成果的最终目的在于能够得到良好的应用及带来整体的综合效应，因此，科研立项评估的最后步骤，是对研究成果的应用前景及由此带来的效益进行评估。

这要从所取得的专利或发表论文的质量、数量等方面考察整个项目的学术水平、理论价值，评估其先进性、创新性和科学性。

同时，还要考察项目成果的推广、应用前景，能够取得的包括人才培养等方面的社会效益和直接、间接的经济效益。

综合以上分析，本着科学性、可操作性、系统性的原则，在理顺软科学项目立项评估指标体系中各要素之间的逻辑关系的基础上，将各要素划分层次，分为目标层、准则层、指标层，根据软科学立项评估的基本程序，建立如图2所示的立项评估指标体系。

图2 科学立项评估指标体系3.2 构建混合评估模型将层次分析法和模糊聚类分析法与立项评估问题相结合，构建混合评估模型，算法流程如图3所示，具体步骤如下：（1）在建立递阶层次结构以后，上下层次之间元素的隶属关系就被确定了。

假定以顶层元素0x 为准则，所支配的下一层(1L )的元素为n x x x ,,,21 要通过两两相互比较的方法求出它们对于准则x0的相对重要性相应的权重1ω，2ω …, n ω。

为此决策者反复进行如下的判断：针对准则0x ，1L 层中的两个元素21,x x 哪一个更重要，重要的多少，并按1～9标度进行相对重要性程度赋值(记为ij a )，这样对于准则0x ，下层n 个被比较的元素构成了一个两两比较判断矩阵A=)(ij a n*n 。

（2）利用特征根法求解判断矩阵A 的特征根问题A ω=max λω，这里max λ是A 的最大特征根，ω是相应的特征向量。

所得到的ω经归一化后就可作为权重向量（3）对判断矩阵进行一致性检验(a)计算一致性指标C.I.(Consistency Index) C.I.=(max λ-n)/(n-1), (21) 式中n 为判断矩阵的阶数。

(b)查找相应n 的平均随机一直性指标 R.I.(Random Index)。

(c)计算一致性比例C.R.(Consistency Ratio) C.R.=C.I./R.I. (22)当C.R.< 0.1时，即要求判断者判断的一致性与随机生成判断的一致性之比小于10%时，认为判断矩阵的一致性是可以接受的。

反之，当C.R.≥0.1时，应该对判断矩阵所适当修正，以保持一定程度的一致性。

对于1，2阶矩阵，式(22)恒成立，总是完全一致的，此时，C.R.=0；为了避免以子系统并列关系为基础关系的评估系统会导致一些明显不合理的结论，在系统设计时可以预先设定各指标的标准分，专家打分时可参照标准分进行打分，如果指标得分低于标准分，淘汰该项目。

组织多位专家对各指标进行打分，将各专家对指标的打分值与其对应的权重相乘再相加，得到多个专家对该项目的评分结果。

上文中用层次分析法进行分析得到多个专家对该项目的多个评分，将多个评分值进行模糊聚类分析，就可以得到该项目的最后评分结果。

具体分析步骤如下： （1）数据标准化设论域U={x1,x2,…,xn}为被分类的对象，每个对象又由m 个指标表示其形状：}x ,,,{im 21 i i i x x x = (i=1,2,,…,n),对于立项评估系统，每个对象只有一个指标，即评分值。

于是得到原始数据矩阵为：图3 算法流程图⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡12111...n x x x (23) 数据标准化，就是要根据模糊矩阵的要求，将数据压缩到区间[0，1]上。

数据标准化有多种方法，这里采用的是归一化方法。

（2）标定（建立模糊相似矩阵）设论域}x ,,,{n 21 x x U =，}x ,,,{im 21 i i i x x x =，根据问题的需要，选取最大最小法，建立模糊相似矩阵，i x 与j x 的相似程度ij r =R(i x ,j x )。

ij r =⎪⎩⎪⎨⎧≠∨∧=。

，；，j i x x x x j i j iji 1 (24) （3）基于模糊等价矩阵聚类方法采用传递闭包法求模糊等价矩阵，根据标定所得的模糊矩阵，只是一个模糊相似矩阵R ，不一定具有传递性，即R 不一定是模糊等价矩阵，为了进行分类，还需要将R 改造成模糊等价矩阵R*。

用平方法求R 的传递闭包t(R)，具体过程如下： 从模糊相似矩阵R 出发，依次求平方： ..., (24)2→→→→→iRR R R当第一次出现k k k R R R = ，kR 就是所求的传递闭包t(R)，即t(R)= R*。

（4）置信水平λ最佳值的选定在应用模糊等价聚类分析方法时，选择阈值λ是凭人的经验来确定的，人们总是感到这是模糊动态聚类方法的一种不足。

我们这里采用阈值λ的变化率选定λ的最佳值。

对于模糊程度较高的聚类，可使用λ的变化率11----=i i ii i n n c λλ作为λ的定量选择标准。

其中i 为λ从高到低的聚合序次数；i n 和1-i n 分别为第i 次和第i-1次聚类的元素个数；i λ和1-i λ分别为i 次和i-1次聚类时的置信水平。

如果)max(j i c c =则认为第i 次聚类的置信水平i λ为最佳阈值。

用i λ去截割R 的传递闭包t(R)，把要聚类的元素进行分类。

选取含有元素个数最多的分类，将里面的元素求和取平均值，所得结果即为评估该项目的最后得分。

4.科研立项评估系统设计4.1 系统设计目标系统设计要以立项评估人员的评估流程为中心，影响科研立项评估结果的各因素为操作对象，并需要具备以下特点：（1）符合用户的思维方式，界面友好，操作方便快捷，体现交互性；（2）对用户要有权限限制，以确保系统的安全性；（3）信息统计详细、全面，可以对一些信息进行查询、添加、删除、修改等操作，方便用户对相关信息的管理和更新，使评估人员能根据系统提供的各方面信息做出更新更有效的管理决策。

4.2 开发设计思想（1）尽量采用现有软硬件环境及先进的立项评估方法，从而达到充分利用现有资源，提高系统开发水平和应用效果的目的；（2）系统应符合评估人员的评估流程，满足评估人员的实际工作需要，并达到操作过程中直观、方便、实用、安全等要求；（3）系统应具备数据库维护功能，及时根据用户需求进行数据的添加、删除、修改等功能；（4）系统应具备安全管理机制，具有密码保护功能和权限管理功能。

4.3 系统的主要功能模块设计的科研立项评估系统分为数据维护、综合评估、评估结果查询等三个功能模块，其下又分为总共9个子功能模块。

（1）数据维护模块：评估指标维护的主要功能是在可用字段分级列表中建立评估指标体系，对指标进行添加、删除及修改，以供综合评估模块中实现指标维护和和指标设置功能。

用户信息维护实现对用户身份权限的设置，并对用户信息进行管理。

专家数据维护实现对评估专家信息的管理。

评估结果维护实现对所有评估结果的管理。

（2）综合评估模块：专家选择界面提供了可供选择的专家，用户可以根据需要选择进行评估的专家。

评估数据包括评估指标维护和评估指标设置两部分，评估指标维护实现的主要功能是在配置列表中添加待评估的单位名称，从评估指标中选择所需要的指标，构建评估指标体系，设定各指标的标准评分和标度，填写指标描述、指标评点描述等相关信息。

同时可以实现对新构建的评估指标体系中的各指标进行添加子指标、删除、修改和保存等功能。

评估指标设置中显示的指标体系即为评估指标维护中构建的指标体系，选择评估该项目所需要的指标，并进行保存。

综合评估是专家对各个单位的评估指标进行打分，通过使用基于层次分析法与聚类分析相结合的立项评估算法计算出个单位的综合得分，然后将综合得分进行排序，并用柱状图显示。