综合评价系统研究报告.doc

目录

综合评估系统研究报告 (1)

1研究总目标 (1)

2研究成果 (1)

3综合评估的数学模型 (1)

3.1 综合评估模型运行流程 (1)

3.2 基于统计数据的评估指标的分值转换模型 (3)

3.2.1 评估指标的分值转换方法 (3)

3.2.2 评估指标的分值转换方法的调整 (4)

3.3 指标权重的逆向考量 (6)

4基于AHP-PCA-BP神经网络综合评估模型 (7)

4.1 基于层次分析（AHP）法的专家主观赋权法 (7)

4.1.1 构造判断矩阵 (7)

4.1.2 计算相对权重 (8)

4.2 专家评级指标量化处理和二级指标评分归一化处理 (9)

4.3 评估指标的主成分分析处理—构建评估系统的“综合”指标。 (10)

4.3.1 主成分分析（PCA） (11)

4.3.2 基于PCA的客观赋权法 (12)

4.4 综合评估的BP神经网络模型 (13)

4.4.1 BP神经网络 (13)

4.4.2 神经网络的训练 (15)

4.5 评估分数计算 (16)

4.6 评估结果分类 (16)

4.7 AHP-PCA-BP神经网络综合评估模型计算流程 (18)

5基于AHP-PCA-BP神经网络评估模型的评估实例 (18)

6小结 (22)

综合评估系统研究报告

1研究总目标

旨在针对国防科技重点实验室的特点，构建适用于此特定对象的评估体系，以定性评估和定量评估相结合的手段，研究完整的适合于航天系统内科研院所，既有科学依据，评估结果又可为大众所接受的综合评估方法，并实现其评估系统开发。

2研究成果

1．总结2010年度综合评估系统的运作情况，研究系统运行中的问题，构建了基于AHP-PCA-BP神经网络的综合评估模型。

2．发表论文《The Design and Development of National Key Laboratory Comprehensive Evaluation System Based On VC++》

3．发表论文《一种基于PCA和BP神经网络的综合评估方法》

3综合评估的数学模型

3.1综合评估模型运行流程

（1）按照指标体系的基本关系构成递阶层，指标体系的每层中各元素支配下一层中的相应元素，形成一个递阶层，同一层中各元素相互独立。从而形成一个由一个总目标层和若干个子准则层组成的递进的“金字塔”型层次结构，如图-1。最上层为“目标”，最底层为“指标”。评估系统的指标体系如表1。

图 1 综合评估指标体系表 1 评估系统的指标体系

（2） 确定评估对象的分值计算方法。分别确定评估机构量化指标和专家投票指

标的分值转化方法的分级打分模型。评估对象的评分值由指标层的指标得分矩阵确定。

（3） 按评估对象的多层指标系统,将评估机构量化指标项（科研任务、科研成

果、人才培养和学术交流）按给定的计算方法计算指标的加权分值和得分值,并根据给定的分级打分方法将得分值转化为评分矩阵。

（4） 结合专家打分指标部分得到评估对象的评分矩阵。根据各指标给定的权重

按目标得分计算方法，计算评估对象的135,,N N N 的值。

3.2 基于统计数据的评估指标的分值转换模型

3.2.1 评估指标的分值转换方法 评估指标的分值转换方法如下

（1） 根据课题数量、经费、科技奖励、专利、论文与专著、标准、人才培养项

的记录的得分计算标准计算评估对象在这些指标项的加权分值。 （2） 按

计算各项得分

（3） ○

1科研任务=课题数量+经费 ○

2科研成果=科技奖励+专利+标准 计算科研任务、科技奖励、人才培养和学术交流得分 （4） 按如下的分级打分（表2）方法计算四项指标评分矩阵 表 2 分级打分表 13.5 12.75 12 11.25 10.5 9.75 13.5

12.75

12

11.25

10.5

9.75

4.5 4.25 4.0 3.75 3.5 3.25

5.4

5.1

4.8

4.5

4.2

3.9

3.9

得到如下的评分矩阵：

111715,115,7a a a a ⎛⎫ ⎪ ⎪ ⎪⎝⎭

记N 为专家人数，其中ij a 为正整数，且满足：

[0,]

ij a N ∈，7

1

ij

j a

N ==∑

3.2.2 评估指标的分值转换方法的调整

根据构建的指标评估模型和分值转换方法对本年度参评实验室做出初步评估。然而评估的结果不尽人意，多数实验室的评估结果为不合格，显然这是不符合实际情况的。分析评估过程数据，图2为科研成果指标2010年度参评实验室的分级情况。

图 2 科研成果指标2010年度参评实验室分级表

显然，分级后各档次的实验室数量分布的严重不合理性，此外，科研任务、人才

培养、学术交流指标有同样的问题，由此对分值转换方法做出如下调整。

指标得分 = (指标加权分*a + b) / (年度指标分最大值*a + b) 其中a,b 的值由二元一次方程组确定：

*max*100

avg a b E

a b +=⎧⎨

+=⎩ 其中avg 表示年度指标加权分的平均分，max 表示年度实验室加权分的最大值，E 为一个大于0小于100的数，可根据数据实际分布情况动态调整。取80E =得到科研成果参评实验室的新的分布情况，图-3为调整前后的分布对比。可以看出调整后的各档次的实验室分布数量更趋合理。且最终评估的结分布也合理。按照一定的方法将实验室得分矩阵转换为分值得调整前后的各实验室评估分值如图4，图5。

图 3 分值转换方法调整前后实验室分级情况对比