主观打分合理性分析

主观打分合理性分析

姓名：汤和鹏

学号：12S033028

学院：土木工程

主观打分合理性分析

摘要：本文根据课堂演讲学生互相打分结果，对学生主观打分进行合理性分析，并对比传统的评价方法，分析传统评价方法与改进的方法的评价差异，旨在为主观评分的评价结果提供参考。

关键字：主观打分，相关系数，偏差

1综述

1.1问题的来源

在《科学建模与分析方法》课程中，周老师要求每位同学做一个关于建模的演讲，让其他同学从17个方面对其演讲进行评价，每方面5分，合计85分，在此过程中张禹老师也参与了打分。

本文就此打分结果进行分析，对学生主观打分进行合理性分析，并分析学生的评价水平，从而分析其评价的合理性，公正性与有效性。此外，对比传统的评价方法，分析传统评价方法与改进的方法的评价差异。

1.2数据结果得初步统计

本课程共有24位同学选修，由于缺乏两位留学生同学的数据，故不对此经行分析，另有4名同学的评分表丢失，故其不再评价范围内。最终18名同学参与评价与被评价。为了保证数据的客观性，自己不对自己经行评价。故每位同学的最终成绩由另外17名同学和1名老师的打分结果决定。下面以2号同学的评价为例子。

表1 2号同学的评价表

2传统评价方法

在传统的评价方法中，一般采取去掉一个最高分和一个最低分，然后取平均值的方法。此处参考体育打分的方法，假设老师为主裁判，由于老师的打分有较高的合理性与公正性，把老师的权重定为3。对所用同学的成绩经行统计并排名，结果如表2。

表2 各同学成绩及排名

3改进的评价方法

在传统的方法中，评价方法简单易行，并且容易被接受，因此是广为采用的

评价方法，然而，此评价方法存在很多问题：

（1）有的同学评价能力不够，其评价成绩不具有合理性

（2）同学之间关系及个人偏见问题等，评价可能存在不公正性。

（3）有的同学不认真参与，打分带有随机性和任意性，其打分结果不能反映事实。

针对以上问题，本为采取一系列方法，旨在排除以上因素带来的评价不合理性，采取一系列指标，对不合理的数据进行识别，对不合理的数据采取去除或者降低权重的方法，以增大评价的合理性。

3.1随机性打分分析

在打分过程中，如果有同学不认真听其他同学的演讲，而是采取随机打分的方法，那么其打分数据将不具有评价作用。

随机打分可以看成一个随机过程，并且具有一定的平稳性，此处假设其为平稳随机过程，由于平稳随机过程具有以下两个性质:

(1)在相当长的范围内，其平均值恒定

(2)相关系数只与时间差有关系。

在打分过程中，由于每个同学的评价项为17，可看成经历一个相当长的时间，因此采取随机打分的结果就会导致总分趋于平稳（由于不是绝对的平稳过程，17项也不能保证时间足够长，所以平均值不能恒定，只能趋于平稳）。那么此处可以用方差来评价，如果方差较小，则打分具有随机性。

表3 各同学打分总分方差

在评价过程中，由于本人（4号）为了验证随机打分的影响，采取了随机打分的方发。可以看出，本人方差很小（3.63），所以，用方差来评价打分随机性，具有一定合理性。

同样可以采用相关系数来评价，例如，针对2号同学的评价表，其对3号与4号同学的两组数据求相关系数，对4号与5号同学的两组数据求相关系数，一

次类推得到一组相关系数值（采用绝对值），如果评价是随机的话，那么其相关系数将有一定的平稳性，对得到的一组相关系数求方差，此方差的大小可以用来反映其随机性。

表4 相关系数的方差

从图1（图1为了比较，把相关系数的方差放大200倍）可以看出，总分的方差和相关系数的方差有大致相同的趋势，从以上两点可以判断出2,4,22三位同学的打分具有很大的随机性，故其结果应与排除。

图1 总分方差与相关系数方差比较图

3.2打分合理性分析

由于水平有限，或者对其他同学所讲领域缺乏了解，导致对其他人的评价与客观相差太大，及打分缺乏合理性，在此处假设老师打分比较符合实际，可以用来作为评价学生打分水平的标准。同时由于多数同学的评分都较具有客观性，故同学评分的平均值也可以作为评价学生打分水平的标准。

表5 各同学得分情况

图3 差值和分布图

图4 相关系数分布图

从图3可以看出，与学生平均值的差值和及与老师打分的差值和有相同的规律，14，16号同学的差值和较大。

从图4看出，两个相关系数非常接近，仅在14号出现反常情况，因此可以认为用相关系数来评价一具有一定合理性，4,10,19号同学的与平均值及老师打分相关系数较小，可认为他们评价能力较低。

下面分别按相关系数及差值和确定个同学的权重，由于14号及16号同学的差值和表现较异常，可认为这两位同学的评价能力较低，而其他同学的差值和差别不是很大，所以此处差值和不足以用来确定权重，但用其排除14,16号两位同学的打分结果。

在3.1中，考虑随机打分已经排除了2,4,22三位同学，故总共排除5为同学的评价结果。

对两个相关系数取和，并按降序排列，用以确定每位同学打分所占的权重，并保证最终权重和等于评价人数：

表7 打分权重表

3.3改进的最终评分结果

由以上分析可知，最终有13名同学的评分结果有效，并且权重不尽相同，最终的成绩为

s=分数∗权重

16

表8 改进后最终成绩

4总结

通过以上分析，传统的评价方法虽然对就算法而言，对每位选手都是公平的，但其合理性与客观性并不能得到保证，要想获得合理客观的数据，需要通过深入分析数据，排除无效的数据，增大合理数据的权重，这样才能保证最终评价结果得合理性。通过对比不同方法的评价结果（表9），可以看出,二者的评价结果有很大的差异性，当然，由于打分的主观性，无法证明改进后的一定更符合客观实际，建议综合采用两种方法经行评价。