公正合理评分方式

公正合理的评分方式

摘要

在各种竞赛与考试活动中，由于题目的灵活性和参赛学生的多样性，使得答案多种多样，评委在评卷标准的把握上也就难免产生分歧。为了最终评分的公平公正，我们需要全方面的考虑评委的资历和打分特点，因为每个评委都有自己的评分主观。通过加权等方式，尽可能减小由于评委个人原因而产生的偏差，使得分更加合理公正。

针对问题一，为了保证每一份论文有相同的概率分发到每一位评委手里，我们采用随机分配模型。将所有论文随机排布，每篇论文安排3个评委，随机对每一篇论文进行评委匹配。每个评委需要评卷n×3÷m次。针对每个评委的个人特点，通过每个评委的阅卷年数建立权值函数模型模拟得到该评委分数相应的权值。然后将每篇论文的三个评委的打分进行加权平均，求出的的结果作为一篇论文的最终成绩。

针对问题二，我们采用了离差比模型。评卷误差是指评分者给的分数与答题者做大结果客观真值之差，这种差异体现在不同评分者评价同一份试卷。为了解决三人平分取均值时误差受专家评分特点或是其他原因影响太大的特点，采用了离差比，进一步修正权值函数模型，加权求平均，求出的的结果作为一篇论文的最终成绩。

针对问题三，我们提出使用标准分[1]来充当一个相对评价量。标准分以平均分为参照点，以标准差为度量单位，将原始分化为具有同一计量单位的分数，这样更能体现评分的公证性和合理性，尽力去掉或减少评卷老师不同带来的成绩的差异和干扰和减少同一份试卷高分和低分的个人情绪干扰。

关键词：加权平均、随机分配、多人批阅修正、权值函数、公正合理

1、问题重述

信息化条件下，各项成绩的确定往往需要多项指标共同确定，以建模竞赛为例，假设有n篇论文提交，m个阅卷老师，要求每一篇论文需要被3个阅卷老师审阅打分，现实的情况是，不同的阅卷老师的评分标准不尽相同，有的老师阅卷比较严格，每一分都有自己的想法；也有的老师评分比较随意，所有的分都差不多，等等。

问题一：建立一个合适的模型，首先确定每一位阅卷老师的具体的阅卷论文是哪些？进而如何将三个成绩规范为一个成绩？最后形成每一篇论文的最终成绩。

问题二：在评分过程中，由于不同专家评分特点或是其他原因导致3个成绩差异较大，此时如何修正模型？

问题三：你有没有更好的评分策略，提出自己的想法并修改模型。

2、问题分析

本题研究的评分系统优化问题，对于最简单的评分法则——求平均值的方法，其弊端时显而易见的，尤其是仅仅只有三个样本数据。例如：有些评委的起评分比较高，有些评委的起评分比较低；有些评委的高低分差比较小，有些评委的高低分差比较大，有些评委的主观随意性比较强……因此，如何更好的利用三位评委的评分，得到作品的一个比较公平公正的得分是该问题的关键，而解决这个问题的核心在于如何确定三个评委分数的权值。

对于一个评委个体来说，他的评分可靠性应该是由一些客观的原因表现出来的。因此我们可以通过一定的参数，确定系统所需的权值。这样的参数是由阅卷的阅历因此应对其进行一定的处理。我们假设一共有100篇论文，5个评委进行具体讨论。

对于问题一，我们假设不考虑评委的年龄、反映程度、浏览仪器操作熟练程度等主观因素，以及每篇论文的知识点复杂程度、论文篇幅等客观因素对论文评定效率的影响，为了更加公正的评定，防止评判过程中的徇私舞弊行为，因此对于所有的论文采用随机函数混排。为了提高判卷的效率，对于所有的n篇论文共计n×3=300次评分次数平均分配给5个评委。对于每个评委的历次评卷分数进行纵向的标准化处理，得到每个评委的评卷标准值。对于每篇论文的3个评委进行横向分析，确定每个评委的评分权值，加权求和的结果作为一篇论文的最终成绩。

对于问题二，将每个评委的评分特点纳入评分系统考虑的范畴，避免起评分不同、高低分差值不同带来的评分失效，我们可选择模糊集模型，确定绝对不公平评分模糊集和绝对公平评分模糊集，通过对历次最终评分和评委打分的比对，当评委评分与论文最终得分小于一个确定的比对偏差时，我们认定为一次准确评

分，统计每个评委在有限次评分过程中的准确评分次数，建立合适的模糊集隶属函数。最终根据隶属函数得到了每个评委的评分可行度，继而修正每个评委的分数权值比重。加权求和得到论文最终分数。

这种误差控制方法的关键在于误差控制阈值的确定，目的是使不同评卷员尽量保持评分标准的一致性。

大量统计资料表明，大型选拔性竞赛，考生总体成绩合理有效的分布应该是成对称正态分布或正偏态分布。多人在一定规则约束下对一份试卷进行评定时，由于评卷教师都是长期任教，多次参加高考作文阅卷，进行了严格培训与选拔，充分讨论了评分标准，模拟评卷，规范评卷行为，统一基调。由于所有阅卷人员

都是独立自主按照评分标准评阅作文，那么所评成绩服从正态分布。即X~N（μ，σ2）。

由模型假设，设X是考生作文的评分，则应有评分的分解式：

X =μ+ε

因为E(X)=μ, E(ε)=0，D(ε)=σ2

那么一篇作文的评分X的数学模型：

{

X=μ+εε~N（0，σ2）

其中：μ是考生作文成绩的理想值，ε是评卷人员的评分与真值的偏差，ε的大小

反映了评卷老师阅卷水平与对评分标准的理解把握程度的好坏。对任意一篇论文，ε和μ是未知的，也是不可测的。造成考生成绩偏差来自ε，所以ε的偏差等于考生成绩偏差。设X i（i=1,2,3）是一篇论文的不同评分，为了使考生的成绩更加公平，应使三人评分的ε在一定范围内，为此提出区分度A，当做误差控制阈值

当偏差估计

D=(实际分−平均分)/平均值

如果三维阅卷人分数偏差D>A时，使用离差比模型，进一步调整各分数的权值。

对于问题三的优化，我们发现每位评卷老师所评试卷的均值和方差都不相同。均值的差异体现两位教师的评卷习惯（或倾向），方差的差异体现两位教师的评卷离散度。单独考察一个评卷老师，他所给出的所有试卷的分数，只能代表每份试卷在他心目中的地位，或者说是他所改的试卷在他心中的一个排序，体现在分数上只表示两份试卷的差异性。

那么不同的老师给出同样的分，对标准总分的贡献度是不相同的。单独考察一份试卷，分别由不同的老师给分，如果把某个或某些改卷老师换成善于给高分（即均值较大）的老师来改，那么他的绝对分数就会升高，相反，如果换成善于给低份的老师来改，那么他的绝对分数就会下降。

但是现在的问题是，绝大多数的试卷的改卷老师都不完全相同，由于改卷老师个人喜好的差异性，用不同阅卷老师给出的原始分数来比较两份试卷的优劣，恐怕就没有多少可比性，这样来比较当然有失公允，所以要体现评分的公证性和