基于逻辑推理的计算机试题评卷算法研究

基于逻辑推理的计算机试题评卷算法研究
贾志先
【摘要】到目前为止，填空等试题的计算机评分方法，基本上是利用评分关键字与考生的答案匹配进行评分，评分结果并不理想。

由于考生的答案多种多样，存在着不一致（inconsistent）或不确定（uncertain）的问题。

R．Reiter 缺省逻辑（default logic）推理可以有效地解决在不一致或不确定的情况下进行逻辑推理的问题。

在 N．D．Belnap 四值逻辑的基础上，可将经典缺省逻辑推理推广到四值逻辑的双格结构上。

将四值缺省推理应用到填空等试题的评分方法中，可使填空等试题的评分结果更加准确和科学。

%So far,the grading methods of filling in the blanks and other topics are almost by matching keywords of grading with answers of examinee,and the results of grading are not satisfactory.Due to the answers of examinee with diversity, there are inconsistent or uncertain problems.The default reasoning by R.Reiter can effectively solve the problems of rea-soning in the case of inconsistency or uncertainty.On the basis of four -valued logic by N.D.Belnap,the classic default logical reasoning can be extended to four -valued.The default reasoning based on four -valued can be used to grade filling in the blanks and other topic,so as to make the results of grading more accurate and scientific.
【期刊名称】《智能计算机与应用》
【年(卷),期】2014(000)004
【总页数】4页(P47-49,53)
【关键词】四值逻辑;缺省逻辑;计算机评卷
【作者】贾志先
【作者单位】新疆财经大学网络与实验教学中心，乌鲁木齐 830012
【正文语种】中文
【中图分类】TP391
0 引言
随着计算机技术的发展，大部分考试和评分都实现了智能化和数字化。

一些传统的考试题型，例如填空题，由于计算机自动评分难于实现所致，已在大部分考试中少获采用。

近年来，国内外学者在填空等试题计算机评分方面进行了一系列的研究［1－3］。

到目前为止，填空等试题计算机评分方法，基本上是利用评分关键字与考生答案的相互匹配来完成评分。

但在实际应用中，这些评分方法的评分结果却都未臻理想。

并且，由于考生答案呈现的多样性，这就决定了考生答案中也必然存在着不一致(inconsistent)或不确定(uncertain)的问题，由此即可推知填空等试题的计算机评分将是一个非单调推理活动［4］。

在非单调逻辑的作用下，可能会由于某个新结论的产生或者新条件的加入而推翻先前的某个结论，从而使推理过程回返至上一步［5］。

Reiter于1980年提出了缺
省逻辑推理(default reasoning)［6］，即已有效地解决了在不一致或不确定的情况下，进行逻辑推理的问题。

经典逻辑演算是二值的，即对于任何命题都只有两个可能的真值，真(t)和假(f)。

但是二值逻辑对于不完备信息和不一致信息的情形却已宣告为无效。

为了克服二值
逻辑的不足，1977年，Belnap在经典逻辑真值中，增加了两个逻辑值⊥和┬，由此则构成了四值逻辑［7］。

1986年，Ginsberg进一步推广了N.D.Belnap的四值逻辑结构，并建立了双格概念［8］，这种四值逻辑的双格结构为知识表示提供了方便。

本文中，在四值逻辑的基础上，将经典缺省逻辑推理外拓至四值逻辑的双格结构上。

并且应用四值缺省推理到填空等试题的评分方法中，则可使填空等试题的评分结果更趋准确与科学。

1 缺省推理
在推理过程中，经常涉及到一些在多数时候是真，但不总是真的事实的推理。

前提真，结论却可能矛盾。

应用缺省推理，则在可能的情况下，能够消除矛盾，并从矛盾的结论中得到可接受的结论［5］。

缺省理论(default theory)是一个序对Δ=＜D，W＞。

其中，D是缺省规则(default rule)的集合，每个规则都有如下的形式:
式中，α 是前提(precondition)，βi是理由(justification)，γ是结论(consequent)。

而W则是一个逻辑公式的集合，称为事实(fact)。

缺省规则(1)的含义为:在确信的前提α下，如果有一组保持逻辑一致性的理由β1，β2，…，βm，即每一个βi都不和已知事实或结论相悖，那么就可缺省推出结论γ［9－10］。

在缺省规则中，可以没有前提(precondition)或理由(justification)。

而且，如果
出现了没有的情况，则用“┬”符号表示。

例1 经典例子，“鸟会飞”［6］。

“鸟通常会飞”，这个规则可以在标准逻辑中表达为或者“所有鸟都会飞”，这与
企鹅不会飞的事实相矛盾;或者是“除了企鹅、鸵鸟… 的所有鸟都会飞”，此时就需要规则指定出所有的例外。

缺省规则“鸟通常会飞”的形式化可表述为:
缺省规则(2)意味着，如果x是鸟，并且假定会飞，则可以得出结论(consequent)x会飞。

而有关鸟的一些事实则可陈述为:
W={Bird(秃鹫)，Bird(企鹅)，Flies(企鹅)，Flies(鹰)}
依据缺省规则(2)，秃鹫会飞，因为前提(precondition)Bird(秃鹫)是真的，并且理由(justification)Flies(秃鹫)与当前已知事实不矛盾。

企鹅不会飞，缺省的前提(precondition)Bird(企鹅)是真的，但理由(justification)Flies(企鹅)与已知事实相矛盾，Bird(企鹅)即不能得出结论(consequent)Flies(企鹅)。

基于此，Reiter引入了扩展(extension)的概念，利用缺省规则，形式地表述缺省逻辑下的推理过程［6，8］。

在缺省理论Δ=(D，W)中，E0=W，对于i≥0，
那么，E是Δ=(D，W)的一个缺省扩展(extension)，当且仅当
式(3)的含义是，缺省逻辑的结论E是无穷多个依次推出的子扩展(Ei)发生了合并的结果。

2 四值逻辑
四值逻辑是处理信息不完整和不一致的一种有效方法，这样的逻辑框架既可以度量真值，又可以刻画信息的完全性和一致性。

如图1所示。

四值逻辑的真值为FOUR={t，f，┬，⊥}，⊥表示缺乏信息(没有知识)，┬则表示信息不一致(知识“过多”)。

图1 四值逻辑的双格结构Fig.1 The bilattice structure of four－ valued logic
四值逻辑的真值有两个自然偏序:一个是偏序≤t，表明真的程度，在这个偏序下，
假(f)是最小元，真(t)是最大元，┬和⊥是两个不可比较的中间元;另一个是偏序≤k，表明包含信息或知识的程度，⊥是最小元，┬是最大元，t和f是两个不可比较的
中间元。

一个双格是一个结构B=(B，≤t，≤k，﹁)，这里的B是至少包含两个元素的非空集，(B，≤t)，(B，≤k)是完备格，﹁ (否定)是满足下列性质的一元运算［8，11－12］:
(1)如果a ≤tb，则﹁b ≤t﹁ a，
(2)如果a ≤kb，则﹁a ≤k﹁ b，
(3)﹁﹁ a=a。

当B=FOUR时，B是一个具有四个元素{t，f，┬，⊥}和五种运算{∧，∨，，，﹁}的双格。

(FOUR，≤t)是一个格，格上的合取与析取分别用∧，∨表示。

(FOUR，
≤k)是一个格，格上的合取与析取分别用，表示。

四值真值格({t，f，┬，⊥}，≤t，≤k)可用二值真值格({t，f}，f≤ t)的二元组(x，y)形式表示［8，11］，即:
t=(t，f)，f=(f，t)，┬ =(t，t)，⊥ =(f，f)。

其中，x代表肯定一个断言的证据量，y代表否定一个断言的证据量［13］。

偏序关系≤t，≤k也可按二元组(x，y)的形式定义为［9，14］:
在利用二值真值格({t，f}，f≤ t)的二元组(x，y)形式表示四值真值格({t，f，┬，⊥}，≤t，≤k)的基础上，引入下面一种四值逻辑中的蕴涵→运算［13］。

设 a，b∈{t，f，┬，⊥}，a→b 的运算定义为:
并且，蕴涵→运算的真值表，则如表1所示［13］。

表1 蕴涵→运算的真值表Tab.1 The truth table of the implication operationa b a→b a b a→b t t t ┬t t f f┬f t t┬ ┬ ┬┬t ⊥⊥⊥t┬⊥ ⊥f t t ⊥t f f t⊥f t f┬
t┬⊥┬ ┬f⊥ t ⊥⊥t
在上面所定义的∧、∨、、→运算基础上，可以将缺省逻辑推理推广到四值逻辑中［9］。

3 四值缺省逻辑推理在填空题评分中的应用
基于以上研究，就可以将缺省逻辑推理方法应用到填空等试题的评分方法中。

具体实现方法为:在缺省规则中，前提(precondition)可取考生答案中包含填空等试题关键字的逻辑表达式，理由(justification)再取考生答案中包含不允许出现的填空等试题关键字的逻辑表达式，结论(consequent)若取“真(t)”则表示回答正确。

例2 计算机信息技术填空题的评分。

问题1:1MB=____KB。

这一试题的答案是1024或者1 0 2 4(全角)。

在考生答题结果中，除了与试题答案相同的外，还有1024KB，1/1024，1024Byte，1024 字节等。

对问题1应用缺省推理进行评分，其缺省规则为:
事实为:W={1MB=1024KB}。

在缺省规则(3)中，x为“问题1”，α1(x)=问题1结果中包含“1024”，α2(x)=问题1结果中包含“1 0 2 4”，β1(x)=问题1结果中包含“+－*/”，β2(x)=问题1结果中包含“Byte”，β3(x)=问题1结果中包含“字节”，γ(x)=推理结果。

按缺省规则(3)，考生答题结果中包含1024或1 0 2 4，而且不包含“Byte”、“字节”和“+ －*/”，则认为考生答题结果正确。

在上面列举的考生答案中，1024，1 0 2 4，1024KB是正确的，而1/1024，1024Byte，1024字节等是错
误的。

问题2:域名地址中后缀cn的中文含义是____
这一试题的答案是“中国”。

在考生答题结果中，除了与试题答案相同的外，还有“中国香港”，“中国台湾”，“中国的地理域名”等。

对问题2应用缺省推理进行评分，其缺省规则为:
事实为:W={后缀cn的中文含义是中国}。

在缺省规则(4)中，x为“问题2”，α(x)=问题2结果中包含“中国”，β1(x)=问题2结果中包含“香港”，β2(x)=问题2结果中包含“台湾”，γ(x)=推理结果。

按缺省规则(4)，考生答题结果中包含“中国”，而且不包含“香港”和“台湾”，则认为考生答题结果是正确的。

在上面列举的答案中，“中国”，“中国的地理域名”是正确的，而“中国香港”，“中国台湾”等是错误的。

根据以上讨论，可以建立填空等试题的题目及答案的数据结构，具体如下:
在以上数据结构中，default_rule_key是缺省推理评分结构，包括试题答案和缺省规则中的前提、理由、结论、规则等。

fill_a_vacancy是填空等主观题答案结构，包括试题、分值、类型、答案个数和缺省推理评分结构数组等。

填空类型分为完全相同和包含等类型。

其中，完全相同类型表示考生的答案与标准答案完全相同才能得分。

包含类型则表示考生的答案中包含标准答案，并且在应用缺省推理过程中，满足理由才能得分。

一般情况下，填空等试题的答案不止一个，用key_number表示答案的个数。

根
据答案个数key_number，即可确定缺省推理评分结构数组keys。

4 结束语
由于填空等试题，评分难度较大。

对填空等试题的题目进行合理设计，是降低评分难度的一个重要方面，答案应该选择相对确定和唯一。

在考生回答填空等试题过程中，可能在答案中出现了一些多余的字符，例如，空格、标点符号等，另外还会存在英文字符的大小写与试题答案不一致等问题。

因此，在评分之前，需要对考生的答案进行规范化处理。

应用缺省推理进行填空题的评分，相比利用评分关键字与考生的答案相匹配进行评分的方法，评分结果更为准确和科学。

参考文献:
［1］高思丹，袁春风.主观试题的计算机自动批改技术研究［J］.计算机应用研究，2004，21(2):181－185.
［2］史娟.考试系统中填空题自动评分的设计与实现［J］.计算机应用与软件，2010，27(9):197－199.
［3］梁振球.填空题自动评分系统的研究与实现［J］.计算机系统应用，2007，
16(2):109－111.
［4］HUNTER ing default logic in information retrieval［A］.Symbolic and Quantitative Approaches to Uncertainty(ECSQARU＇95)，edited by FROIDEVAUX C，KOHLAS J，Lecture Notes in Computer Science
［C］.Springer，1995，946:235－242.
［5］张韧弦.基于缺省逻辑的一般会话含义例证的形式处理［J］.当代语言学，2008，10(2):158－167.
［6］REITER R.A logic for default reasoning［J］.Artificial Intelligence，1980，13(1＆2):81 －132.
［7］BELNAP N D.A useful four－valued logic［A］.EPSTEIN G，DUMM J，editors.Modern Uses of Multiple－Valued Logic［M］.D.Reidel Publishing
Company，Boston，1977:8－37.
［8］GINSBERG M L.Multivalued logics:a uniform approach to reasoning in artificial intelligence［J］.Computer Intelligence，1988，4:256 －316. ［9］岳安步，林作铨.基于四值语义的缺省逻辑［J］.计算机学报，2005，
28(9):1447－1458.
［10］周北海，毛翊.一个关于常识推理的基础逻辑［J］.哲学研究(增刊)，2003:1－10.
［11］FITTING M.Bilattices and the semantics of logic programming ［J］.The Journal of Logic and Algebraic Programming，1991，11(1＆2):91－116.
［12］BOU F，RIVIECCIO U.The logic of distributive bilattices［J］.Logic Journal of the IGPL，2011，19(1):183–216.
［13］贾肇聪.四值逻辑的直观语义［D］.北京:北京大学，2013.
［14］ARIELI O，AVRON A.The value of the four values［J］.Artificial Intelligence，1998，102(1):97－141.
［15］HUNTER A，WILLIAMS M.Aggregating evidence about the positive and negative effects of treatments［J］.Artificial Intelligence in Medicine，2012，56:173－190.。