作文自动评分总结

李艳老师和葛诗利老师 《大学英语作文自动评分中分级词表的效度研究》 词表的思想，而这可以通过改进或者调整已有的词表来获得。 目前自然语言处理中准确率最高的、 也是最基本的研究就是词汇分析, 长分

布、词汇分布和词汇丰富性等。

词汇分布：一篇作文中的词汇占某一分级词表每个级别词汇的比例。 级别的词表。

CLEC 中国学习者英语语料库

SPSS 软件包的单因素方差分析（ ANOVA ） SPSS 多元线性回归

分数档的精确率和召回率，总体准确率和误判率

个分数精确率=本为X 档作文并且被评为 X 档作文的数量/所有被评为 X 档作文的总数*100 精确率越高，说明作文被评为该分数档的可信度越高

Laufer&Natio n

以词族为计算单位，词频概貌

文秋芳以类符为计算单词，称为词频广度 倪岚以形符为计算单位词频分布 准确率都是30%左右 徐剑和梁茂成《对集中英汉机器翻译系统的测评》 翻译系统在译文输出方面已经比较成熟，源语言的语义识别方面还不如人意。

80年代，机器翻译研究 863智能型英汉翻译系统一“译星一号”

评估标准：系统功能，操作的难易度及译文质量（包括译文的忠实度、 译语的可懂度和译文

的可接受性）

欧共体评估：识别（译文的得懂度、忠实度、连贯度、有用性、读取速度和译文的可接受性） 和语言方面（句子结构和语义的连贯性、词汇评价、翻译错误） 可懂度、忠实度和译文的可接受性

梁茂成和李刚《英汉机器翻译中人称代词的处理》 徐州师范大学外语系

汉语术语分析语，词序、虚词等来表达各种语法关系； 英语属于综合语，通过词本身的形态变化来表示 英语中人称代词的使用频率要远远高于汉语 汉语属于孤立性语言，英语为粘着性语言 原因：

1. 汉语表示所属关系的物主代词往往可以省略

2.

英语中大量使用反身代词

反身代词：（译星对反身代词处理较为得当）

1. 英语较汉语大量使用反身代词

2.

汉语反身代词具有独立的指称功能，

英语则依附于其他代词或名次，

无独立的指称功能。

英汉第二人称代词的差异

You 是你还是你们？

英语代词的预指功能

人称代词在机器翻译中的处理

1. 调整语法信息库（代词的主要作用是代替名词）

2.

条件句

自动评分技术

陆军，梁颖红，陆玉清，李斌，姚建民 《多分类器融合技术在自动作文评分中的应用》

中提出了作文分级

词汇分析一般包括词

Laufer&Nation 的 3 个

分类器：贝叶斯、K近邻和支持向量机

自动作文评分(Automated Essay Scoring，AES)

国外主观题自动评分系统：E-rater、IEA(Intelligent Essay Assessor)、PEG(Project Essay Grade)

国内最早涉足作文评分领域：梁茂成教授

中国学习者英语语料库(Chinese Learner English Corpus )对作文中的错误进行了详细标注、分类和统计

作文内容的特征(作文中的单词和短语，即通常的Uni-Gram、Bi-Gram和Tri-Gram模型)

考察作文的主题和内容

语言学特征：

浅层的语言学特征(句子个数、句子平均长度、单词平均长度、单词个数)考察作文的形式复杂的语言学特征(作文中的语法、单词的词性、连接词、各种类型错误个数)考察作文的语法、连贯性和错误

特征筛选：文档频率(Docume nt Freque ncy，DF )、信息增益(In formation Ga in，IG )、统计量(Chi-square Statistic, CHI)

文本分类算法

朴素贝叶斯(Na?/e Bayes)假定各种特征之间相互独立。性能不稳定，易受分类任务的影响。

K近邻(K-Nearest Neighbor)要求有较高质量的训练集，K值确定比较难

支持向量机(Support Vector Machine，SVM )基于结构风险最小化理论

评价分类结果的好坏：准确率p、召回率r和F1测度

R 二2 p r /(p r)

E-rater商用机器评分系统，准确率计入相邻分数

所有分类方法的效果都要低于它们在其他方面的分类效果

原因：四级作文本身的特点和各分数作文的篇章数的分布情况

结束语：

语言学特征更能体现作文的水平NLP技术

曹亦微，杨晨《使用潜语义分析的汉语作文自动评分研究》

评分方式

1.依靠精确的分析和提取反映文章质量的指标进行评分，指标大多是语法层面上的；

(PEG)

2.另一种是整体评分，综合使用了文章的词语使用、论述结构、句法结构以及内容和语义等方面的特征(e-rater：

统计方法+自然语言处理技术)。

潜语义(LSA，late nt Sema ntic An alysis )

葛诗利，陈潇潇《文本聚类在大学英语作文自动评分中应用》

文本聚类把作文按内容的相似程度聚集到一起，形成一棵内密外疏的聚类树。识别跑题作文

文秋芳：“作文内容能够解释作文总体质量56%的差异”

内容评价：采用文本自动层级聚类

优点：不需要事先基于大规模标注训练集构建评价模型

PEG侧重结构分析，较高的评分准确率，忽略内容，更多地注重表面结构

IEA只基于潜伏语义分析测量的是“文本的内容和学生作文中所传达的只是，而不是作文的风格或语言”，适用于本族语作文（基本没有较大语言失误）一单独的潜伏语义分析用于外语作文评分显然不够

BETSY基于文本分类技术

E-rater, IntelliMetric ,语言质量和内容兼顾，适用外语作文自动评分