作文自动评分总结

李艳老师和葛诗利老师《大学英语作文自动评分中分级词表的效度研究》中提出了作文分级词表的思想，而这可以通过改进或者调整已有的词表来获得。

目前自然语言处理中准确率最高的、也是最基本的研究就是词汇分析，词汇分析一般包括词长分布、词汇分布和词汇丰富性等。

词汇分布：一篇作文中的词汇占某一分级词表每个级别词汇的比例。Laufer&Nation的3个级别的词表。

CLEC中国学习者英语语料库

SPSS软件包的单因素方差分析（ANOV A）

SPSS多元线性回归

分数档的精确率和召回率，总体准确率和误判率

个分数精确率=本为X档作文并且被评为X档作文的数量／所有被评为X档作文的总数*100 精确率越高，说明作文被评为该分数档的可信度越高

Laufer&Nation 以词族为计算单位，词频概貌

文秋芳以类符为计算单词，称为词频广度

倪岚以形符为计算单位词频分布

准确率都是30%左右

徐剑和梁茂成《对集中英汉机器翻译系统的测评》

翻译系统在译文输出方面已经比较成熟，源语言的语义识别方面还不如人意。

80年代，机器翻译研究863智能型英汉翻译系统—“译星一号”

评估标准：系统功能，操作的难易度及译文质量（包括译文的忠实度、译语的可懂度和译文的可接受性）

欧共体评估：识别（译文的得懂度、忠实度、连贯度、有用性、读取速度和译文的可接受性）和语言方面（句子结构和语义的连贯性、词汇评价、翻译错误）

可懂度、忠实度和译文的可接受性

梁茂成和李刚《英汉机器翻译中人称代词的处理》徐州师范大学外语系

汉语术语分析语，词序、虚词等来表达各种语法关系；

英语属于综合语，通过词本身的形态变化来表示

英语中人称代词的使用频率要远远高于汉语

汉语属于孤立性语言，英语为粘着性语言

原因：

1.汉语表示所属关系的物主代词往往可以省略

2.英语中大量使用反身代词

反身代词：（译星对反身代词处理较为得当）

1.英语较汉语大量使用反身代词

2.汉语反身代词具有独立的指称功能，英语则依附于其他代词或名次，无独立的指称功能。英汉第二人称代词的差异

You是你还是你们？

英语代词的预指功能

人称代词在机器翻译中的处理

1.调整语法信息库（代词的主要作用是代替名词）

2.条件句

自动评分技术

陆军，梁颖红，陆玉清，李斌，姚建民《多分类器融合技术在自动作文评分中的应用》 分类器：贝叶斯、K 近邻和支持向量机

自动作文评分（Automated Essay Scoring ，AES ）

国外主观题自动评分系统：E-rater 、IEA(Intelligent Essay Assessor)、PEG(Project Essay Grade) 国内最早涉足作文评分领域：梁茂成教授

中国学习者英语语料库（Chinese Learner English Corpus ）对作文中的错误进行了详细标注、分类和统计

作文内容的特征（作文中的单词和短语，即通常的Uni-Gram 、Bi-Gram 和Tri-Gram 模型）考察作文的主题和内容

语言学特征：

浅层的语言学特征（句子个数、句子平均长度、单词平均长度、单词个数）考察作文的形式 复杂的语言学特征（作文中的语法、单词的词性、连接词、各种类型错误个数）考察作文的语法、连贯性和错误

特征筛选：文档频率（Document Frequency ，DF ）、信息增益（Information Gain ，IG ）、统计量（Chi-square Statistic, CHI ）

文本分类算法

朴素贝叶斯（Naïve Bayes ）假定各种特征之间相互独立。性能不稳定，易受分类任务的影响。

K 近邻（K-Nearest Neighbor ）要求有较高质量的训练集，K 值确定比较难

支持向量机（Support Vector Machine ，SVM ）基于结构风险最小化理论

评价分类结果的好坏：准确率p 、召回率r 和F1测度

)/(21r p r p F +⨯⨯=

E-rater 商用机器评分系统，准确率计入相邻分数

所有分类方法的效果都要低于它们在其他方面的分类效果

原因：四级作文本身的特点和各分数作文的篇章数的分布情况

结束语：

语言学特征更能体现作文的水平 NLP 技术

曹亦微，杨晨《使用潜语义分析的汉语作文自动评分研究》

评分方式

1. 依靠精确的分析和提取反映文章质量的指标进行评分，指标大多是语法层面上的；

（PEG ）

2. 另一种是整体评分，综合使用了文章的词语使用、论述结构、句法结构以及内容和语义

等方面的特征（e-rater ：统计方法+自然语言处理技术）。

潜语义（LSA ，latent Semantic Analysis ）

葛诗利，陈潇潇《文本聚类在大学英语作文自动评分中应用》

文本聚类把作文按内容的相似程度聚集到一起，形成一棵内密外疏的聚类树。识别跑题作文 文秋芳：“作文内容能够解释作文总体质量56%的差异”

内容评价：采用文本自动层级聚类

优点：不需要事先基于大规模标注训练集构建评价模型

PEG侧重结构分析，较高的评分准确率，忽略内容，更多地注重表面结构

IEA 只基于潜伏语义分析测量的是“文本的内容和学生作文中所传达的只是，而不是作文的风格或语言”，适用于本族语作文（基本没有较大语言失误）—单独的潜伏语义分析用于外语作文评分显然不够

BETSY基于文本分类技术

E-rater，IntelliMetric，语言质量和内容兼顾，适用外语作文自动评分

E-rater内容分析采用了向量空间模型，作文首先转化为词频的向量，再合并语言质量得分层级聚类：自底向上（Bottom-up合并聚类）和自顶向下（Top-down分割聚类）

常见文档聚类算法：

k-means算法（分割）

凝聚层级算法（Hierarchical Agglomerative Clustering，HAG 层级算法）

建立特征向量TF-IDF（Term Frequency-Inverse Document Frequency）

葛诗利，陈潇潇《大学英语作文自动评分研究中的问题及对策》

四个难题：评分标准、针对性、通用性和人机界面的划分

作文自动评分研究使用技术：计算机统计技术、自然语言处理技术、信息检索技术和人工智能技术

马希文计算机解决问题前提条件：

第一，必须把待解决的问题形式化

第二，这种问题必须是可计算的

第三，这种问题必须有一个合理的复杂度，要避免指数爆炸

语言：人工选取特征和机器统计加权

非英语专业大学生作文语言使用特征：词汇、短语、句法、搭配和错误

PEG统计文章长度、各种词类的数量、词长的变化（浅层文本特征）

IEA使用词汇统计，实义词的统计

E-rater基于词汇统计（内容），浅层文本特征（语言）

把内容评分转换为词汇向量的统计比较

针对语言使用的评分，低分段评分准确率非常高，中、高分段，尤其是高分段准确率较低

梁茂成、文秋芳《国外作文自动评分系统评述及启示》

信度（reliability）效度（validity）

PEG（Project Essay Grade）重语言形式

实现步骤：变量提取—多元回归分析—多元回归得到的beta值代入计算机程序换算出作文得分

IEA（Intelligent Essay Assessor）重作文内容

矢量空间模型（Vector Space Model VSM）过滤干扰信息，提取数据中的潜在语义结构

潜在语义结构词汇项（即词汇）—文档矩阵term-by-document matrix

之后对矩阵进行奇异值分解（Singular Value Decomposition，SVD）把原来矩阵分解为三个不同矩阵，再重建一个新的维度较少的矩阵

E-rater既重形式又重内容—一个模块结构的混合评分系统

基于线性回归模型

三个模块：

第一模块，话语（discourse）结构，即篇章结构，依靠搜索提示词（In summary…）实现