作文自动评分总结

李艳老师和葛诗利老师《大学英语作文自动评分中分级词表的效度研究》中提出了作文分级词表的思想，而这可以通过改进或者调整已有的词表来获得。

目前自然语言处理中准确率最高的、也是最基本的研究就是词汇分析，词汇分析一般包括词长分布、词汇分布和词汇丰富性等。

词汇分布：一篇作文中的词汇占某一分级词表每个级别词汇的比例。

Laufer&Nation的3个级别的词表。

CLEC中国学习者英语语料库SPSS软件包的单因素方差分析（ANOV A）SPSS多元线性回归分数档的精确率和召回率，总体准确率和误判率个分数精确率=本为X档作文并且被评为X档作文的数量／所有被评为X档作文的总数*100 精确率越高，说明作文被评为该分数档的可信度越高Laufer&Nation 以词族为计算单位，词频概貌文秋芳以类符为计算单词，称为词频广度倪岚以形符为计算单位词频分布准确率都是30%左右徐剑和梁茂成《对集中英汉机器翻译系统的测评》翻译系统在译文输出方面已经比较成熟，源语言的语义识别方面还不如人意。

80年代，机器翻译研究863智能型英汉翻译系统—“译星一号”评估标准：系统功能，操作的难易度及译文质量（包括译文的忠实度、译语的可懂度和译文的可接受性）欧共体评估：识别（译文的得懂度、忠实度、连贯度、有用性、读取速度和译文的可接受性）和语言方面（句子结构和语义的连贯性、词汇评价、翻译错误）可懂度、忠实度和译文的可接受性梁茂成和李刚《英汉机器翻译中人称代词的处理》徐州师范大学外语系汉语术语分析语，词序、虚词等来表达各种语法关系；英语属于综合语，通过词本身的形态变化来表示英语中人称代词的使用频率要远远高于汉语汉语属于孤立性语言，英语为粘着性语言原因：1.汉语表示所属关系的物主代词往往可以省略2.英语中大量使用反身代词反身代词：（译星对反身代词处理较为得当）1.英语较汉语大量使用反身代词2.汉语反身代词具有独立的指称功能，英语则依附于其他代词或名次，无独立的指称功能。

英汉第二人称代词的差异You是你还是你们？英语代词的预指功能人称代词在机器翻译中的处理1.调整语法信息库（代词的主要作用是代替名词）2.条件句自动评分技术陆军，梁颖红，陆玉清，李斌，姚建民《多分类器融合技术在自动作文评分中的应用》 分类器：贝叶斯、K 近邻和支持向量机自动作文评分（Automated Essay Scoring ，AES ）国外主观题自动评分系统：E-rater 、IEA(Intelligent Essay Assessor)、PEG(Project Essay Grade) 国内最早涉足作文评分领域：梁茂成教授中国学习者英语语料库（Chinese Learner English Corpus ）对作文中的错误进行了详细标注、分类和统计作文内容的特征（作文中的单词和短语，即通常的Uni-Gram 、Bi-Gram 和Tri-Gram 模型）考察作文的主题和内容语言学特征：浅层的语言学特征（句子个数、句子平均长度、单词平均长度、单词个数）考察作文的形式 复杂的语言学特征（作文中的语法、单词的词性、连接词、各种类型错误个数）考察作文的语法、连贯性和错误特征筛选：文档频率（Document Frequency ，DF ）、信息增益（Information Gain ，IG ）、统计量（Chi-square Statistic, CHI ）文本分类算法朴素贝叶斯（Naïve Bayes ）假定各种特征之间相互独立。

性能不稳定，易受分类任务的影响。

K 近邻（K-Nearest Neighbor ）要求有较高质量的训练集，K 值确定比较难支持向量机（Support Vector Machine ，SVM ）基于结构风险最小化理论评价分类结果的好坏：准确率p 、召回率r 和F1测度)/(21r p r p F +⨯⨯=E-rater 商用机器评分系统，准确率计入相邻分数所有分类方法的效果都要低于它们在其他方面的分类效果原因：四级作文本身的特点和各分数作文的篇章数的分布情况结束语：语言学特征更能体现作文的水平 NLP 技术曹亦微，杨晨《使用潜语义分析的汉语作文自动评分研究》评分方式1. 依靠精确的分析和提取反映文章质量的指标进行评分，指标大多是语法层面上的；（PEG ）2. 另一种是整体评分，综合使用了文章的词语使用、论述结构、句法结构以及内容和语义等方面的特征（e-rater ：统计方法+自然语言处理技术）。

潜语义（LSA ，latent Semantic Analysis ）葛诗利，陈潇潇《文本聚类在大学英语作文自动评分中应用》文本聚类把作文按内容的相似程度聚集到一起，形成一棵内密外疏的聚类树。

识别跑题作文 文秋芳：“作文内容能够解释作文总体质量56%的差异”内容评价：采用文本自动层级聚类优点：不需要事先基于大规模标注训练集构建评价模型PEG侧重结构分析，较高的评分准确率，忽略内容，更多地注重表面结构IEA 只基于潜伏语义分析测量的是“文本的内容和学生作文中所传达的只是，而不是作文的风格或语言”，适用于本族语作文（基本没有较大语言失误）—单独的潜伏语义分析用于外语作文评分显然不够BETSY基于文本分类技术E-rater，IntelliMetric，语言质量和内容兼顾，适用外语作文自动评分E-rater内容分析采用了向量空间模型，作文首先转化为词频的向量，再合并语言质量得分层级聚类：自底向上（Bottom-up合并聚类）和自顶向下（Top-down分割聚类）常见文档聚类算法：k-means算法（分割）凝聚层级算法（Hierarchical Agglomerative Clustering，HAG 层级算法）建立特征向量TF-IDF（Term Frequency-Inverse Document Frequency）葛诗利，陈潇潇《大学英语作文自动评分研究中的问题及对策》四个难题：评分标准、针对性、通用性和人机界面的划分作文自动评分研究使用技术：计算机统计技术、自然语言处理技术、信息检索技术和人工智能技术马希文计算机解决问题前提条件：第一，必须把待解决的问题形式化第二，这种问题必须是可计算的第三，这种问题必须有一个合理的复杂度，要避免指数爆炸语言：人工选取特征和机器统计加权非英语专业大学生作文语言使用特征：词汇、短语、句法、搭配和错误PEG统计文章长度、各种词类的数量、词长的变化（浅层文本特征）IEA使用词汇统计，实义词的统计E-rater基于词汇统计（内容），浅层文本特征（语言）把内容评分转换为词汇向量的统计比较针对语言使用的评分，低分段评分准确率非常高，中、高分段，尤其是高分段准确率较低梁茂成、文秋芳《国外作文自动评分系统评述及启示》信度（reliability）效度（validity）PEG（Project Essay Grade）重语言形式实现步骤：变量提取—多元回归分析—多元回归得到的beta值代入计算机程序换算出作文得分IEA（Intelligent Essay Assessor）重作文内容矢量空间模型（Vector Space Model VSM）过滤干扰信息，提取数据中的潜在语义结构潜在语义结构词汇项（即词汇）—文档矩阵term-by-document matrix之后对矩阵进行奇异值分解（Singular Value Decomposition，SVD）把原来矩阵分解为三个不同矩阵，再重建一个新的维度较少的矩阵E-rater既重形式又重内容—一个模块结构的混合评分系统基于线性回归模型三个模块：第一模块，话语（discourse）结构，即篇章结构，依靠搜索提示词（In summary…）实现第二模块，句法多样性（syntactic variety）—分析语言质量第三模块，内容（content）分析模块，通过矢量空间模型，观察作文中是否包含了足够的与作文题目高度相关的主题词。

不足：a)对语言质量的分析主要考虑的知识作文的句法多样性，（语言质量的分析应该包括：词汇、句法、语言的准确性）b)与IEA相比，内容质量分析模块显然尚有提高的余地（E-rater基于主题词分析技术，IEA使用潜伏语义分析法是一种降维技术，可以有效去除文本中的干扰信息）c)篇章结构分析模块靠搜索作文中的In conclusion等话语标记语，容易被考生识破，导致不利的反拨作用（wash back effect）评价评分的合理：评分的效度评分模型中的内核技术问题多元回归统计技术，以多个文本特征作为自变量，以人工评分作为因变量（基本技术）自然语言处理技术，挖掘变量信息检索技术—分析学生作文的内容质量韩宁《几个英语作文自动评分系统的原理与评述》PEG最早目标变量trin，相关变量proxIEA 需要较少的训练集E-rater（ETS Education Testing Service，目前正在使用）和CriterionCriterion作文评分和评价服务系统，综合了E-rater和Critique（诊断文章中的语法和用法错误）IntelliMetric,核心技术是基于人工智能理论开发的，是一种模仿人脑思考的过程并将专家的智慧合成起来的学习机器分析和每篇文章每个具体分数点相伴随的语言的特征—分数量表和评分规则分析的变量多非线性，多维度，建立在多个数学模型之上并且支持语言的作文评分My Access！为语言教学服务针对美国的教育体系和教育环境的写作评价工具，学生可以得到迅速的结构化的反馈和诊断报告BETSY目前属于管理学研究生招生委员会GMAC（Graduate of Management Admission Council）核心原理是：贝叶斯方法反垃圾邮件：所有受到的邮件要与经分类的邮件进行相似性比较，凡和垃圾邮件非常相似的要被拒之门外；文献分类：多元贝努利模型（将每篇作文看做是所关注的作文的优劣特征的特例，关注是否一个特定的特征在一篇文章中存在）和多项模型（把每篇作文看做是我们所关注的作文的优劣特征的样本，关注一个特定的特征在一篇文章中是否多次出现）共同点：第一，需要大量训练集第二，除了给出总分之外，强调在写作各个方面提供尽可能详细的反馈信息第三，与人工评分之间的一致性葛诗利，陈潇潇《中国EFL学习者自动作文评分探索》Write认识Workbench（WWB）工具包，给读者在拼写、措词及可读性方面提供反馈，包括拼写检查程序，措词程序和计算可读性程序E-rater采用了基于NLP的工具包，如：词性标注器、句法分析器、篇章分析器和词汇相似性度量器，采用了基于语料库的方法建模。

前三个模块+第四个模块（用来选择和加权对作文评分具有预测力的特征）+第五个模块（计算最后得分）E-rater仍然侧重于内容AES目标：为学生提供一个基于网络的写作环境，反馈很重要IEA前提条件：100篇已评分的作文作为训练预料；样板作文和知识源材料；未评分作文集的内部比较陈潇潇，葛诗利《自动作文评分研究综述》作文自动评分系统：基于统计、自然语言处理以及人工智能（1999年付诸实用）优点：可靠性、客观性、经济性、及时性、互动性PEG 标准多元回归—回归系数评分特征：1.作文长度—写作的流畅性；2.介词、关系代词—表明句子结构的复杂性、多样性；3.词长变化—表明文章的措辞情况（因为非常用词一般都比较长）评分原理：1.从经过人工评分的作文中统计出上述prox指标，2.然后以这些prox指标为自变量，和人工分数3.做标准多元回归，得出回归系数，建立回归方程。