托福写作考试分析

托福写作考试分析

王维瓒

任何一种正规的考试都有一定的语言学理论和教学法理论作为指导。早期托福以一种被称为离散项目测试（the discrete-point approach）的语言测试模式为基础。该模式认为语言由不同的独立成分构成，通过测试语言知识的各个独立成分，就可以推断出一个考生的语言水平。例如，通过测试考生对词汇意义的掌握，就可预测他的阅读理解能力；通过测试考生对句子结构的掌握情况，就可以判断他的写作能力。实践证明，以这种模式为指导的旧托福考试存在着很大的弊端，它强调了对语言知识的掌握，却忽略了对使用语言进行交际的掌握。其实，有相当一部分学生取得了相对较高的托福分数，但却不能说一口流畅地道的英文口语；有的学生能听懂录音绷里灌制的、没有任何干扰的英文，但到国外后却听不懂老师的讲课；还有一些考生记忆了大量的词汇，并通过做大量选择题的题海战术，非常熟练地掌握了句子结构方面的知识，但却很难写出一篇语言通顺、内容连贯、结构合理的作文。这些所谓“哑巴英语”、“聋子英语”的事例在北美的中国留学生中比比皆是。由于以上种种问题，ETS 才对旧托福大动手术，采用新的理论为指导，设计新的网考形式，应用新的评分标准。

和托福其他部分一样，托福写作题设计的理论基础仍然是交际语言教学法(Communicative Language Teaching) 或称交际法(Communicative Approach) 和自然法(The Natural Approach)。应试者对这些教学理论以及由此产生的题目设计的指导思想和原则进行一些初步的了解，有助于领会测试的目的和要求，有的放矢地进行复习。一、托福写作设计的理论基础：交际语言测试理论

从上世纪60 年代开始，语言学家纷纷加入到对交际性测试理论（简称CT 理论）的研究中

来，并且取得了一系列斐然的成绩。最具有突出贡献的是Bachman, 他提出了全新的语言交际能力(communicative language ability：CLA) 模式。根据其[1] 观点，在设计和开发一项语言测试时，最核心的因素就是该测试的实用性，测试的实用性中又强调其可靠性(reliability)。Brown[2] 把可靠性归为四种类型：与学生相关的可靠性(student-related reliability)，评分者的可靠性(rater reliability)，测试管理的可靠性(test administration reliability) 和测试的可靠性(test reliability)。

二、托福写作测试的可靠性分析

1. 试题的可靠性

写作测试的可靠性首先是试题本身的可靠性。托福写作测试委员会细致的编写每个题目，每一道题目都是在专家基于“学术英语写作影响因素的基础上”精心设计的[3](p45)。每一位考生在题目的处理上更擅长应对自己比较熟悉，且接近学习生活的题目。如，托福独立写作试题的题目可能是：“选课挑难的，即使分数再高也在所不惜”。亦或者题目是：“选课是根据个人爱好还是将来工作和职业的需要？”这两个题目都涉及到学生最基本的生活层面：选课，分数，工作。所以，学生在处理类似题目的时候还是会得心应手的。而托福的题目设计者也是在充分参考了北美高校的英语教学环境之后才设计出这些题目，从而保证了试题内容的确定性，进而提高了测试的一致性和可靠性。

2. 测试管理的可靠性

Brown[2] 指出，测试管理的可靠性是依赖于各测试管理中的相同环境，包括噪音﹑温度和光线等条件。托福的写作测试是一个具有高风险性的测试，引自ETS 官方的说法[4]：因为托福考试的测验者会在不同的地点参加不同形式的托福考试，所以必须保证考试条件得到有力的监管，评分者和测试任务保持步调一致。而为保持这种一致性，ETS 承诺所有的测试

中心都配备符合统一标准的软件和硬件，充分保证每位测试者都能在相同的条件下参加考试。此外，ETS 还给测试者提供网上的考试练习和详细的考试流程介绍，其中包括题型顺序，考试时长和考试界面的操作方法等。但实际情况是，该管理过程存在很多问题：测试者答题的不同步性，隔音措施的疏忽都造成了对考生的影响。比如，有的被测试者才刚刚完成阅读部分的时候可能就已经能抢先听到旁边被测试者做口语测试的题目了。再如，在两间大小相似的考场，台北的一个考场只有6 名被测试者，而在加州洛杉矶的一个考场却挤满了24 名被测试者。测试环境的差别从客观上不可避免地影响测试管理的可靠性。

3. 评分者的可靠性

在2010 年1 月份以前，每篇作文由两名训练有素的专业评分人员根据评分标准分别进行全面评判（以整数1 分为基准单位，划分0-5 分区间），而后计算被测试者最终得分。评分人员必须持有相关资历证明才能参加评分，而且评分的过程也受到ETS 的监控管理[4]。在2010 年1 月之后，ETS 对托福写作部分的评分出现了重大的调整，取2 个人和2 个e-Rater 的算术平均分作为原始分。电脑评分和人工评分两者各有利弊。Attali[5] 指出，用电脑评分系统评分，在语法﹑词汇和结构上带来更高可靠性，但电脑评分系统并不能去衡量一篇文章的内容。当其间接地发现作文里面的拼写，逻辑和语法错误，如常见的过渡词出现了拼写错误，电脑评分就会识别出来并且默认为无效，从而大大削弱了被测试者的作文质量，毕竟过渡词和逻辑结构词能够有效地反映被测试者的作文逻辑和思路。而且对于被测试者在作文中体现出来的自我风格和个性，如文章字句的幽默诙谐，电脑评分也是无力识别的。综合一机一人的联合型评分手段，托福考试更能够为满足其评分标准设置中允许在满足交际技能需要的前提下，考生偶尔犯语言要素方面的错误。

4. 与学生相关的可靠性

托福写作部分里与学生相关的可靠性还是比较高的。Zhang[6] (2008）关于托福“重复测试者”的研究实验中，对120 多名重复测试者做了跟踪测试，这120 名被测试者在一个月里面参加了两次托福测试，而两次测试中间他们并没有接受任何高强度的针对性的训练。实验的结果表明这两次托福成绩的差别非常小，实验从客观上说明被测试者在很短的时间内连续两次托福测试的分数是很接近且很类似的，这种相似性具有很强的一致性和同一性。

三、结论

根据ETS 的数据统计，托福考试写作部分的可靠性要低于听力﹑阅读和口语部分。造成该结果的重要因素是写作部分仅有两个任务的局限性。ETS[4] 所给出的解释是“这种比较花时间的写作任务确实没那些花时间少一些的其他任务可靠性高”。Bachman[1] 也指出“那些只关注语言能力的个别方面的测试往往能获得更高的可靠性”。托福写作部分是听力﹑阅读和写作三者的融合，同时也是对于词汇﹑语法﹑篇章和句法等综合能力的考量，因此其可靠性就相对低一些。而且，写作部分的独立写作试题需要被测试者结合自己的个人经历和知识背景，所以被测试者的发挥容易受到题目的限制。托福考试主要还是用于学校录取时看重的一个参考因素，因此，整体的分数才是最重要的标准，即使写作部分的可靠性比较低，只要测试的整体可靠性高，这个测试结果还是能比较客观的地反映被测试者的语言水平的。

参考文献：

[1] Bachman,L.F.Fundamental Considerations in Language Testing[M]. Oxford:Oxford University Press.1990.

[2] Brown,H. nguageAssessment:Principles and Classroom Practices[M].Pearson Education;NY.2004.

[3] 梁隽，托福写作测试的有效性[J]. 考试周刊，2008（45）

[4] Educational Testing Service.Reliability and Comparability of TOEFL IBT Scores.[C] Princeton,NJ.2008

[5] Attali,Y.Construct Validity of erater in Scoring TOEFL Essays (ETS Research Memorandum No.RR -07 -21).Educa. [C] tional Testing Service,Princeton,NJ.2007

[6] Zhang,Yanling.Repeater analyses for TOEFL IBT (ETS Research Memorandum)