大学专业英语的测试信度与效度研究

大学专业英语的测试信度与效度研究Reliability & Validation Study of College Specialized English重庆大学外语学院黄萍副教授Huang Ping College of Foreign Languages, Chongqing University 400044[摘要]全国大学英语四、六级考委会立项的科研项目“大学英语专业阅读阶段完成之后的测试方式及构卷研究”是对大学专业英语能否进行统一测试的研究。

本文从一套诊断性大学专业英语试题入手，从333个学生的答题分数与其四级考试分数、专业英语期末考试成绩相对比，对该套大学专业英语测试题的信度与效度进行了分析与研究，并从学生的反馈中得出结论：大学专业英语统一测试是必要的，也是可行的。

[Abstract] The research project “The Testing Method and Structure of College Specialized English after Reading Period” sponsored by the National College English CET 4&6 Committee is to study the feasibility of the College Specialized English Test in China. This thesis analyzed the results from 333 students who had a diagnosed test and studied the reliability and validation through comparing with the students’ CET 4 test scores and the specialized English achievement test scores. From the students’ feedback we can conclude that the College Specialized English is feasible and essential.[关键词] 可行性，信度，效度，方差，统计学[Key Words] feasibility, reliability, validation, SD, statistics1998年6月，由全国大学英语四、六级考委会立项，重庆大学外语学院承接了科研项目“大学英语专业阅读阶段完成之后的测试方式及构卷研究”。

项目研究的目的是对大学专业英语进行统一测试的可行性进行研究，其具体过程是通过对西南地区各高校大学专业英语的现状调查，对专业英语测试的内容、方式及构卷进行诊断性测试，为大学英语能进行统一地专业英语测试提出可行性方案，并为大学专业英语测试最终能进行全国统一测试奠定基础，对统一考试可能出现的问题和困难提出意见及可能解决的办法，以进一步推动大学专业英语测试的尽快实施，并对提高专业英语考试的效度与信度，使考试更具有合理性和科学性提出建设性的意见。

一．大学专业英语测试研究目的本研究由大学英语考委会立项，在重庆大学外语学院以及国家级专家韩其顺教授的指导下进行的。

目的在于探讨专业英语统一测试是否可行，会存在哪些问题，是否有解决办法，其效度与信度怎样，测试的内容与方法与效度和信度的关系，构卷的方法与研究等。

研究是基于《大学英语教学大纲》中对专业英语阶段的要求来进行的，因此，专业英语测试的内容与构卷也严格围绕着大纲的要求制定。

鉴于大学专业英语测试的目的是为了检查对教学大纲的执行情况，因此，测试内容力求反映大纲的要求。

我们认为，大学英语专业英语测试与大学四、六级考试的测试重点是截然不同的，大学英语专业英语测试应着眼于语言的运用(use)，而不是在于语言的习惯(usage)。

语言学家认为语言内容的测试是从语言的交际需要中分离出来的。

本考试的目的是为了促进培养既懂专业又懂英语的技术人才，使他们进入社会后能用英语作为工具和手段，满足自己工作的需要。

因此，与CET-BAND4不同，它强调的不是学习者语言习惯的形式的准确性，而是通过具有意义的语言实践掌握语言习惯的模式，即它所强调的是语言的适切性(appropriacy)。

二．大学专业英语测试信度与效度课题小组在国家级专家韩其顺教授的指导下，设计了专业英语诊断性（Diagnose ）试题。

2000年4月16日，我们在重庆大学对400多个学生（有效试卷333份）近十个专业的学生进行了试测。

为了有效地对该试题进行分析，我们让被试学生在答题纸上写上了四级通过分数，并在考试完成后对学生就本次考试进行了问卷回答。

以下是我们对受试者答卷进行的统计分析。

从考试结果来看，受试者成绩频数分布曲线图如下:1020304050600~25~30~35~40~45~50~55~60~65~70~分数段频数图1 专业英语测试成绩分布曲线图所有受试总分分布情况是否呈正态分布呢？检验其偏态值SK , 结果为-0.27; 检验其峰值Kurt , 结果为-0.001。

从成绩分布曲线图上来看，虽然出现一个小双峰形态，但双峰紧邻平均数大致呈对称分布。

由此可以认为，本次专业英语测试总分基本呈正态分布。

根据测试结果，进行了内部一致性信度计算。

我们采取了较为实用的信度计算方法，没有采用再测信度、等值测试信度。

本测试包含了若干客观和半客观性命题，不能采用分半信度计算方法和库德-理查逊公式法进行计算，因而采用克龙巴赫所创造的α 系数公式。

该公式为：α = SS Ti K K 221(1∑--）其中， α为信度系数；K 为题目数；Si2为各题各被试得分的方差； ST2为各被试所得总分的方差。

表1 专业英语测试信度与效度分析（注：*表示在0。

05水平上相关，**表示在0.01水平上相关）由表1可知，①从学生本次考试与国家四级成绩来比较，科技英语班r=0.389**，P< 0.05；商务英语班r=0.463****，P<0.001；说明本次考试是有效的，有很大的信度与效度。

②从学生本次考试与科技英语班学生期末考试成绩相比较（期末考试题采用由东南大学《新科技英语》教材项目组的试题），r=0.63****，P< 0.001; 学生本次考试与商务英语班期末考试成绩相比较(试题采用剑桥商务英语等级证书考试题), r=0.465****，P< 0.001，也说明本次考试是有效的，有很大的信度与效度。

③从单项比较来看，我们对商务英语班用大学英语四、六级口语考试判分（两个口语测试员为大学英语考委会正式聘用的口语测试员），所得的相关系数也很高，r=0.56****，P< 0.001。

④除科技英语班翻译与本次考试的相关性不大外，其他各单项都与本次考试是相关的，且相关性很大。

而就其科技英语班翻译与本次考试的相关性不大的原因在于，该翻译试题在一次练习中学生已做过，因此，其成绩与本次考试不相关，从另一方面可以看出，我们所研究的相关性与试题的效度与信度是很有关的。

表2. 专业英语测试信度与效度分析（*表示相关，**表极其相关）由表2可知，①从学生本次考试与国家四级成绩来比较,总的来讲,相关性是很大的, r=0.417*****，P<0.001。

表明本次考试是有效的，有很大的信度与效度。

材料专业的四级成绩与本次考试不太相关的原因是：可能是因为四级考试数据不太准确，34人考试只有27人有四级考试成绩。

②对以上五个专业的单项测试与本次考试的相关性研究来看，除了金压专业外，其他专业的听力与本次考试的相关性都很高，而金压专业只有r=0.135，P>0.2 与本次考试不太相关，我们发现，金压专业的四级成绩与本次考试也刚好相关，r=0.448*，P<0.05就其原因，学生大多数来自农村，其听力本来就不太好，而本次考试的听力又以主观性试题为主，所以，学生考试听力与本次考试不太相关，这从听力与本次考试的难度值也可以看出，听力的难度是最大的。

③对以上五个专业的相关性研究发现，专业好的学生，不管是四级成绩，还是单项测试与本次考试的相关性都很大，反之亦然。

三. 大学专业英语测试的可行性专业英语测试是属于专门用途英语领域的一门测试。

人们通常认为要使它具有较高的效度，就必须为每一个专业单独设计一套试题，这种看法虽然有一定道理，但如要为每一个专业都设计一套题的话，专业英语就很难有一个较为统一的标准，就不可能做到较大规模的专业英语测试，也就难以真正推动和促进专业英语教学。

本测试的目的就是试图在一套题中测试出各专业英语的共同性，我们这样设计的理由是，第一，专业英语的领域太广，如果要把各专业领域在测试中都能涵盖，那么，一次考试就可能包含许多专业的测试题，这样不仅仅要花太多的人力、物力，而且很难保证各专业在同一次考试中的难易度；第二，各专业英语在语言风格上有很大的不同，如法律英语与科技英语，专业术语也不同，但是，各专业在文体上是有关系的，如文摘的格式、绪论、定义、结束语的格式等，此外，语法也有其共同性，如无人称、陈述客观、准确、语言规范、文体质朴、逻辑性强等都是专业英语的共同特点；第三，教育部通过专业目录的调整后，专业划分过细的现象不存在了，大学英语教学大纲虽然要求学生通过专业英语的学习，能听、读懂本专业文献，能说、写、翻译本专业有关文献，但是，正如以上所说，各专业英语的文体都有其相同之处，我们设计出的专业英语测试题主要是检验各高校是否完成了大学英语教学大纲所要求的任务，而不是测试学生是否懂得本专业英语内容；第四，现代科学发展的一个显著特点是跨专业跨学科研究，大学毕业生毕业后也有可能从事其他专业的工作，如学文的改行学计算机，从时代发展的角度来看，专业英语测试内容完全可以测试专业英语的共同性，加强其使用性。

我们正是基于以上理由，大胆地尝试了用一套专业英语试题来测试各专业英语，以达到标准一致、评分一致以及实用性强、针对性强。

为了更好地说明我们的这套试题的可行性，请看我们对商务英语、材料、电力、工业设计、计算机、金属锻压等几个不同专业学生的测试结果来看其显著性差异：表3.专业英语测试组各对平均数之间q值与临界值比较通过方差分析，我们发现至少有一对平均数差异显著，因而进一步进行了q检验，来确定哪些对平均数的差异达到显著水平。

结果发现，97工设组与其他五组（97金压组除外）的平均数q值超过了0.05水平的临界值，其中有两对超过了0.01水平的临界值，即差异极为显著。

97工业设计专业受试组的平均数仅为37.3，与其他受试组的表面差异也比较大，检验结果也说明这一组的平均数异常，差异显著，其他各组间的平均数均无显著差异。