语音识别技术在聋人大学生课堂教学中的应用研究

语音识别技术在聋人大学生课堂教学中的应用研究

作者：董雪燕徐娟贾京鹏

来源：《北京联合大学学报》2020年第03期

[摘要]为实现聋人大学生的无障碍学习，语音识别工具被陆续引入特殊教育院校。为调查语音识别工具在聋人课堂的教学有效性，选取北京联合大学特殊教育学院的208名在读聋人学生作为调查对象，调查其对语音转文字教学方式的认同程度，以及语音识别工具引入课堂的优点与缺点。结果显示，聋人学生普遍认可语音转文字方式的授课，且认为其能弥补手语对大学专业词汇表达的不足。关于语音识别工具在课堂中的应用，调查对象认为能提高其文字阅读能力和对专业知识的理解能力，但也指出软件本身仍存在一些缺陷，因此教师不能完全依赖它授课。基于调查结果，作者建议大学教师可以采用语音识别工具作为教学手段用于辅助聋人课堂教学，但需要对识别后的文字进行再加工，并将其与手语有机结合，才能真正地促进聋生对专业知识的理解。

[关键词]语音识别;专业知识;课堂教学;聋人学生

[中图分类号]G 762 [文献标志码]A [文章编号]1005-0310（2020）03-0063-07

0 引言

随着社会的发展，越来越多的聋人学生有机会进入大学接受高等教育。受听力损伤的影响，聋生无法听到或者听清教师所讲授的知识。为此，国内外面向听障学生的高等院校往往采用提供视觉信息来辅助听觉信息的方法帮助学生学习。由于聋人学生依靠手语生活和思考[1]，并且有研究表明手语有助于促进聋人的大脑语言区域活动的刺激[2]，特殊学校的教师常常采用“双语教学”，即手语和口语两种教学方式[3]，且以手语为主，因此要求教师自身掌握手语或配备手语翻译教辅人员，增加板书或提供有详细文本的课件资料，以及依靠学生读唇学习等[4]。这些方法和手段对聋生的学习都有不同程度的帮助，但也存在一定的局限性。如手语词汇有限，无法涵盖课程内容所需的全部词汇，特别是专业性极强的术語往往没有合适的手语相对应，硬生生的直译会导致学生无法理解专业词汇的真正含义;并且受到某些教师手语水平

的限制，手语翻译很有可能产生错译、漏译及多译的现象，从而向学生传递错误信息;而板书或详细文本则需要耗费教师大量的时间和精力;另外，能读懂唇语的聋生其实非常有限。

基于以上困难，研究者致力探索一种有可能辅助手语教学的技术，即语音识别技术。语音识别技术是指让机器通过识别和理解，把语音信号转变为相应文本或命令的技术[5]。1981年，Stuckless首次提到将语音转换为文本的技术应用在听障教育中。随后，国外开始探索计算机的语音识别技术在听障生课堂中的应用[6-8]。随着计算机技术的迅速发展，语音识别技术的识别率不断提高，文本可读性不断增强。于是，自20世纪90年代起，语音识别技术便开始在听障教育中得到推广，其标志是1998年加拿大圣玛丽大学和IBM公司组建的无障碍教学联盟。他们通过以圣玛丽大学牵头的世界各国十余所大学的教学实践，IBM公司提供强大的技术支持，使语音识别技术在聋人课堂中得以广泛应用[9-10]。

北京联合大学于2005年引进IBM公司研发的ViaScribe语音识别工具，尝试在聋人大学生课堂上使用语音识别技术进行教学辅助。尽管该语音识别工具在英语语言上已经得到认可，但对中文的识别和同步效果却并不令人满意。另外，教师也反映该系统自带的专业词汇的数量非常有限，无法满足翻译最新的专业词汇和英文词汇[11]。随着大数据技术的发展，近年来，语音识别技术取得了长足的进步。科大讯飞公司开发的讯飞听见智能会议系统，能够将语音实时转成文字，转写准确率可高达95%以上。2017年，北京联合大学引进讯飞听见智能会议系统，再次将语音识别技术运用于聋人大学生的课堂教学，助力听人教师和聋人学生的有效沟通。虽然该系统已经引入两年，但是并未对其在教学中的应用效果进行深入研究与分析。因此，本研究便是以科大讯飞的语音识别工具为基础，对将其引入聋人课堂的应用效果展开研究。本研究的出发点在于试图回答以下问题：语音识别工具的引入是否能被聋人大学生所接纳？语音识别工具能否替代教师的手语教学？不同听力残疾学生对于语音识别工具的使用是否有不同的偏好？为了回答上述问题，本研究对北京联合大学特殊教育学院的聋人大学生进行了小组访谈和问卷调查，从聋人学生的第一视角探索语音识别工具的引入对于聋人大学生的课堂教学带来的利与弊，从而为该工具的使用提供参考建议。

1 研究设计

1.1 研究对象

本次调查采用无记名方式，选取北京联合大学特殊教育学院在读的聋人大学生作为调查对象，采用网络分发问卷的形式，共回收有效问卷208份。本次调查对象的基本情况见表1。

从表1可以看出，调查对象的男女比例基本持平，各年级的基本样本数均在30以上，具备方差分析的基础。参与调查的学生听力残疾程度为一级到四级不等，其中，严重听力残疾的学生高达93%（一级和二级总和）。

1.2 研究方法

本研究采用自编问卷进行调研。问卷共包括30道问题，第1～7题是被试者的基本情况;第8～16题是对手语和文字教学情况的调查;其余问题则是对语音识别工具优点和缺点的认可度，优点和缺点的描述各7道，该部分采用李克特5点计分方式：1为完全不同意，2为不同意，3为不确定，4为同意，5为完全同意，分数越高表明被试者对该优点或缺点的认可度越高。对这些优点和缺点的描述是通过对聋人大学生的小组焦点访谈整理得来，具体描述详见表2。

为了深入分析引入语音识别工具的必要性，本研究首先考察了教师的手语水平是否能真正满足聋人学生的学习需求。调查中，首先对大学教师的手语水平进行了摸排，关于“你认为大学课堂上手语娴熟的老师占所有专业课老师的比例为”一题中，设置的4个选项分别是A：0～25%，B：26%～50%，C：51～75%，D：76%～100%。数据分析显示，52%的学生认为专业课教师中手语娴熟的比例不超过一半，即多数教师的手语水平仍未达到理想状态。通过访谈得知，由于地方手语的差异，学生无法完全理解教师的手语。这一数据说明，专业教师的手语水平是参差不齐的，大部分教师的手语水平有待提升或通用手语急需推广。然而，教师的手语水平绝非一朝一夕就能提升到令人满意的程度，因此采用语音识别工具作为辅助教学手段是一个选择，主要用于提高教师和聋人学生之间的课堂沟通和理解效率，并弥补部分教师因手语水平的不足所带来的问题。

关于“课堂上教师是否使用过语音转文字的工具”一题，75%的学生反映老师上课用过，25%的学生反映老师没用过，说明语音转文字工具在特殊教育学院的课堂上已经比较常见。此外，由于学院在开学典礼等涉及全院学生的大型活动上多次使用讯飞听见系统，因此学院所有的学生对于将语音转换为文字这一技术都不陌生，特教学院的聋生均具备评价该技术优缺点的前提条件。

关于“哪一种教学方式更容易理解老师讲课内容”这一问题中，问卷设置了5个选项，分别是A：全程手语;B：手语为主，文字为辅;C：手语一半，文字一半;D：文字为主，手语为辅;E：全程文字。被试者对5个选项的选择比例分别为4%，34%，42%，19%和1%，集中在B、C和D，这反映出聋生更倾向接受手语和文字教学相结合的教学方式，而且在手语和文字的看重度上，更注重手语的重要性。

关于语音识别工具在不同课程的适用度是否存在差异，问卷就理论课、实践课、基础课和专业课4种类型进行了比较。数据分析见图1，其中纵坐标表示课程适用度的平均值（），横坐标表示各类课程。选项分值范围是1～5，4类课程的分值均在3以上，可以看出被试者对4类课程使用语音识别工具有一定的认可度。其中，相对最被认可的是理论课（=3.45），因为理论课的内容往往比较抽象，因此，语音识别工具在这方面的优势比较明显。4类课程相较来说，比较不被认可的课程类型是实践课（=3.32），因为实践课主要是考察学生的动手实践，教师通过手语给予辅助指导比通过语音转文字的方式更有效。

2 研究结果