英语听力口语考试自动化系统资料
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
江苏省英语听力口语 自动化考试介绍
牛津大学出版社(中国)有限公司 中国科学院自动化研究所 2008年8月
目录 1. 考试概要介绍
2. 考试的模式和管理 3. 计算机自动阅卷原理 4. 评估报告及教学反馈
2
1.1 主要内容
这是一场英语听力口语合并的全自动化考试
•出题自动化，以海量题库为基础； •考试自动化，采取人机对话方式； •判卷自动化，全部阅卷由计算机完成； •结果反馈，自动化生成评估报告。
依据本次考试所涉及的交谈内容，对听短文或对话回答问题部分成绩进行归纳
依据本次考试所复述句子的长度，对复述句子部分成绩进行归纳 34
谢 谢！
35
综合决策
评分结果
26
门限设置
目录
1. 考试概要介绍 2. 考试的模式和管理 3. 计算机自动阅卷原理
4. 评估报告及教学反馈
27
4.1 省、市、区(县)、校、班级、个人六级评估报告
评估报告的主要内容包括：
1. 考试总分统计：分别按照个人、班级、学校、区(县)、市、省进 行分析和比较，并可自定义比较单位，如平均分、最高分、单项 分等；
18
2.5 自动阅卷系统
评分标准
自动阅卷服务器 (省政府统一采购)
考生答案 局域网
人机对话 考试系统
阅卷进度 监控
系统 管理
19
注：以一市10万考生计算，阅卷中心由两台阅卷服务器构成，3天可完成阅卷。
2.5 自动阅卷系统
• 导入考生的答卷文件；准确完成自动阅卷和评分；
20
目录
1. 考试概要介绍 2. 考试的模式和管理
->
4.2.2 语速分布图
32
4.2.3 各大题得分情况分析
朗读短文
回答问题
平均分：8.79分 (满分10分) 听短文或对话回答问题
平均分：8.74 (满分10分) 复述句子
平均分：9.02分 (满分10分)
平均分：9.44分 (满分10分) 33
4.2.4 依据考点对各题得分情况分析
依据本次考试所涉及的功能意念点，对回答问题部分的成绩进行归纳
• 流利性
– 句子级评估，主要包括语速、插入（重复、修正）、连贯（连读、 失去爆破、同化）等
• 韵律性
– 句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调
24
3.4 自动阅卷过程说明
阅卷系统及其输入：
系统输入：考生朗读文本及语音
Making tea with tea bags is faster and easier than making it with leaves in teapots
监考机
局域网
听音、录音
考试机
听音、录音
10
注：以现有计算机教室为考场，每考场设有30-40台考试机
2.4 考试系统-学生人机交互
学生端软件操作简单易用，包括考号输入、设备测试、答题 等，在语音提示下完成考试过程，出现误操作的几率很小
11
2.4 考试系统-考号输入
12
2.4 考试系统-设备测试
耳麦设备 由省政府 统一采购
82 (2.0%)
20分下 （E档）
86 (2.1%)
29
4.2.2 单项分数统计
30
4.2.2 发音错误比率图
发音错误比率
14% 12% 10%
8% 6% 4% 2% 0%
\z\ \m\ \l\ \i\ \e\ \ei\ \u\ \r\ \ə\ \p\ \ai\ \v\ \Λ \ \əu\ \iə\ 31
题库管理系统 考务和考场编排系统
考生成绩及 个性化诊断报告
人机对话听力口语 考务平台
考生语音数据
自动阅卷平台 3
1.2 本项目四大特点
1. 人机对话的测试系统，将听力和口语合二为一，省时省 力、减少事故；
– 现状：100万考生口语考试，3天组织，工作量很大； – 人工：1老师/天/100份卷，总量100万考生； – 机器：1个市，2台服务器/3天判卷； – 大幅度减少考试可能出现的差错和事故率。
但是把这种技术应用到美国以外学生的英语考试已经很多 年了。
23
3.3 阅卷特征提取
• 完整性
– 朗读型题目，能否顺利读完全文，以及顺利读完的比例； – 话题简述型题目，能否完整表达题目的语意，清楚表达的语意比
例； – 完整性特征是评分的起评基本特征；
• 准确性
– 单词级评估，主要包括单词发音的元音、辅音、重音准确性
13
2.4 考试系统-设备测试----录音样例
• 声音合适
• 声音太小
• 声音太大（饱和）
• 设备测试时检查录音设备，确保录音正常，是自动阅卷的
基础。
14
2.4 考试系统-考试过程
考生面对 计算机，
人机对话
15
2.4 考试系统-教师人机交互
• 教师端软件全程监控，学生端如有任何异常情况(设备测 试、进度、录音异常等)，及时提示监考老师帮助学生解 决问题
– 计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，极 大提高阅卷和评估的客观性和公正性，而且为个性化评估和提供 改进建议奠定了坚实的基础。
4. 有效评估，反馈教学
– 六级评估报告，从省、市、区县，到学校、班级和个人； – 中国第一次以量化方式提供考试评估反馈； – 这样的评估报告对英语的教与学提供了真正的可信、可视化和可
2. 主要错误的寻找和指正：给出发音、考点、语速、重音等方面的 分档评价和主要错误；
3. 改进建议：针对主要错误给出练习改善的建议。
28
4.2.1 考试总分统计
34分及以上 （A档）
3341 (80.3%)
34-28分 （B档）
511 (12.3%)
28-24分 （C档）
140 (3.4%)
24-20分 （D档）
8
2.3 考试的组织与管理
考生提前 进入候考室
候考室
考场1 考场2
每考点 主考1名
每考点 考生培训员1名
每考场带队 教师1名
每考场 监考员1名
注：一个考点可包括一个或多个考场(计算机教室)
每考场 系统操作员1名
9
2.4 考试系统
考生在监考机的控制下，通过考 试机实现听题目、录回答的过程。
听音、录音
2. 海量题库、人机对话，同一考场不同考卷；
– 题库的海量性从考试机制的角度有效阻止了考试作弊现象； – 通过技术手段有效抑制猜题、押题等弊端； – 从长远建设角度，经过3到5年努力建立起百万级题库，并且年更
新10%。
4
1.2 本项目四大特点
3. 计算机完成全部英语听力和口语考试及评卷
– 公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成 绩的客观性、准确性和公平性，不同老师之间可能出现较大差异；
3. 计算机自动阅卷原理
4. 评估报告及教学反馈
21
3.1 自动阅卷系统技术结构
22
3.2 语音识别用于口语评估的特殊性
• 限定条件下的语音识别
– 专门麦克风，一定题型； – 有别于不受任何限制的自然口语识别；
• 口语评估基于标准语音库，而语音识别基于大量非标准库 • 中科院自动化所领先的语音识别技术 • 美国虽然还没有把语音技术应用于他们本国的学生评估，
操作化的帮助。
5
目录
1. 考试概要介绍
2. 考试的模式和管理
3. 计算机自动阅卷原理 4. 评估报告及教学反馈
6
2.1 考试自动化系统架构
• 面向考试全程，全面、灵活、可定制的方案
– 考前：分级考务管理/考场编排系统、考试服务网站
– 考中：测试系统
– 考后：自动阅卷系统、报告生成系统
考试前
考试中
考试后
(Ex考cel生)信息 考生答案
考生信息表
分数
考务管理系统
考场信息编排系统
信息发布 信息上传
试题文件
数据共享Βιβλιοθήκη Baidu
系统升级
试题
在线答疑 考试信息服务网站
考试机
考场监考机
考试机
考试系统
考试机
自动阅卷系统 阅卷数据库
报告生成系统
7
2.2 考务管理/考场编排系统
• 具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种 考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印
16
2.4 考试系统 - 测试现场
17
2.4 考试系统 -其它保障措施
• 每个考场预设10%的备用考试设备，以备设备故障的考生 当场或下场重考；
• 考前制定应急处理方案和故障解决手册，做好对考生设备 异常、迟到缺考、网络故障、数据传输等个别情况的处理 准备。
– 考试机故障解决手册 – 监考机故障解决手册
25
3.4 自动阅卷过程说明
• 综合各种特征给出评分
– 完整性特征：根据漏读情况计算完整性 – 准确性特征：单词发音、重音准确性 – 流利性特征：语速、插入、连读、失去爆破、同化 – 韵律性特征：意群停顿、重读弱读、语气语调 – 综合决策模块：综合上述特征给出最后评分
完整性特征 准确性特征 流利性特征 韵律性特征
牛津大学出版社(中国)有限公司 中国科学院自动化研究所 2008年8月
目录 1. 考试概要介绍
2. 考试的模式和管理 3. 计算机自动阅卷原理 4. 评估报告及教学反馈
2
1.1 主要内容
这是一场英语听力口语合并的全自动化考试
•出题自动化，以海量题库为基础； •考试自动化，采取人机对话方式； •判卷自动化，全部阅卷由计算机完成； •结果反馈，自动化生成评估报告。
依据本次考试所涉及的交谈内容，对听短文或对话回答问题部分成绩进行归纳
依据本次考试所复述句子的长度，对复述句子部分成绩进行归纳 34
谢 谢！
35
综合决策
评分结果
26
门限设置
目录
1. 考试概要介绍 2. 考试的模式和管理 3. 计算机自动阅卷原理
4. 评估报告及教学反馈
27
4.1 省、市、区(县)、校、班级、个人六级评估报告
评估报告的主要内容包括：
1. 考试总分统计：分别按照个人、班级、学校、区(县)、市、省进 行分析和比较，并可自定义比较单位，如平均分、最高分、单项 分等；
18
2.5 自动阅卷系统
评分标准
自动阅卷服务器 (省政府统一采购)
考生答案 局域网
人机对话 考试系统
阅卷进度 监控
系统 管理
19
注：以一市10万考生计算，阅卷中心由两台阅卷服务器构成，3天可完成阅卷。
2.5 自动阅卷系统
• 导入考生的答卷文件；准确完成自动阅卷和评分；
20
目录
1. 考试概要介绍 2. 考试的模式和管理
->
4.2.2 语速分布图
32
4.2.3 各大题得分情况分析
朗读短文
回答问题
平均分：8.79分 (满分10分) 听短文或对话回答问题
平均分：8.74 (满分10分) 复述句子
平均分：9.02分 (满分10分)
平均分：9.44分 (满分10分) 33
4.2.4 依据考点对各题得分情况分析
依据本次考试所涉及的功能意念点，对回答问题部分的成绩进行归纳
• 流利性
– 句子级评估，主要包括语速、插入（重复、修正）、连贯（连读、 失去爆破、同化）等
• 韵律性
– 句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调
24
3.4 自动阅卷过程说明
阅卷系统及其输入：
系统输入：考生朗读文本及语音
Making tea with tea bags is faster and easier than making it with leaves in teapots
监考机
局域网
听音、录音
考试机
听音、录音
10
注：以现有计算机教室为考场，每考场设有30-40台考试机
2.4 考试系统-学生人机交互
学生端软件操作简单易用，包括考号输入、设备测试、答题 等，在语音提示下完成考试过程，出现误操作的几率很小
11
2.4 考试系统-考号输入
12
2.4 考试系统-设备测试
耳麦设备 由省政府 统一采购
82 (2.0%)
20分下 （E档）
86 (2.1%)
29
4.2.2 单项分数统计
30
4.2.2 发音错误比率图
发音错误比率
14% 12% 10%
8% 6% 4% 2% 0%
\z\ \m\ \l\ \i\ \e\ \ei\ \u\ \r\ \ə\ \p\ \ai\ \v\ \Λ \ \əu\ \iə\ 31
题库管理系统 考务和考场编排系统
考生成绩及 个性化诊断报告
人机对话听力口语 考务平台
考生语音数据
自动阅卷平台 3
1.2 本项目四大特点
1. 人机对话的测试系统，将听力和口语合二为一，省时省 力、减少事故；
– 现状：100万考生口语考试，3天组织，工作量很大； – 人工：1老师/天/100份卷，总量100万考生； – 机器：1个市，2台服务器/3天判卷； – 大幅度减少考试可能出现的差错和事故率。
但是把这种技术应用到美国以外学生的英语考试已经很多 年了。
23
3.3 阅卷特征提取
• 完整性
– 朗读型题目，能否顺利读完全文，以及顺利读完的比例； – 话题简述型题目，能否完整表达题目的语意，清楚表达的语意比
例； – 完整性特征是评分的起评基本特征；
• 准确性
– 单词级评估，主要包括单词发音的元音、辅音、重音准确性
13
2.4 考试系统-设备测试----录音样例
• 声音合适
• 声音太小
• 声音太大（饱和）
• 设备测试时检查录音设备，确保录音正常，是自动阅卷的
基础。
14
2.4 考试系统-考试过程
考生面对 计算机，
人机对话
15
2.4 考试系统-教师人机交互
• 教师端软件全程监控，学生端如有任何异常情况(设备测 试、进度、录音异常等)，及时提示监考老师帮助学生解 决问题
– 计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，极 大提高阅卷和评估的客观性和公正性，而且为个性化评估和提供 改进建议奠定了坚实的基础。
4. 有效评估，反馈教学
– 六级评估报告，从省、市、区县，到学校、班级和个人； – 中国第一次以量化方式提供考试评估反馈； – 这样的评估报告对英语的教与学提供了真正的可信、可视化和可
2. 主要错误的寻找和指正：给出发音、考点、语速、重音等方面的 分档评价和主要错误；
3. 改进建议：针对主要错误给出练习改善的建议。
28
4.2.1 考试总分统计
34分及以上 （A档）
3341 (80.3%)
34-28分 （B档）
511 (12.3%)
28-24分 （C档）
140 (3.4%)
24-20分 （D档）
8
2.3 考试的组织与管理
考生提前 进入候考室
候考室
考场1 考场2
每考点 主考1名
每考点 考生培训员1名
每考场带队 教师1名
每考场 监考员1名
注：一个考点可包括一个或多个考场(计算机教室)
每考场 系统操作员1名
9
2.4 考试系统
考生在监考机的控制下，通过考 试机实现听题目、录回答的过程。
听音、录音
2. 海量题库、人机对话，同一考场不同考卷；
– 题库的海量性从考试机制的角度有效阻止了考试作弊现象； – 通过技术手段有效抑制猜题、押题等弊端； – 从长远建设角度，经过3到5年努力建立起百万级题库，并且年更
新10%。
4
1.2 本项目四大特点
3. 计算机完成全部英语听力和口语考试及评卷
– 公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成 绩的客观性、准确性和公平性，不同老师之间可能出现较大差异；
3. 计算机自动阅卷原理
4. 评估报告及教学反馈
21
3.1 自动阅卷系统技术结构
22
3.2 语音识别用于口语评估的特殊性
• 限定条件下的语音识别
– 专门麦克风，一定题型； – 有别于不受任何限制的自然口语识别；
• 口语评估基于标准语音库，而语音识别基于大量非标准库 • 中科院自动化所领先的语音识别技术 • 美国虽然还没有把语音技术应用于他们本国的学生评估，
操作化的帮助。
5
目录
1. 考试概要介绍
2. 考试的模式和管理
3. 计算机自动阅卷原理 4. 评估报告及教学反馈
6
2.1 考试自动化系统架构
• 面向考试全程，全面、灵活、可定制的方案
– 考前：分级考务管理/考场编排系统、考试服务网站
– 考中：测试系统
– 考后：自动阅卷系统、报告生成系统
考试前
考试中
考试后
(Ex考cel生)信息 考生答案
考生信息表
分数
考务管理系统
考场信息编排系统
信息发布 信息上传
试题文件
数据共享Βιβλιοθήκη Baidu
系统升级
试题
在线答疑 考试信息服务网站
考试机
考场监考机
考试机
考试系统
考试机
自动阅卷系统 阅卷数据库
报告生成系统
7
2.2 考务管理/考场编排系统
• 具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种 考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印
16
2.4 考试系统 - 测试现场
17
2.4 考试系统 -其它保障措施
• 每个考场预设10%的备用考试设备，以备设备故障的考生 当场或下场重考；
• 考前制定应急处理方案和故障解决手册，做好对考生设备 异常、迟到缺考、网络故障、数据传输等个别情况的处理 准备。
– 考试机故障解决手册 – 监考机故障解决手册
25
3.4 自动阅卷过程说明
• 综合各种特征给出评分
– 完整性特征：根据漏读情况计算完整性 – 准确性特征：单词发音、重音准确性 – 流利性特征：语速、插入、连读、失去爆破、同化 – 韵律性特征：意群停顿、重读弱读、语气语调 – 综合决策模块：综合上述特征给出最后评分
完整性特征 准确性特征 流利性特征 韵律性特征