一种在线考试系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011609766.1
(22)申请日 2020.12.30
(71)申请人 杭州电子科技大学
地址 310018 浙江省杭州市下沙高教园区2
号大街
(72)发明人 王浩栋　江爱朋　夏宇栋　王剑　
陈云　
(74)专利代理机构 杭州君度专利代理事务所
(特殊普通合伙) 33240
代理人 朱亚冠
(51)Int.Cl.
G06K 9/62(2006.01)
G06N 3/08(2006.01)
G06Q 50/20(2012.01)
G10L 21/0208(2013.01)
H04N 7/18(2006.01)H04R 1/10(2006.01)
(54)发明名称
一种在线考试系统
(57)摘要
本发明涉及一种在线考试系统。

本发明包括提出的系统通过增加监控机位以及与深度学习
理论结合起来，对考生的实时监控录像进行智能
化的在线处理并判断考生是否作弊，由此形成了
一套完整的防作弊的在线考试系统。

本发明通过
增加机位对考生的行为捕捉地更加清晰，提高了
判断是否作弊的准确度。

与深度学习相结合且根
据考生个人特征以及背景环境训练的防作弊模
型使得判断考生是否作弊不再局限于监考老师
的判断，形成了完整的一套自动化的防作弊系
统，
节省了大量的人力物力。

权利要求书2页 说明书6页 附图3页CN 112686311 A 2021.04.20
C N 112686311
A
1.一种在线考试系统，包括外部设备，客户端和服务器；其特征在于：所述服务器用来保存考生的信息以及接收客户端上传的考生疑似作弊的数据和考生提交的试卷；
所述的外部设备为头戴式耳机，带有摄像头、麦克风的pc机和移动端；头戴式耳机用于屏蔽信号以及降噪；带有摄像头、麦克风的pc机，作为第一机位用于考生登录客户端进行考试以及在考试期间监控考生；移动端作为第二机位在考试期间监控考生；第一机位的摄像头正对考生的脸部，第二机位的摄像头在考生右后方45度，距离一米左右，要求考生的双手在第二机位的摄像头的范围内；第二机位的设备同时要求能登录考试客户端；
所述的客户端用于接收以及处理客户端上传的数据；包括登录模块，窗口锁定以及热键屏蔽模块，实时监控模块，存储模块；所述登录模块包括人脸采集模块和人脸验证模块，人脸采集模块用于对考生的人脸进行图像采集；人脸验证模块用于考试准备阶段对考生身份的认证；所述窗口锁定以及热键屏蔽模块包括窗口锁定模块和热键屏蔽模块，窗口锁定模块用于在考试期间使客户端始终保持最大化，并始终保持所有窗口最前端；所述的热键屏蔽模块用于屏蔽考试期间考生使用快捷键，组合键位以及鼠标的右键，使考生无法进行与考试无关的动作；所述的实时监控模块包括训练模型模块、作弊识别模块、语音捕捉模块、定时比对模块和报警模块；所述的训练模型模块用于在考试准备阶段针对不同的考生训练不同的作弊识别模型，提高作弊识别的准确度；第一机位以及第二机位摄像头全程对考生上半身行为轨迹进行追踪，通过作弊识别模块实时识别作弊行为；在考试期间，语音捕捉模块用于实时检测当前声音并识别；所述定时比对模块在考试中，每隔10到15分钟进行人脸比对，用于防止出现替考以及多人考试的情况；所述的报警模块用于出现疑似作弊的情况时，提醒考生停止当前行为，将情况记录；所述的存储模块包括本地存储模块和上传模块，本地存储模块用于将考生全程的考试视频保存；上传模块用于将考试疑似作弊或者确定作弊的行为上传到，留作证据。

2.如权利要求1所述的在线考试系统，其特征在于：所述的头戴式耳机具有降噪模块、屏蔽信号模块和压力检测模块，降噪模块包括被动降噪模块和主动降噪模块，被动降噪模块采用物理原理初步滤去环境噪声，主动降噪模块发出与外界噪声幅值相等且反相的声波来达到深度去噪效果；所述号屏蔽模块用来屏蔽作弊考生藏在耳中的米粒耳机的信号，使其无法接收到无线电信号；所述压力检测模块，在考试期间，考生试图将耳机脱下，压力检测模块会检测到压力的改变，当压力变化的大小达到阈值时，客户端发出提醒：请考生正确佩戴耳机；将考生行为拍照并上传服务器，将标记次数加一，当标记次数达到阈值时，即判断考生作弊。

3.如权利要求1所述的在线考试系统，其特征在于：所述的人脸验证模块在验证失败次数达到设定次数时，将该考生账户锁定，若要解锁，需联系考生所属学校或者机构。

4.如权利要求1所述的在线考试系统，其特征在于：所述的客户端采用单窗口运行模式，在考生登录客户端进入考试准备阶段时，窗口即执行最大化操作，并且置于所有窗口的最前端；考试正式开始后，客户端每一秒检查一次窗口是否被置顶，若未被置顶，立即强制置顶且进行截图操作，将截图上传服务器，启动报警模块，提醒考生不要做与考试无关的动作，当考生违规操作次数达到阈值时，则判定考生作弊，取消考生考试资格；由于检查时间间隔短，考生无法在这个时间内做出有效的操作，保护了考试的公平。

5.如权利要求1所述的在线考试系统，其特征在于：所述的屏蔽热键模块通过加载低级
键盘钩子截获大部分的系统热键，并且屏蔽它们，同时屏蔽鼠标右键功能，在此同时，由于智能输入法在输入特定词汇时，会出现提示性词语或者对拼音有纠错功能，因此智能输入法也会被屏蔽，智能输入法的屏蔽采用进程名称监控的方法。

6.如权利要求1所述的在线考试系统，其特征在于：所述的训练模型模块，在考生登录客户端进入考前准备阶段时，开始针对考生训练作弊识别模型，采用深度学习中的CNN神经网络，模型的输入为考生连续的四帧图像并人为的标记作弊的可能性。

7.如权利要求1所述的在线考试系统，其特征在于：每个考生需要训练两个模型分别属于第一机位以及第二机位；所述的训练模型模块的模型训练具体包括以下步骤：S1.首先对第一机位，在考生进入考试准备阶段后，发出指令：请考生正对摄像头，并保持脸部清晰的出现在镜头前；
S2.摄像头采集图像并进行图像预处理由处理器标记为0，送入神经网络训练；
S3.上述步骤完成后，发出指令：请考生倾斜身体20度到30度，让脸部出现在镜头的轮廓内；
S4.摄像头采集图像并进行图像预处理由处理器标记为0.25，送入神经网络训练；
S5.上述步骤完成后，发出指令：请考生倾斜身体30度到45度，让脸部出现在镜头的轮廓内；
S6.摄像头采集图像并进行图像预处理由处理器标记为0.5，送入神经网络训练；
S7.上述步骤完成后，发出指令：请考生倾斜身体，只让脸部的一半出现在镜头的轮廓内；
S8.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；
S9.上述步骤完成后，发出指令：请考生倾斜身体，让脸部不出现在镜头的轮廓内；
S10.摄像头采集图像并进行图像预处理由处理器标记为1，送入神经网络训练；
S11.上述步骤完成后，发出指令：请考生侧脸80度到90度；
S12.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；
S13.其次对第二机位，主要针对考生的手部动作；在第一机位的模型训练完成后，开始第二机位的模型训练；发出指令：请考生双手放在桌子上；
S14.摄像头采集图像并进行图像预处理由处理器标记为0，送入神经网络训练；
S15.上述步骤完成后，发出指令：请考生双手置于桌下；
S16.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；
S17.上述步骤完成后，发出指令：请考生双手离开第二机位有效范围内；
S18.摄像头采集图像并进行图像预处理由处理器标记为1，送入神经网络训练；
上述步骤完成后，针对考生个人的作弊识别模型训练完成。

一种在线考试系统
技术领域
[0001]本发明属于人工智能技术领域，涉及一种在线考试系统。

背景技术
[0002]随着互联网技术的快速发展以及移动智能设备的快速普及，在线学习已经成为越来越多人的选择，在这样的背景下，开发安全，公平的在线考试平台已经是迫在眉睫的工作。

相比于传统的考试，电子文档更易管理，保存的时间也更长；同时在线考试也可以使得老师从监考中解放出来，节省了大量的人力物力。

[0003]虽然在线考试平台有着很大的便利，但是由于其作弊的可能性较高，无法大面积的使用在线考试平台。

目前流行的在线考试平台，其主要通过防止切屏操作以及通过摄像头的远程监考来达到防作弊的目的。

但是由于摄像头的角度问题，只能捕捉到考生的脸部范围而放过了对考生手部的监控，这就给想要作弊的考生留下了可乘之机；并且在本质上进行监考的依然是坐在服务器面前的监考老师，当老师面对大量的实时监控数据的时候很难做到找出每一个作弊的学生尤其在某些作弊行为比较隐蔽的情况下。

发明内容
[0004]本发明的目的就是针对现有的在线考试平台无法捕捉到考生手部动作以及无法智能处理实时监控数据，提出一种基于人工智能的在线考试系统。

本发明提出的系统通过增加监控机位以及与深度学习理论结合起来，对考生的实时监控录像进行智能化的在线处理并判断考生是否作弊，由此形成了一套完整的防作弊的在线考试系统。

[0005]为实现上述目的，本发明所采用的技术方案是：
[0006]一种在线考试系统，包括外部设备，客户端和服务器；所述服务器用来保存考生的信息以及接收客户端上传的考生疑似作弊的数据(可以是图像，一段音频和音频翻译成的文本)和考生提交的试卷；所述的外部设备为一副头戴式耳机，带有摄像头、麦克风的pc机和移动端(智能手机或平板电脑)；头戴式耳机用于屏蔽信号以及降噪；带有摄像头、麦克风的pc机，作为第一机位用于考生登录客户端进行考试以及在考试期间监控考生；移动端(智能手机或平板电脑)作为第二机位在考试期间监控考生；
[0007]所述头戴式耳机具有降噪模块、屏蔽信号模块和压力检测模块，降噪模块包括被动降噪模块和主动降噪模块，被动降噪模块采用物理原理初步滤去环境噪声，主动降噪模块发出与外界噪声幅值相等且反相的声波来达到深度去噪效果；所述号屏蔽模块用来屏蔽作弊考生藏在耳中的米粒耳机的信号，使其无法接收到无线电信号；所述压力检测模块，在考试期间，考生试图将耳机脱下，压力检测模块会检测到压力的改变，当压力变化的大小达到阈值时，客户端发出提醒：请考生正确佩戴耳机。

将考生行为拍照并上传服务器，将标记次数加一，当标记次数达到阈值时，即判断考生作弊。

[0008]第一机位的摄像头正对考生的脸部，第二机位的摄像头在考生右后方45度，距离一米左右，要求考生的双手在第二机位的摄像头的范围内。

第二机位的设备同时要求能登
录考试客户端。

[0009]所述的客户端用于接收以及处理客户端上传的数据；包括登录模块，窗口锁定以及热键屏蔽模块，实时监控模块，存储模块；
[0010]所述登录模块包括人脸采集模块和人脸验证模块，人脸采集模块用于对考生的人脸进行图像采集；人脸验证模块用于考试准备阶段对考生身份的认证；
[0011]人脸验证模块在验证失败次数达到设定次数时，将该考生账户锁定，若要解锁，需联系考生所属学校或者机构；
[0012]所述窗口锁定以及热键屏蔽模块包括窗口锁定模块和热键屏蔽模块，窗口锁定模块用于在考试期间使客户端始终保持最大化，并始终保持所有窗口最前端；客户端采用单窗口运行模式，在考生登录客户端进入考试准备阶段时，窗口即执行最大化操作，并且置于所有窗口的最前端。

考试正式开始后，客户端每一秒检查一次窗口是否被置顶，若未被置顶，立即强制置顶且进行截图操作，将截图上传服务器，启动报警模块，提醒考生不要做与考试无关的动作，当考生违规操作次数达到阈值时，则判定考生作弊，取消考生考试资格。

由于检查时间间隔短，考生无法在这个时间内做出有效的操作，保护了考试的公平。

[0013]热键屏蔽模块用于屏蔽考试期间考生使用快捷键，组合键位以及鼠标的右键，使考生无法进行与考试无关的动作。

屏蔽热键模块通过加载低级键盘钩子截获大部分的系统热键，并且屏蔽它们，同时屏蔽鼠标右键功能，在此同时，由于智能输入法在输入特定词汇时，会出现提示性词语或者对拼音有纠错功能，因此智能输入法也会被屏蔽，智能输入法的屏蔽采用进程名称监控的方法。

[0014]所述实时监控模块包括训练模型模块、作弊识别模块、语音捕捉模块、定时比对模块和报警模块；所述的训练模型模块用于在考试准备阶段针对不同的考生训练不同的作弊识别模型，提高作弊识别的准确度；第一机位以及第二机位摄像头全程对考生上半身行为轨迹进行追踪，通过作弊识别模块实时识别作弊行为；在考试期间，语音捕捉模块用于实时检测当前声音并识别；所述定时比对模块在考试中，每隔10到15分钟进行人脸比对，用于防止出现替考以及多人考试的情况；所述的报警模块用于出现疑似作弊的情况时，提醒考生停止当前行为，将情况记录；
[0015]所述训练模型模块，在考生登录客户端进入考前准备阶段时，开始针对考生训练作弊识别模型，采用深度学习中的CNN神经网络，模型的输入为考生连续的四帧图像并人为的标记作弊的可能性，可能性分为0,0.25,0.5,0.75,1五档。

[0016]所述存储模块包括本地存储模块和上传模块，本地存储模块用于将考生全程的考试视频保存；上传模块用于将考试疑似作弊或者确定作弊的行为上传到服务器，留作证据。

[0017]一个考生需要训练两个模型分别属于第一机位以及第二机位。

模型训练具体包括以下步骤：
[0018]S1.首先对第一机位，在考生进入考试准备阶段后，发出指令：请考生正对摄像头，并保持脸部清晰的出现在镜头前；
[0019]S2.摄像头采集图像并进行图像预处理由处理器标记为0，送入神经网络训练；[0020]S3.上述步骤完成后，发出指令：请考生倾斜身体20到30度，让脸部出现在镜头的轮廓内；
[0021]S4.摄像头采集图像并进行图像预处理由处理器标记为0.25，送入神经网络训练；
[0022]S5.上述步骤完成后，发出指令：请考生倾斜身体30度到45度，让脸部出现在镜头的轮廓内；
[0023]S6.摄像头采集图像并进行图像预处理由处理器标记为0.5，送入神经网络训练；[0024]S7.上述步骤完成后，发出指令：请考生倾斜身体，只让脸部的一半出现在镜头的轮廓内；
[0025]S8.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；[0026]S9.上述步骤完成后，发出指令：请考生倾斜身体，让脸部不出现在镜头的轮廓内；[0027]S10.摄像头采集图像并进行图像预处理由处理器标记为1，送入神经网络训练；[0028]S11.上述步骤完成后，发出指令：请考生侧脸80度到90度；
[0029]S12.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；
[0030]S13.其次对第二机位，主要针对考生的手部动作。

在第一机位的模型训练完成后，开始第二机位的模型训练。

发出指令：请考生双手放在桌子上；
[0031]S14.摄像头采集图像并进行图像预处理由处理器标记为0，送入神经网络训练；[0032]S15.上述步骤完成后，发出指令：请考生双手置于桌下；
[0033]S16.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；
[0034]S17.上述步骤完成后，发出指令：请考生双手离开第二机位有效范围内；[0035]S18.摄像头采集图像并进行图像预处理由处理器标记为1，送入神经网络训练。

[0036]上述步骤完成后，针对考生个人的作弊识别模型已经训练完成，考生应静静等待考试开始。

[0037]所述作弊识别模块，在考生进入考试时，开始启动，每隔一秒钟取考生的连续四帧图像，经过图像预处理后，送入作弊识别模型进行识别，输出的是一个概率，0代表没有作弊，1代表确定作弊。

概率在0.4以下时，系统会判断考生进行的是正常的考试行为。

当概率大于0.4时，启动报警模块，首先提示考生：回到正确的考试姿势，不要做与考试无关的动作；其次将考生的动作拍照并上传到服务器；最后将该考生标记。

当概率值等于1或者违规操作次数以及被标记次数达到阈值时，判断考生作弊，强制提交试卷，以及成绩做0分处理，通知所属学校或者机构。

[0038]所述语音捕捉模块，在考试期间实时检测，在检测到声音输出时，立即进行对比识别，如果是噪声，则模块继续实时检测；如果是语音输出，对语音中的词汇进行识别，保存，发送到服务器，标记次数加一，并提醒考生：考试期间保持安静。

当标记次数达到阈值时，断定考生考试期间与他人交流，立即结束考试，取消考试成绩，通知所属学校或者机构。

[0039]所述定时比对模块，在考试期间，每隔10到15分钟执行一次人脸比对模块，当人脸匹配失败时，此模块会立即进行第二次匹配，若匹配三次都失败，系统判断考生中途替考，取消成绩。

由于作弊识别模块的存在，定时比对模块并不需要以很高的频率去执行。

此模块和作弊识别模块组成了一道双保险，进一步降低了考生作弊而未被发现的风险。

此模块主要作用是防止出现多人考试或者替考的现象。

[0040]所述本地存储模块：将考生考试全程录像保存在客户端所在设备中(此设备如果是手机就保存在手机中，如果是pc机就保存在pc机中)，如果考生对处理结果有异议，可以
凭借全程录像发起申诉；因此请勿随意删除全程录像。

[0041]与现有技术相比，本发明具有以下优点：(1)通过头戴式耳机，降低了环境噪声对考生的影响，屏蔽了戴在耳中的通讯设备的信号，使其无法与外界设备通讯。

(2)通过增加机位对考生的行为捕捉地更加清晰，提高了判断是否作弊的准确度。

(3)采用屏蔽热键以及智能输入法的方式，来进一步杜绝考生作弊的心思。

(4)与深度学习相结合且根据考生个人特征以及背景环境训练的防作弊模型使得判断考生是否作弊不再局限于监考老师的判断，形成了完整的一套自动化的防作弊系统，节省了大量的人力物力。

(5)采用语音捕捉模块，对考试环境周围声音进行实时检测，进一步杜绝了考生与他人交流的可能性，提高了考试的公平性。

附图说明
[0042]图1为窗体控制模块以及实时监控模块具体工作方式的流程图；
[0043]图2为本发明的整体流程图；
[0044]图3位本发明包含的所有模块以及模块之间的所属关系。

具体实施方式
[0045]下面结合附图和具体实施例对本发明作进一步的分析。

以下实施方式或者附图用于说明本发明，但不用来限制本发明的范围。

[0046]在本发明的描述中，数字“0”，“0.25”，“0.5”，“0.75”，“1”等，仅是为了便于描述本发明而不是要求本发明必须以特定数字来操作，因此不应当理解为对本发明的限制。

[0047]参照图2以及图3，本发明公开了一种在线考试系统，包括以下步骤：A.考生登录；
B.戴上耳机
C.训练防作弊模型；
D.开启窗体控制以及热键屏蔽模块；
E.开启实时监控模块；
F.开始考试；
G.考试结束；
[0048]其中步骤A具体包括：考生进行人脸对比验证，进入考试准备阶段。

[0049]其中步骤B具体包括：如果将此步骤放在步骤C之后，由于训练样本与测试样本人脸特征存在差别，会导致神经网络判断的准确度下降。

因此此步骤应在步骤C之前。

在考试期间，考生试图将耳机脱下，压力检测模块会检测到压力的改变，当压力变化的大小达到阈值时，客户端发出提醒：请考生正确佩戴耳机。

将考生行为拍照并上传服务器。

将标记次数加一，当标记次数达到阈值时(在一般的情况下阈值th1为5次，管理员也可根据具体情况自行设置)，即判断考生作弊。

[0050]其中步骤C具体包括：1.针对考生训练作弊识别模型，采用深度学习中的CNN神经网络。

2.模型的输入为考生连续的四帧图像并人为的标记作弊的可能性，可能性分为0，0.25，0.5，0.75，1五档。

3.一个考生需要训练两个模型分别属于第一机位以及第二机位。

模型训练具体包括以下步骤：
[0051]S1.首先对第一机位，在考生进入考试准备阶段后，发出指令：请考生正对摄像头，并保持脸部清晰的出现在镜头前；
[0052]S2.摄像头采集图像并进行图像预处理由处理器标记为0，送入神经网络训练；[0053]S3.上述步骤完成后，发出指令：请考生倾斜身体20度到30度，让脸部出现在镜头的轮廓内；
[0054]S4.摄像头采集图像并进行图像预处理由处理器标记为0.25，送入神经网络训练；[0055]S5.上述步骤完成后，发出指令：请考生倾斜身体30度到45度，让脸部出现在镜头的轮廓内；
[0056]S6.摄像头采集图像并进行图像预处理由处理器标记为0.5，送入神经网络训练；[0057]S7.上述步骤完成后，发出指令：请考生倾斜身体，只让脸部的一半出现在镜头的轮廓内；
[0058]S8.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；[0059]S9.上述步骤完成后，发出指令：请考生倾斜身体，让脸部不出现在镜头的轮廓内；[0060]S10.摄像头采集图像并进行图像预处理由处理器标记为1，送入神经网络训练；[0061]S11.上述步骤完成后，发出指令：请考生侧脸80度到90度；
[0062]S12.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；
[0063]S13.其次对第二机位，主要针对考生的手部动作。

在第一机位的模型训练完成后，开始第二机位的模型训练。

发出指令：请考生双手放在桌子上；
[0064]S14.摄像头采集图像并进行图像预处理由处理器标记为0，送入神经网络训练；[0065]S15.上述步骤完成后，发出指令：请考生双手置于桌下；
[0066]S16.摄像头采集图像并进行图像预处理由处理器标记为0.75，送入神经网络训练；
[0067]S17.上述步骤完成后，发出指令：请考生双手离开第二机位有效范围内；[0068]S18.摄像头采集图像并进行图像预处理由处理器标记为1，送入神经网络训练。

[0069]上述步骤完成后，针对考生个人的作弊识别模型已经训练完成，考生应静静等待考试开始。

[0070]其中步骤D具体包括：考试正式开始后，客户端每一秒检查一次窗口是否被置顶，若未被置顶，立即强制置顶且进行截图操作，将截图上传服务器，启动报警模块，提醒考生不要做与考试无关的动作，当考生违规操作次数达到阈值时，(在一般的情况下阈值th2为5次，管理员也可根据具体情况自行设置)则判定考生作弊，取消考生考试资格。

在考试期间，学生无法使用快捷键(比如Ctrl‑c,Ctrl‑v)对试卷上的内容进行操作，同时屏蔽鼠标右键以及智能输入法的使用。

[0071]其中步骤E具体包括：在考生进入考试时，开始启动，每隔一秒钟取考生的连续四帧图像，经过图像预处理后，送入作弊识别模型进行识别，输出的是一个概率，0代表没有作弊，1代表确定作弊。

概率在0.4以下时，系统会判断考生进行的是正常的考试行为。

当概率大于0.4时，启动报警模块，首先提示考生：回到正确的考试姿势，不要做与考试无关的动作；其次将考生的动作拍照并上传到服务器；最后将该考生标记。

当概率值等于1或者违规操作次数以及被标记次数达到阈值时，(在一般的情况下阈值th3为5次，管理员也可根据具体情况自行设置)判断考生作弊，强制提交试卷，以及成绩做0分处理，通知所属学校或者机构，并发送该考生违规行为图片以及全程考试录像；同时语音捕捉模块在考生考试期间实时工作，在检测到声音输出时，立即进行对比识别，如果是噪声，则模块继续实时检测；如果是语音输出，对语音中的词汇进行识别，保存，发送到服务器，标记次数加一，并提醒考生：考试期间保持安静。

当标记次数达到阈值时(在一般的情况下阈值th4为5次，管理员也可根。