基于人工智能的课堂教学智能监控系统

基于人工智能的课堂教学智能监控

系统

一、背景

近年来人工智能技术的兴起，为教育信息化、个性化、智能化的发展提供了一个全新的思路，该场景需求围绕人工智能技术服务于课堂教学，尝试建立一套基于人工智能的课堂教学智能监控系统，为促进学生个性化成长，辅助改进课堂教学，打造智能高效、富有智慧的课堂教学环境提供一条新的探索之路。

传统教学缺乏量化的分析手段，无法及时发现“教”与“学”过程中存在的问题。利用AI人工智能相关技术，聚焦人脸识别、表情分析、行为识别、大数据技术与教学目标的深度融合，实现基于行为、人脸面部表情识别的学生兴趣度识别，借助大数据技术对学生的行为反馈，对上课的教学效率进行针对性智能分析，从而使教学管理、教学方法等过程更加智能化，让人才培养更加信息化、个性化、智能化。

场景需求中包括视觉识别和数据分析两部分，其中视觉识别主要包括人脸识别、表情识别、行为识别，上述视觉信息的实时识别抓取，为课堂教学的智能化监控提供了数据来源，从而将视觉识别和数据分析形成有机的整体。

二、技术方案

2.1 整体技术框架

基于人工智能的课堂教学智能监控系统包含如下内容：

1、基于AI人脸识别的无感化考勤（学生、老师）

2、基于AI的学生行为分析

3、基于AI的面部表情识别

4、基于大数据分析的学生兴趣度及教学质量分析

系统整体框架如下图所示，包括前端摄像头采集、AI智能盒子，AI算法运行在AI智能盒子上，可降低计算成本，也便于部署。最后对统计结果进行展示。

统计结果展示

听讲举手起立

趴桌子玩手机

低头七种面部表情正常开心生气惊讶悲伤恶心害怕学生兴趣度及教育教学效率分析

图 基于人工智能的课堂教学智能监控系统整体框架

2.2 技术路线

2.2.1 基于AI 人脸识别的无感化考勤（学生、老师）

为提高学校的考勤效率，减轻教师负担，防止代考勤，走班，同时也方便学校、家长对老师、学生考勤情况的了解，采用基于AI 的智能人脸无感化考勤，包括：

➢ 学生的无感化考勤

学生人脸库的注册管理，包括注册、删减、更改注册等；

人像的抓拍验证比对，包括学生实到人数统计，未到人员通知，补签等功能； ➢ 老师的无感化考勤

老师人脸库的注册管理，包括注册、删减、更改注册等；

老师代课、迟到、早退的考勤识别。

核心的技术是人脸识别技术，在人脸检测、人脸对齐、人脸特征计算等各模块，我们均有原创自研的核心人脸识别算法能力，目前人脸识别准确率在万分一误识别率下识别准确率超过99%，保证了识别的准确率。

此外，由于采用无感式人脸识别，学生在上课过程中举止行为不可控，可能出现人脸角度过大、抓取不到人脸等问题。我们针对该场景做如下优化：

1、人脸检测：对于人脸角度超过一定阈值的，不检出；

2、通过多帧的人脸识别结果做聚类，得到人脸考勤的最终结果。这里，聚类的依据主要通过人脸识别的置信度以及上下帧之间的人脸位置变化来确定。

通过上述两个优化，我们可以获得精准的无感考勤识别结果。

在系统实现中，对于学生的无感化考勤，我们采用2个定制人脸抓拍摄像头（双目），安装在黑板的左右两边，分别聚焦拍摄教室的左前区域、左后区域、右前区域、右后区域。对于老师的无感化考勤，采用一个定制人脸抓拍摄像头（单目），安装在教室的正后方。

系统可在开课一分钟内完成学生和老师的考勤，并在课堂过程中，每隔一段时间输出学生的在课考勤情况。

2.2.2 基于AI的学生行为分析

结合AI人工智能技术，对学生行为表现、肢体动作进行学习，深入挖掘学生的上课表现，本方案将分析课堂视频，实现6种常见有意义的学生行为识别，包括听讲、举手、起立、低头、趴桌子、玩手机。

本方案拟采用先人体姿态估计（人体关键点检测），在此基础上，挖掘动作特性，加入分类思想，实现对学生的行为分析，流程如下图所示。

课堂图片人体姿态估计动作特性挖掘分类行为类别输出人体骨骼关键点对于描述人体姿态，预测人体行为至关重要，主要检测人体的一些关键点，如关节，五官等，通过关键点描述人体骨骼信息，多人人体骨骼关键点检测主要有两个方向，一种是自上而下，一种是自下而上，其中自上而上的人体骨骼关键点定位算法主要包含两个部分，人体检测和单人人体关键点检测，即首先通过目标检测算法将每一个人检测出来，然后在检测框的基础上针对单个人做人体骨骼关键点检测，其中代表性算法有G-RMI, CFN, RMPE, Mask R-CNN, and CPN；自下而上的方法也包含两个部分，关键点检测和关键点聚类，即首先

需要将图片中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体，其中对关键点之间关系进行建模的代表性算法有PAF, Associative Embedding, Part Segmentation, Mid-Range offsets，使用深度学习的思想进行人体关键点的检测已成为当下的热门研究方向，本方案也将利用深度网络模型来提取关键点的特征，生成相应的人体关键点热力度，采用自下而上的方式实现最终的人体关键点检测。

在关键点检测基础上，结合对课堂行为的理解，我们可以对行为进行定义，挖掘动作与关键点之间的关联，进而对一些动作进行识别理解。

通过关键点与动作的关联挖掘中，比如是否玩手机等动作，就难以通过关键点进行分析，因此我们拟引入深度学习模型进行辅助分类，最终达到我们想要的行为理解，输出行为类别。

2.2.3 基于AI的面部表情识别

结合AI人工智能技术，高效准确对学生的面部表情进行识别，本方案实现7种面部表情的识别，包括正常、开心、生气、惊讶、悲伤、恶心、害怕。

面部表情识别，是在人脸检测的基础上进行的，因此结合上面的无感考勤人脸检测结果，进行人脸的表情识别，本方案将表情识别转成7种类别的多分类问题进行解决，采用深度学习进行模型的构建。

2.2.4 基于大数据分析的学生兴趣度及教学质量分析

学生在课堂上的动作、表情，在一定程度上反应其对学科、老师等表现的兴趣度，通过对学生的行为、表情数据进行采集，结合成绩进行大数据挖掘，可以