基于X-CUBE-AI的神经网络手语识别系统设计

基于X-CUBE-AI的神经网络手语识别系统设计
牛帅;宗诗怡;胡威;许彬;董振华
【期刊名称】《工业控制计算机》
【年(卷),期】2024(37)3
【摘要】手语交流是聋哑人与他人交流的主要方法,设计了一款基于STM32的神经网络手语识别系统,采用TensorFlow和Keras机器学习框架训练网络模型,由于训练数据的局限性,加入L2正则化以解决训练过拟合问题。

使用意法半导体推出的STM32Cube.AI工具包在STM32嵌入式平台上部署神经网络,搭载OV2640摄像头采集图像并进行缩放处理,将图像数据传入网络进行推理可获得识别结果。

经测试,网络模型获得了较好的鲁棒性和适应性,在STM32上运行平均每帧推理时间为15.8 ms,平均准确率达92.3%。

使用STM32作为手语识别终端,极大地提高了设备的便携性,节约成本,反应迅速。

为聋哑人与正常人交流提供了一种新的解决方案,具有较高的实际应用价值。

【总页数】3页(P21-23)
【作者】牛帅;宗诗怡;胡威;许彬;董振华
【作者单位】金陵科技学院电子信息工程学院;东南大学成贤学院经济管理学院【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于3D卷积神经网络的手语动作识别
2.基于肌音信号图像化和卷积神经网络的手语识别研究
3.基于肤色分割和卷积神经网络的手语识别系统
4.基于注意力机制的3D卷积神经网络孤立词手语识别
5.基于无线传感技术与卷积神经网络的静态手语识别方法
因版权原因，仅展示原文概要，查看原文内容请购买。