AI智能导盲眼镜的设计与实现

信IB与电IE
China Computer&Communication人工臂饨与鶴剔技术2021年第6期
AI智能导盲眼镜的设计与实现
林会祺周义涛翁名键何忠雄刘小飞
（三亚学院，海南三亚572022）
摘要：AI智能导盲眼镜系统具有安全避障、识别红绿灯的状态、语音提示以及人机交互等功能，已应用在很多领域.该系统利用树莓派开发板上的摄像头获取道路上的红绿灯信息，将超声波模块与树莓派相连达到规避障碍物的目的。

实验结果表明，该系统可以实现紧急情况下的安全避障，是一款人性化、智能化、大众化的智能盲人导航眼镜.
关键词：导盲眼镜；目标检测；图像分割；Y0L0;深度信念网络
中图分类号：TH789；TP391.41文献标识码：A文章编号：1003-9767（2021）06-171-03
Design and Implementation of AI Smart Guide Glasses
LIN Huiqi,ZHOU Yitao,WENG Mingjian,HE Zhongxiong,LIU Xiaofei
(University of Sanya,Sanya Hainan572022,China)
Abstract:The AI smart guide glasses system has functions such as safe obstacle avoidance,identification of the status of traffic lights,voice prompts and human-computer interaction,and has been applied in many fields.The system uses the camera on the Raspberry Pi development board to obtain traffic light information on the road,and connects the ultrasonic module with the Raspberry Pi to avoid obstacles.Experimental results show that the system can realize safe obstacle avoidance in emergency situations,and it is a humanized,intelligent,and popular intelligent navigation glasses for the blind.
Keywords:guide glasses;object detection;image segmentation;YOLO;depth belief network
0引言
目前，虽然国内的人行道都会有“盲道”供盲人使用，但是由于监管不到位，部分“盲道”反而成为盲人路上的“障碍物”,仅靠盲道出行，不能保证出行安全W根据最新调查结果表明，有90%以上的盲人在没有辅助工具的情况下不出门，即使出门活动范围也只是在家附近；在有家人陪同的情况下也只有大约30%的盲人愿意出行。

导致盲人出行困难的原因很多，比如看不见红绿灯、过马路困难、无法有效躲避障碍等。

为满足日常生活需求，部分有条件的盲人会配备一条导盲犬，但由于价格原因并不能大范围推广，所以迫切需要一种能够代替导盲犬，甚至能够提供比导盲犬更加人性化的一种低成本智能导盲设备。

1研究背景
最新统计数据显示，我国的盲人数量已经达到1730万人，每年约有45万人失明，这意味着几乎每分钟都会出现1个新盲人，3个低视力患者。

如果不采取有力措施，到2021年我国的视力残疾人数即将达到5200万人。

由于盲人群体数量庞大，盲人的出行成为社会关注的焦点。

总体上讲，在现在的盲人辅助工具领域还是有很多问题存在：首先，非机动车或其他障碍物占用盲道是非常普遍的现象，这对盲人的正常使用影响巨大，使得盲人从心理上不再信任盲道；其次,利用雷达等超声波探测设备扫描一定区域内的障碍物大小的穿戴式导盲辅助工具，虽然对障碍物的距离有一定的判断能力，但是一旦网络出现问题，发生滞后现象，则会存在不能及时反馈正确信息的问题，给使用者带来危险；第三，移动式导盲辅助工具的服务对象主要是老年人，虽然功能比较强大，可对行动者身体的平衡进行辅助，但过于庞大的体积，并不适合盲人这一群体使用；最后，由于很多公众场合都对动物出入有所限制，且导盲犬的训练成本较高，因此导盲犬的使用无法大范围普及[6'10]o
一宜以来，外界期待科技的力量能够改变残疾人群体的生活，为他们带去“光明”。

为了解决盲人的“出行难”问题,本文设计了一款智能导盲眼镜，能较准确识别出前方目标的类别，测算目标物体到导盲眼镜的距离，正确表示出障碍物的方位特征，并在眼镜端以语音导盲的形式帮助盲人及时避
基金项目：2019年海南省国家级大学生创新创业训练计划项目“你是我的眼一AI智能导盲眼镜”（项目编号：201913892011）»作者简介：林会祺（1999—）,男，海南定安县人，本科。

研究方向：视觉计算。

信舅与电阿
China Computer & Communication
人工智擁与鶴别藝术
2021年第6期
开障碍物，从而保障盲人的安全出行。

目标检测算法研究是
计算机视觉的一大改革，从真正意义上赋予了计算机视觉能 力，让计算机能找到所见之物，并且确定其位置。

这不仅仅 是技术上的改革，也是人类历史上的一个里程碑。

2国内外研究现状
根据国内外最新研究成果，目前常用的导盲设备包括超
声波导盲设备以及引导式导盲设备。

超声波导盲设备主要利 用超声波指向性强、波长短的特点进行工作。

但是由于外界
很容易干扰声波，当使用者在行走的过程中，一旦发生超声
波吸收或反射现象，会导致检测出现盲区或者采集信息不完 整的情况。

引导式导盲的功能比较强大，能辅助用户在相对
复杂的室内外环境中行走。

这类导盲设备一般具有性能好、 体积小、探测范围较广等优势，但是功能相对单一，且大部
分不能进行路线规划，智能化程度较低。

综上所述，现有导航辅助工具虽然在一定程度上可以 满足盲人的导盲需求，但功能较为单一，无法为盲人和视觉
障碍人士出行提供综合全面的服务，更无法为盲人独自安全
出行提供保障。

市场上并不缺少导盲器，只是现有的导盲器
大多基于传统机器学习或者空间建模实现的，因此只能达到 检测前方是否有遮挡物之类的效果。

具有目标检测功能的导 盲器类似于现在的自动驾驶，该技术给予了汽车看到周围物
体并且进行实时判断的能力，而导盲眼镜则给予了盲人看到 周围物体并且做出反应的能力，也就相当于盲人的第二双“
眼睛” [1M4]o
3智能导盲眼镜的开发与实现
3.1系统整体设计
系统分为数据采集模块、数据处理模块和人机交互模块。

数据采集模块由超声波模块和摄像头组成，数据处理模块由 安全避障模块、红绿灯识别模块、行人识别模块组成，人机 交互模块由语音输出模块、按键操作模块组成。

3.2超声波避障功能
在一次超声波测距过程中，树莓派向超声波传感器Trig 端口发出触发信号,将激发超声波模块发送8个40 kHz 周期
的电平信号，然后超声波的接收端开始检测回波。

在接收回 波信号后，通过接收端Echo 引脚传递给树莓派。

在实际应
用中，需要不断地向用户反馈障碍物的距离情况，因此需要 设定循环调用超声波的测距过程。

3.3红绿灯识别功能
首先使用YOLOv3算法识别出交通灯场景中的位置，然 后将区域内的交通灯做一个颜色识别，这样就可以实时播报
当前的交通灯状态。

本文使用的是YOLO 官方已经训练好的 模型进行识别，该模型训练使用的数据集是COCO 数据集，
一共有80个类别。

由于项目使用的硬件平台是树莓派4B,
运算能力有限，所以采用YOLOv3-tiny 版本。

YOLOv3-tiny 相比于YOLOv3少了一些特征层，准确率没有YOLOVv3高， 但是速度却有明显提高。

行人识别效果如图1所示，交通标
志识别效果如图2所示。

图〔行人识别效果
图2交通标志识别效果
3.4深度网络训练模型
深度信念网络多应用于自然场景识别和手写字体识别。

在此系统中，深度信念网络主要用于识别实际交通场景中的 人、车等事物。

在这个网络中，采用逐层训练的方法进行训练,
每一层结构都单独训练，并且独立调整参数。

将当前层的训 练结果作为下一层训练的输入，直至每一层都训练完成为止, 称为预训练。

当深度信念网络中的所有网络训练都完成后，
再根据样本标记使用反向传播算法进行微调。

在本系统的前期训练过程中，采用自行收集的交通场景
库作为测试训练样本，该场景库中共有2000张彩色图像， 分为行人、汽车、马路、交通灯、树木5类。

为了提高智能
导盲眼镜的实用性，结合盲人的特殊情况，训练时还加入了 椅子、垃圾桶等生活中常见的一些目标场景，并将改进后的
场景库通过深度信念网络模型进行训练识别。

在上述训练模
信IB与电IE
China Computer&Communication人工臂饨与鶴剔技术2021年第6期
型中，输入层大小为50个结点，两个隐含层的节点数分别为20和15,并使用多元分类器控制输出层为4个单元。

训练模型中的两迭代次数设置为200,学习率设置为设置成0.08。

保留训练后的权重用于神经网络的初始化，然后微调网络参数，选择合适的阈值函数激活神经网络。

在系统训练过程中，由于样本繁多，加上图片的信息量大，进行了多次迭代，训练过程平均有4个小时，好在识别率还比较高，基本实现了本系统设定场景下的障碍识别。

4结语
每一次技术变革，都会带来全新的人与信息交互方式，甚至工作生活方式的变革。

为了解决盲人“出行难”的问题，后期将打造一款信息无障碍产品，确保在任何情况下都能方便、无障碍地获取信息、利用信息。

参考文献
[1]胡浩明，奚王雨牧，李亚南，等.基于Google Project
Tango的盲人障碍检测系统设计与实现[J].电子技术与软件工程,2019(4):95-97.
[2]王瑞荣，李晓红，陈瞳•基于触觉感知的盲人助行系统研
究[J],山西大同大学学报(自然科学版),2018,34(5):16-19.
[3]李子康，徐桂芝，郭苗苗.视听融合导盲机器人的设计与
研究[J].激光与光电子学进展,2017,54(12):340-350.[4]廖庆洪，胡婉如，曾维鑒，等.基于GPS技术与智能避障
的导盲拐杖研究[J].电子技术,2016,45(11):19-23.
[5]朱爱斌，何大勇，罗文成，等•基于双目视觉方法的可穿戴
式导盲机器人研究[J].机械设计与研究,2016,32(5):31-34.
[6]张克华，王书平，尹晓红，等.复杂室内环境下的单一
Kinect导盲系统[J],光学精密工程,2015,23(8):2419-2427.
[7]李姝颖，尹军，芸飞霸，等.基于超声波传感器阵列的导盲
系统设计[J].中国医疗设备,2014(10):28-31.
[8]汤智超，苏琳，何超，等.导盲机器人的交通标志视觉识别
技术研究[J].计算机技术与发展,2014(9):23-27.
[9]王奥光.基于深度学习图像识别的研究及应用[D],成都:
电子科技大学,201&16.
[10]于洋，李世杰，陈亮，等.基于改进YOLO v2的船舶目
标检测方法[J].计算机科学,2019,46(8):339-343.
[11]康亚男，樊昌熙，张学毅，等•双目视觉在智能导盲眼镜
中的应用[J].电子世界,2018(9):183-184.
[12]范先群，宋雪霏.重视开展眼眶病人工智能诊疗的研究和
开发[J].中华眼科杂志,2019,55(11):800-805.
[13]罗倩茹，秦健，刘全铭.小学初级人工智能作品“智能夜
灯”设计与开发：以ai2控制micro:bit通信系统的教学设计与实践为例[J].中国教育信息化,2019(21):60-63. [14]张平昕，罗唐，杜海军，等.基于增强现实技术的智能导
盲眼镜设计[J].河南科技,2020,720(22):15-16.。