【CN110109457A】一种智能语音导盲机器人控制方法及控制系统【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910355337.7

(22)申请日 2019.04.29

(71)申请人 北方民族大学

地址 750011 宁夏回族自治区银川市西夏

区文昌北街204号

(72)发明人 马行　王政博　黄全进　穆春阳　

张春涛　陈建宇　杨玉　

(74)专利代理机构 西安通大专利代理有限责任

公司 61200

代理人 徐文权

(51)Int.Cl.

G05D 1/02(2006.01)

(54)发明名称一种智能语音导盲机器人控制方法及控制系统(57)摘要本发明公开了一种智能语音导盲机器人控制方法及控制系统，采用YOLO神经网络实现了对物体的检测与识别得到障碍物类别信息，对双目摄像机进行双目标定与立体匹配从而实现测距功能，利用espeak语音合成将得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报，从而实现障碍物播报，采用近红外传感器对视野内的障碍物进行检测，通过行走装置进行行走和避障，并通过语音形式与使用者进行信息传递，增加了使用者对周围环境的感知能力，本发明识别准确率高、对复杂环境性能稳健，本发明实现了精准智能的语音播报，以提示盲人前方的物体类别，并提供最近物体的距离，使盲人对环境有精确的了解，提高生活质量，能够满足

盲人生活需要。权利要求书2页 说明书11页 附图5页CN 110109457 A 2019.08.09

C N 110109457

A

1.一种智能语音导盲机器人控制方法，其特征在于，包括以下步骤：

步骤1)、通过双目摄像机获取机器人前方图像，对获取的图像采用yolo算法对机器人前方障碍物进行类别识别得到障碍物类别信息；

步骤2)、对双目摄像机进行双目标定，利用标定后的双目摄像机获取障碍物与机器人的距离和方位；

步骤3)、通过espeak语音合成将步骤1)和步骤2)得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报；

步骤4)、利用向红外传感器检测检测障碍物位于车辆的位置，控制车辆向障碍物所在车辆位置的相反方向移动。

2.根据权利要求1所述的一种智能语音导盲机器人控制方法，其特征在于，步骤1)中，基于darknet神经网络结构，采用YOLO算法对获取的图像进行神经网络样本训练和测试。

3.根据权利要求2所述的一种智能语音导盲机器人控制方法，其特征在于，采用YOLO算法对获取的图像进行神经网络样本训练：将双目摄像机获取的图像划分为大小为S*S个小格子，每个格子负责检测是否有待检测物体的中心落在了格子内，各网格检测时产生B个检测边框,每个边框包含5维信息：x ,y ,w ,h ,Cobj ,x ,y ,w ,h ,Cobj分别代表边框中心的横坐标、纵坐标、整幅图像的宽度、整幅图像的高度和包围框的置信度,

置信度如公式(1)(2)所示:

式(1)中,Pr(Object)为物体在格子中的概率，存在则为1，反之为0，IOU表示参考的标准框和检测框的交并面积之比；

YOLO算法在卷积层提取特征,目标预测在全连接层进行，当Pr(Object)＝1时,整幅图

片中某类的置信度如公式(3)：

式中Pr(Class|Object)是待检测目标的分类条件概率；Pr(Class i )是预测了某类别的概率；设置检测边框的阈值，滤掉得分低于阈值的包围边框，对保留的边框进行非极大值抑制处理，即可得到图像中障碍物对应置信度，即障碍物类别信息。

4.根据权利要求1所述的一种智能语音导盲机器人控制方法，其特征在于，步骤2)中，利用标定后的双目摄像机获取障碍物与机器人的距离和方位具体包括以下步骤：对双目摄像机进行标定，定义p＝[x y]T 的点和空间中的点p＝[x y z]T 之间的关系表示为：p＝sHP

式中：s为尺度因子，H由矩阵表示：H＝AW，A为摄像机的内参数矩阵，(f x ，f y )是图像在x 轴和y轴方向上的尺度因子，(c x ，c y )为摄像机的主点坐标；W＝[R T]，用于摄像机平面和目标物体平面的旋转平移变换，即为摄像机外参数矩阵。

5.根据权利要求4所述的一种智能语音导盲机器人控制方法，其特征在于，对标定后的双目摄像机进行立体校正：校正后点的位置表示为(x p ,y p )，畸变后点的位置表示为(x d ,y d )，则有：

权　利　要　求　书1/2页2CN 110109457 A