移动型导盲机器人系统及导盲方法与设计方案

图片简介:
本技术涉及一种移动型导盲机器人系统及导盲方法，属于残疾人辅助设备领域。

本技术能够实时的进行非结构化环境下的多源融合感知及智能评估，进而将评估结果提供给复杂环境约束下的决策规划模块进行运算，不仅能实现实时环境感知，同时可进行实时决策，实现全自主的路径引导。

能够基于多源融合进行路面评估，从材质和平坦性两个维度对路面进行融合评估，获得更为全面的信息。

当前的代表性方案普遍使用语义分割技术判别可行路面，通过RGB D数据，融合平坦度检测和材质检测，能为盲人更好更全面的探测和评估路面可通行性。

技术要求
1.一种移动型导盲机器人导盲方法，其特征在于：包括如下步骤：
步骤一、采集训练数据；拍摄采集多张周围环境图片，构成图集D；并通过人工标注每张数据的内容轮廓；
步骤二、构建识别网络；在图像集D基础上进行迁移学习，得到材质判别模型，之后进行修剪、量化和霍夫曼编码，将材质判别模型压缩并通过TensorRT工具优化材质判别模型的算力消耗，同时对每类材质赋予惩罚值l，得到材质惩罚系数表，再将判别模型和材质惩罚系数表一并存储在机器人系统中；所述惩罚值表示对系统在该材质上运动的拒绝程度；
步骤三、材质检测以及材质评分；
材质检测：在运行模式下，传感器将获取的深度相机和彩色相机数据帧分别发送给步骤二所得的判别模型；利用判别模型得到像素坐标系下的材质信息M；所述材质信息M元素格式为(u，v，C)，u表示x轴方向像素坐标；v表示y轴方向像素坐标；C表示材质类别；
材质评分：为将其与世界坐标系下点云建立联系，切取世界坐标系中机器
人正前方1m*1m区域，由其中的点计算对应的像素坐
标其中Twc为世界坐标到相机坐标变换阵，由惯性
测量单元(IMU)读取得到，Cm为相机矩阵，由传感器预先标定得到；由在M中查询对应的材质类别，按步骤二预定义的惩罚值替换材质类别C，得到材质损失Lmaterial，Lmaterial元素格式为
(x，y，z，l)，x，y，z表示世界坐标系下坐标；l表示惩罚值；
步骤四、基于点云平面拟合的平坦型检测；
1)通过深度相机的深度点云信息获取实时路面点云数据；将数据转换为PCL点云处理库的PointCloud2数据类型，使用聚类型点云滤波器进行异常点补偿和点云滤波；
2)对滤波后的点云数据进行随机采样一致性评估，获得拟检测地平面的参数，进而得到估计平面；计算点云集中每一点到此平面的欧氏距离di，并按下式计算对应的li，进而得地平面平坦性描述T，T＝
{l1，l2，...lN}；
上式中，均值σ为敏感度阈值；选取T中位于世界坐标系中机器人正前方1m*1m区域的点构成集合，记为平坦损失Lterrian；
步骤五、2.5维栅格地图融合；
将步骤四得到的Lterrian和步骤三得到的Lmaterial相加得总损失Lmerge，Lmerage向步骤四得到的估计平面投影，并栅格化；对每个栅格进行如下操作：无映射点的栅格记惩罚值为无穷大；存在多映射点的栅格取最大惩罚值，从而得到2.5维栅格地图，将栅格地图发布为ROS消息，提交给规划模块处理；
步骤六、全局路径规划；即路网级规划，通过调用百度地图或高德地图API实现，其决策结果为一个路网级的轨迹参考线；
步骤七、两步法进行局部路径规划；
第一步、局部路径规划粗生成；在步骤五得到的栅格地图的信息基础上，暂不考虑行人这类高动态非合
作目标的避碰约束，利用经典路径规划技术拟定初始局部规划的参考轨迹集
第二步、局部路径规划细生成；在初始参考轨迹集的基础上考虑剩余约束要求和优化指标，生成最终的决策轨迹τ，进而由控制器生成具体的决策序列A0：T；
考虑控制时间片[t0，tf]，设为处于导盲机器人领域中
的Nnearby个行人在t时刻的状态向量，其中
Px，Py，为位置、Vx，Vy为速度，θb，为躯干的方向角，θh为头部的方向角；容许控制ut＝[rls，rrs]；rls为机器人左轮转速，rrs为机器人右轮转速。

优化的总体目标为：
其中，α*(tf-t0)为时间最短目标，为各行人与机器人的
距离和，要求生成轨迹尽量接近初始参考轨
迹α，β，γ为非负的加权参数；以此为目标求解控制量，控制量需满足如下约束条件：满
足的控制约束，满足Δ＝|ut(1)-ut(2)|＜ωmax的转向约束，满
足的加速度约束；并考虑人机关系，满
足的人机最大距离约束，其中表示
控制量上界，ωmax表示角速度上界，表示加速度上界，表示人机间最大允许距离；最后，满足系统的避碰约束
即和运动转移约束Pt＝Δ*ut-
1+Pt-1，其中表示机器人与行人间最小允许间距；为便于求解，本方法以将上述数学描述转化为强化学习的规范形式，即设状态S＝[H，x，y，vx，vy，]，其中H为的全体；将约束的不等式转换为差值形式，差值形式的加权和为定义奖励函数
为即将不等约束转化为惩罚项的形式，优化目标即转化为argminπ∈∏r；同时，记未知的动态模型为p(st|st-1，ut-1)～∑N(s|μ，∑)，待估值函数
为通过强化学习方法构建Agent，完成实时路径规划；将控制指令发送至行走电机控制器给定，推动机器人按规划轨迹行进。

2.实现如权利要求1所述方法的装置，其特征在于：包括：四轮差速式底盘、轮胎、减速电机和车壳；车壳侧部安装有携行提手，车壳底部安装有无线充电线圈；深度相机、CSI彩色摄像头、单线旋转式激光雷达、控制面板安装在车壳上；所述深度相机向下倾斜安装，CSI彩色摄像头向上倾斜安装；通过两级纽扣磁铁和磁编码器芯片测量连杆与车壳顶面的夹角；车体内部包括底盘驱动模块、中央处理模块、供配电模块和人机交互模块。

3.如权利要求1所述方法，其特征在于：步骤七所述经典路径规划技术包括RRT*或HybridA*。

4.如权利要求1所述方法，其特征在于：步骤七所述完成实时路径规划是通过强化学习方法构建Agent完成的。

5.如权利要求2所述装置，其特征在于：所述深度相机成像面与车壳夹角为15°；所述CSI彩色摄像头成像面与车壳夹角为15°。

6.如权利要求2所述装置，其特征在于：所述底盘驱动模块由基于嵌入式微处理器开发的控制板、无刷电机电调板、数字温度传感器、MEMS型IMU构成，控制板运行双闭环数字PID控制进行转速电流双闭环电机调速控制，接收电调板的编码信息进行转速计算，接收并处理安装于电机、主控板和锂离子电池上的三只数字温度芯片的温度数据对设备运行温度进行校验；MEMS型IMU负责测量机器人位姿，安装在车体中央部位。

7.如权利要求2所述装置，其特征在于：所述中央处理模块包括深度相机、激光雷达、深度学习计算卡、LTE-4G通信模块和卫星定位模块；所述深度学习计算卡系指可高效运行神经网络模型的高性能低成本边缘计算设备，能够保证本技术所述导盲机器人的相关方法对高性能计算的需求；所述深度相机连接到深度学习计算卡，能够保障在室外导盲环境下的稳定运行；所述激光雷达应连接到深度学习计算卡；所述LTE-4G通信模块应具有高速数据通信、高质量的语音、短信功能，是导盲机器人的必要通讯保障；所述卫星定位模块可支持北斗，GPS卫星信号，内置惯性融合单元，具有定位精度高，数据更新速度快的特点。

8.如权利要求2所述装置，其特征在于：所述供配电模块包括锂离子电池、DC-DC配电板、无线充电线圈和PTC加温模块；DC-DC配电板由高频反激式开关电源构成；PTC加温模块用于在低温时给电源加热至工作温区，防止电源低温放电损坏。

9.如权利要求2所述装置，其特征在于：人机交互模块包括蓝牙耳机与拾音器、转向灯组两个部分；所述蓝牙耳机与拾音器为通用型设备，与中央处理模块的深度学习计算卡通过蓝牙通讯相连接，该设备是支撑人机语音交互的核心设备；转向灯组包含左转向灯和右转向灯，用于告知外界机器人行进意图，方便对方适应性避让，提高通行效率。

10.如权利要求2所述装置，其特征在于：两级纽扣磁铁位于轴承中心旋转位置；轴承连杆装置安装于防水车壳后部的凸台上，连杆自由运动方向沿车轮轴向垂直。

技术说明书
一种移动型导盲机器人系统及导盲方法
技术领域
本技术涉及一种移动型导盲机器人系统及导盲方法，属于残疾人辅助设备领域。

背景技术
当前，我国视力障碍人士的数量超过500万人，位居世界前列。

越来越多的视障人士认为，现阶段社会提供的导盲设施及工具均不能很好地满足他们的活动需要，难以提供有效的路径规划和避障服务，一定程度上造成了视力障碍人群出行难的问题。

随着人工智能领域算法的突破性发展以及应用的日益普及，近年来智能硬件的成本大为降低，相关工具链也日益成熟，为新应用的形成奠定了必要的基础。

当前智能导盲装置主要有穿戴式和杖式两大类，这两类导盲装置的主要技术缺陷有：
(1)受限于可穿戴属性或安装空间对体积和重量的限制，该类装置难以配备高性能计算设备和完善的多源信息感知系统。

(2)穿戴式智能导盲装置的感知传感器以人体为安装面，杖式智能导盲装置以盲杖前缘为安装面，均与人体运动强耦合，受人体正常运动的影响难以保持传感器参考系相对稳定，不利于提高感知精度。

(3)无法实现直接的引导，仅提供感知辅助，决策需盲人自身完成。

针对上述技术缺陷工业界发展了一类具有自主移动功能的导盲机器人，可初步处理上述缺陷，但仍存在诸多不足之处，如中国专利CN110368275A介绍了一种导盲机器人硬件设计方法及与之配合的自主导盲方法，但没有考虑融合路面可通行性，在路径规划方面没有考虑导盲任务所处的行人环境。

当前的代表性感知方案普遍使用语义分割技术判别可行路面，如中国专利CN201810534059.7公开的一种基于语义分割神经网络模型的目标和地形检测方法，能检测路面类型并通知盲人，但难以识别相同材质路面的平坦情况。

专利CN102048612A介绍了一种能自动识别交通信号灯、盲道等关键信息的移动机器人，但其无自主决策能力，仍需将信息汇报使用者令其自行决策。

技术内容
本技术的目的是为了解决现有只能导航存在的上述问题，提供一种移动型导盲机器人系统及导盲方法。

该方法能够自主进行融合环境感知，运行避障和规划，在人机交互模块的调控下进行自动盲人引导。

本技术的目的是通过下述技术方案实现的。

一种移动型导盲机器人导盲方法，包括如下步骤：
步骤一、采集训练数据。

拍摄采集多张周围环境图片，构成图集D；并通过人工标注每张数据的内容轮廓；
步骤二、构建识别网络。

在图像集D基础上进行迁移学习，得到材质判别模型，之后进行修剪、量化和霍夫曼编码，将材质判别模型压缩并通过TensorRT工具优化材质判别模型的算力消耗，同时对每类材质赋予惩罚值l，得到材质惩罚系数表，再将判别模型和材质惩罚系数表一并存储在机器人系统中；所述惩罚值表示对系统在该材质上运动的拒绝程度。

步骤三、材质检测以及材质评分。

材质检测：在运行模式下，传感器将获取的深度相机和彩色相机数据帧分别发送给步骤二所得的判别模型；利用判别模型得到像素坐标系下的材质信息M；所述材质信息M元素格式为(u,v,C)，u表示x轴方向像素坐标；v表示y轴方向像素坐标；C表示材质类别。

材质评分：为将其与世界坐标系下点云建立联系，切取世界坐标系中机器
人正前方1m*1m区域，由其中的点计算对应的像素坐
标其中TWC为世界坐标到相机坐标变换阵，由惯
性测量单元(IMU)读取得到，Cm为相机矩阵，由传感器预先标定得到。

由在M中查询对应的材质类别，按步骤二预定义的惩罚值替换材质类别C，得到材质损失Lmaterial，Lmaterial元素格式为
(x,y,z,l)，x,y,z表示世界坐标系下坐标；l表示惩罚值。

步骤四、基于点云平面拟合的平坦型检测；
1)通过深度相机的深度点云信息获取实时路面点云数据。

将数据转换为PCL点云处理库的PointCloud2数据类型，使用聚类型点云滤波器进行异常点补偿和点云滤波。

2)对滤波后的点云数据进行随机采样一致性评估，获得拟检测地平面的参数，进而得到估计平面；为加速收敛，使用n-1帧的面内点集进行初始化。

计算点云集中每一点到此平面的欧氏距离di，并按下式计算对应的li，进而得地平面平坦性描述T，T＝{l1,l2,…lN}；
上式中，均值σ为敏感度阈值。

选取T中位于世界坐标系中机器人正前方1m*1m区域的点构成集合，，记为平坦损失Lterrian。

步骤五、2.5维栅格地图融合。

将步骤四得到的Lterrian和步骤三得到的Lmaterial相加得总损失Lmerge，Lmerge向步骤四得到的估计平面投影，并栅格化。

对每个栅格进行如下操作：无映射点的栅格记惩罚值为无穷大；存在多映射点的栅格取最大惩罚值，从而得到2.5维栅格地图，将栅格地图发布为ROS消息，提交给规划模块处理。

步骤六、全局路径规划。

即路网级规划，通过调用百度地图或高德地图API实现，其决策结果为一个路网级的轨迹参考线。

步骤七、两步法进行局部路径规划。

第一步、局部路径规划粗生成。

在步骤五得到的栅格地图的信息基础上，暂不考虑行人这类高动态非合
作目标的避碰约束，利用RRT*,Hybrid A*等经典路径规划技术拟定初始局部规划的参考轨迹集
第二步、局部路径规划细生成。

在初始参考轨迹集的基础上考虑剩余约束要求和优化指标，生成最终的决策轨迹τ，进而由控制器生成具体的决策序列A0：T。

考虑控制时间片[t0,tf]，设为处于导盲机器人领域中的
Nnearby个行人在t时刻的状态向量，其中
Px,Py为位置、Vx,Vy为速度，θb,为躯干的方向角，θh为头部的方向角；容许控制ut＝[rls,rrs]；rls为机器人左轮转速，rrs为机器人右轮转速。

优化的总体目标为:
其中，α*(tf-t0)为时间最短目标，为各行人与机器人的距
离和，要求生成轨迹尽量接近初始参考轨迹α,β,γ为非负的加权参数。

以此为目标求解控制量，控制量需满足如下约束条件：满足的控制约束，满足Δ＝|ut(1)-ut(2)|<ωmax的转向约束，满足的加速度约束。

并考虑人机关系，满足的人机最大距离约束,其
中表示控制量上界，ωmax表示角速度上界，表示加速度上界，表示人机间最大允许距离。

最后，满足系统的避碰约束
即和运动转移约束Pt＝Δ*ut-
1+Pt-1，其中表示机器人与行人间最小允许间距。

为便于求解，本方法以将上述数学描述转化为强化学习的规范形式，即设状态S＝[H,x,y,vx,vy,]，其中H为的全体；将约束的不等式转换为差值
形式，差值形式的加权和为定义奖励函数为即将不等约束转化为惩罚项的形式，优化目标即转化为argminπ∈Πr。

同时，记未知的动态模型为p(st|st-1,ut-1)
～∑N(s|μ,∑)，待估值函数为通过强化学习方法构建Agent，完成实时路径规划。

将控制指令发送至行走电机控制器给定，推动机器人按规划轨迹行进。

实现上述方法的装置，包括：一个四轮差速式铝合底盘，具有4个0.1～0.2m直径的实心橡胶轮胎，使用无刷减速电机驱动；一个圆角矩形工程塑料材质防水车壳，包容所有内部部件，侧部安装有携行提手，在底部安装有一无线充电线圈；携行提手右上测车壳面板上安装有一控制面板。

单线旋转式激光雷达安装于位于防水车壳前部的凸台上，上方有一半球形透明亚克力保护罩；深度相机和CSI彩色摄像头并排安装于防水车壳前端安装槽内，上方有透明亚克力保护罩，其中深度相机向下倾斜安装，相机成像面与车壳夹角为15°，CSI彩色摄像头向上倾斜安装，相机成像面与车壳夹角为15°；导盲牵引绳安装于轴承连杆装置上，轴承连杆装置安装于防水车壳后部的凸台上，连杆自由运动方向沿车轮轴向垂直，轴承中心旋转部位安装一枚8mm直径两级纽扣磁铁，磁铁NS方向与轮轴轴向方向垂直，正对两级纽扣磁铁上方布放一磁编码器芯片，与两级纽扣磁铁间的间隙为1mm，用于测量连杆与车壳顶面的夹角，牵引绳为尼龙材质，末端安装手柄，手柄上安装有紧急停止按钮，按钮上有防误触发保护盖。

车壳前端立面安装左右转向示意灯，示意灯使用黄色高亮LED灯珠组成。

进一步的，对上述设计方案给出如下补充说明。

所述铝合金底盘下侧安装的两部无刷驱动电机具有防水设计，分别驱动左侧和右侧的轮胎组，电机转速应使得机器人行进速度大于人平均步行速度，取人平均步行速度5km/h。

左侧/右侧的轮胎组系指由前侧轮胎和后侧轮胎经由传动轴链接的组合体，具备同速运行的特点。

所述激光雷达为采用人眼安全红外激光管构成的激光测距系统，其刷新率优于5Hz，视角为360°，角分辨率优于1°。

所述深度相机为基于结构光原理的深度相机，具备大于320*240分辨率的深度图分辨率，具备大于224*224的彩色图分辨率，感知范围在0.1～10m之间，优选深度感知精度高的。

所述CSI彩色摄像头为具有CSI相机接口的微型摄像头模组，该模组应具有动态范围高，夜间成像能力强的特点。

所述无线充电线圈应能支撑大于15w的无线充电功率，接触距离应大于1cm，与导盲机器人无线充电底盘构成高安全无暴露充电系统，保证盲人使用的安全性。

与安装在导盲机器人车体上的无线充电接收线圈配套的，应配备具有无线充电发射线圈功能的充电底座，底座应具有从市电输入的能力。

特别的，导盲机器人无线充电底盘还应配备有一定位贴纸，该贴纸用于张贴到导盲机器人无线充电底盘所在位置后方，用于导盲机器人自主精确定位到无线充电器上方，将发射线圈和接收线圈精密对齐，提高输电功率。

下面对车体内部模块设计方案予以详细描述。

所述车体内部有底盘驱动模块、中央处理模块、供配电模块和人机交互模块组成。

其中底盘驱动模块由基于嵌入式微处理器开发的控制板、无刷电机电调板、数字温度传感器、MEMS型IMU构成，控制板运行双闭环数字PID控制进行转速电流双闭环电机调速控制，接收电调板的编码信息进行转速计算,接收并处理安装于电机、主控板和锂离子电池上的三只数字温度芯片的温度数据对设备运行温度进行校验，用于为后文所述方法启动热保护和低温保护提供感知依据。

MEMS型IMU负责测量机器人位姿，安装在车体中央部位。

中央处理模块由深度相机、激光雷达、深度学习计算卡、LTE-4G通信模块、卫星定位模块组成。

所述深度学习计算卡系指可高效运行神经网络模型的高性能低成本边缘计算设备，可以保证本技术所述导盲机器人的相关方法对高性能计算的需求。

所述深度相机连接到深度学习计算卡，可以保障在室外导盲环境下的稳定运行。

所述激光雷达应连接到深度学习计算卡。

所述LTE-4G通信模块应具有高速数据通信、高质量的语音、短信功能，是导盲机器人的必要通讯保障。

所述卫星定位模块可支持北斗，GPS卫星信号，内置惯性融合单元，具有定位精度高，数据更新速度快的特点。

供配电模块包括锂离子电池、DC-DC配电板、无线充电线圈和PTC加温模块。

DC-DC配电板由高频反激式开关电源构成。

PTC加温模块用于在低温时给电源加热至工作温区，防止电源低温放电损坏。

人机交互模块包括蓝牙耳机与拾音器、转向灯组两个部分。

所述蓝牙耳机与拾音器为通用型设备，与中央处理模块的深度学习计算卡通过蓝牙通讯相连接，该设备是支撑人机语音交互的核心设备。

转向灯组包含左转向灯和右转向灯，用于告知外界机器人行进意图，方便对方适应性避让，提高通行效率。

有益效果
1、本技术的一种移动型导盲机器人导盲方法，能够实时的进行非结构化环境下的多源融合感知及智能评估，进而将评估结果提供给复杂环境约束下的决策规划模块进行运算，不仅能实现实时环境感知，同时可进行实时决策，实现全自主的路径引导。

2、本技术的一种移动型导盲机器人导盲方法，能够基于多源融合进行路面评估，从材质和平坦性两个维度对路面进行融合评估，获得更为全面的信息。

本专利公开的方法通过RGB-D数据，融合平坦度检测和材质检测，能为盲人更好更全面的探测和评估路面可通行性。

3、本技术的一种移动型导盲机器人导盲方法，能有效解决当前导盲机器人在人流密集的城市便道中自主路径规划的能力不佳的问题。

当前技术普遍使用通用化路径规划方法，未考虑导盲任务所面临的特殊性，在考虑行人避碰问题时容易出现规划死锁。

本专利公开的方法基于强化学习框架，能模仿人类的路径选择习惯规划出一种符合人类社会习惯的路径，优化导盲场景下路径规划质量。

附图说明
附图1为技术内容中的硬件方案总图，包括侧视图和正视图；
附图2为技术内容中所诉车体内部硬件模块间连接结构；
附图3为地面评估方法流程图；
附图4为轨迹规划方法流程图；
附图5为轨迹粗生成效果图；
附图6为轨迹细生成效果图。

具体实施方式
下面将以实例方式给出按本技术描述的具体实施例，给出具体硬件选型方案以更好的说明和阐释本技术所述设计方案，对其有益效果进行分析和证明。

需要特别说明的是，本部分所述实施例仅用于解释性目的，不对技术内容起限定性作用。

实施例1：
本实施例公开的移动型导盲机器人系统整体架构如附图1,2所示。

首先说明符合本技术要求的硬件平台设计方案。

考虑到机械强度和重量要求，设计方案所述铝合底盘由5mm厚标准6系铝合金板材制成，其上有减重开孔。

底盘下侧安装的两部无刷驱动电机具有防水设计，功率约为50w，最大转速约为300转，在该转速下，配备直径10cm的橡胶轮胎，可实现最大5.5km/h的行进速度，已大于设计要求的人步行均速，满足设备设计需求。

该电机分别驱动左侧和右侧的轮胎组。

所述磁编码器选择AS5600型磁编码器，该型号磁编码器具有数字接口，其检测的角度精度优于1°，且无累积误差，能够很好的满足牵引杆角度精确测量的需求。

所述激光雷达为采用人眼安全红外激光管构成的激光测距系统，具体型号可选RPLIDAR A1型雷达，该型号可进行每秒8000次以上的测距动作，其整周刷新率在5Hz以上，视角为360°，角分辨率优于1°感知距离大于10m，性价比高，满足设计需要。

该型雷达使用了光磁融合无滑环技术保障了高能效长寿命工作的能力。

所述深度相机为Intel公司生产的基于结构光原理的Realsense系列D435i相机，具备640*480分辨率的深度图分辨率，感知范围在0.1～10m之间，其体积仅为90mm x 25mm x 25mm，利于与移动平台进行整合，D435i深度相机具有对各种光照和反射材质变化不敏感的显著优势，可以保障在室外导盲环境下的稳定运行。

所述CSI彩色摄像头为使用索尼IMX290传感器，具有CSI相机接口的微型摄像头模组，该模组具有动态范围高，夜间成像能力强的优点。

所述无线充电线圈可选QI标准A11线圈，可实现大于20w的充电功率，且成本较低。

导盲机器人无线充电底盘是由反激式开关降压电源和无线充电发射线圈组成的，具有工程塑料材质外壳，外壳为直径10cm高1cm的圆型圆角圆柱体，底部具有对称排布的橡胶吸盘，尾部有连接市电的电线。

导盲机器人无线充电底盘所配备的定位贴纸尺寸为
12cm*12cm，上印刷以边长为10cm的36h11型二维码，该贴纸用于张贴到导盲机器人无线充电底盘所在位置后方，36h11型二维码具有检出方便，精度高的特点，可有效提高机器人对充电器的定位精度。