基于深度学习和迁移学习联合的RGB-D语义分割模型研究

基于深度学习和迁移学习联合的RGB-D语义分割模型研究

近年来,无人机、无人车、智能机器人等领域飞速发展,逐步成为国家经济发展、社会民生改善的下一个高科技产业链,更加精准的环境语义信息成为这些智能体进行自主避障导航、智能路径规划等任务的必要前提。然而在复杂室内场景下,由于光照不均匀、遮挡关系复杂、色彩纹理重复性高等干扰因素,基于RGB彩色图像的语义分割的方法存在物体边缘误分割、类别误分类等问题,无法实现智能体对环境语义信息的精确理解。联合RGB彩色图像和Depth深度图像的语义分割方法能够利用深度图像中所包含的空间三维信息,该信息受光照影响小,同时反映出物体之间的位置关系,最终实现更高精度的室内场景语义分割效果。本文深入研究了RGB-D语义分割领域,开展了理论研究创新和应用实践,主要研究成果与创新包括:1.针对现有RGB 语义分割模型在复杂室内场景下分割精度低的问题,本文提出了一种融合深度信息的RGB-D语义分割网络。通过可视化两种模态下网络提取出的特征图谱,本文探讨分析了深度图像与RGB彩色图像的融合位置与融合方法,并在融合-分支结构的基础上,创新性地提出了一种特征筛选结构。该结构使用一组可学习的特征惩罚因子,对融合之后的RGB-D特征进行加权处理,完成特征的筛选过程。经过实验证明,本文提出的融合结构与特征筛选结构在RGB-D语义分割任务中,区域交占比精度最高提升5.7%。2.针对深度图像中存在的深度空洞(无效值与缺失值)问题,本文提出了一种基于快速进行法的深度修复算法。该算法利用RGB彩色图像中像素之间的相关性,为深度图像中对应像素点

估计深度值。该算法充分考虑了深度空洞区域与RGB图像的对应关系,针对性地优化深度值估计函数,并修改了参考像素点的加权函数,使

得最终的深度图修复结果能够获取更加锐利精确的边缘。经过实验证明,使用修复后的深度图,RGB-D语义分割模型的区域交占比精度提升2.1%。3.本文发现,将训练好的RGB-D模型应用在实际场景中,模型仍存在误分割与误分类现象,该问题是由训练数据集与实际场景数据存在较大差别导致。针对此问题,本文提出了一种联合迁移学习的RGB-D 语义分割网络。该网络在上述RGB-D语义分割模型中进一步引入了自适应层,在模型的损失函数中加入了最大均值差异优化项,通过不断

优化训练数据集与实际场景数据集的特征在高维空间中的数据分布

差异,使得模型在无监督的小数据集上取得更好的分割效果。本文采集部分实验室环境数据,构建了一个小规模语义分割数据集,并在该

数据集上进行应用实验,实验结果表明,联合迁移学习的语义分割模

型在实际场景数据集上,区域交占比精度提升了1.4%。