基于三维视觉图像分析的路径规划系统设计
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 系统设计关键技术
2.1 立体相机标定 本文系统设计中，采用具有立体视觉效果的双目立
体 相 机 采 集 图 像 ，选 取 的 相 机 为 二 代 ZED 双 目 立 体 相 机 套 件 ，具 体 参 数 如 下 ：采 集 视 频 流 的 输 出 分 辨 率 分 为 3 种，分别为 25K（分辨率 4 416×1 244）、1 080P（分辨率 3 816×1 242）、720P（分 辨 率 2 510×822）；深 度 感 知 距 离 为 [11⁃13] 25 m。
观与背景融合误差较低，能够获取很好的路径规划效果，应用于实际路径规划领域。
关键词：路径规划；图像分析；三维视觉；立体相机标定；图像重建；图像融合；系统设计
中图分类号：TN820.4⁃34；TP391.9
文献标识码：A
文章编号：1004⁃373X（2021）14⁃0183⁃04
Design of path planning system based on 3D visual image analysis
184
现代电子技术
2021 年第 44 卷
观 渗 透 方 式 ，该 方 法 并 未 进 行 图 像 重 建 ，导 致 结 果 精 度 不高。
针对现有研究方法存在的问题，本文提出并设计基 于三维视觉图像分析的路径规划系统。实验结果表明， 该系统能够很好地完成路径规划，规划精度高，误差小。
1 路径规划系统架构
2021 年 7 月 15 日 第 44 卷第 14 期
现代电子技术 Modern Electronics Technique
DOI：10.16652/j.issn.1004⁃373x.2021.14.039
引用格式：徐曼，唐非江 . 基于三维视觉图像分析的路径规划系统设计[J]. 现代电子技术，2021，44（14）：183⁃186.
Jul. 2021 Vol. 44 No. 14
183
基于三维视觉图像分析的路径规划系统设计
徐 曼 ， 1，2 唐非江 3
（1. 无锡太湖学院，江苏 无锡 214000；2. 中国社会科学院，北京 3. 南昌大学 生命科学学院，江西 南昌 330031）
102488；
摘 要：传统路径规划系统未进行路径视觉分析，导致规划效果不佳。为此，提出并设计基于三维视觉图像分析的路
对匹配完成的图像进行三维重建操作，包括三维点 云重建和 OpenGL 显示[14]。其中，三维点云重建是在计 算 出 视 差 图 之 后 ，使 用 鼠 标 函 数 点 击 视 差 图 ，从 而 得 出 像素点三维坐标的过程。OpenGL 显示是通过多次管道 式 的 操 作 步 骤 ，利 用 处 理 函 数 下 达 指 令 ，完 成 不 同 操 作 阶段乡村路径规划并展示的过程。图像三维重建的过 程如图 2 所示。 2.3 虚拟路径交互放置
收稿日期：2020⁃12⁃04
修回日期：2021⁃01⁃19
基金项目：国家自然科学基金项目（61204065）
路径[3]。 文献[4]构建了景观分布合理规划的数学模型，在此
基 础 上 ，利 用 蚁 群 算 法 对 景 观 分 布 问 题 进 行 分 析 ，计 算 景 观 信 息 素 浓 度 和 蚂 蚁 位 置 ，并 不 断 更 新 ，该 方 法 提 高 了景观规划的合理性和协调性，但背景与景观物体的融 合 度 差 ；文 献 [5]分 析 了 生 态 公 路 景 观 特 征 ，利 用 多 级 模 糊评价方法构建评价体系，并结合熵权法对生态公路景 观 进 行 综 合 评 价 ，计 算 景 观 指 标 权 重 ，验 证 所 提 方 法 的 性能，但该方法的图像重建精度低；文献[6]设计 Visual MODFLOW 模型，从水资源、水生态和成本方面入手，分 别对景观湖防渗方式进行模拟以及对比分析，优化了景
2）使用 BP 神经网络标定立体相机，按照误差逆向 传播算法多次训练神经网络，随机选取一幅含标定的图 像 ，将 图 像 数 据 作 为 标 定 点 输 入 训 练 后 的 神 经 网 络 中 ， 经 过 神 经 网 络 计 算 与 权 值 反 复 调 整 ，输 出 图 像 像 素 坐 标 ，直 至 标 定 块 的 线 框 图 与 图 像 各 边 框 一 致 ，获 取 相 机 内部参数视域角度值。
Pycharm Open CV 和 Visual C++ 6.0
图 2 图像三维重建流程
虚拟路径平移过程如图 3 所示。
图 3 虚拟路径平移仿射图
图 3 中，XOY 为虚拟路径平移仿射坐标系，取自多 边 形 Q，OX 和 OY 是 多 边 形 Q 上 的 任 意 两 边 ，在 约 束 条 件 下 ，沿 着 OX 和 OY 两 边 移 动 虚 拟 路 径 则 可 顺 利 完 成 平移。
Keywords：path planning；image analysis；3D vision；stereo camera calibration；image reconstruction；image fusion； system design
0引言
在我国城市化进程快速推进的背景下，城市建设快 速崛起，在此势态下，城镇路径规划受到高度重视，成为 自然与人文融合发展的关键载体。因此，城市路径规划 研究具有重要的实际应用价值 。 [1⁃2] 目前，融合科学技术 与审美艺术的城镇路径规划成为现代城市建设的主流， 规划过程中不仅需要考虑城镇交通拥堵可能性，还需要 将城镇发展考虑进去，才能打造出符合城镇发展的交通
Abstract：The traditional path planning system does not carry out visual analysis of the path，resulting in poor planning effect. Therefore，a path planning system based on 3D visual image analysis is proposed and designed. First of all，the stereo camera calibration and the regional image acquisition are executed. The collected image is preprocessed and corrected to generate the parallax image，and complete the visual analysis of the image. And then the 3D visual image is reconstructed by means of the 3D point cloud and OpenGL display. The real background information is inputted to fuse with the reconstructed 3D visual image. The position adjustment such as rotation，translation and interactive placement is carried out for the visual image to complete the path planning system design. The experimental results show that the path planning accuracy of the system is as high as 95%，its integration error of virtual landscape and background is low，and the system can obtain good path planning effect and can be applied in the field of actual path planning.
3） 鉴 于 相 机 焦 距 是 恒 定 的 ，可 知 相 机 内 部 参 数 视 域角也不变，在此条件下，采用类似于步骤 2）的方法求 解出其他视角下的图像，则可以获取立体相机的旋转和 平移参数。 2.2 图像三维重建
在立体相机标定完成基础上，进行路径图像三维重 建。立体匹配是图像重建的关键步骤，利用立体匹配生 成视差图之后，可直接进行图像三维重建。
立体相机标定是三维视觉图像分析的基础，也是图
像三维重建基础，提前进行立体相机标定确定相机三维 点 与 坐 标 之 间 的 关 系 ，获 取 相 机 参 数 ，提 高 采 集 结 果 精 准度。本文进行相机标定过程如下：
1） 设 定 一 个 已 知 立 体 尺 寸 的 立 方 体 作 为 标 定 块 ， 将 标 定 块 随 机 放 入 真 实 路 径 图 像 中 ，使 用 相 同 焦 距 ，从 不同角度对含有标定块和不含标定块的图像进行拍摄， 设定含有标定块的图像为标定图像，不含标定块的图像 为训练图像。
185
一 约 束 条 件 下 ，依 据 真 实 路 径 背 景 信 息 ，对 虚 拟 路 径 进 行旋转、平移等操作，使其适应真实路径背景大小，提高 两者融合度。
表 1 系统测试环境
测试环境
参数
数值
CPU
Inter Core i3⁃4150
硬件
内存
16 GB
显卡
GeForceGTX970
软件
集成开发环境 编程
图 1 路径规划系统架构
上述路径规划系统的主要实现过程为：输入路径图 像真实背景信息，采用立体相机图像采集、标定，利用三 维重建技术在虚拟环境中构建虚拟路径，将虚拟路径与 真实路径信息相互融合，基于三维交互放置技术调整路 径，使之与背景相融合，完成路径规划，输出高度真实的 路径规划图。图 1 中给出的图像包含从多个角度中采 集得到的路径图像，为提高路径规划结果的准确性奠定 基础。
虚拟路径交互放置是指将路径从初始位置移动到 目标位置，是一个位置调整的过程。假设初始路径放置 在多边形 P 上，对路径上的物体施加几何交换，使其落 在多边形 Q 的中心位置，作为初始位置。
初始位置确定后，在始终保持多边形 P 与 Q 重合这
第 14 期
徐 曼，等：基于三维视觉图像分析的路径规划系统设计
在 路 径 规 划 中 ，规 划 的 效 果 越 好 ，物 流 配 送 时 间 越 短 。 [7⁃9] 为 进 一 步 增 强 路 径 规 划 结 果 ，通 过 三 维 视 觉 图 像 ，规 划 出 接 近 真 实 的 场 景 图 ，并 实 时 更 新 路 径 真 实 情 况 ，供 配 送 员 随 时 选 择 无 拥 堵 的 路 段 ，有 效 缩 短 配 送 时 间 。 [7，10] 本 文 以 三 维 视 觉 图 像 分 析 构 建 路 径 规 划 系 统 ， 系统架构如图 1 所示。
路径图像立体匹配是指将采集的路径图像特征与 图像之间进行相互映射的过程，也就是将不同的获取与原图分辨 率 一 致 的 视 差 图 。 图 像 立 体 匹 配 中 ，需 要 注 意 光 照 、噪 声等外在场景因素的干扰。通常在图像匹配前，首先对 图 像 进 行 预 处 理 和 图 像 校 正 ，提 高 图 像 质 量 ，再 按 照 匹 配 步 骤 生 成 路 径 图 像 视 差 图 ，对 视 差 图 细 化 处 理 ，最 大 程度提高匹配精度。
XU Man1，2，TANG Feijiang3
（1. Wuxi Taihu College，Wuxi 214000，China；2. Chinese Academy of Social Sciences，Beijing 102488，China； 3. College of Life Science，Nanchang University，Nanchang 330031，China）
径规划系统。首先，标定立体相机，采集区域图像，对图像进行预处理和校正，生成视差图，完成图像的视觉分析，在此基础
上通过三维点云和 OpenGL 显示重建三维视觉图像。输入真实背景信息，与重建得到的三维视觉图像融合，对视觉图像进行
旋转、平移等位置调整操作，交互放置，完成路径规划系统设计。实验结果表明，该系统的路径规划精度高达 95%，且虚拟景
2.1 立体相机标定 本文系统设计中，采用具有立体视觉效果的双目立
体 相 机 采 集 图 像 ，选 取 的 相 机 为 二 代 ZED 双 目 立 体 相 机 套 件 ，具 体 参 数 如 下 ：采 集 视 频 流 的 输 出 分 辨 率 分 为 3 种，分别为 25K（分辨率 4 416×1 244）、1 080P（分辨率 3 816×1 242）、720P（分 辨 率 2 510×822）；深 度 感 知 距 离 为 [11⁃13] 25 m。
观与背景融合误差较低，能够获取很好的路径规划效果，应用于实际路径规划领域。
关键词：路径规划；图像分析；三维视觉；立体相机标定；图像重建；图像融合；系统设计
中图分类号：TN820.4⁃34；TP391.9
文献标识码：A
文章编号：1004⁃373X（2021）14⁃0183⁃04
Design of path planning system based on 3D visual image analysis
184
现代电子技术
2021 年第 44 卷
观 渗 透 方 式 ，该 方 法 并 未 进 行 图 像 重 建 ，导 致 结 果 精 度 不高。
针对现有研究方法存在的问题，本文提出并设计基 于三维视觉图像分析的路径规划系统。实验结果表明， 该系统能够很好地完成路径规划，规划精度高，误差小。
1 路径规划系统架构
2021 年 7 月 15 日 第 44 卷第 14 期
现代电子技术 Modern Electronics Technique
DOI：10.16652/j.issn.1004⁃373x.2021.14.039
引用格式：徐曼，唐非江 . 基于三维视觉图像分析的路径规划系统设计[J]. 现代电子技术，2021，44（14）：183⁃186.
Jul. 2021 Vol. 44 No. 14
183
基于三维视觉图像分析的路径规划系统设计
徐 曼 ， 1，2 唐非江 3
（1. 无锡太湖学院，江苏 无锡 214000；2. 中国社会科学院，北京 3. 南昌大学 生命科学学院，江西 南昌 330031）
102488；
摘 要：传统路径规划系统未进行路径视觉分析，导致规划效果不佳。为此，提出并设计基于三维视觉图像分析的路
对匹配完成的图像进行三维重建操作，包括三维点 云重建和 OpenGL 显示[14]。其中，三维点云重建是在计 算 出 视 差 图 之 后 ，使 用 鼠 标 函 数 点 击 视 差 图 ，从 而 得 出 像素点三维坐标的过程。OpenGL 显示是通过多次管道 式 的 操 作 步 骤 ，利 用 处 理 函 数 下 达 指 令 ，完 成 不 同 操 作 阶段乡村路径规划并展示的过程。图像三维重建的过 程如图 2 所示。 2.3 虚拟路径交互放置
收稿日期：2020⁃12⁃04
修回日期：2021⁃01⁃19
基金项目：国家自然科学基金项目（61204065）
路径[3]。 文献[4]构建了景观分布合理规划的数学模型，在此
基 础 上 ，利 用 蚁 群 算 法 对 景 观 分 布 问 题 进 行 分 析 ，计 算 景 观 信 息 素 浓 度 和 蚂 蚁 位 置 ，并 不 断 更 新 ，该 方 法 提 高 了景观规划的合理性和协调性，但背景与景观物体的融 合 度 差 ；文 献 [5]分 析 了 生 态 公 路 景 观 特 征 ，利 用 多 级 模 糊评价方法构建评价体系，并结合熵权法对生态公路景 观 进 行 综 合 评 价 ，计 算 景 观 指 标 权 重 ，验 证 所 提 方 法 的 性能，但该方法的图像重建精度低；文献[6]设计 Visual MODFLOW 模型，从水资源、水生态和成本方面入手，分 别对景观湖防渗方式进行模拟以及对比分析，优化了景
2）使用 BP 神经网络标定立体相机，按照误差逆向 传播算法多次训练神经网络，随机选取一幅含标定的图 像 ，将 图 像 数 据 作 为 标 定 点 输 入 训 练 后 的 神 经 网 络 中 ， 经 过 神 经 网 络 计 算 与 权 值 反 复 调 整 ，输 出 图 像 像 素 坐 标 ，直 至 标 定 块 的 线 框 图 与 图 像 各 边 框 一 致 ，获 取 相 机 内部参数视域角度值。
Pycharm Open CV 和 Visual C++ 6.0
图 2 图像三维重建流程
虚拟路径平移过程如图 3 所示。
图 3 虚拟路径平移仿射图
图 3 中，XOY 为虚拟路径平移仿射坐标系，取自多 边 形 Q，OX 和 OY 是 多 边 形 Q 上 的 任 意 两 边 ，在 约 束 条 件 下 ，沿 着 OX 和 OY 两 边 移 动 虚 拟 路 径 则 可 顺 利 完 成 平移。
Keywords：path planning；image analysis；3D vision；stereo camera calibration；image reconstruction；image fusion； system design
0引言
在我国城市化进程快速推进的背景下，城市建设快 速崛起，在此势态下，城镇路径规划受到高度重视，成为 自然与人文融合发展的关键载体。因此，城市路径规划 研究具有重要的实际应用价值 。 [1⁃2] 目前，融合科学技术 与审美艺术的城镇路径规划成为现代城市建设的主流， 规划过程中不仅需要考虑城镇交通拥堵可能性，还需要 将城镇发展考虑进去，才能打造出符合城镇发展的交通
Abstract：The traditional path planning system does not carry out visual analysis of the path，resulting in poor planning effect. Therefore，a path planning system based on 3D visual image analysis is proposed and designed. First of all，the stereo camera calibration and the regional image acquisition are executed. The collected image is preprocessed and corrected to generate the parallax image，and complete the visual analysis of the image. And then the 3D visual image is reconstructed by means of the 3D point cloud and OpenGL display. The real background information is inputted to fuse with the reconstructed 3D visual image. The position adjustment such as rotation，translation and interactive placement is carried out for the visual image to complete the path planning system design. The experimental results show that the path planning accuracy of the system is as high as 95%，its integration error of virtual landscape and background is low，and the system can obtain good path planning effect and can be applied in the field of actual path planning.
3） 鉴 于 相 机 焦 距 是 恒 定 的 ，可 知 相 机 内 部 参 数 视 域角也不变，在此条件下，采用类似于步骤 2）的方法求 解出其他视角下的图像，则可以获取立体相机的旋转和 平移参数。 2.2 图像三维重建
在立体相机标定完成基础上，进行路径图像三维重 建。立体匹配是图像重建的关键步骤，利用立体匹配生 成视差图之后，可直接进行图像三维重建。
立体相机标定是三维视觉图像分析的基础，也是图
像三维重建基础，提前进行立体相机标定确定相机三维 点 与 坐 标 之 间 的 关 系 ，获 取 相 机 参 数 ，提 高 采 集 结 果 精 准度。本文进行相机标定过程如下：
1） 设 定 一 个 已 知 立 体 尺 寸 的 立 方 体 作 为 标 定 块 ， 将 标 定 块 随 机 放 入 真 实 路 径 图 像 中 ，使 用 相 同 焦 距 ，从 不同角度对含有标定块和不含标定块的图像进行拍摄， 设定含有标定块的图像为标定图像，不含标定块的图像 为训练图像。
185
一 约 束 条 件 下 ，依 据 真 实 路 径 背 景 信 息 ，对 虚 拟 路 径 进 行旋转、平移等操作，使其适应真实路径背景大小，提高 两者融合度。
表 1 系统测试环境
测试环境
参数
数值
CPU
Inter Core i3⁃4150
硬件
内存
16 GB
显卡
GeForceGTX970
软件
集成开发环境 编程
图 1 路径规划系统架构
上述路径规划系统的主要实现过程为：输入路径图 像真实背景信息，采用立体相机图像采集、标定，利用三 维重建技术在虚拟环境中构建虚拟路径，将虚拟路径与 真实路径信息相互融合，基于三维交互放置技术调整路 径，使之与背景相融合，完成路径规划，输出高度真实的 路径规划图。图 1 中给出的图像包含从多个角度中采 集得到的路径图像，为提高路径规划结果的准确性奠定 基础。
虚拟路径交互放置是指将路径从初始位置移动到 目标位置，是一个位置调整的过程。假设初始路径放置 在多边形 P 上，对路径上的物体施加几何交换，使其落 在多边形 Q 的中心位置，作为初始位置。
初始位置确定后，在始终保持多边形 P 与 Q 重合这
第 14 期
徐 曼，等：基于三维视觉图像分析的路径规划系统设计
在 路 径 规 划 中 ，规 划 的 效 果 越 好 ，物 流 配 送 时 间 越 短 。 [7⁃9] 为 进 一 步 增 强 路 径 规 划 结 果 ，通 过 三 维 视 觉 图 像 ，规 划 出 接 近 真 实 的 场 景 图 ，并 实 时 更 新 路 径 真 实 情 况 ，供 配 送 员 随 时 选 择 无 拥 堵 的 路 段 ，有 效 缩 短 配 送 时 间 。 [7，10] 本 文 以 三 维 视 觉 图 像 分 析 构 建 路 径 规 划 系 统 ， 系统架构如图 1 所示。
路径图像立体匹配是指将采集的路径图像特征与 图像之间进行相互映射的过程，也就是将不同的获取与原图分辨 率 一 致 的 视 差 图 。 图 像 立 体 匹 配 中 ，需 要 注 意 光 照 、噪 声等外在场景因素的干扰。通常在图像匹配前，首先对 图 像 进 行 预 处 理 和 图 像 校 正 ，提 高 图 像 质 量 ，再 按 照 匹 配 步 骤 生 成 路 径 图 像 视 差 图 ，对 视 差 图 细 化 处 理 ，最 大 程度提高匹配精度。
XU Man1，2，TANG Feijiang3
（1. Wuxi Taihu College，Wuxi 214000，China；2. Chinese Academy of Social Sciences，Beijing 102488，China； 3. College of Life Science，Nanchang University，Nanchang 330031，China）
径规划系统。首先，标定立体相机，采集区域图像，对图像进行预处理和校正，生成视差图，完成图像的视觉分析，在此基础
上通过三维点云和 OpenGL 显示重建三维视觉图像。输入真实背景信息，与重建得到的三维视觉图像融合，对视觉图像进行
旋转、平移等位置调整操作，交互放置，完成路径规划系统设计。实验结果表明，该系统的路径规划精度高达 95%，且虚拟景