【CN110097623A】一种非同源图像数据信息融合处理方法及系统【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910364733.6

(22)申请日 2019.04.30

(71)申请人 北京控制工程研究所

地址 100080 北京市海淀区北京2729信箱

(72)发明人 刘祥　邢琰　段文杰　滕宝毅　

王勇　毛晓艳　贾永　丁泳鑫　

(74)专利代理机构 中国航天科技专利中心

11009

代理人 马全亮

(51)Int.Cl.

G06T 15/00(2011.01)

G06T 7/33(2017.01)

G06T 7/38(2017.01)

(54)发明名称

一种非同源图像数据信息融合处理方法及

系统

(57)摘要

一种非同源图像数据信息融合处理方法及

系统，包括：基于图像的三维恢复、三维点云数据

滤波和多帧点云数据匹配及融合。本发明通过对

不同图像源的立体图像对进行匹配、滤波等处

理，将多源信息转化为多个同类型的高精度三维

点云数据，进一步通过准确、高效的多元数据融

合，实现大范围高精度的三维地形恢复，适用于

巡视探测器的高可靠三维场景重建。权利要求书3页 说明书6页 附图2页CN 110097623 A 2019.08.06

C N 110097623

A

1.一种非同源图像数据信息融合处理方法，其特征在于实现步骤如下：

(1)通过两个独立图像源对同一场景成像，得到两幅原始图像，针对所述两幅原始图像，进行三维恢复，得到单帧三维点云数据；

(2)对所述单帧三维点云数据进行数据滤波；

(3)针对与步骤(1)相同的场景，通过多个图像源多次成像获取图像，均经过步骤(1)和步骤(2)的处理，得到多帧滤波后的三维点云数据；

(4)进行多帧点云数据融合，从而完成非同源图像数据信息融合处理。

2.根据权利要求1所述的非同源图像数据信息融合处理方法，其特征在于：所述三维恢复，是指根据两幅原始图像中对应像素点的坐标，恢复出真实场景的三维信息，主要实现步骤如下：

(1.1)根据相机的内参数和外参数，对两幅原始图像进行极线校正；

(1.2)利用图像匹配算法对极线校正后的图像对进行匹配，并得到两幅图像的视差数据；

(1.3)根据视差数据，结合相机安装及成像时的姿态，计算场景三维信息，得到相应的单帧三维点云数据。

3.根据权利要求2所述的非同源图像数据信息融合处理方法，其特征在于：所述图像匹配算法采用Semi-global匹配算法，采用单指令多数据流方式进行加速。

4.根据权利要求1所述的非同源图像数据信息融合处理方法，其特征在于：所述步骤(2)中对所述单帧三维点云数据进行数据滤波，具体为：

(2.1)采用KD-Tree的数据结构形式对所述单帧三维点云数据进行描述；

(2.2)根据噪声点产生的机制不同，将步骤(2.1)描述之后的三维点云数据中包含的噪声点分为由错误匹配产生的外点以及重建后的随机噪声两类，分别利用基于点云局部密度的方法和双边带滤波方法，对外点和随机噪声进行滤除。

5.根据权利要求1所述的非同源图像数据信息融合处理方法，其特征在于：所述步骤(4)进行多帧点云数据融合，是指：根据匹配后的多帧点云数据的相对位置和姿态信息，经过坐标变化将匹配后的多帧点云数据统一到同一个基准坐标系下，从而完成多帧点云数据的融合。

6.根据权利要求5所述的非同源图像数据信息融合处理方法，其特征在于：根据匹配后的多帧点云数据的相对位置和姿态信息，经过坐标变化将匹配后的多帧点云数据统一到同一个基准坐标系下，从而完成多帧点云数据的融合，具体为：

(4.1)如果当前帧是第一帧，则将其坐标系作为基准坐标系，同时复制给多帧数据，并

且记录当前位姿，

即基准旋转矩阵

和基准平移矩阵

(4.2)如果当前帧非第一帧，则采用多帧点云匹配方法计算当前帧相对前一帧的位姿变化，得到相对旋转矩阵R c和相对平移矩阵T c；

(4.3)计算当前帧相对第一帧直接的位姿变化，并将其赋值给历史位姿，计算方法如下：

权　利　要　求　书1/3页

2

CN 110097623 A