基于多波束相控阵声纳系统的三维声纳可视化处理方法[发明专利]

(10)申请公布号 (43)申请公布日 2013.07.10C N 103197308 A (21)申请号 201310084892.3
(22)申请日 2013.03.15
G01S 7/52(2006.01)
(71)申请人浙江大学
地址310027 浙江省杭州市西湖区浙大路
38号
(72)发明人田翔 史勇强 周凡 陈耀武
(74)专利代理机构杭州天勤知识产权代理有限
公司 33224
代理人
胡红娟
(54)发明名称
基于多波束相控阵声纳系统的三维声纳可视
化处理方法
(57)摘要
本发明公开了一种基于多波束相控阵声纳系
统的三维声纳可视化处理方法，包括以下步骤：
采集声纳数据，并通过网络发送；通过网络逐帧
获取声纳数据，将每一帧声纳数据对应的范围图
像转化为全局坐标系下的点云数据；对点云数据
进行过滤，将过滤得到的点云数据连接成三角面
片，并计算每个三角面片的法向量和顶点；将当
前帧与前一帧进行配准，将配准后的当前帧和前
一帧中的点云数据进行马赛克化处理，然后利用
遍历交叉点算法将马赛克化后的当前帧和前一帧
的点云数据进行融合，并进行三维场景图像模型
点集的更新；依据融合后的点云数据的强度以及
三角面片的法向量和顶点的法向量，生成三维场
景图像。

本发明方法，速度快，精度高。

(51)Int.Cl.
权利要求书1页 说明书5页 附图3页
(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1页 说明书5页 附图3页(10)申请公布号CN 103197308 A
*CN103197308A*
1/1页
1.一种基于多波束相控阵声纳系统的三维声纳可视化处理方法，其特征在于，包括以下步骤：
（1）采集声纳数据，并通过网络发送；
（2）通过网络逐帧获取声纳数据，将每一帧声纳数据对应的范围图像依据多波束相控阵声纳系统的位置信息和状态信息转化为全局坐标系下的点云数据；
（3）对步骤（2）中获得的点云数据进行过滤，将过滤得到的点云数据连接成三角面片，并计算每个三角面片的法向量和顶点的法向量；
（4）将当前帧与前一帧进行配准，将配准后的当前帧和前一帧中的点云数据进行马赛克化处理，然后利用遍历交叉点算法将马赛克化后的当前帧和前一帧的点云数据进行融合，并进行三维场景图像模型点集的更新；
（5）依据步骤（4）中得到的融合后的点云数据的强度以及步骤（3）中得到的三角面片的法向量和顶点的法向量，生成三维场景图像。

2.如权利要求1所述的基于多波束相控阵声纳系统的三维声纳可视化处理方法，其特征在于，所述步骤（3）中依据点云数据的强度信息或者深度信息，对点云数据进行过滤。

3.如权利要求1所述的基于多波束相控阵声纳系统的三维声纳可视化处理方法，其特征在于，所述步骤（3）中将未连接成三角面片的孤立点剔除。

4.如权利要求1所述的基于多波束相控阵声纳系统的三维声纳可视化处理方法，其特征在于，步骤（4）中每一次进行融合之前都针对上一次得到的三维场景图像进行更新判断，当需要修改的马赛克化处理后的网格数量达到一定阈值后，进行融合，并进行三维场景模型点集的更新。

5.如权利要求1所述的基于多波束相控阵声纳系统的三维声纳可视化处理方法，其特征在于，所述步骤（4）中采用反向投影算法和重采样方法进行配准。

6.如权利要求1所述的基于多波束相控阵声纳系统的三维声纳可视化处理方法，其特征在于，所述步骤（4）中采用ICP 算法进行配准。

7.如权利要求6所述的基于多波束相控阵声纳系统的三维声纳可视化处理方法，其特征在于，所述步骤（4）中，在融合过程中，记录当前帧和前一帧的融合点的数量以及每个融合点相关的所有帧的信息。

8.如权利要求7所述的基于多波束相控阵声纳系统的三维声纳可视化处理方法，其特征在于，依据所记录的当前帧和前一帧的融合点的数量以及与每个融合点相关的所有帧的信息，将配准所造成的累积误差分配到各对配准的帧中。

权 利 要 求 书CN 103197308 A
基于多波束相控阵声纳系统的三维声纳可视化处理方法
技术领域
[0001] 本发明涉及图像数据处理领域，具体涉及一种基于多波束相控阵声纳系统的三维声纳可视化处理方法。

背景技术
[0002] 多波束相控阵三维成像声纳系统是近几年来在水下应用领域较为先进，应用较为广泛的系统。

该系统采用单频声纳脉冲，运用相控阵技术，同时产生上万个波束信号，透射整个观测场景，通过由多个传感器单元构成的接收面阵及高速信号处理后端(FPGA的信号处理系统)，实时获得水下三维点阵的范围图像。

这些范围图像构成的三维场景图以10帧/秒到20帧/秒的速度更新图像，满足实时监测的需求。

配合从GPS(Global Position System)获得的声纳系统的位置信息和船舶姿态传感器（如陀螺仪，多普勒速度仪等）上获得的声纳系统的状态信息，通过坐标变换将三维点阵的范围图像转换到全局坐标系下，随着船舶的移动，可以完成对整个场景的三维重建，以及对运动目标的监测及跟踪等复杂任务。

[0003] 多波束相控阵水下三维声纳成像系统在蛙人的探测及跟踪、水雷及水雷类目标的识别监测、湖泊及海滩大陆架（浅水<200米）的海图构建、水下遥控航行器(ROV)及水下自动航行器(AUV)的避障及导航、海上工程实施监控、海港桥梁的墙壁检查、海底管道检查等多方面应用上具有广泛的应用前景。

[0004] 如图1所示，多波束相控阵水下三维声纳可视化处理系统，由舰船携载的多波束相控阵三维声纳传感器100，对水下目标及区域进行主动声纳扫描，然后将获得的声纳数据通过网络传送到上位机三维声纳可视化处理系统101，进行实时的处理显示，同时船舰上携带了姿态传感器102和GPS全球定位系统103，与卫星104实时通讯定位多波束相控阵水下三维声纳系统的位置。

[0005] 在水下三维声纳可视化处理系统中，国内外已经存在很多研究性质，或是商业性质的系统。

比如英国Coda Octopus公司的Echoscope系列产品配套一个同时产生16,000个波束的相控阵声纳，检测固定目标或者运动目标。

提供实时场景观测，高分辨率多角度的场景等功能。

[0006] 水下三维声纳系统的数据具有数据量大，信息量大，处理复杂，受采集环境、噪声影响明显等特征。

因此，研究开发基于多波束相控阵水下三维声纳的可视化处理系统，实现在复杂水下环境中便捷快速的探索和监控，具有很大的工程实用价值和理论意义。

发明内容
[0007] 本发明提供了一种基于多波束相控阵声纳系统的三维声纳可视化处理方法，实现声纳数据的在线和离线处理，处理速度快，得到的三维场景图像精度高。

[0008] 一种基于多波束相控阵声纳系统的三维声纳可视化处理方法，包括以下步骤：[0009] （1）采集声纳数据，并通过网络发送。

[0010] （2）通过网络逐帧获取声纳数据，将每一帧声纳数据对应的范围图像依据多波束相控阵声纳系统的位置信息和状态信息转化为全局坐标系下的点云数据；位置信息由GPS 传感器提供，状态信息由船舶携带的姿态传感器提供。

[0011] （3）对步骤（2）中获得的点云数据进行过滤，将过滤得到的点云数据连接成三角面片，并计算每个三角面片的法向量和顶点的法向量；可以依据点云数据的强度信息或者深度信息，对点云数据进行过滤。

[0012] 三角面片构成三维场景图像的数据骨架，将未连接成三角面片的孤立点剔除，提高三维场景图像的清晰度和可读性。

[0013] （4）将当前帧与前一帧进行配准，将配准后的当前帧和前一帧中的点云数据进行马赛克化处理，然后利用遍历交叉点算法将马赛克化后的当前帧和前一帧的点云数据进行融合，并进行三维场景图像模型点集的更新。

[0014] 在线实时处理时，采用反向投影算法和重采样方法进行配准，提高配准速度。

[0015] 离线处理时，采用精度更高的ICP算法进行配准，利用奇异值分解（SVD）方式获得最佳配准矩阵，或者采用基于概率的X84边界排出方法进行配准（F.R.Hampel,P. J.Rousseeuw,E.M.Ronchetti,and W.A.Stahel.Robust Statistics:theApproach Based on Influence Functions.Wiley Series in probability and mathematicalstatistics. John Wiley&Sons,1986）。

[0016] 在离线处理时的融合过程中，记录当前帧和前一帧的融合点的数量以及每个融合点相关的所有帧的信息，依据所记录的当前帧和前一帧的融合点的数量以及与每个融合点相关的所有帧的信息，将配准所造成的累积误差分配到各对配准的帧中，目的是将所有相邻帧的配准统一到相同的参考系中，减小成对配准造成的累积误差。

[0017] 每一次进行融合之前都针对上一次得到的三维场景图像进行更新判断，当需要修改的马赛克化处理后的网格数量达到一定阈值后，进行融合，并进行三维场景模型点集的更新；如果需要修改的马赛克化处理后的网格数量没有达到一定阈值，仅进行融合，不进行三维场景模型点集的更新，这样可以加快数据处理的速度。

[0018] （5）依据步骤（4）中得到的融合后的点云数据的强度以及步骤（3）中得到的三角面片的法向量和顶点，生成三维场景图像。

[0019] 通过网络逐帧获取的声纳数据可以实时在线处理，也可以存储到本地硬盘，在现场以外进行离线处理，生成三维场景图像。

[0020] 本发明基于多波束相控阵声纳系统的三维声纳可视化处理方法，能够提供实时在线的水下环境分析，提供人机交互功能，离线分析时，可以给出精度更高，内容更丰富的细节信息，实现对水下环境的细致检测，适合水下建设指导，码头及港湾安全，水下障碍物清除，水下勘探，水下入侵者检测，渔讯侦测等软件系统。

附图说明
[0021] 图1为多波束相控阵声纳系统示意图；
[0022] 图2为多波束相控阵声纳系统结构图；
[0023] 图3为本发明基于多波束相控阵声纳系统的三维声纳可视化处理方法在线处理流程图；
[0024] 图4为本发明基于多波束相控阵声纳系统的三维声纳可视化处理方法离线配准流程图。

具体实施方式
[0025] 下面结合附图，对本发明基于多波束相控阵声纳系统的三维声纳可视化处理方法做详细描述。

[0026] 如图2所示，本发明方法的实现所依赖的系统包括以下几个模块：
[0027] 通讯存储模块200，包括GPS通讯201、姿态传感器通讯202、数据采集及网络通讯203；可视化处理模块210，包括实时数据处理211，三维可视化显示212；数据离线处理模块220，包括数据存储221，场景重建222；参数设置模块230，包括能量阈值设置，TVG设置，量程设置，脉冲设置，声纳位置设置；参数设置模块230实现整个系统运行过程中的参数调整和设置。

[0028] 如图3所示，一种基于多波束相控阵声纳系统的三维声纳可视化处理方法，包括以下步骤：
[0029] 步骤301，采集声纳数据，并通过网络发送，通过网络逐帧获取声纳数据，将每一帧声纳数据对应的范围图像依据多波束相控阵声纳系统的位置信息和状态信息转化为全局坐标系下的点云数据，并对点云数据进行存储。

[0030] 解压通过网络获取的每一帧声纳数据的数据包，获得128*128的声纳数据的范围图像，将范围图像中的数据信息通过几何运算转换成局部坐标系下的点云数据，然后利用GPS传感器提供的位置信息和姿态传感器提供的状态信息，将局部坐标系下的点云数据转化为全局坐标系下的点云数据。

[0031] 步骤302，依据点云数据的强度或深度信息对步骤301中获得的点云数据进行过滤，将不满足阈值的点云数据滤除，本实施例中采用点云数据强度差值分布直方图的3%作为阈值，即将点云数据强度差过大的3%的点云数据滤除。

[0032] 步骤303，单帧重建，即将过滤得到的点云数据连接成三角面片时，分为以下四步：
[0033] 1、以2×2模板遍历范围图像，寻找非空点的连接；
[0034] 2、以3×3模板，修复空洞；
[0035] 3、改进连接：以3×2或者2×3为模板找到可行的对角斜纹；
[0036] 4、范围图像中的每个顶点根据以上三步的搜索生成一个12bit编码的位向量，应用一个关于三角面片边长（欧氏距离阈值）的滤波器进行滤波，去除孤立点，获得三角面片的平滑分布，同时，克服距离属性的限制；
[0037] 计算每个三角面片的法向量和顶点的法向量；将两个在三角面片内的独立单元向量的乘积作为三角面片的法向量；将每个顶点的所在的两个三角面片（该顶点的近邻三角面片）的法向量的矢量和作为该顶点的法向量；
[0038] 步骤304，对未能构成三角面片的孤立点进行剔除，提高声纳图像的清晰度和可阅读性。

[0039] 步骤305，将当前帧与前一帧进行配准。

[0040] 在线实时处理时，采用反向投影算法和重采样方法进行配准，步骤如下：
[0041] a、计算每帧对应的范围图像上的索引坐标i，j；
[0042] b、对于当前帧Y中的每一个3D数据点（点云数据中的点）y i∈Y根据GPS提供的位置信息和姿态传感器提供的状态信息反向投影到前一帧X；
[0043] c、在上一次融合处理得到的三维场景图像的模型点集中，在前一帧X中每个数据
点x
i 的再投影近邻区域中搜索最邻近点x′
i
（再投影近邻区域可以依据需要进行设定，利
用参数设定搜索时的窗口大小，依据窗口大小确定x
i 的再投影近邻区域），如果搜到x′
i
，
即为y
i 的对应点，如果没有搜到，则不存在y
i
的对应点。

[0044] 离线处理时，采用精度更高的相邻帧配准算法，两个相邻帧的数据点集X和Y的配准问题，被定义为寻找这两个点集内使所有点的距离之和最小的刚体变换的问题，即求解
[0045] N为相邻帧间数据配准时，配准点对的数量；
[0046] i为配准点对的序号；
[0047] R为旋转矩阵；
[0048] t为平移向量；
[0049] x i为前一帧数据点集中的数据点；
[0050] y i为当前帧中数据点集中的数据点。

[0051] 采用精度更高的ICP（迭代最近点云）算法，并且基于SVD（奇异值分解）获取最佳配准矩阵。

在配准过程中，采用鲁棒性更高的一种基于概率的名为X84的边界排除方法。

[0052] 求解R，t得到配准矩阵后对当前帧进行相应的平移和旋转。

[0053] 步骤306，将配准后的当前帧和前一帧中的点云数据进行马赛克化处理，然后利用遍历交叉点算法将马赛克化后的当前帧和前一帧的点云数据进行融合，并进行三维场景图像模型点集的更新；
[0054] 马赛克过程具体操作时，首先，进行光栅化以及交叉点的处理，然后进行融合前的预判，清除和删除不能融合的点云数据，并针对上一次融合得到的三维场景图像的模型点集进行更新判断，当需要修改或更新的网格（马赛克化处理后得到的网格）的数量达到一定阈值后，进行三维场景图像的模型点集的更新。

[0055] 步骤307，依据得到的融合后的点云数据的强度以及得到的三角面片的法向量和顶点的法向量，生成三维场景图像。

[0056] 依据点云数据以及三角面片的法向量的顶点的法向量对数据进行着色时，同时，提供旋转、缩放等多种用户交互功能。

[0057] 如图4所示，离线处理时与在线处理时的不同在于任意两帧之间的配准方法，具体操作如下：
[0058] 步骤401，首先依据存储的声纳数据，对相邻帧进行配准，利用相邻帧的配准矩阵迭代出非相邻帧的配准矩阵，得到任意两帧之间的配准矩阵。

[0059] 步骤402，记录任意两帧之间配准点对的数量并构成关联矩阵，以表征不同帧之间的关联程度，且在模型点集中的每个点上记录所关联的帧序号。

[0060] 步骤403，利用类牛顿的最小化方法，根据所述关联矩阵将配准时产生的累积误差进行分配，使任意两帧之间的配准矩阵得到修正即误差最小化，以实现全局优化，将所有相
邻帧配准统一到相同的参考系统中。

[0061] 在优化的配准过程中，与全局旋转角和平移最小化的目标方程相配合，计算旋转矩阵时的使用单位四元数加速计算。

[0062] 配准完成之后，按照在线处理的方法进行数据的融合，生成三维场景图像。

图1
图2
图
3
图4。