基于三维点云处理技术的工件识别和匹配
Computer Science and Application 计算机科学与应用, 2019, 9(12), 2303-2313
Published Online December 2019 in Hans. https://www.360docs.net/doc/c74343595.html,/journal/csa
https://https://www.360docs.net/doc/c74343595.html,/10.12677/csa.2019.912256
Parts Identification and Matching Based on 3D Point Cloud Processing Technology
Rongrong Chen
School of Automation, Southeast University, Nanjing Jiangsu
Received: Nov. 20th, 2019; accepted: Dec. 3rd, 2019; published: Dec. 10th, 2019
Abstract
In the field of automatic sorting, machine vision technology plays a decisive role. This paper uses a method based on 3D point cloud processing technology to identify and match workpieces, so as to sort out the target workpieces from the messy workpiece piles on the production line. Firstly, a dense point cloud is collected by using a laser sensor to obtain three-dimensional point cloud data of the identified area. Secondly, after denoising and filtering the point cloud data, it calculates the normal vector of the denoised point cloud, and then performing the voxelgriddownsampling to ob-tain key points and reduce the calculation amount. Thirdly, the histogram feature descriptor of the normal direction is calculated for the key point, thereby it obtains the descriptor associated with point cloud of the target and point cloud of the scene. It uses the K-tree structure search algorithm to find a similar descriptor based on the Euclidean distance, and added to the association set. Fourthly, the clustering algorithm is called to obtain a local point cloud set matching the target point cloud in the scene based on the Hough voting algorithm, and then the target point cloud is matched with the locked local point cloud set using the classical point cloud matching algorithm ICP. Finally, the global hypothesis verification algorithm is used to filter out the wrong points to reduce the error rate and to calibrate the identified targets for visual output. Compared with the general algorithm, the me-thod is more efficient and improves the time and accuracy of recognition.
Keywords
3D Recognition, ICP, Machine Vision, Point Cloud Technology, Point Cloud Matching
基于三维点云处理技术的工件识别和匹配
陈荣荣
东南大学自动化学院，江苏南京
收稿日期：2019年11月20日；录用日期：2019年12月3日；发布日期：2019年12月10日
陈荣荣
摘 要
在自动分拣领域，机器视觉技术起到举足轻重的作用，本文采用一种基于三维点云处理技术的方法对工件进行识别和匹配，从而从生产线上的杂乱工件堆中分拣出目标工件。首先，利用激光传感器采集密集点云，得到识别区域的三维点云数据。其次，进行点云数据的去噪和过滤，对去噪后的点云计算法线向量，再进行体素格子下采样获得关键点，减少计算量。再次，对关键点计算法线方向的直方图特征描述子，从而获取目标点云和场景点云相关联的描述符，使用K 近邻树状结构搜索算法，基于欧几里德距离找到相似的描述符，并添加到关联集中。再者，调用聚类算法，基于霍夫投票算法获得场景中的与目标点云匹配的局部点云集，然后使用点云匹配算法迭代最近点算法进行目标点云与锁定的局部点云集进行匹配。最后，为了减少错误率，使用全局假设验证算法过滤掉错误的点，并标定识别到的目标进行可视化输出。该方法相对于一般算法，实现对目标的高效匹配，提高了识别的时间和精度。
关键词
三维点云识别，目标识别，机器视觉，点云处理技术，点云匹配
Copyright ? 2019 by author(s) and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.360docs.net/doc/c74343595.html,/licenses/by/4.0/
1. 引言
目前，随着自动化程度的提高，机器人导航、工业零件检测及抓取等众多领域对计算机视觉系统的要求越来越高[1]，基于二维图像的物体识别已经无法满足日常作业的需求。而由于三维扫描技术的发展，结构光测量和激光扫描能够快速且精确地获取被测对象表面的三维坐标数据，为获取场景的点云数据提供了全新的技术手段。加之点云数据具备不受光照、阴影、纹理的影响等优势，基于三维点云数据的物体识别已成为近年来计算机视觉领域的研究热点[1]。
在自动分拣系统领域，机器视觉技术也起着举足轻重的作用，包括产品正、次品的分选，工件种类及形状识别、分拣等[2]。不少文献研究如何运用基于机器视觉的检测技术来实现对钣金件、六角螺母等工业零部件地自动分捡[2]，在二维图像上的一般方法是拍摄的目标区域的图像进行分析处理，根据目标工件的训练集在图像上搜索零件的位置，确定其类别和各自的中心点，为控制机械手抓取目标提供对应的坐标点位置。但是，基于二维图像的识别方法存在着两个缺点：第一，对于空间上的层次区分度不明显，颜色相同、纹理相似的工件在空间上部分重叠容易误判；第二，图像对光照，分辨率以及反射的外界因素较为敏感，不易很好地捕捉到图像中对象的局部特征[3]。因此，本文选择采集目标区域的三维点云数据，利用点云数据处理技术来实现对工业零部件的识别和匹配。不同于提取零部件的局部特征或边界特征的方法，而是从整体特征点匹配的角度来实现识别的目的。
本文采用一种基于三维点云处理技术的方法对工件进行识别和匹配的方法从生产线上的杂乱工件堆中分拣出目标工件。首先，利用视觉传感器采集密集点云，得到识别区域的三维点云数据。其次，进行点云数据的去噪和过滤，对去噪后的点云计算法线向量，再进行体素格子下采样获得关键点，减少计算量。再次，对关键点计算法线方向的直方图特征描述子，从而获取目标点云和场景点云相关联的SHOT 描述符，使用K 树状结构搜索算法，基于欧几里德距离找到相似的描述符，并添加到关联集中。再者，Open Access
陈荣荣
调用聚类算法，基于霍夫投票算法获得场景中的与目标点云匹配的局部点云集，然后使用经典的点云匹配算法迭代最近点算法进行目标点云与锁定的局部点云集进行匹配。最后，为了减少错误率，使用全局假设验证算法过滤掉错误的点，同时打印匹配到的局部点云集与模型点云之间的变换矩阵：旋转矩阵和平移向量，并标定识别到的目标进行可视化输出。
除了对于工业零部件，这种识别方法同样适用于其他物体，只需更改设定的参数值，便能实现同样的识别效果。该方法简单，速度快，且具有一定的准确性。
工业零件主要由基本体组成，而基本体包括圆柱、棱锥、方形、球形、棱锥等[4]。本文对基本体工件以及其他常见的零件进行了实验，包括圆柱，圆锥，长方形，锤子，水壶，多边形物体等进行了实验和比较，实验方法证明了方法的可行性和实用性。
2. 三维点云处理技术的原理
2.1. 点云数据处理流程
本文中提到的点云数据为视觉传感器采集的密集点云。凭借其创新的3D快照技术，传感器基于飞行时间测量为每个像素提供实时深度信息。
基于三维点云数据进行目标提取的过程如图1所示，其中的关键技术为点云的特征提取和分割、分类。
Figure 1. Target extraction process
图1. 目标提取过程
该流程与二维图像的目标识别方法类似。识别的场景中存在各种物体。为了对目标物体进行识别，算法需要提供一个指标来体现不同物体之间的区别，此指标即目标的特征。目标特征描述和提取是整个流程的关键一步，提取出来的特征点不同，会直接影响预期的最终结果。
三维点云的特征提取一般分为局部特征描述和全局特征描述，例如全局的拓扑特征描述，局部的法线等几何特征描述。常见的特征描述算法有对临近点做主成分分析法(Principal Component Analysis)降维，计算表面法线特征的表面法线和曲率估计，利用积分图计算有序点云的法线，基于点与其K邻域之间的关系以及它们的估计法线的点特征描述(PFH)，改进PFH计算复杂度又保留其特性的快速点直方图描述(FPFH)，在点云聚类识别和六自由度位姿估计问题上表现出色的视点特征直方图法(VFH)，还有利用把点云投射成二维图像，进行边缘特征提取的边缘特征描述(NARF)，用于物体识别和姿态估计上的全局一致的空间分布描述子特征(GASD)等等。常见的特征描述符如图2。对目标特征的提取和描述这一环节，本文通过体素格子下采样得到关键点，同时计算了关键点的SHOT描述符。
Figure 2. Common feature descriptor
图2. 常见的特征描述符
陈荣荣
点云分割即根据空间特征、几何特征、纹理特征等对点云进行划分，使得同一划分区域的点云具有相似的特征，例如CAD领域对零件的不同扫描区域进行分割，再进行空洞修复曲面重建，特征描述和提取。点云分割是目标识别分类的基础，分割上有区域声场分割，线面提取，语义分割，KMeans聚类分割等。不同于计算机视觉领域，在三维点云领域使用各种不同的采样一致性参数估计算法来排除错误的样本，在点云数据处理中一般以随机采样一致性算法(RANSAC)为核心。该算法是根据设定的不同模型，计算对象的几何参数模型的参数，在一定允许范围内分割出模型上的点云。
因为点云可能存在不完整、旋转错位、平移错位等问题，所以需要确定一个合适的坐标系，将不同视角下点云的几何参数合并到统一坐标系中形成完整点云，方便进行可视化的操作，这是点云的匹配环节。
目前常用的点云匹配算法有正态分布变换法(Normal Distributions Transform)和最近点迭代算法(Iterative Closest Point)。本文先利用霍夫投票算法来寻找相似点，之后再使用最近点迭代算法(Iterative Closest Point)进行匹配。在减少匹配点中的错误匹配后，再进行可视化处理，以便清晰直观地查看实验效果。
2.2. 本文具体的算法流程
本文的具体算法流程如图3：
Figure 3. Algorithm flowchart
图3. 算法流程图
3. 基于三维点云处理技术的零件识别与匹配过程
本文假设的实验环境如下图4所示，传感器位于目标区域正上方。
陈荣荣
Figure 4. Experimental environment
图4. 本论文的实验环境
选择基于TOF原理采集点云数据，双目视觉原理采集图像的三维视觉传感器，进行识别区域的数据采集。如图5所示，本文中传感器的安装方位和三维点云数据的具体坐标对应。
Figure 5. The installation orientation of the sensor and the coordinate system of the 3D point cloud data
图5. 传感器的安装方位和三维点云数据的坐标系
3.1. 零件的密集点云的去噪和过滤
目标识别区域散乱的摆放着零件，其中本文利用圆柱，圆锥，长方形，以及常见的零部件做实验. 对获取的点云数据进行初步的去噪，除去由于外界放光或传感器误差带来的偏远杂点，以减少识别的误差，去噪前后对比图见图6。
着将初步去噪后的点云数据进行过滤。点云过滤的方法在PCL中有直通滤波器，体素格滤波器，半径滤波器，高斯滤波和卷积滤波等，通常组合使用完成过滤环节。我们可以看到目标区域存在大量数据点，密度不规则等问题，所以我们使用直通滤波器将目标区域缩减到理想的三维坐标区域范围，剪裁目标区域。接着使用体素格滤波器或者均匀采样，使得整体点云数量减少但保持重心不变，本文使用的是体素格滤波进行过滤，保存点云的形状特征，但又减少了点云数据，见下图7。滤波前点云数量为25,344，经过直通滤波器和下采样后数量为3579。点云数量减少了一半，但是点云的形状并未改变。
陈荣荣
Figure 6. Comparison before and after the target area denoised
图6. 目标区域去噪对比图
Figure 7. The cloud contrast plot of filtered target area point. (a) The original scene diagram; (b) After sampling the scene plot; (c), (d) Scene top view and side view after pass-through filter
图7. 滤波后的目标区域点云对比图。(a) 原场景图；(b) 下采样后场景图；(c)、(d) 直通滤波器后的场景图俯视图和侧面图
3.2. 零件的密集点云的特征提取及其特征描述
三维点云的特征描述和提取在点云数据处理过程中是十分关键的一步，后续点云的形状分割，识别，匹配，曲面重建等处理，很大程度上都依赖于特征描述和提取的结果。正如本文第1部分所述，对一个三维点云进行描述，可以通过计算额外的参数，例如曲率，法线方向，协方差矩阵，纹理特征，颜色，熵等描述三维点云的特征。
对于散乱的三维点云，本文取每个点的K 个最近邻点。采用主流的K 临近点查找算法——数据重组法进行搜索，将点云数据按照树结构重组[5]，比如利用K 维二叉树进行搜索。对每个临近点做主成分分析法进行降维，从三维平面变为二维平面，此时的平面为该点的切平面，切平面的法线则为该点的法线，此时有两个法线，根据临近点的凸包方向确定取哪个作为该点法线。图8为提取出关键点的目标区域点云图，蓝色点即为提取的特征点。
陈荣荣
Figure 8. After the target area extracts the feature point
图8. 目标区域提取特征点后
在2.1中经过体素格子下采样已获得了关键点，我们需要为关键点计算SHOT描述符[6]。以每个点为中心构造自设定半径为R的球形区域，沿径向、方位、俯仰三个方向划分网格，其中径向2次，方位8次，俯仰2次，将该球形区域划分为32个空间区域. 在每个空间区域计算落入该区域点的法线NV和中心点法线NP之间的夹角余弦。
θ=? (1)
cos nv np
根据余弦值对落去每个空间区域的点数进行直方图统计，划分为11个，对计算结果归一化处理，使得对点云密度具有鲁棒性，得到一个352维特征。
同样，对于输入作为模型的点云数据计算法线和SHOT描述符。
3.3. 零件的密集点云的分类与匹配
在获取目标区域点云的特征点和计算SHOT特征描述符后，需要进行点云的分割与匹配。下面我们将目标区域点云称为场景点云，输入作为识别对象模型的点云称为目标点云进行描述。
遍历过滤后的场景，为每个场景中关键点匹配一个目标点云中基于局部特征的描述子(Signature of Histogram of Orientation)最相近的点。跳过描述子为无穷大的不是数的点(NaN)，利用搜索树KdTree (K-demensional-tree)存取模型点云，输入目标区域的描述符在利用FLANN进行最近邻查找。模型点云中找到距离场景点云的点最佳匹配距离为欧几里何距离小于0.25的点。将其放入集合留待后续使用。
如果集合中元素的个数为0，即说明场景中不存在目标，此时我们输出“不存在寻找的目标”信息作为提示，同时结束本次流程。如果集合中的元素个数不为0，证明我们已经获取到了场景中与目标点云相似的特征点，此时我们进行下一步操作——分类。
首先对目标点云和场景点云中特征点设置搜索半径和输入法线特征，计算本地参考帧，使用霍夫投票算法进行聚类，对输入的点云设置霍夫空间的霍夫峰点的大小，设置阈值，输入目标点云特征点、场景点云特征点集，以及匹配流程时获得的相关点集合，投过霍夫算法辨认出最终的聚类集合[7]。在聚类这一环节，同样可以利用几何一致性性质来实现，在该步不需要计算特征点的本地参考帧，但是最终的
聚类效果不如霍夫投票相对准确。
陈荣荣
例如，同样的模型点云，同样的参数模型，使用几何一致性性质聚类可能会判断出多个个目标点云集合，但是利用霍夫投票聚类会判断出1个或0个。下图9，左侧为几何一致性性质聚类判定结果，右侧为霍夫投票聚类结果。
Figure 9. Comparison of random sample consensus clustering result and Hoff voting clustering result Left: hough voting; Right: random sample consensus
图9. 几何一致性性质聚类和霍夫投票聚类结果比较，左图：霍夫投票；右图：几何一致性
4. 实验与分析
4.1. 点云识别实验
本文根据实际物体如图10制作了如下目标点云进行实验，对采集到的点云图去除除了目标物体以外的点云数据并保存为模型点云。对实际物体按照引言中的系统整体框架图进行点云图像的采集.对目标物体进行不同姿势的变换做为场景点云，场景的实物图见图11，场景的点云图见图12。
Figure 10. The physical map of the model and the point cloud map of the model
图10. 模型的实物图与模型的点云图
陈荣荣
Figure 11. Physical map of the scene
图11. 场景的实物图
Figure 12. Point cloud map of the scene
图12. 场景的点云图
在点云数据的可视化输出上，可以使用点云数据可视化的相关软件，比如点云处理软件Meshlab，或者使用PCL中自带的可视化库PCL_Visualization进行可视化。如果在最终的聚类集合中仍存在与目标点云匹配的点云集，那么我们对此进行可视化输出。文字输出相关点云的个数，和最终聚类匹配的相关集合的个数，对每个匹配的相关点集合输出相对于目标点云的旋转矩阵和平移矩阵。如下图13所示。
Figure 13. The results of the experiment show
图13. 文字输出实验结果显示
接着，对场景点云和目标点云进行可视化处理. 首先对输入的点云进行平移，使其呈现在可视化界面的中心位置，将最终判定为目标点云的聚类集合中的点云渲染为不同于其他点云的颜色，同时将场景点云和目标点云的关键点上色可视化。根据匹配的变换矩阵旋转目标点云在场景中的点云，根据对应的点云与点云绘制连线，并进行上色，最终呈现的效果为图14。
Figure 14. Identify effects and visual presentations
图14. 目标点云和场景点云识别效果及可视化展示
陈荣荣
对上述两个目标物体进行本文提出的基于三维点云处理技术的零件识别与匹配。如表1所示的实验最终效果，左侧为抱枕的识别结果，右侧为长方体的识别结果。
针对以下五种物体作为测试目标，本文进行了多次实验，表1展示了该次实验中各种目标体的识别准确率。其中，形状特征明显、点云数据分布均匀的正方体、水壶和锤子识别准确率最高，但是对于圆锥这种以俯视角度提取模型点云，弧面上的点云分布较少，且尖端点云点由于孤立会被误判，识别准确率最低。
Table 1. System resulting data of standard experiment
表1.不同目标的识别准确率
圆锥正方形不规则几何体水壶锤子
50% 85% 63% 90% 88%
4.2. 识别准确率影响因素分析
如上文所述，对于三维点云数据的识别最关键的环节之一便是特征点的提取和描述，而决定特征点质量的是点云数据本身的质量。制作目标点云的模型点云，需要尽可能全方位的采集目标的点云数据，例如基于点云拼接的植物三维模型重建一文中提出的将目标物放到转盘上进行点云模型的采集，根据采集的角度信息通过点云拼接的算法将其拼接成一个完成的点云模型，以此目标点云再次进行实验，可以使得任意角度的场景点云都能进行点云的匹配和识别。以此进行目标物体的建模，会使得3.1中产生的由于点云信息不完整导致的准确率的大幅降低问题得到一定程度的解决。
其次，传感器采集到的点云数据有几万个数据点，但由于其俯视的角度在其中涉及目标物体的实际上只有物体最上层的区域的点云信息，在做预处理时可以通过八叉树搜索点云信息，只保留空间上位于第一层的点云信息，这样可以极大地降低识别时间。
5. 结论
针对工业机器人智能分类工件，本文尝试运用三维点云处理技术对工厂的零部件进行了形状的匹配与识别，通过基于飞行时间原理的激光传感器，扫描目标工业获取其点云信息，建立基础模型。在传统的三维点云识别算法上，利用体素格子下采样减少点云的数量点，但不改变点云形状，通过霍夫投票进行相似点匹配，利用PCL点云库自带的RANSAC算法(Randon Sample Consensus)为点云精匹配提供变换矩阵和平移向量，添加全局假设验证的环节以剔除误差点。本文对构成工件的基本体进行了百余次实验，对于模型点云采样良好的点云，识别准确率较传统算法有显著的提高。
致谢
感谢在本论文发表过程中对我提供支持和鼓励的导师，以及热衷于分享点云学习经历，分享点云的数据集的广大科研朋友们。
参考文献
[1]郝雯, 王映辉, 宁小娟, 梁玮, 石争浩. 面向点云的三维物体识别方法综述[J]. 计算机科学, 2017, 44(9): 11-16.
[2]戴立. 基于机器视觉的块状工件方位识别研究[D]: [博士学位论文]. 武汉: 武汉轻工大学, 2016.
[3]潘珍. 基于轮廓的形状识别方法研究[D]. [硕士学位论文]. 重庆: 西南大学, 2012.
[4]薛珊, 吕南方, 沈雨鹰, 等. 基于激光三维点云的机械工件识别方法[J]. 红外与激光工程, 2019(4): 169-176.
[5]马凯. 基于三维激光扫描的工件识别与定位研究[D]. [硕士学位论文]. 济南: 山东大学, 2018.
陈荣荣[6]Salti, S., Tombari, F. and Di Stefano, L. (2014) SHOT: Unique Signatures of Histograms for Surface and Texture De-
scription. Computer Vision and Image Understanding, 125, 251-264. https://https://www.360docs.net/doc/c74343595.html,/10.1016/j.cviu.2014.04.011 [7]Tombari, F., Salti, S. and Stefano, L.D. (2010) Unique Signatures of Histograms for Local Surface Description. Euro-
pean Conference on Computer Vision, Berlin, 5-11 September, 2010, 356-369.
https://https://www.360docs.net/doc/c74343595.html,/10.1007/978-3-642-15558-1_26
图像三维重建技术
1概述 随着计算机软硬件技术的快速发展，大规模复杂场景的实时绘制已经成为可能，这也加快了虚拟现实技术的发展，又对模型的复杂度和真实感提出了新的要求。虚拟场景是虚拟现实系统的重要组成部分，它的逼真度将直接影响整个虚拟现实系统的沉浸感。客观世界在空间上是三维的，而现有的图像采集装置所获取的图像是二维的。尽管图像中含有某些形式的三维空间信息，但要真正在计算机中使用这些信息进行进一步的应用处理，就必须采用三维重建技术从二维图像中合理地提取并表达这些 三维信息。 三维建模工具虽然日益改进，但构建稍显复杂的三维模型依旧是一件非常耗时费力的工作。而很多要构建的三维模型都存在于现实世界中，因此三维扫描技术和基于图像建模技术就成了人们心目中理想的建模方式；又由于前者一般只能获取景物的几何信息，而后者为生成具有照片级真实感的合成图像提供了一种自然的方式，因此它迅速成为目前计算机图形学领域中的研究热点。 2三维建模技术 三维重建技术能够从二维图像出发构造具有真实感的三维图形，为进一步的场景变化和组合运算奠定基础，从而促进图像和三维图形技术在航天、造船、司法、考古、 工业测量、 电子商务等领域的深入广泛的应用。3基于图像的三维重建技术 基于图像的建模最近几年兴起的一门新技术，它使用直接拍摄到的图像，采用尽量少的交互操作，重建场 景。 它克服了传统的基于几何的建模技术的许多不足，有无比的优越性。传统的三维建模工具虽然日益改进，但构建稍显复杂的三维模型依旧是一件非常耗时费力的工作。考虑到我们要构建的很多三维模型都能在现实世界中找到或加以塑造，因此三维扫描技术和基于图像建模技术就成了人们心目中理想的建模方式；又由于前者一般只能获取景物的几何信息，而后者为生成具有照片级真实感的合成图像提供了一种自然的方式，因此它迅速成为目前计算机图形学领域中的研究热点。 4 基于图像重建几何模型的方法 4.1 基于侧影轮廓线重建几何模型 物体在图像上的侧影轮廓线是理解物体几何形状的 一条重要线索１当以透视投影的方式从多个视角观察某一空间物体时，在每个视角的画面上都会得到一条该物体的侧影轮廓线，这条侧影轮廓线和对应的透视投影中心共同确定了三维空间中一个一般形状的锥体１显然，该物体必将位于这个锥体之内；而所有这些空间锥体的交则构成了一个包含该物体的空间包络１这个空间包络被称为物体的可见外壳，当观察视角足够多时，可见外壳就可以被认为是该物体的一个合理的逼近。鉴于此类算法一般需要大量的多视角图像，因此图像的定标工作就变得非常复杂。 4.2采用立体视觉方法重建几何模型 基于立体视觉重建三维几何是计算机视觉领域中的经典问题，被广泛应用于自动导航装置。近年来，立体视觉 图像三维重建技术 康皓，王明倩，王莹莹 （装甲兵技术学院电子工程系，吉林长春130117） 摘要:基于图像的三维重建属于计算机视觉中的一个重要的研究方向，从提出到现在已有十多年的历史。文章首先对三维重建技术做了详细阐述，并着重从计算机图形学的研究角度对基于图像建模技术进行了综述，介绍了 具有代表性的基于图像建模的方法及其最新研究进展,给出了这些方法的基本原理， 并对这些方法进行分析比较,最后对基于图像建模技术的未来研究给出了一些建议和应解决的问题。关键词:三维建模技术；图像建模技术；计算机图形学；虚拟现实中图分类号：TP271文献标识码：A 文章编号1006-8937（2009）11-0042-02 Three-dimensional image reconstruction technique KANG Hao,WANG Ming-qian,WANG Ying-ying （ＤｅｐａｒｔｍｅｎｔｏｆＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，ＡｒｍｏｒｅｄＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｃｈｕｎ，Ｊｉｌｉｎ１３０１１７，Ｃｈｉｎａ） Abstract:Image-based Three-dimensional reconstruction is an important research direction in computer vision ,from now more than ten years'history.This article first describes three-dimensional reconstruction technique in detail and review image-based modeling techniques from the perspective of computer graphics research,introduce a representative of the method of image-based modeling and the latest research progress,give the basic principles of these methods,analysis and compare these methods,finally,give a number of recommendations and problems which should be solved on image-based modeling technology for future research. Keywords:three-dimensional modeling techniques;image modeling techniques;computer graphics;virtual reality 收稿日期：2009-03-19 作者简介：康皓（1978-），女，吉林长春人，硕士研究生，讲师，研 究方向：计算机辅助设计与编程。 TECHNOLOGICAL DEVELOPMENT OF ENTERPRISE 2009年6月Jun.2009 企业技术开发 第28卷
三维点云数据处理的技术研究
三维点云数据处理的技术研究 中国供求网 【摘要】本文分析了大数据领域的现状、数据点云处理技术的方法，希望能够对数据的技术应用提供一些参考。 【关键词】大数据;云数据处理;应用 一、前言 随着计算机技术的发展，三维点云数据技术得到广泛的应用。但是，受到设备的影响，数据获得存在一些问题。 二、大数据领域现状 数据就像货币、黄金以及矿藏一样，已经成为一种新的资产类别，大数据战略也已上升为一种国家意志，大数据的运用与服务能力已成为国家综合国力的重要组成部分。当大数据纳入到很多国家的战略层面时，其对于业界发展的影响那是不言而喻的。国家层面上，发达国家已经启动了大数据布局。2012年3月，美国政府发布《大数据研究和发展倡议》，把应对大数据技术革命带来的机遇和挑战提高到国家战略层面，投资2亿美元发展大数据，用以强化国土安全、转变教育学习模式、加速科学和工程领域的创新速度和水平;2012年7月，日本提出以电子政府、电子医疗、防灾等为中心制定新ICT(信息通讯技术)战略，发布“新ICT计划”，重点关注大数据研究和应用;2013年1月，英国政府宣布将在对地观测、医疗卫生等大数据和节能计算技术方面投资1(89亿英镑。 同时，欧盟也启动“未来投资计划”，总投资3500亿欧元推动大数据等尖端技术领域创新。市场层面上，美通社发布的《大数据市场:2012至2018年全球形势、发展趋势、产业
分析、规模、份额和预测》报告指出，2012年全球大数据市场产值为63亿美元，预计2018年该产值将达483亿。国际企业巨头们纷纷嗅到了“大数据时代”的商机，传统数据分析企业天睿公司(Teradata)、赛仕软件(SAS)、海波龙(Hy-perion)、思爱普(SAP)等在大数据技术或市场方面都占有一席之地;谷歌(Google)、脸谱(Facebook)、亚马逊(Amazon)等大数据资源企业优势显现;IBM、甲骨文(Oracle)、微软(Microsoft)、英特尔(Intel)、EMC、SYBASE等企业陆续推出大数据产品和方案抢占市场，比如IBM公司就先后收购了SPSS、发布了IBMCognosExpress和InfoSphereBigInsights 数据分析平台，甲骨文公司的OracleNoSQL数据库，微软公司WindowsAzure 上的HDInsight大数据解决方案，EMC公司的 GreenplumUAP(UnifiedAnalyticsPlat-form)大数据引擎等等。 在中国，政府和科研机构均开始高度关注大数据。工信部发布的物联网“十二五”规划上，把信息处理技术作为四项关键技术创新工程之一提出，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分，而另外三项:信息感知技术、信息传输技术、信息安全技术，也都与大数据密切相 关;2012年12月，国家发改委把数据分析软件开发和服务列入专项指南;2013年科技部将大数据列入973基础研究计划;2013年度国家自然基金指南中，管理学部、信息学部和数理学部都将大数据列入其中。2012年12月，广东省启了《广东省实施大数据战略工作方案》;北京成立“中关村大数据产业联盟”;此外，中国科学院、清华大学、复旦大学、北京航空航天大学、华东师范大学等相继成立了近十个从事数据科学研究的专门机构。中国互联网数据中心(IDC)对中国大数据技术和服务市场2012,2016年的预测与分析指出:该市场规模将会从2011年的7760万美元增长到2016年的6。17亿美元，未来5年的复合增长率达51(4%，市场规模增长近7倍。数据价值链和产业链初显端倪，阿里巴巴、百度、腾
(基本概念)点云三维重构文档
圆形标志点双目测量数据配准方法 一．引言： 针对三维测量系统的特点，我们可以利用人为制作的圆形特征点作为标志点，并将其紧附于待测物体表面。通过检测，可以得到若干标志点在不同视角下的三维坐标。然后依据标志点的空间几何不变性,得到不同标志点在不同视角下的匹配关系。通过若干标志点的匹配关系,进而求得不同视角下的坐标系变换关系,最终对整个三维数据进行配准。 二. 标志点匹配： 为了便于标志点的提取，标志点设置为外方内圆、外黑内白的样式。设置标志点时应尽量使得标志点位于两个视角的重叠区域，并且标志点处于无序状态，随机分布。 1. 用三维测量系统对实物进行测量,即可以得到不同视角下的点云数据,同时得到不同视角下的标志点的三维坐标数据 （问题一）。假设在两个不同视角下得到的标志点集分别为： {}x i L l l L i i ,...,2,1,|=∈= {}y i M m m M i i ,...,2,1,|=∈= 2. 对于L 中的各点分别求出其中任意两点的距离，得到距离矩阵A ，其中 ?? ? ? ? ? ? ???????=-12 1 2321213 12 1......k k k k k k l l l l l l l l l l l l l l l l l l A 同理，我们也可以得到M 中各点任意两点的距离矩阵B 。 3. 由于在不同视角下,标志点之间的相互位置并没有改变,因而它们具有空间特征不变性,比如某两个标志点之间的距离并不会因为视角的改变而改变。这样,本文的匹配算法基于以下策略: i ）由于三维测量系统得到的点云误差不可避免都存在一定的误
差,因此本文认为,如果两个距离值的差值不超过δ(δ的值依三维测量系统本身的精度而定),那么可以认为这两个距离值是相等的。 ii ）对于不同视角下的同一个标志点（也就是所要求得的匹配点对），它们在各自视角下与其它标志点的距离值至少有若干个是相等的。如果相等的距离值数目超过N (N 视标志点在重叠区域的数量情况而定),那么可以认为这两个在不同视角下的标志点是一对匹配点。 基于以上策略,我们可以得到在两个视角下获得的标志点三维数据 点 集 的 子 集 {}n i P p p P i i , . .., 2,1,|=∈=和{}n i Q q q Q i i ,...,2,1,|=∈=，即可以得到n 对匹配点。 三. 转换参数R 和T 的求取： 三维数据配准技术的实质是把在不同的坐标系中测量得到的数据点云进行坐标变换,问题的关键是坐标变换参数R (旋转矩阵)和T (平移向量)的求取。假设在两个视角下获得的曲面测量三维数据点云具有部分重叠区域,那么重叠区域中的标志点在两个视角下的三维坐标显然也符合上面的转换关系。 假设已经获得两个不同视角下的标志点匹配对{}n i P p p P i i ,...,2,1,|=∈=和 {}n i Q q q Q i i ,...,2,1,|=∈=，i p 和i q 都是13?的向量，则在两视角下测得的三维数据点 之间的坐标转换关系R (旋转矩阵)和T (平移向量)，应该使下面的函数最小： ∑=+-=n i i i T Rp q E 1 2 )( (1) 对于(1)式，采用SVD 矩阵分解算法，步骤如下： 1). 对于空间点集{}n i P p p P i i ,...,2,1,|=∈=和{} n i Q q q Q i i ,...,2,1,|=∈=分别计算p 和q ，其中 ∑==n i i p n p 11 (2) ∑==n i i q n q 1 1 (3)
三维点云处理软件需求说明资料讲解
三维激光扫描仪点云数据处理软件需求说明 点云数据处理软件是专用扫描软件、数据处理软件、CAD软件接口及应用于检测监测、对比分析的软件。 基本描述 点云数据处理软件能够用于海量点云数据的处理（点云数量无限制，先进内存管理）及三维模型的制作。支持模型的对整、整合、编辑、测量、检测监测、压缩和纹理映射等点云数据全套处理流程。能够基于点云进行建模，拥有规则组建智能自动建模功能（一键自动建模）要求能够精细再现还原现场。具有真彩色配准模块，扫描物体点云的颜色即为物体真实的颜色。相机彩色图片可以配准贴图到三维模型。 1.可直接操作激光扫描仪进行数据采集、输入及输出。可接受多种数据格式，如AutoCAD dxf、obj、asc、dgn、pds、pdms等，可接受自定义格式的文本文件输入。 2.软件应具高精度和高可靠性，能够进行点云数据拼接、纹理贴图、特征线的提取、具有点云数据渲染、点云数据压缩、三角网模型生成、几何体建模等功能，软件快速、准确、易操作性。 3.可以智能地自动提取出特征线，同时也可提供人工方式进行特征线的提取。 4.能够提供多种断面生成方式，可以方便地生成一系列的断面线。生成的断面可以方便的导出到CAD及其它软件中做进一步加工处理和应用。应能够提供非常精确的量测物体尺寸的方法。 5.需要一体化软件且具备完整功能1). Registration模块：多种点云拼接模式、导线平差、引入地理参考、目标识别2). Office Survey模块：任意点云导入导出；点云的裁剪、取样、过滤；提取线形地物；在办公室任意量测数据；任意纵横断面；点云矢量化；3D等高线及标注；三角格网生成；任意形体建模；隧道及道路；任意体积面积计算；点云着色；纹理贴图；连续正射影像3).Modeling模块：
基于激光扫描的变电站设备三维点云数据识别技术研究
基于激光扫描的变电站设备三维点云数据识别技术研究 发表时间：2019-11-20T13:01:24.000Z 来源：《中国电业》2019年15期作者：徐冬生 [导读] 变电站在不断的发展过程当中，激光扫描仪的应用变得越来越普及 摘要：变电站在不断的发展过程当中，激光扫描仪的应用变得越来越普及，而在扫描的过程当中，就能够得到物体表面的三维坐标信息了，且这一获取过程十分迅速，这对于后期三维模型的建立是具有相当大的裨益。经过实际调查能够得知，目前的后期三维模型的建立主要的方式就是通过人眼来对三维点云数据进行辨认，然后再找出相关的模型来进行建模过程，但是这种方式所消耗的人力资源较多，已经不能符合时代的发展节奏了。因此，在本文中就将对基于激光扫描的变电站设备三维点云数据识别技术进行分析和研究，并试图提出一定的建议。 关键词：激光扫描；变电站；云数据识别；识别技术；研究分析 前言：在进入二十一世纪之后，国内的科学技术的发展速度十分迅速，三维点云数据识别技术就是其中的一种，这项技术属于一种三维实体识别技术，这项技术其中包含一些比较常见的技术种类，首先是计算机学，其次是人工智能学，最后是图像处理学以及模式识别学等等，随着时间的推移，这项技术已经成为了相关学者进行研究的重点，其在城市建设工作乃至国内的军事领域都能得到比较重要的应用，因此，在接下来的文章当中就将对基于激光扫描的变电站设备三维点云数据识别技术进行分析和研究。 一、三维物体识别技术的研究现状 就目前来说，对三维物体的识别一般具有以下几种方式，在接下来的文章当中就将对几种不同的三维物体的识别方式的特点和原理进行一定的介绍； 1.基于模板和几何特征的识别方式 这种方式在识别的过程当中主要利用的是物体的外观特性，在很多的CAD设计的模型当中都是利用的物体的外观特性，具体的识别流程是这样的：首先，需要将符合需求的图像输入到模型当中，这样设计的模型就能够得到关于对于物体的描述，模型根据对物体的描述就能够与模型库当中的模板类型进行匹配，从而完成整个物体的识别流程。这种识别方式的主要优势在于比较直观，而且比较容易理解，应用起来比较方便。但是现如今需要识别的物体的结构比较复杂，以物体的特点进行物体三维模型的难度也比较大，另外也是最为重要的一点就是需要比较大的人工方面的投入，为此，基于模板和几何特征的识别方式在现实的变电站的应用是比较困难的[1]。 2.基于视图的识别方式 这种识别方式主要利用的是物体的二维图像，但是对于同一种物体来说，各个视角下的二维图像都是不一样的，但是可以利用二维图像的全局特征来实现颜色直方图的描述，后期再通过互相的匹配就能够实现最终的识别。这种方式在物体的方向性上拥有比较好的效果，但是对于光照是十分敏感的，将其应用到现实的变电站设备当中是比较困难的[2]。 3.三维物体识别方式 在前文已经进行了一定的提及，那就是以上的两种识别技术的实际应用难度都比较大，在这种情况之下，诞生了三维物体的识别技术，在应用之初，三维物体识别技术就展现出来相当不错的实际效果。在应用过程当中，这种识别技术实现了检测视图的局部图像块，通过计算技术得到其主要的特征，并将其存贮到数据库当中，这种识别方式的优势在于物体的外观是随着视角的改变而改变的，其稳定性比较好，在社会的各项工作当中都比较适用[3]。 4. 基于深度图像的识别方式 在近几年以来，基于深度图像的识别方式开始变为了新的发展方向，这种方式对于物体的形状的依赖程度比较大，且比灰度图像的识别是更为简易的。因此，现如今很多国家都在对这项技术进行分析和研究，其发展空间和发展上限都是比较良好的[4]。 5.基于光学处理的三维物体的识别方式 这种识别方式其实在当今社会的发展中具有比较多的应用，这种方式的识别准确率较高，例如现如今的人脸识别就是其主要的应用方式。但是这种识别方式具有一定的弊端，那就是只能去处理二维的图像信息，所以在识别之前，需要对三维的物体进行预处理，使其转变为二维的信息[5]。 二、激光扫描测量技术的发展现状 众所周知，通过三维的点云数据能够相对比较准确的来描述一个物体，因此，在当今的时代发展当中。基于三维点云数据的物体识别已经成为了一种新的发展方向； 1.接触式测量 在实际的接触式测量过程中，设备上的探测传感器的工作需要与测量空间轴线的运动进行配合，这样就能够获取到真实且准确的物体的空间坐标信息，再经过相关的计算方式就能完成计算过程，在之后就能够还原最终被测的物体了[6]。 这种方式的优势是比较明显的，那就是容易得到高精度的物体的空间三维坐标信息，但是虽然数值比较准确，但是实际的采集工作比较缓慢，而激光扫描测量技术的应用其实是需要快速工作的，在这种情况之下就不利于对软质的材料进行测量。 2.非接触式测量 非接触式的测量具有三种不同的测量方式，分别是光学测量、电磁测量以及超声波测量，这三种测量方式在实际的社会当中都有一定的应用，其中应用比较频繁的就是光学测量，这种测量方式不光测量速度比较快，且能够在短时间之内就获取到比较精确的数据值，在人力资源上的消耗比较少，这对于后续的物体的三维仿真模型的建立工作是具有非常巨大的裨益的[7]。 三、变电站设备三维点云数据识别技术的整体流程以及预处理 （一）变电站设备点云数据识别整体处理流程 一般情况下，变电站设备点云数据识别整体处理流程主要具有四个工作阶段，首先是点云数据的采集，其次是点云数据的预处理，之后就是点云数据的特征提取，最后就是目标点云数据的识别了[8]； 在现阶段的变电站设备的工作过程当中，其点云数据的采集几乎都是通过激光扫描仪来实现的，其中Faro激光扫描仪可以满足精确的3D的测量需求，可以说，Faro激光扫描仪在进行应用之后，不仅能够快速的建立一些比较复杂的三维模型，还能够快速的得到各种数据，其中
基于PointNet++的室外场景三维点云多目标检测方法
ffil论文 基于PointNet++的室外场景三维点云多目标检测方法 吴登禄12薛喜辉1,2张东文1,2付展宏1,2 （1.顺丰科技有限公司2.物流机器人技术与应用工程研究中心） 摘要：针对室外场景三维点云的稀疏性对目标检测带来的挑战问题，设计一个基于PointNet++的点云检测方法。该方法首先预处理点云，获取感兴趣区域点云；再聚类点云，对物体进行分割；接着通过PointNet卄检测，获得目标的类别结果；最后通过三维bounding box获得目标物体的长宽高及朝向。为验证该方法的有效性，用16线velodyne激光雷达采集室外真实场景的数据，并制作样本集进行网络训练。最终结果验证，该方法能获得较高的检测准确率，并满足实时性要求。 关键词：点云；目标检测；PointNet++；室外场景 0引言 室外场景的三维目标检测应用广泛，如自动驾驶、勘探以及增强现实等领域。目前，室外场景采用的主流传感器有摄像头和激光雷达2类。相对于摄像头获取的二维图像信息而言，激光雷达获取的三维点云能提供更可靠的深度及三维物体的轮廓信息，近年来逐渐应用于目标检测。然而，激光雷达对三维空间不均匀采样，致使获得的点云越远越稀疏，这给目标检测的准确性带来较大挑战。 针对上述问题，研究者提出许多处理方法，如将点云转化为鸟瞰图，鸟瞰图中的像素点对应实际场景的一系列网格，然后填充每个网格中点的密度、平均强度和高度，作为每个像素的RGB值，最后利用图像检测的方法得到鸟瞰图的目标［册；或将三维空间用体素栅格划分,然后利用人工提取每个体素栅格的特征，最后进行检测曲。但上述方法处理过程中会损失点云信息，存在瓶颈，特别是对一些小物体的检测。针对这个问题，文献［5］首先将三维空间用体素栅格划分，然后通过学习的方法提取每个体素栅格点的特征，最后进行检测。但这个过程比较耗时，难以满足室外场景实时检测的需求。文献［6］提出了PointNet,能够直接学习原始点云的特征，并在ModelNet等数据集上有优异表现。但PointNet只考虑点云的全局特征而忽略局部特征；为此，进一步提出PomtNet++,整合了局部和全局的点云特征，提高其在数据集上的性能⑺。本文将PointNet++应用于室夕卜场景三维点云多目标检测，并得到三维物体的bounding box。 1基于PointNet++的三维点云多目标检测1.1整体框架 室外场景往往比较复杂，从激光雷达获取的点云数据，除感兴趣的目标外，还包含各种其他物体。首先，需要预处理点云，获得感兴趣区域的点云；其次, PointNet++做分类检测时处理的点云是单个物体点云，需要对感兴趣区域内的点云进行聚类，以区分不同物体；然后，将区分的物体输入PointNet卄网络获取检测类别结果；最后，利用bounding box生成算法获取三维物体的大小及朝向。整体框架如图1所示。 图1基于PointNet++的三维点云多目标检测整体框架1.2点云预处理 室外场景激光雷达获取的原始点云如图2所示,包含感兴趣道路内区域点云和道路外非感兴趣点云。为获得感兴趣区域内点云，减少后续步骤计算量，点云预处理流程如图3所示。 2019年第40卷第4期自动化与信息工程 5
基于三维激光扫描技术的点云拼接与三维重构
龙源期刊网 https://www.360docs.net/doc/c74343595.html, 基于三维激光扫描技术的点云拼接与三维重构 作者：黄凌潇 来源：《科学与财富》2017年第06期 摘要：为了提高测量目标物的精度与便捷性，本文提出一种基于三维激光扫描技术的点 云拼街与三维重构方法，对空间信息进行可视化表达，即进行三维建模，基于Leica C10三维激光扫描仪，对目标物进行三维扫描，分两站扫描得到点云数据后，运用Cyclone进行点云拼接与重构，试验显示，可以极大提高测量精度与便捷性。 关键词：三维激光扫面技术；点云拼接；三维重构 前言 三维激光扫描技术是一种先进的全自动高精度立体扫描技术，又称为“实景复制技术”，是继GPS空间定位技术后的又一项测绘技术革新。传统的大地测量方法，如三角测量方法，GPS 测量都是基于点的测量，而三维激光扫描是基于面的数据采集方式。三维激光扫描获得的原始数据为点云数据。点云数据是大量扫描离散点的结合。三维激光扫描的主要特点是实时性、主动性、适应性好。三维激光扫描数据经过简单的处理就可以直接使用，无需复杂的费时费力的数据后处理；且无需和被测物体接触，可以在很多复杂环境下应用；并且可以和GPS等集合起来实现更强、更多的应用。三维激光扫描技术作为目前发展迅猛的新技术，必定会在诸多领域得到更深入和广泛的应用。 1、三维激光扫描仪工作原理 三维激光扫描仪的主要构造是由一台高速精确的激光测距仪，配上一组可以引导激光并以均匀角速度扫描的反射棱镜。激光测距仪主动发射激光，同时接受由自然物表面反射的信号从而可以进行测距，针对每一个扫描点可测得测站至扫描点的斜距，再配合扫描的水平和垂直方向角，可以得到每一扫描点与测站的空间相对坐标。如果测站的空间坐标是已知的，那么则可以求得每一个扫描点的三维坐标。以Leica C10三维激光扫描仪为例，该扫描仪是以反射镜进行垂直方向扫描，水平方向则以伺服马达转动仪器来完成水平360度扫描，从而获取三维点云数据。 地面型三维激光扫描系统工作原理：三维激光扫描仪发射器发出一个激光脉冲信号，经物体表面漫反射后，沿几乎相同的路径反向传回到接收器，可以计算日标点P与扫描仪距离S，控制编码器同步测量每个激光脉冲横向扫描角度观测值α和纵向扫描角度观测值β。三维激光扫描测量一般为仪器自定义坐标系。X轴在横向扫描面内，Y轴在横向扫描面内与X轴垂直，Z轴与横向扫描面垂直。获得P的坐标。
三维点云分割综述
三维点云的语义分割3D Point Cloud Semantic Segmentation (PCSS)在计算机视觉以及机器人领域广泛的应用，随着深度学习技术的发展在点云的语义分割领域提供了新的可能性，并受到越来越多的关注，本文将着重的介绍这一主题的相关研究，首先从遥感领域和计算机视觉的角度概述三维点云的分割，并且结合已经发表的PCSS相关的文章作为研究基础，进行总结和比较，并且对传统的以及最新的点云分割技术进行回顾和比较，最后讨论了PCSS研究中重要的问题和有待解决的问题。 分割、分类和语义分割概念区分 点云语义分割是具有很长的研究历史，这里将点云分割，分类，以及语义分割做一个简短的概念区别，点云语义分割在计算机视觉领域中是广泛的使用，尤其是在深度学习的应用中。在遥感领域PCSS通常被称之为“点云分类”，在某些情况下，也可以理解为“点云标记”，在本文中是指点云的每个点与语义的标签关联起来的任务称为PCSS。 在基于监督学习的方法中广泛的使用在语义分割领域之前，对2.5D/3D的点云数据的非监督分割是指在不考虑语义信息的情况下，对具有相似的几何或者光谱特征的点云进行分类，所以在PCSS中，PCS（点云分割）可以作为一个预分割的步骤，并且影响着最终的语义结果。所以本文也包含了关于PCS方法的讨论。这部分内容将再在接下来的文章中发布。 我们知道单个的物体的结构不能直接通过一帧的原始点云获取，比如城市规划和建筑信息建模（BIM）需要参考建筑物或者人造物，森林的遥感监测需要基于树木的几何结构信息，机器人的应用如同时构建地图与定位（SLAM）需要室内环境来绘制地图，在自动驾驶，目标检测，分割与分类是构建高精地图所必须的，所以点云的分割以及语义分割是3D视觉领域基本且关键的任务。 点云的获取 在计算机视觉和遥感领域，点云可以通过四种主要的技术获得， （1）根据图像衍生而得，比如通过双目相机， （2）基于光探测距离和测距系统比如lidar, （3）基于RGBD相机获取点云 （4）Synthetic Aperture Radar (SAR)系统获取，基于这些不同的原理系统获取的点云数据，其数据的特征和应用的范围也是多种多样。下面将要介绍这些技术。 图像衍生点云 概括起来就是通过双目采集的图像，根据摄影测量学或者计算机视觉理论原理，自动或者半自动的计算出三维的点云信息，根据不同的平台，立体和多视角的图像衍生系统可以分为机载，卫星，以及无人机等。传统的摄影测量计算中采用半自动人机交互方式生成三维点，具有严格的几何约束和较高的测量精度。由于许多人工操作，生成这种类型的点数据非常耗时。因此，用这种方法生成大面积密集点是不可行的。在测量和遥感行业中，这些早期形成的“点云”被用于绘制和生成数字地表模型（DSM）和数字高程模型（DEM）。由于图像分辨率的限制和多视点图像处理能力的限制，传统的摄影测量只能从航空/卫
数据处理点云处理
非接触三维扫描测量数据的处理研究 1 点云数据的处理 1.1 噪声点的剔除和失真点的查找.在非接触三维扫描测量过程中,受测量方式、被测量物体材料性质、外界干扰等因素的影响,不可避免地会产生误差很大的点(噪声点)和失真点(跳点).因此在数据处理的第一步,就应利用相关专用软件所提供的去噪声点功能除去那些误差大的噪声点和找出可能存在的失真点[3].失真点的查找需要一定的技巧和经验,下面介绍3种方法供大家参考:①直观检查法.通过图形显示终端,用肉眼直接将与截面数据点集偏离较大的点或存在于屏幕上的孤点剔除.这种方法适合于数据的初步检查,可从数据点集中筛选出一些比较大的异常点.②曲线检查法.通过截面的首末数据点,用最小二乘法拟合得到一条样条曲线,曲线的阶次可根据曲面截面的形状决定,通常为3~4阶,然后分别计算中间数据点pi到样条曲线的距离‖e‖,如果‖e‖大于等于[ε]([ε]为给定的允差),则认为pi是坏点,应予以剔除(见图1).③弦高差方法.连接检查点的前后2点,计算中间数据点pi到弦的距离‖e‖,如果‖e‖ [ε]([ε]为给定的允差),则认为pi是坏点,应予以剔除.这种方法适合于测量点均匀且较密集的场合,特别是在曲率变化较大的位置(见图2). 图1 曲线检查法剔除坏点 图2 弦高差方法 1.2 数据精简.非接触三维扫描测量的突出特点是点云十分密集,数据量极其庞大(在1m2的范围内有数十万个点).若将如此庞大的数据量直接用于曲面构建不仅需要巨大的计算机资源(普通微机可能无法胜任)和很长的计算时间,而且整个处理过程也将变得难以控制,更何况并非所有的测试数据对曲面的构建都有用.因此,有必要在保证一定精度的前提下,对测试数据进行精简.数据精简的原则是在扫描曲率较大的地方保持较多的数据点,在曲率变化较小的地方保持较少的数据点.不同类型的点云采用不同的精简方式.散乱点云可通过随机采样的方法来精简,而对于扫描线点云和多边形点云可采用等间距、倍率、等量及弦偏差等方法进行精减.此外均匀网格法与非均匀网格法也可用来精减点云数据.其中均匀网格法只需选取其中的某些点,无需改变点的位置,可以很好地保留原始数据,特别适合简单零件表面瑕点的快速剔除.由于均匀网格法没有考虑被测物体的表面形状特征,因此它不适合对形状复杂的重要工程部件测试数据的处理.与之相反,非均匀网格法可以根据被测工程部件外部形状特征的实际需要来确定网格的疏密,因此它可在保证后继曲面构建精度的前提下减少数据量,这在处理尺寸变化较大的自由形体方面显得十分有效. 1.3 数据的平滑处理.点云数据中的随机误差将影响到后续曲面的构建及生成三维实体模
基于三维点云处理技术的工件识别和匹配
Computer Science and Application 计算机科学与应用, 2019, 9(12), 2303-2313 Published Online December 2019 in Hans. https://www.360docs.net/doc/c74343595.html,/journal/csa https://https://www.360docs.net/doc/c74343595.html,/10.12677/csa.2019.912256 Parts Identification and Matching Based on 3D Point Cloud Processing Technology Rongrong Chen School of Automation, Southeast University, Nanjing Jiangsu Received: Nov. 20th, 2019; accepted: Dec. 3rd, 2019; published: Dec. 10th, 2019 Abstract In the field of automatic sorting, machine vision technology plays a decisive role. This paper uses a method based on 3D point cloud processing technology to identify and match workpieces, so as to sort out the target workpieces from the messy workpiece piles on the production line. Firstly, a dense point cloud is collected by using a laser sensor to obtain three-dimensional point cloud data of the identified area. Secondly, after denoising and filtering the point cloud data, it calculates the normal vector of the denoised point cloud, and then performing the voxelgriddownsampling to ob-tain key points and reduce the calculation amount. Thirdly, the histogram feature descriptor of the normal direction is calculated for the key point, thereby it obtains the descriptor associated with point cloud of the target and point cloud of the scene. It uses the K-tree structure search algorithm to find a similar descriptor based on the Euclidean distance, and added to the association set. Fourthly, the clustering algorithm is called to obtain a local point cloud set matching the target point cloud in the scene based on the Hough voting algorithm, and then the target point cloud is matched with the locked local point cloud set using the classical point cloud matching algorithm ICP. Finally, the global hypothesis verification algorithm is used to filter out the wrong points to reduce the error rate and to calibrate the identified targets for visual output. Compared with the general algorithm, the me-thod is more efficient and improves the time and accuracy of recognition. Keywords 3D Recognition, ICP, Machine Vision, Point Cloud Technology, Point Cloud Matching 基于三维点云处理技术的工件识别和匹配 陈荣荣 东南大学自动化学院，江苏南京 收稿日期：2019年11月20日；录用日期：2019年12月3日；发布日期：2019年12月10日
基于等距变换的三维点云相似性检测算法
3D point cloud similarity detection algorithm based on isometric transformation CHENG Rui ，LIU Feng -lian （School of Computer Science and Engineering ， Tianjin University of Technology ，Tianjin 300384，China ）Abstract ：The purpose of this paper is to propose a 3D point cloud similarity detection algorithm based on isometric transformation to provide a new method for 3D point cloud identification and classification..The research method uses the idea of voting space and thinks that similar point pairs have the same isometric transformation.Firstly ，the shape of the object is expressed by B-spline parameter surface fitting ，and a local geometric feature composed of principal curvature and normal vector is defined to match the feature point pairs.Calculate the isometric trans -formation between the point -to -features ，classify the isometric transformations ，and compare the isometric distances of the points between the pairs of isometric points.Finally ，under each type of isometric transformation ，a PCA -based clustering algorithm for point pairs with the same approximate isometric can be used to obtain similar regions composed of similar point pairs.The experimental results show that the results of the isometric transformation ，noise and downsampling of the original point cloud are tested under the Princeton and TOSCA point cloud da-tasets ，similar areas on the shape of the object can be detected.Research conclusions ：The feasibility and robustness of the method are verified by experiments.This method simplifies the data preprocessing process ，can effectively complete the similarity of the detected object model ，and has a good application prospect to the classification and recognition of 3D point clouds. Key words ：surface fitting ；geometric feature ；feature point pair ；isometric transformation ；PCA clustering 基于等距变换的三维点云相似性检测算法 程瑞，刘凤连 （天津理工大学计算机科学与工程学院， 天津300384）摘要：本文研究目的是运用基于等距变换的三维点云相似性检测算法来为三维点云识别和分类问题提供新的方法.该研究方法利用投票空间的思想，认为相似的点对具有相同的等距变换.首先，通过B 样条参数曲面拟合表达物体形状.其次，定义了一种主曲率和法向量组成的局部几何特征来匹配特征点对.计算点对特征之间的等距变换，将等距变换进行分类，比较同类等距下点对间特征的等距距离.最后，在每类等距变换下，对具有相同近似等距的点对进行基于PCA 的聚类算法，从而得到相似点对之间构成的相似区域.实验研究结果显示在通过普林斯顿和TOSCA 点云数据集下测试，对原始点云进行等距变换、噪声、降采样的处理后，能够检测到物体形状上的相似区域.研究结论：通过实验，验证了算法的可行性和鲁棒性，该方法简化了数据的预处理的过程，能够高效检测物体模型的相似性，对三维点云的分类和识别问题有着很好的应用前景. 关键词： 曲面拟合；几何特征；特征点对；等距变换；PCA 聚类中图分类号：TP391文献标识码：A d oi ：10.3969/j.issn.1673-095X.2019.01.004文章编号：1673-095X （2019）01-0021-06 天津理工大学学报JOURNA L OF TIANJIN UNIVERSITY OF TECHNOLOGY 第35卷第1期 2019年2月Vol .35No.1Feb.2019收稿日期：2018-10-18.作者简介：程瑞（1993—），男，回族，硕士研究生，E-mail ：286040359@https://www.360docs.net/doc/c74343595.html,. 通讯作者：刘凤连（1965—），男，教授，硕士生导师，E-mail ：lflian@https://www.360docs.net/doc/c74343595.html,.三维点云分类和识别问题是计算机视觉领域研 究的核心，而相似性计算则是识别和分类的关键.本 文针对物体形状的三维点云的相似性进行研究，阅 读了点云分类和识别的相关文献.在近年的点云相关的论文中，斯坦福大学提出的关于深度学习的模型PointNet 解决了点云在深度学习中的应用问题[1]，