结构光直线光条图像特征的三步法提取
结构光测量系统中光条中心的提取算法
第24卷 第1期2009年3月 北京机械工业学院学报Journal of Beijing I nstitute ofM achineryVol.24No.1Mar.2009文章编号:1008-1658(2009)01-0042-04结构光测量系统中光条中心的提取算法刘枝梅,邓文怡,娄小平(北京信息科技大学 光电信息与通信工程学院,北京100192)摘 要:在线结构光视觉测量系统中,光条中心的提取精度直接影响到整个系统的测量结果。
由于光条宽度不同、光照不均匀及待测物体表面性质的差异,使得精确地提取光条中心存在一定难度。
根据线结构光的特点提出了2种提取算法,分别为二值形态学细化算法和高斯分布的曲线拟合算法。
实验结果表明,2种算法在测量中均具有可行性,且后者提取精度较高,更适合于光条中心线提取。
关 键 词:线结构光;光条中心提取;计算机视觉中图分类号:TP391 文献标识码:AExtracti on a lgor ithm of li ght str i pes cen ter i n them ea surem en t system of structured li ghtL I U Zhi2mei,DENG W en2yi,LOU Xiao2p ing(School of Phot oelectric I nfor mati on and Telecommunicati on Engineering,Beijing I nfor mati on Science and Technol ogy University,Beijing100192,China)Abstract:I n the visi on measurement syste m of line2structed light,the extracting p recisi on of light stri pes center affects the p recisi on of measure ment syste m directly.It is quite difficult t o extract light stri pes center p recisely because of different light2stri pes widths,uneven illum inati on and differences in the nature of the objects surface.According t o the characteristics of line2structured light,t w o extracting algorith m s of light stri pes center were p r oposed including t w o2value mor phol ogical thinning algorithm and Gaussian distributi on curve fitting algorith m.The experi m ent results show that t w o algorithm s are feasible in measure,and the latter with higher p recisi on,is more fit for the extracting of light stri pes center2line.Key words:line2structured light;light stri pes center extracti on;computer visi on 物体三维轮廓的测量有多种方法。
线结构光三维视觉测量中光条纹中心提取综述
第３１卷第１期 ２０１４年３月 广东工业大学学报ＪｏｕｒｎａｌｏｆＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ Ｖｏｌ．３１Ｎｏ．１ Ｍａｒｃｈ２０１４收稿日期：２０１３－０３－０１基金项目：国家自然科学基金资助项目（５１１０５０７８）；广东省教育部产学研结合项目（２０１２Ｂ０９１１００１９０）；东莞市高等院校科研机构科技计划项目（２０１０１０８１０２０５）；广州市科技计划项目（２０１３Ｊ４３０００１９）作者简介：杨建华（１９８５－），男，硕士研究生，主要研究方向为逆向设计与工程应用、机器视觉与三维测量．ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００７－７１６２．２０１４．０１．０１５线结构光三维视觉测量中光条纹中心提取综述杨建华，杨雪荣，成思源，雷志盛，骆少明，张湘伟（广东工业大学机电工程学院，广东广州５１０００６）摘要：光条纹中心提取是线结构光三维视觉测量中的关键技术．把影响光条纹中心提取精度的主要因素归纳为工作环境、激光平面、被测物体和图像采集系统，并对其进行了对比分析．根据提取算法的理论基础、对图像信息的利用及计算思路特点的差异，将其分为几何中心方法和能量中心方法两大类．针对每类方法的计算思路、优缺点、改进方法、适用工况等在细分类方法中进行了对比分析和归纳总结．最后结合两大类方法的发展特点，提出了光条纹中心提取方法的进一步发展方向．关键词：三维视觉测量；线结构光；光条纹；中心提取中图分类号：ＴＰ３９１．４；ＴＮ２４７ 文献标志码：Ａ 文章编号：１００７－７１６２（２０１４）０１－００７４－０５ＲｅｖｉｅｗｏｆＥｘｔｒａｃｔｉｎｇｔｈｅＣｅｎｔｅｒｓｏｆＬｉｎｅａｒＳｔｒｕｃｔｕｒｅｄＬｉｇｈｔＳｔｒｉｐｅｓｆｏｒ３ＤＶｉｓｕａｌＭｅａｓｕｒｅｍｅｎｔｓＹａｎｇＪｉａｎ－ｈｕａ，ＹａｎｇＸｕｅ－ｒｏｎｇ，ＣｈｅｎｇＳｉ－ｙｕａｎ，ＬｅｉＺｈｉ－ｓｈｅｎｇ，ＬｕｏＳｈａｏ－ｍｉｎｇ，ＺｈａｎｇＸｉａｎｇ－ｗｅｉ（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０００６，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｅｘｔｒａｃｔｉｎｇｔｈｅｃｅｎｔｅｒｏｆａｌｉｇｈｔｓｔｒｉｐｅｉｓｏｎｅｏｆｔｈｅｋｅｙｔｅｃｈｎｉｑｕｅｓｏｆｔｈｅｌｉｎｅａｒｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｆｏｒｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ（３Ｄ）ｖｉｓｕａｌｍｅａｓｕｒｅｍｅｎｔ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｉｎｆｌｕｅｎｃｅｏｆｔｈｅａｃｃｕｒａｃｙｉｎｅｘｔｒａｃｔｉｎｇｔｈｅｌｉｇｈｔｓｔｒｉｐｅｃｅｎｔｅｒｓ，ｔｈｅｆｏｕｒｋｅｙｆａｃｔｏｒｓ，ｗｈｉｃｈａｒｅｔｈｅｗｏｒｋｅｎｖｉｒｏｎｍｅｎｔ，ｌａｓｅｒｐｌａｎｅｓ，ｍｅａｓｕｒｅｄｏｂ－ｊｅｃｔｓａｎｄｉｍａｇｅａｃｑｕｉｓｉｔｉｏｎｓｙｓｔｅｍｓ，ａｒｅｓｕｍｍｅｄｕｐａｎｄａｎａｌｙｚｅｄ．Ｏｎｔｈｅｂａｓｉｓｏｆｔｈｅｄｉｆｆｅｒｅｎｃｅｓｂｅ－ｔｗｅｅｎｔｈｅｕｓｅｏｆｔｈｅｉｍａｇｅｉｎｆｏｒｍａｔｉｏｎａｎｄｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｃａｌｃｕｌａｔｅｄａｌｇｏｒｉｔｈｍｓｉｎｔｈｅｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄｓ，ａｎｅｗｉｄｅａｉｓｐｒｏｐｏｓｅｄｔｈａｔｔｈｅｙａｒｅｃｌａｓｓｉｆｉｅｄｉｎｔｏｔｗｏｄｉｆｆｅｒｅｎｔｍｅｔｈｏｄｓ，ｗｈｉｃｈａｒｅｔｈｅｇｅｏｍｅｔ－ｒｉｃａｌｃｅｎｔｅｒｍｅｔｈｏｄａｎｄｔｈｅｅｎｅｒｇｙｃｅｎｔｅｒｍｅｔｈｏｄ．Ｂａｓｅｄｏｎｔｈｅｄｉｆｆｅｒｅｎｃｅｓｂｅｔｗｅｅｎｔｈｅｔｗｏｍｅｔｈｏｄｓｉｎａｌｇｏｒｉｔｈｍｔｈｏｕｇｈｔｓ，ｍｅｒｉｔｓａｎｄｄｅｍｅｒｉｔｓ，ｗａｙｓｏｆｉｍｐｒｏｖｅｍｅｎｔ，ａｐｐｌｉｃａｂｌｅｃｏｎｄｉｔｉｏｎｓ，ｔｈｅｙａｒｅｓｕｂｃｌａｓｓｉ－ｆｉｅｄ，ｃｏｍｐａｒｅｄ，ａｎａｌｙｚｅｄａｎｄｓｕｍｍａｒｉｚｅｄ．Ａｔｌａｓｔ，ｗｉｔｈｔｈｅｄｅｖｅｌｏｐｉｎｇｆｅａｔｕｒｅｓｏｆｔｈｅｔｗｏｍｅｔｈｏｄｓｃｏｍ－ｂｉｎｅｄ，ｉｔｐｒｏｐｏｓｅｓｔｈｅｄｅｖｅｌｏｐｍｅｎｔｔｒｅｎｄｏｆｔｈｅｌｉｇｈｔｓｔｒｉｐｅｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄ．Ｋｅｙｗｏｒｄｓ：３Ｄｖｉｓｕａｌｍｅａｓｕｒｅｍｅｎｔ；ｌｉｎｅａｒｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔ；ｌｉｇｈｔｓｔｒｉｐｅ；ｅｘｔｒａｃｔｉｎｇｔｈｅｃｅｎｔｅｒ 线结构光三维视觉测量是基于光学三角法测量原理的一种非接触式测量，具有测量速度快、精度高，结构简单、经济且易于实现等优点，在工业测量和检测、医学、工程设计、逆向工程等领域得到了越来越广泛的应用［１］．其测量原理是首先将激光器发出的激光光束通过柱面镜展成为一个连续的激光平面，用它来照射被测物体，与被测物体表面相交形成一条变形结构光条纹；然后利用ＣＣＤ摄像机拍摄到的变形结构光条纹的图像几何信息，结合测量时系统运动参数来提取被测物体表面的三维形貌几何信息．其中，对变形结构光条纹图像的处理和计算，是三维测量的关键环节之一．由于变形结构光条纹一般具有３～１２个像素宽度，而光条纹中心线上点的位置坐标才是测量所需的最准确的信息，所以必须对变形结构光条纹进行光条纹中心提取，因此，光条纹中心提取的精度直接决定了测量结果的精度．１ 光条纹中心提取精度的影响因素国内外很多学者紧紧地围绕如何提高光条纹中心的提取精度和算法速度进行了大量的实验研究和工程实践，通过及应用不同的算法研究并取得了相应的成果，在指导实际工程应用方面发挥了不同的作用，其依据的结构光视觉的基本测量原理如图１所示，实验中拍摄的实物模型的变形结构光条纹如图２所示．图１ 线结构光测量原理Ｆｉｇ．１ Ｐｒｉｎｃｉｐｌｅｏｆｌｉｎｅａｒｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｍｅａｓｕｒｅｍｅｎｔ图２ 实物模型的变形结构光条纹Ｆｉｇ．２ Ｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｓｔｒｉｐｅｓｏｆｏｂｊｅｃｔｍｏｄｅｌ 噪声对光条纹提取的精度有较大影响，在对光条纹图像进行处理时首先要进行去噪处理，所以对影响光条纹中心提取精度的主要因素进行了总结分析和对比研究．结合杨雪荣等［２］和解则晓等［３］对光条纹中心提取影响因素的分析，可将其总结并概括为表１．表１ 主要影响提取精度的因素Ｔａｂ．１ Ｍａｉｎｉｎｆｌｕｅｎｃｅｆａｃｔｏｒｓｏｆｔｈｅｅｘｔｒａｃｔｉｏｎ影响因素噪声来源噪声类别降噪、除噪方法工作环境环境光（折射光、漫反射光、白炽灯光）随机噪声（无法估量、无法彻底消除）提高激光器功率、设计封闭式采集、选用特定波段的激光光源和滤色镜等激光平面平面度、“厚度”、光强变化可消除噪声（有规律、可重复）滤波处理、选用性能稳定的激光光源等被测物体表面性质、材质随机噪声喷涂吸光材料、改变光照角度等图像采集系统图像采集卡、ＣＣＤ内部噪声随机噪声、热电噪声、白噪声图像滤波处理、独立分割光条纹特征再处理等 表１中根据测量时的系统组成和测量原理将影响提取精度的因素分成４大类，针对每类的噪声来源、噪声类别及其是否可消除、避免噪声方法及措施进行了对比分析．针对这些噪声影响因素的研究以及结合数字图像处理和计算机视觉领域的新发展，很多学者提出了独特的光条纹中心提取算法．从实现方法上分析，可将现有的光条纹提取技术归结为两大类：以几何中心作为光条纹中心的提取方法和以能量中心作为光条纹中心的提取方法．２ 光条纹中心的几何中心提取法此类方法又简称为几何中心方法．它是从数字图像处理的图像分割理论发展而来，其基本思路是首先对光条纹进行边缘检测，然后利用提取的光条纹两条边缘线的几何关系或阈值信息来求取光条纹的几何中心线，作为光条纹的中心线．从计算依据的信息和算法不同，几何中心法可分成以下３类．２．１ 利用边缘信息的提取方法此方法主要利用特征检测分割出的两条光条纹区域边缘线，从计算几何角度提取光条纹中心线．这类方法是最早用来实现结构光条纹中心线提取的主要方法，最先实现的传统边缘法（又称轮廓法）只是简单地将两条边缘线中的某一条替代作为光条纹中心线，后来进行改进发展的中线法（又称中心法）是提取两条边缘线的中线作为光条纹中心线［４］．表２列出了两种方法的特点．表２ 边缘法与中线法的特点Ｔａｂ．２ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｅｄｇｅ－ｍｅｔｈｏｄａｎｄｃｅｎｔｅｒｌｉｎｅ－ｍｅｔｈｏｄ名称特点边缘法①取光条纹内或外边缘线作为中心线②适用于精度要求不高的大型物体测量③要求图像质量较好且结构光特性较高中线法①取光条纹内外边缘线的中线作为中心线②适用条纹质量好且形状规则的物体测量③实现简单且避免判断内外边缘轮廓线５７ 第１期 杨建华，等：线结构光三维视觉测量中光条纹中心提取综述 在运用两种方法的过程中，物体模型表面复杂并带有细微特征以及光条纹不规范，常常使提取的中线出现“分枝”；由于遮挡等原因造成光条纹出现缺失或断线，这些都会产生测量误差．据此，黎明等［５］提出一种利用光强信息进行修正的中线法，利用表面光强分布信息与表面法线方向关系采用逐次逼近的计算方法修正带有误差的中线轮廓，使得算法精度得到进一步提高．２．２ 利用阈值信息的提取方法此方法假设在理想的结构光条纹特性和被测物体表面质量相同的条件下，提取阈值分割后光条纹横截面中一对阈值分割点的中点位置作为光条纹中心点．该方法称为灰度阈值法（又称门限阈值法），具有计算速度快，简单等特点．由于受阈值分割和噪声影响大而使得提取精度差，它只适用于对光条纹中心位置的粗略估计．针对激光散斑效应噪声影响较为严重的问题，贾波等［６］采用了图像多帧平均法，虽然有效地去除了噪声，但是由于它将同时处理到几帧图像，造成计算数据量较大，处理速度缓慢，不适合也不利于工程应用．２．３ 利用细化技术的提取方法此方法利用细化技术得到光条纹区域的细化曲线来替代光条纹中心线，称为形态学骨架法（又称骨架细化法）．骨架是图像几何形态的重要拓扑结构描述，保持了原目标的拓扑性质，具有原目标相同的特征，可用来表征一个光条纹的中心线特征．细化过程就是重复地剥掉二值图像的边界像素，直到获得一条单像素宽的光条纹连通线（称为骨架）的过程．将形态学处理引入光条纹中心提取是一个重要的算法推广，但是由于单纯提取的骨架没有考虑到光条纹的横截面光强特性，使得提取的光条纹中心线精度不高．同时在迭代腐蚀边界像素时必须保持目标的连通性而不能改变图像的拓扑性质，而需要进行多次细化操作，使得提取算法的运算速度降低．３ 光条纹中心的能量中心提取法此类方法又简称为能量中心方法，它是在对激光光束的光学分析、结构光光条纹的形成原理和灰度特性分析的基础上发展形成的．其基本计算思路是求取光条纹横截面上理想的光强高斯分布曲线的灰度重心点或灰度极大值点作为光条纹的中心点，然后连接点集或拟合成高次曲线得到光条纹的能量中心线，作为光条纹的中心线．目前，对提取光条纹能量中心的方法研究一直是热门话题，现有方法可综合分成以下３类．３．１ 利用灰度重心的提取方法此方法是直接依据光条纹在每一行横截面区间内灰度值的排列，沿行坐标方向求取光条纹区域的灰度重心点来代表该截面的光条纹中心点位置．该方法减小了由于光条纹灰度分布的不均匀性而引起的误差，提高了提取精度．但由于在光条纹截面中参与计算的像素点数不同及噪声干扰影响，导致了中心点位置计算结果出现沿行坐标方向的偏移误差．针对在处理得到灰度重心点之前的噪声干扰、图像预处理方法等方面，以及如何得到更加逼近实际的灰度重心点等方面，很多学者进行了有针对性的分析和研究，表３列出了与此相关的改进方法［２，７－１０］．在表中针对改进因素的不同方式或途径进行分别对比，从采用的理论基础和算法特点两个方面进行了分析．３．２ 利用方向模板技术的提取方法此方法又称为可变方向模板法（简称方向模板法），主要针对光条纹图像进行低通滤波除噪和平滑处理后而引起损失物体表面几何细节信息的缺点，提出采用“有效尺寸”为５×３的４种不同方向模板与光条纹图像进行卷积运算，直接提取光条纹中心．最初由胡斌等［１１］提出，它是从利用灰度重心提取方法的思想发展而来的．该方法具有与采用固定模板卷积一样的抗白噪声和一定断线修补能力，较好地保留了光条纹的细节信息；但是在更高精度的要求下仅仅选取４个方向的模板不再能够满足要求，但如果增加其他不同方向模板又会增加计算量和运算时间，影响处理效率．据此，雷海军等［１２］在运用可变方向模板法之前结合光条纹像素的灰度邻域属性利用灰度阈值分割出光条纹，如此可快速检测和精确定位光条纹中心，同时数据存储量小有利于硬件并行实现．此外，吴庆阳等［１３］将可变方向模板技术和细化技术相结合，在细化的骨架上利用可变方向模板判断光条纹的法线方向，再利用灰度重心方法可提取光条纹中心，这样充分地发挥了两种方法的优点．３．３利用极大值点的提取方法此方法主要将光条纹中横截面光强极大值点作为光条纹中心点．该方法在光条纹横截面的灰度布成理想高斯分布的情况下具有很好的提取效果，而且提取速度极快．但由于受到噪声干扰，光条纹横截面的灰度分布曲线不能完全构成理想高斯曲线，因此该方法不适用于信噪比较小的图像．近年来以该６７ 广 东 工 业 大 学 学 报 第３１卷 方法为基础，许多研究者又提出了改进方法［１４－１５］，如表４所示．表中将改进方法分成对噪声影响和极值点寻找两个大方向，对改进方法的核心思想及特点进行了对比分析．表３ 灰度重心法的改进方法Ｔａｂ．３ Ｉｍｐｒｏｖｅｍｅｎｔｏｆｔｈｅｂａｒｙｃｅｎｔｅｒｍｅｔｈｏｄ针对性或改进因素方法名称理论基础特点灰度重心点提取的偏移误差和曲面调制误差自适应迭代法系统量传递理论偏态分布重心特性基本消除光条纹调制误差，可用于快速精密测量灰度重心点提取对光强分布不均匀的敏感性自适应阈值法阈值分割算法浮动阈值特性去除某些随机噪声以及激光散斑效应的干扰影响边界灰度阈值选取对灰度重心点提取的影响梯度重心法灰度梯度特性灰度非正态分布特性克服灰度分布不匀称良好的抗噪性和鲁棒性光条纹法线方向上灰度重心点的计算偏差全分辨率法灰度梯度特性Ｂａｚｅｎ方法兼顾光条纹延伸方向影响因素、适用于在线精确测量光条纹法线方向和灰度重心点的判别封闭光圈（光带）法基准坐标变换模板校正算法计算精度高但计算数据量大、速度慢、应用实时性差噪声干扰对灰度重心点提取的影响ＮＵＲＢＳ曲线插值法ＮＵＲＢＳ曲线的局部控制特性、插值运算方法降低噪声影响、重复计算精度稳定性好Ｂ样条迭代法Ｂ样条曲线特性迭代算法逐步迭代修复噪声影响、提高提取精度遗传优化法遗传算法图像分割阈值特性增强抗白噪声能力实现断线的修补可变形模型法可变形模型理论Ｂ样条曲线特性有效抑制噪声影响实现断线的修补感兴趣区域（ＲＯＩ）分割法最大类间方差法阈值分割特性提高处理速度、增强光照下抗漫反射能力和分割特性表４ 极大值点法的改进Ｔａｂ．４ Ｉｍｐｒｏｖｅｍｅｎｔｏｆｔｈｅｍａｘｉｍｕｍｐｏｉｎｔ－ｖａｌｕｅｍｅｔｈｏｄ针对性改进方法特点干扰噪声影响从极值点向两边缘方向搜索到相同阈值阈值对等更精确，运算时间增长寻找极大值点（最小二乘法）高斯曲线拟合或二次抛物线拟合曲线拟合理论成熟，提取精度达亚像素级Ｓｔｅｇｅｒ的Ｈｅｓｓｉａｎ矩阵法（曲线求导理论）精度高、鲁棒性好，运算量较大胡坤的改进Ｓｔｅｇｅｒ法（采用固定像素框或递归滤波）极大减少运算量，实现矩阵快速运算基于ＲＯＩ分割的胡坤法的改进极大提高运算速度适合实时应用４ 总结如前所述，直接地利用光条纹区域的几何关系与阈值信息求取光条纹的几何中心线，就是以几何中心作为光条纹中心的提取方法．实现该类方法的关键点是在于如何得到更加合理的每个光条纹横截面的几何中心位置对应点．针对当前的工程应用领域来说，这种典型方法已经逐渐发展成熟并得到广泛的应用．在受工况环境和噪声影响少、结构光性能好、物体特征或曲面相对简单以及对测量结果精度要求不高的情况下均能满足；在工况环境恶劣并伴有多种噪声、结构光性能不很稳定、物体特征复杂以及对测量结果精度要求较高的情况下一般不能满足而均采用能量中心方法进行光条纹中心提取．充分地利用光条纹区域的灰度信息特性并结合高斯分布原理求取光条纹的能量中心线，就是以能量中心作为光条纹中心的提取方法．从求取几何中心到求取能量中心的发展是从仅仅考虑光条纹的几何形态特性到综合分析光条纹自身灰度特性的发展，是从表象到本质的发展．因此，能量中心提取方一直是当前研究热点，很多学者结合数字图像处理和计算机视觉领域发展的新理论新算法以及一些先进的优化方法，来尝试应用于光条纹中心的提取．由于在进行光条纹中心提取的过程中，对整幅７７ 第１期 杨建华，等：线结构光三维视觉测量中光条纹中心提取综述 光条纹图像的每一步处理操作都密切关系到光条纹中心的提取精度和运算速度，因此更加合理的图像去噪预处理、更加精确的光条纹分割方法、更贴合光条纹横截面光强实际分布特性的灰度信息处理等都是对提取算法发展的重要方向．参考文献：［１］ＣｈａｎｇＤＹ，ＣｈａｎｇＹＭ．Ａｆｒｅｅｆｏｒｍｓｕｒｆａｃｅｍｏｄｅｌｉｎｇｓｙｓｔｅｍｂａｓｅｄｏｎｌａｓｅｒｓｃａｎｄａｔａｆｏｒｒｅｖｅｒｓｅｅｎｇｉｎｅｅｒｉｎｇ［Ｊ］．ＴｈｅＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＡｄｖａｎｃｅｄＭａｎｕｆａｃｔｕｒｉｎｇＴｅｃｈｎｏｌｏ－ｇｙ，２００２，２０（１）：９－１９．［２］杨雪荣，张湘伟，成思源，等．基于可变形模型的光条纹中心提取方法研究［Ｊ］．中国机械工程，２００９，２０（０３）：３３４－３３７．ＹａｎｇＸＲ，ＺｈａｎｇＸＷ，ＣｈｅｎｇＳＹ，ｅｔａｌ．Ｒｅｓｅａｒｃｈｏｎｔｈｅｍｅｔｈｏｄｆｏｒｅｘｔｒａｃｔｉｎｇｔｈｅｃｅｎｔｒｅｏｆｌｉｇｈｔｓｔｒｉｐｅｂａｓｅｄｏｎｄｅ－ｆｏｒｍａｂｌｅｍｏｄｅｌ［Ｊ］．ＣＭＥＳ，２００９，２０（０３）：３３４－３３７．［３］解则晓，张成国，张国雄．基于Ｂ样条迭代法的激光光条噪声去除技术研究［Ｊ］．光学技术，２００５，３１（３）：４３０－４３３．ＸｉｅＺＸ，ＺｈａｎｇＣＧ，ＺｈａｎｇＧＸ．ＲｅｓｅａｒｃｈｏｎｒｅｍｏｖｉｎｇｔｈｅｎｏｉｓｅｏｎｔｈｅｌａｓｅｒｓｔｒｉｐｅｂａｓｅｄｏｎｔｈｅｉｔｅｒａｔｉｖｅｆｉｔｔｉｎｇｏｆＢ－ｓｐｌｉｎｅ［Ｊ］．ＯｐｔｉｃａｌＴｅｃｈｎｉｑｕｅ，２００５，３１（３）：４３０－４３３．［４］ＬｙｖｅｒｓＥＰ，ＭｉｔｃｈｅｌｌＯＲ．Ｓｕｂ－ｐｉｘｅｌｍｅａｓｕｒｅｍｅｎｔｓｕｓｉｎｇａｍｏｍｅｎｔｂａｓｅｄｅｄｇｅｏｐｅｒａｔｏｒ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＰＡＭＩ，１９８９，１１（１２）：１２９３－１３０９．［５］黎明，冯华君，徐之海，等．利用光强信息的结构光图像轮廓提取修正方法［Ｊ］．光电工程，２００５，３２（２）：３０－３２．ＬＩＭ，ＦｅｎｇＨＪ，ＸｕＺＨ，ｅｔａｌ．Ｐｒｏｆｉｌｅｅｘｔｒａｃｔｉｏｎｏｆｓｔｒｕｃ－ｔｕｒａｌｌｉｇｈｔｉｍａｇｅａｎｄｉｔｓｃｏｒｒｅｃｔｉｏｎｂａｓｅｄｏｎｌｉｇｈｔｉｎｔｅｎｓｉｔｙ［Ｊ］．Ｏｐｔｏ－ＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，２００５，３２（２）：３０－３２．［６］贾波，苏显渝，郭履容．采用激光光刀的叶片三维面形测量方法［Ｊ］．中国激光，１９９２，１９（４）：２７１－２７５．ＪｉａＢ，ＳｕＸＹ，ＧｕｏＬＲ．３－Ｄｍｅａｓｕｒｅｍｅｎｔｏｆｔｕｒｂｉｎｅｂｌａｄｅｐｒｏｆｉｌｅｂｙｌｉｇｈｔｋｎｉｆｅ［Ｊ］．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆｌａｓｅｒｓ，１９９２，１９（４）：２７１－２７５．［７］ＯｔｓｕＮ．Ａｔｈｒｅｓｈｏｌｄｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｆｒｏｍｇｒａｙ－ｌｅｖｅｌｈｉｓｔｏ－ｇｒａｍｓ［Ｊ］．ＩＥＥＥＴｒａｎｓＳｙｓｔｅｍｓ，ＭａｎａｎｄＣｙｂｅｍｅｔｉｃｓ，１９７９，９（１）：６２－６６．［８］ＳｅｏｋｂａｅＳｏｎ，ＨｙｕｎｐｕｎｇＰａｒｋ，ＬｅｅＫｗａｎＨ．Ａｕｔｏｍａｔｅｄｌａ－ｓｅｒｓｃａｎｎｉｎｇｓｙｓｔｅｍｆｏｒｒｅｖｅｒｓｅｅｎｇｉｎｅｅｒｉｎｇａｎｄｉｎｓｐｅｃｔｉｏｎ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＭａｃｈｉｎｅＴｏｏｌｓａｎｄＭａｎｕｆａｃ－ｔｕｒｅ，２００２，４２（８）：８８９－８９７．［９］ＢａｚｅｎＡＭ，ＧｅｒｅｚＳＨ．Ｓｙｓｔｅｍａｔｉｃｍｅｔｈｏｄｓｆｏｒｔｈｅｃｏｍｐｕｔａ－ｔｉｏｎｏｆｔｈｅｄｉｒｅｃｔｉｏｎａｌｆｉｅｌｄｓａｎｄｓｉｎｇｕｌａｒｐｏｉｎｔｓｏｆｆｉｎｇｅｒ－ｐｒｉｎｔｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａ－ｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２００２，２４（７）：９０５－９１９．［１０］张万江，许敏．基于结构光视觉的激光拼焊焊缝质量检测方法研究［Ｊ］．仪表技术与传感器，２０１２，（７）：１５６－１５８．ＺｈａｎｇＷＪ，ＸｕＭ．Ｓｅａｍｑｕａｌｉｔｙｉｎｓｐｅｃｔｉｏｎｏｆｌａｓｅｒｗｅｌｄｉｎｇｂａｓｅｄｏｎｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｖｉｓｉｏｎ［Ｊ］．ＩｎｓｔｒｕｍｅｎｔＴｅｃｈｎｉｑｕｅａｎｄＳｅｎｓｏｒ，２０１２（７）：１５６－１５８．［１１］胡斌，李德华，金刚，等．基于方向模板的结构光条纹中心检测方法［Ｊ］．计算机工程与应用，２００２，３８（１１）：５９－６０，１０９．ＨｕＢ，ＬｉＤＨ，ＪｉｎＧ．Ｎｅｗｍｅｔｈｏｄｆｏｒｏｂｔａｉｎｉｎｇｔｈｅｃｅｎｔｅｒｏｆｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｓｔｒｉｐｅｂｙｄｉｒｅｃｔｉｏｎｔｅｍｐｌａｔｅ［Ｊ］．Ｃｏｍｐｕｔ－ｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００２，３８（１１）：５９－６０，１０９．［１２］雷海军，李德华，王建永，等．一种结构光条纹中心快速检测方法［Ｊ］．华中科技大学学报：自然科学版，２００３，３１（１）：７４－７６．ＬｅｉＨＪ，ＬｉＤＨ，ＷａｎｇＪＹ．Ａｍｅｔｈｏｄｆｏｒｄｅｔｅｃｔｉｎｇｔｈｅｃｅｎｔｅｒｏｆｓｔｒｕｃｔｕｒｅｄｌｉｇｈｔｓｔｒｉｐｅ［Ｊ］．ＪＨｕａｚｈｏｎｇＵｎｉｖｏｆＳｃｉ＆Ｔｅｃｈ：ＮａｔｕｒｅＳｃｉｅｎｃｅＥｄｉｔｉｏｎ，２００３，３１（１）：７４－７６．［１３］吴庆阳，苏显渝，李景镇，等．一种新的线结构光光带中心提取算法［Ｊ］．四川大学学报：工程科学版，２００７，３９（４）：１５１－１５５．ＷｕＱＹ，ＳｕＸＹ，ＬｉＪＺ，ｅｔａｌ．Ａｎｅｗｍｅｔｈｏｄｆｏｒｅｘｔｒａｃ－ｔｉｎｇｔｈｅｃｅｎｔｒｅ－ｌｉｎｅｏｆｌｉｎｅｓｔｒｕｃｔｕｒｅｌｉｇｈｔ－ｓｔｒｉｐｅ［Ｊ］．Ｊｏｕｒ－ｎａｌｏｆＳｉｃｈｕａｎＵｎｉｖｅｒｓｉｔｙ：ＥｎｇｉｎｅｅｒｉｎｇＳｃｉｅｎｃｅＥｄｉｔｉｏｎ，２００７，３９（４）：１５１－１５５．［１４］ＳｔｅｇｅｒＣ．Ａｎｕｎｂｉａｓｅｄｄｅｔｅｃｔｏｒｏｆｃｕｒｖｉｌｉｎｅａｒｓｔｒｕｃｔｕｒｅｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰＡＭＩ，１９９８，２０（２）：１１３－１２５．［１５］ＩｚｑｕｉｅｒｄｏＭＡＧ，ＳａｎｃｈｅｚＭＴ．Ｓｕｂ－ｐｉｘｅｌｍｅａｓｕｒｅｍｅｎｔｏｆ３Ｄｓｕｒｆａｃｅｓｂｙｌａｓｅｒｓｃａｎｎｉｎｇ［Ｊ］．ＳｅｎｓｏｒｓａｎｄＡｃｔｕａｔｏｒｓＡ：Ｐｈｙｓｉｃａｌ，１９９９，７６（１－３）：１－８．（上接第７３页）［１４］刘芹，王钢，董镝．线路在线监测的自组织自愈无线传感器网络方案［Ｊ］．高电压技术，２０１０，３６（３）：６１６－６２０．ＬｉｕＱ，ＷａｎｇＧ，ＤｏｎｇＤ．Ｓｃｈｅｍｅｏｆｌｏｎｇ－ｄｉｓｔａｎｃｅｔｒａｎｓ－ｍｉｓｓｉｏｎｌｉｎｅｏｎ－ｌｉｎｅｍｏｎｉｔｏｒｉｎｇｆｏｒｓｅｌｆ－ｏｒｇａｎｉｚｉｎｇａｎｄｓｅｌｆ－ｈｅａｌｉｎｇｗｉｒｅｌｅｓｓｓｅｎｓｏｒｎｅｔｗｏｒｋｓ［Ｊ］．ＨｉｇｈＶｏｌｔａｇｅＥｎｇｉ－ｎｅｅｒｉｎｇ，２０１０，３６（３）：６１６－６２０．［１５］庞娜，程德福．基于ＺｉｇＢｅｅ无线传感器网络的温室监测系统设计［Ｊ］．吉林大学学报，２０１０，２８（１）：５６－６０．ＰａｎｇＮ，ＣｈｅｎｇＤＦ．Ｄｅｓｉｇｎｏｆｇｒｅｅｎｈｏｕｓｅｍｏｎｉｔｏｒｉｎｇｓｙｓ－ｔｅｍｂａｓｅｄｏｎＺｉｇＢｅｅｗｉｒｅｌｅｓｓｓｅｎｓｏｒｎｅｔｗｏｒｋｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＪｉｌｉｎＵｎｉｖｅｒｓｉｔｙ，２０１０，２８（１）：５６－６０．８７ 广 东 工 业 大 学 学 报 第３１卷 线结构光三维视觉测量中光条纹中心提取综述作者：杨建华， 杨雪荣， 成思源， 雷志盛， 骆少明， 张湘伟， Yang Jian-hua， Yang Xue-rong， Cheng Si-yuan， Lei Zhi-sheng， Luo Shao-ming， Zhang Xiang-wei作者单位：广东工业大学机电工程学院,广东广州,510006刊名：广东工业大学学报英文刊名：Journal of Guangdong University of Technology年，卷(期)：2014(1)引用本文格式：杨建华.杨雪荣.成思源.雷志盛.骆少明.张湘伟.Yang Jian-hua.Yang Xue-rong.Cheng Si-yuan. Lei Zhi-sheng.Luo Shao-ming.Zhang Xiang-wei线结构光三维视觉测量中光条纹中心提取综述[期刊论文]-广东工业大学学报 2014(1)。
图像中直线的提取方法
图像中直线提取以及方法研究第一节引言在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣，这些部分常称为目标或前景（其它部分称为背景），它们一般对应图像中特定的具有独特性质的区域。
为了辨识和分析目标，需要将这些有关区域分离出来，在此基础上才有可能对目标进一步处理，如进行特征提取和测量。
随着数字信号处理技术和计算机技术的发展，机器视觉正得到广泛而深入的研究。
如何正确、快速地识别目标的特征信息，已成为机器视觉领域的研究热点。
直线是图像中物体的基本特征之一，一些人造目标如房屋、道路、桥梁具有明显的直线特征，而一般物体平面图像的轮廓也可以表示为直线及弧线的组合，进而对物体轮廓也可以表示为直线及弧线的组合，进而对物体轮廓的检测可以转化为对这些基本元素的识别和提取。
因此，研究图像中直线的检测算法对图像处理和模式识别具有重要意义。
本文就图像中直线提取方法为核心主要介绍了图像分割技术、边缘检测以及直线提取的几种常用算法。
第二节图像分割技术图像分割（image segmentation）就是按照一定的原则将一幅图像或景物分为若干个特定的、具有独特性质的部分或子集，并提取出感兴趣的目标的技术和过程。
在对各种图像的研究应用中，人们往往仅对图像中的某些部分感兴趣，这些部分常称为目标或前景（其它部分称为背景），它们往往一般对应图像中某些特定的、具有独特性质的区域。
这里的独特性质可以是像素的灰度值、物体的轮廓曲线、颜色、纹理等，也可以是空间频谱或直方图特征等。
在图像中用来表示某一物体的区域，其特征都是相近或相同的，但是不同物体的区域之间，特征就会急剧变化。
目标可以对应单过区域，也可以对应多个区域。
为了辨识和分析目标，需要将它们分离提取出来，在此基础上才有可能进一步进行图像识别与理解。
图像分割的目的是把图像空间分成一些有意义的区域，例如，一幅航空照片，可以分割成工业区、住宅区、湖泊、森林等；可以以逐个像素为基础去研究图像分割，也可以利用在规定领域中的某些图像信息去分割。
图像特征提取方法
图像特征提取方法摘要特征提取是计算机视觉和图像处理中的一个概念。
它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。
特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。
至今为止特征没有万能和精确的图像特征定义。
特征的精确定义往往由问题或者应用类型决定。
特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。
因此一个算法是否成功往往由它使用和定义的特征决定。
因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。
特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。
它检查每个像素来确定该像素是否代表一个特征。
假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。
作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。
此后通过局部导数运算来计算图像的一个或多个特征。
常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。
当光差图像时，常常看到的是连续的纹理与灰度级相似的区域，他们相结合形成物体。
但如果物体的尺寸很小或者对比度不高，通常要采用较高的分辨率观察：如果物体的尺寸很大或对比度很强，只需要降低分辨率。
如果物体尺寸有大有小，或对比有强有弱的情况下同事存在，这时提取图像的特征对进行图像研究有优势。
常用的特征提取方法有：Fourier变换法、窗口Fourier变换（Gabor）、小波变换法、最小二乘法、边界方向直方图法、基于Tamura 纹理特征的纹理特征提取等。
设计内容课程设计的内容与要求(包括原始数据、技术参数、条件、设计要求等)：一、课程设计的内容本设计采用边界方向直方图法、基于PCA的图像数据特征提取、基于Tamura纹理特征的纹理特征提取、颜色直方图提取颜色特征等等四种方法设计。
(1) 边界方向直方图法由于单一特征不足以准确地描述图像特征,提出了一种结合颜色特征和边界方向特征的图像检索方法•针对传统颜色直方图中图像对所有像素具有相同重要性的问题进行了改进提出了像素加权的改进颜色直方图方法；然后采用非分割图像的边界方向直方图方法提取图像的形状特征,该方法相对分割方法具有简单、有效等特点，并对图像的缩放、旋转以及视角具有不变性•为进一步提高图像检索的质量引入相关反馈机制，动态调整两幅图像相似度中颜色特征和方向特征的权值系数，并给出了相应的权值调整算法.实验结果表明，上述方法明显地优于其它方法•小波理论和几个其他课题相关。
线结构光光条中心提取算法研究
线结构光光条中心提取算法研究李忠虎; 郭蕾; 闫俊红; 王金明【期刊名称】《《内蒙古科技大学学报》》【年(卷),期】2019(038)003【总页数】6页(P252-257)【关键词】线结构光; 中心提取; 方向模板法; 骨架法; 灰度重心法【作者】李忠虎; 郭蕾; 闫俊红; 王金明【作者单位】内蒙古科技大学信息工程学院内蒙古包头 014010【正文语种】中文【中图分类】TP3线结构光技术是一种实时性好、准确度高、结构简单的非接触式测量技术，它的原理基础是光学三角原理，在工业生产现场的质量检测、生物医学的血管及骨骼提取、航拍和卫星图像路径识别等领域都有着广泛地应用.在线结构光构成的测量系统中，线激光光源发出的光平面照射在物体表面上产生畸变条纹，CCD摄像机与被测物体构成一定角度的三角形，以此拍摄基于此结构特有的激光条纹信息.根据光学三角测量原理，利用图像中条纹中心的畸变和偏移量进行物体被测尺寸的计算[1].因此，在线结构光测量系统中，快速准确地定位到线结构光条纹中心的图像坐标是整个测量系统中的重要步骤.1 图像预处理1.1 图像去噪在具体实验过程中进行图像采集时，被测物体的物理因素和光源投射信息都会对图像质量产生影响，同时，图像采集环境、激光器与摄像机的相对角度误差、CCD 及电路器件产生的噪声等因素，都会导致采集到的图像质量有所下降，对后续的图像特征信息提取产生影响，也就自然地降低了光条中心线提取准确度.为了减弱这些影响，将必须对原图像进行预处理.测量环境中的噪声来源种类众多，对应的图像滤波方法也有所不同，常用的滤波方法有邻域平均滤波、低通滤波、中值滤波和自适应中值滤波等[2].本文实验中采用的系数相关性去噪法主要是依据小波变换的原理，算法设计流程为预处理、小波分解、分尺度去噪、小波逆变换、恢复图像[3-6].实验原始图像如图1所示，小波去噪效果如图2所示.结果表明：这种去噪方法具有较好的时频局部化特性，并对高斯噪声具有较好地抑制作用，而且在去噪过程中对图像的细节特征信息有很好地保留效果.图1 原始图像Fig.1 The original image图2 小波变换去噪图像Fig.2 Wavelet transform denoising image1.2 光条图像分割由于获取的图像中包含信息较多，为了降低光条中心提取算法的复杂程度，在提取处理之前需要对图像进行二值化分割.在使用较多的阈值分割法中，最重要的部分就是求取全局最佳阈值.本文采用最大类间方差法，相比迭代法而言，该方法减少了计算量，大大提高了运算速度，最重要的是降低了错分概率.最大类间方差法的基本思想就是将图像分成多个区域，不同的区域取不同的阈值进行分割.以图像I(x,y)为例，假设所提取的目标对象与背景的区分值(即分割阈值)为T，目标对象像素点数占图像总像素点数的比重记为ω0；灰度均值为μ0；同理，背景像素点数占图像总像素点数的比重为ω1；灰度均值为μ1.整幅图像的灰度均值为μ；对应的类间方差为g.那么取一个背景不突出的的图像，大小为M×N，在整幅图像中，灰度值小于分割阈值的像素个数记为N0，大于分割阈值T的像素个数记为N1，则有：(1)μ=ω0×μ0+ω1×μ1，(2)g=ω0(μ0-μ)2+ω1(μ1-μ)2.(3)将式(2)代入式(3)，化简得g=ω0ω1(μ0-μ1)2，依次计算得到使类间方差最大的阈值T，即为所求阈值[7-8].采用最大类间方差法所求的阈值进行的阈值分割效果如图3所示.图3 阈值分割效果图Fig.3 The map of threshold segmentation effect2 光条中心提取算法研究在采用线结构光投影的三维测量系统中，原理上要得到的轮廓线是无限薄的光平面与物体表面的相交线，但是实际情况下的激光平面都有一定厚度，从而使得采集的图像中得到的光条并不是一个单像素宽度的线条，因此需要对其进行细化，也就是需要对光条中心进行提取.已有的光条中心提取方法根据提取目标的不同分为2种：一种是几何中心法，如中心法、阈值法等；另一种是能量中心法，如极值法、重心法、拟合法等，这些方法各有不同，效果较好的方法是灰度重心法和在此基础上改进的方向模板法.2.1 灰度重心法采用灰度重心法提取激光光条纹中心的基本原理是将光条纹灰度值分布中的质心认为是光条纹的中心.在极值法的基础上，取灰度值最大像素的邻域，以灰度值作为计算权重，沿着横纵2个方向确定灰度重心，并以灰度重心作为光条中心，其计算表达式如下：(4)式中：MXY为图像第y列最大灰度行坐标;x为行坐标；n为邻域半径；g(x,y)为x 行y列的像素灰度值[9].该方法整体算法简单、处理速度快、精度高，但当环境中反射光影响较大或图像噪声较多时，得到的提取结果误差较大.2.2 方向模板法方向模板法的基本思想为：线结构光的光条纹会根据投射物体表面的不同而有区别，在一定区域内，近似地认为光条方向有水平、垂直、左斜45°、右斜45°.假设采用的模板大小为3×7，则以这4个方向确定的模板K1，K2，K3，K4分别为：设图像大小为r×c，分别利用4个模板对图像的每一行按照式(5)进行计算，得到i 行j列即像素(i，j)位置的H值，式中的C(u,v)为图像中细化曲线上的点.Hj=(5)在确定的一行中，分别选出利用4个模板计算出的最大值Hmax1,Hmax2,Hmax3,Hmax4，若存在Hp=max(Hmax1，Hmax2，Hmax3，Hmax4)，则可认为在这一行的中心位置在p处，以此类推计算出整个光条图像的中心[10-12].实验表明，这种方法具有抗白噪声干扰的能力，但是如图4圆圈所示区域，对于一些光条图像仍然会有一定的间断，使中心线发生偏移，间断部分局部放大图如图5所示.图4 方向模板法提取中心Fig.4 Directional template methodfor extracting centers图5 间断部分局部放大图Fig.5 Discontinuous local enlargement2.3 改进的方向模板法为了解决上述问题，在此基础上吸取骨架法的思想，首先找到光条的骨架，然后沿着骨架方向选取足够代表此处光条方向的较小区域进行曲线拟合，计算斜率,求出此处方向线的法线方向[13-14]，最后以此点为中心，在法线方向两端分别取相同个数像素点，利用灰度重心法求取其最后的中心位置.在整个提取过程中，模板的选取也是非常重要的，选取的模板必须能较为准确地代表激光条纹的形状方向，这就需要依据光条的粗细程度来确定，如果模板太粗则无法表述出光条的细节特征，而且还会加大运算量，但是模板太细又容易偏离实际光条的方向.在此实验中，因为光条方向并无太大变化，所以选取与光条像素相近的13×13图像模型匹配方向模板，并设计所需要的4个方向的模板，将模板记为T，模板内的元素为0和1，则建立的4个模扳分别为T1,T2,T3,T4.这4个模板沿着细化后的图像中的细线移动，依次以每个点为中心与图像做式(5)中的相关运算，对于图像中每一个点都可以求得4个不同的相关值H，这个数值表示了此点区域内的图像与计算的模板的相关程度，数值越大，就表示相关程度越高，所以最后所选取的最大相关值就表示此区域内的曲线斜率方向与对应使用的模板方向最为接近，因此可以求出上述方法中的法线方向.最后以这个点为中心，沿法线方向分别取(n+1)/2即7个像素点，再结合灰度重心法求取最后的中心点.以此类推，求出整个图像中的激光条纹中心.改进的方向模板法提取的光条中心如图6所示，可以直观地看出，整个光条并无明显间断，得到了比较好的提取效果.图6 提取的光条纹中心线图Fig.6 Extraction of the center line of the light fringes3 实验研究与结果分析本实验基于激光三角法设计整个测量系统，系统组成示意图如图7所示，采用华上激光公司的HSBD22-650L200激光器作为光源，发出线激光条纹投射到被测物体表面，通过工业CCD摄像机MV-EM120M对其进行拍摄采集，得到分辨率为1 280×960像素的二维平面图像，然后进行后续处理.图7 系统组成示意图Fig.7 Schematic diagram of the system structure实验数据主要处理过程如下：首先对采集到的图像进行预处理，主要包括去噪和二值化分割，改进的基于小波变换的图像去噪法和基于最大类间方差法的阈值分割法有效突出了图像的有用信息，提高了光条提取运算速度.对分割出的光条骨架采用改进的方向模板法做相关运算求取法线方向，在取点区域内利用灰度重心法求出中心点，依次计算求出光条的所有中心点，也就求得了整个被测光条的中心线.为了检验上述改进算法的效果，分别采用传统预处理算法与本文所述预处理算法处理6幅大小相同的光条图像，对整个提取算法的运行时间进行对比，如表1所示.由表1可以看出，本文所述算法处理速度更快、效率更高.表1 算法运行时间对比表Table 1 The comparison of algorithm running time 图像传统算法用时/s本文算法用时/s第一组1.8651.379第二组1.9841.421第三组1.7911.363第四组1.9021.386第五组1.9281.413第六组1.7841.339从原始图像以及被测物特征可以得到对应的像素坐标平面中的光条位置如图8所示，图像处理最终想要得到的数据是c点和d点的像素坐标.图8 像素坐标平面Fig.8 Pixel coordinate plane分别采用方向模板法和本文算法对同一预处理图像进行中心提取，得到像素坐标，选取前文间断处146～155列10组光条中心提取数据进行对比，结果如表2所示.由表2可以看出，本文所述算法处理结果更稳定、更准确，且精度更高.表2 提取中心数据对比表Table 2 Contrast of central data extraction方向模板法本文算法u像素v像素u像素v像素146112.025146110.8289147110.911147111.271 6148110.707148111.169 3149111.664149111.111 3150112.019150111.052 9151111.545151111.006 4152111.866152110.983 8153111.883153110.972 9154112.077154110.969 6155110.825155110.985 34 结论本文对激光条纹的中心提取算法进行了研究，图像预处理部分采用了基于小波变换的去噪方法和最大类间方差法求取阈值进行二值化分割，并在已有的方向模板法基础上，结合骨架法和灰度重心法提出了一种改进的光条中心提取算法.实验过程中分别对传统算法和本文所述算法做了处理运算时间、提取像素数据准确性及稳定性的对比，可以看出，改进的算法运算处理速度更快，稳定性和精确度更高，并且从提取结果图可以直观看出本文所用算法提取光条中心更加准确.参考文献：【相关文献】[1] 刘燕.H型钢截面尺寸线结构光测量[D].天津：天津大学，2012.[2] 李丹，耿楠，亢娟娜.复杂背景下光条中心提取算法研究[J].计算机应用与软件，2013，30(03)：271-273+314.[3] 毕思文，陈浩，帅通，等.一种基于双树复小波变换的图像去噪算法[J].无线电工程，2019，49(01):27-31.[4] CAMILLA H T, YUAN H B. Fresh meat color evaluation using a structured light imaging system[J]. Food Research International, 2015，71:100-107.[5] 李忠虎，张琳，闫俊红，等．基于机器视觉的管道内表面三维重建研究[J].内蒙古科技大学学报，2017，36(02)：167-171.[6] 王少锋，刘朋真，王建国．基于小波分解的压力管道泄漏源定位研究[J].内蒙古科技大学学报，2016，35(03)：260-263+283.[7] 刘敦浩，张彦铎，李迅，等.动态环境下自适应阈值分割方法[J].计算机应用，2016，36(S2):152-156.[8] 孙璐，陈洪海.最大类间方差法在图像分割中的应用[J].煤炭技术，2008，(07):144-145.[9] LOCHNER S J, HUISSOON J P, BEDI S S. Development of a patient-specific anatomical foot model from structured light scan data [J].Computer Methods in Biomechanics and Biomedical EN,2014,17(11):1198-1205.[10] 梅峻华，赖磊捷.结构光测量系统光条中心提取算法研究[J].电子测量技术，2018，41(21):8-13.[11] 曾大为，徐贵力，程月华，等.基于自适应模板线结构的光条中心亚像素提取方法[J].光电子技术，2018，38(02):117-121.[12] 胡斌，李德华.基于方向模板的结构光条纹中心检测方法[J].计算机工程与应用，2002，38(11):59-60.[13] 杨镇豪，杨柳，李辉，等.复杂环境下结构光中心线提取算法[J].计算机技术与发展，2018，28(09):7-10.[14] 顾益兰，李锋.基于线结构光的光条中心亚像素提取研究[J].电子设计工程，2017，25(21):148-151.。
深度图像中直线特征的提取
深度图像中直线特征的提取于海霞;齐国清;付才魁【摘要】深度图像具有能够表征物体表面三维立体信息的优势,而直线则携带了图像中重要的结构信息,对图像分割、图像识别等后续图像分析具有十分重要的意义.提出一种新的深度图像直线检测方法,由直线组成的直线框架方法,能够精确地、综合地提取深度图像的直线特征.首先,在指定邻域内对每个深度像素估计表面法向量;通过对表面法向量的相关计算得到每个像素点的边缘强度;之后,通过全局匹配措施,连点成线;最后,采用Hough变换在深度图像上标记直线.通过仿真结果对比,不难发现相较于其他直线特征提取方法,本文提出的新方法能够提供更平滑干净的直线检测结果;此外,在折痕边缘处获得单条直线,阶跃边缘处获得两条平行直线,因而可作为深度图像的3D结构信息.【期刊名称】《青岛科技大学学报（自然科学版）》【年(卷),期】2015(036)005【总页数】7页(P581-587)【关键词】深度图像;直线特征;边缘检测【作者】于海霞;齐国清;付才魁【作者单位】大连海事大学信息科学技术学院,辽宁大连116023;大连理工大学城市学院,辽宁大连116024;大连海事大学信息科学技术学院,辽宁大连116023;大连海事大学信息科学技术学院,辽宁大连116023【正文语种】中文【中图分类】TP391.4深度图像特征提取的方法有很多，几乎无一例外的通过两大步骤实现：首先，采用已知的边缘检测方法获取边缘，再通过Hough变换提取边缘图像中的直线特征。
已知的边缘检测方法多种多样，最常用的一种是通过微分算子——Robert算子、Sobel算子、Prewitt算子和Canny算子等检测边缘；此外，扫描线迭代法、双方向曲率法在深度图像边缘检测中也具有较为广泛的应用[1-2]。
本研究采用一种新的深度图像直线检测方法，直线框架方法，能够精确地、综合地提取深度图像的直线特征[3]。
边缘检测几乎是对深度图像进行处理的基本步骤，常见的边缘可分为2种：阶跃边缘，通常出现在一个对象被另一个对象或者它自己遮挡时；折痕边缘，出现在两个表面相遇时。
X射线安检图像中直线段特征提取方法
基于多视角 X 射线安检图像特点，为了在降噪的同时保
持弱边缘，将图像局部熵与 P-M 模型相结合得到新的边
缘停止函数，如式（5）所示 ：
( ) ( ) ( ) ( ) g ∇u x, y , h x, y
= 1 + ∇u( x1, yk) ⋅h( x, y) 2
（5）
将新的边缘停止函数代入公式（3）可得到基于图像
(
x, ∂t
y= ,t )
div g ( ∇u )∇u
u ( x, y, 0) = u0 ( x, y)
（3）
式（3）中，div 和∇分别为散度算子和梯度算子，u0(x,y)
为初始图像， g ( ∇u ) ∈[0，1]为边缘停止函数，如式（4）
所示 ：
g ( ∇u ) =
1 ∇u 2
1+
k
（4）
14 Copyright©博看网. All Rights Reserved.
毛林 任世龙 孔维武等：X 射线安检图像中直线段特征提取方法
2023 年第 5 期
提取方法。 1 X 射线安检图像直线段特征提取
X 射线安检图像中直线段特征提取方法先对图像进 行基于图像局部熵的各向异性扩散滤波处理，然后对滤 波后的图像进行 Canny 边缘检测，并设计一种边缘细化 准则使边缘单像素化，接着根据一种曲线跟踪算法获取 曲线集，最后基于 Douglas-Peucker 算法获取直线段端 点，并根据直线段约束准则计算直线段方程及角度。总 体流程图如图 1 所示。
m×n 的局部区域内灰度值为 l 的像素个数为 nl'，概率为
pl
=
nl' m×n
，则像素点（x,y）处的图像局部熵可定义为如
大视场下线结构光光条中心的快速提取
大视场下线结构光光条中心的快速提取张瑞瑛;周萍;冯煦;李松;舒强【摘要】在线结构光三维测量中,线结构光光条中心的提取是关键的一步.针对强背景光大视场下线结构光光条(长度约2 m)中心的提取,提出了一种基于感兴趣区域(ROI)的光条中心提取方法.首先用统计的方法确定图像处理的ROI,再在此区域内用最大类间方差法进行阈值分割并用灰度重心法提取中心. 结果表明:在Visual C++ 6.0平台上,处理一帧1 280×1 024大小的线结构光条图像大约用时47 ms,且光条中心提取精度高.这种提取中心的方法很好地减弱了大视场下强背景光的干扰,提高了光条中心提取速度.【期刊名称】《应用光学》【年(卷),期】2010(031)003【总页数】5页(P432-436)【关键词】线结构光;光条中心;感兴趣区域;最大类间方差法;灰度重心法【作者】张瑞瑛;周萍;冯煦;李松;舒强【作者单位】武汉大学,电子信息学院,湖北,武汉,430079;武汉大学,电子信息学院,湖北,武汉,430079;武汉大学,电子信息学院,湖北,武汉,430079;武汉大学,电子信息学院,湖北,武汉,430079;武汉大学,电子信息学院,湖北,武汉,430079【正文语种】中文【中图分类】TP391.41Abstract:In three-dimensional testing system s based on line-structured light,extracting the center of a line-structured light stripe quickly and accurately is a key problem.To extract the center of line-structured light with a length of 2 meter in a large field of view and strong noise background,an exaction method based on region of interest(RO I)is proposed.Firstly,RO Ifor image processing is defined by using statistic method,then O tsu method is used for threshold segmentation and barycenter method is used to exact the center within RO I. Experiments showed that the extracting time of a 1 280×1 024 sized picture of a line-structured light was about 47 m s in Visual C++6.0 by the proposed method and the extraction was proved accurate.The proposedmethod reduces the interference of strong background noise in large field of view and improves the extraction speed of line-structured light.Key words:line structured light;light stripe center;region of interest(RO I);O tsu method;barycenter method线结构光视觉三维测量具有非接触、动态响应快、系统柔性好、测量成本低等优点,广泛应用于产品快速设计和加工质量控制、逆向工程以及自动控制等诸多领域[1]。
结构光方法测量过程主要包括两个步骤
结构光方法测量过程主要包括两个步骤:第一步:由激光投射器根据测量需要投射可控制的光点、光条或光面结构光到物体表面形成特征点，并调节CCD 摄像机与视频采集软件，拍摄关于特征点的图像。
第二步: 建立合理的坐标系。
然后由物体表面投射光图案的几何形态特征，通过滤噪，图像处理等步骤，提取得到特征点形成的像素坐标。
再通过模式识别判断物体表面形状，利用激光器和CCD 摄像机在空间中的位置等参数，利用三角法测量原理反求得原特征点的坐标。
在实际应用中，线结构光测量系统由于其快速、精确、稳定性好，而且结构简单，易于实现，相比点结构光提高了效率，又避免了面结构光方法的复杂性，因此在各个应用领域，如制造业、军事、医学上获得了更广泛的应用。
本项目中采用的也是线结构光系统，因此本论文的内容都围绕线结构光测量系统展开。
线结构光法比起点结构光法，测量得到的信息量大大增加，而其实现的系统复杂性并没有增加，因而得到了广泛应用。
该方法也是基于三角测量原理，所不同的是采用线光源代替点光源。
由激光器投射线激光作为光源，与物体表面相交时，在物体表面产生亮光条。
该光条由于物体表面形状的变化而受到调制，表现在图像中则是光条发生了偏移和断续，偏移的程度与形状有关。
通过这种关系，对CCD 拍摄到的图像进行处理，就可以求取物体的形状。
线结构光测量系统的研究现状目前，对线结构光测量系统的研究，主要集中在模式识别与标定方法的研究上。
这就需要对CCD 摄像机拍摄的图像进行处理，通过滤噪与二值化，光条中心提取等步骤提取出有用信息后，对信息进行分析，来判断出被测物体的形状与位置。
其中，对滤噪有各种线性与非线性滤波器方法；二值化处理要设计合适的阈值；对光条中心提取这一步有细化法、水平中值法、灰度重心法、阈值法等；对被测物体形状的识别，有基于Hough 变换的圆检测、线检测等方法；标定方法则有直接线性法标定、基于简单三角法的几何标定、基于多幅图像对应点变换的自标定方法、基于非数学的方法如人工神经网络法等。
图像特征提取三大法宝
图像特征提取三大法宝（一）HOG特征1、HOG特征：方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。
它通过计算和统计图像局部区域的梯度方向直方图来构成特征。
Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。
需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。
（1）主要思想：在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。
（本质：梯度的统计信息，而梯度主要存在于边缘的地方）。
（2）具体的实现方法是：首先将图像分成小的连通区域，我们把它叫细胞单元。
然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。
最后把这些直方图组合起来就可以构成特征描述器。
（3）提高性能：把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。
通过这个归一化后，能对光照变化和阴影获得更好的效果。
（4）优点：与其他的特征描述方法相比，HOG有很多优点。
首先，由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。
其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。
因此HOG特征是特别适合于做图像中的人体检测的。
2、HOG特征提取算法的实现过程：大概过程：HOG特征提取方法就是将一个image（你要检测的目标或者扫描窗口）：1）灰度化（将图像看做一个x,y,z（灰度）的三维图像）；2）采用Gamma校正法对输入图像进行颜色空间的标准化（归一化）；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；3）计算图像每个像素的梯度（包括大小和方向）；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
机器视觉原理及应用教程 第5章 线结构光三维测量
5.2 单目线结构光测量原理
5.2.1 激光三角法简介
根据三角形正弦定理可得公式如下:
公式 (a) 公式 (b)
通过公式(a)可以推导出公式(c):
公式 (c)
严谨严格，求实求是
公式 (d)
5.2 单目线结构光测量原理
5.2.2 单目线结构光的光平面标定方法
线结构光标定即求解线激光器投射出的光平面方程的过程，光平面空间方程是获得 被测物体表面上光条中心点相机坐标的前提条件，光平面空间方程的求解精度，直 接对最终视觉系统的测量精度产生影响。
在光平面标定的过程中，将线结构光投射到特制靶标上，已知在世界坐标系下靶 标上的特征点之间的相对关系。在标定的过程中，将线激光发射器固定，并将线 结构光投射至靶标平面上并与特征点重合，通过改变标靶的位姿，可以获得若干 幅标靶图像，利用每幅图像上靶标的特征点，可以获得每个位姿下的相机外参及 特征点的世界坐标，通过获取足够多的特征点进行几何约束。
一个完整的双目视觉系统的基本过程是，首先对左右相机进行标定，得到左右相机的内参数 矩阵和两个相机之间的坐标系转换关系矩阵；然后两相机同时采集图像，分别提取左右像面 的特征点进行立体匹配，最后利用之前标定得到的畸变系数，根据畸变模型，将实际像素坐 标校正为理想像素坐标，再代入模型中计算空间三维坐标进行三维点的重建。本节所使用的 线结构光只是辅助提供测量特征点，激光束经柱面镜形成光条，在扫描物体表面过程中提供 方便测量的特征，且激光条的亮度高，成像之后特征点与背景图像的对比度高，容易从背景 图像中提取出来，图像处理也相对简单。
严谨严格，求实求是
图5-3 Steger算法中提取效果图
5.1 线结构光提取
5.1.2 线结构光中心线提取方法研究