基于OpenCV的机器视觉尺寸测量研究

基于OpenCV的机器视觉尺寸测量研究
郭瑞峰;袁超峰;杨柳;彭光宇
【摘要】Through the study of laser ranging sensor and machine vision using laser ranging sensor, vision sensor, based on a combination of methods, this paper proposes a different in structured light and binocular size measurement of more simple and effective new method and new technology. Firstly, the optimal filtering method is selected by comparing the gray histogram, then the edge detection is performed by the laser ranging sensor and the monocular vision sensor. The laser ranging sensor realizes the fast ranging and positioning of the sampled targets, and calculates the relative position between the sampling manipulator and the target vehicle. The vision sensor can accurately identify the size and location of the car, which provides the basis for the automatic sampling of coal sampling manipulator. Detection goal is pull coal freight train, for the coal sampling industry to bring more simple, effective and accurate target location identification system and methods.%通过对激光测距传感器与机器视觉的研究利用激光测距传感器、视觉传感器相结合的方法,提出了一种不同于结构光和双目尺寸测量的更为简单有效的新方法和新技术.首先对灰度直方图比较分析选取了最佳滤波方法,然后通过激光测距传感器测距和单目视觉传感器进行边缘的精确检测.激光测距传感器实现了对采样目标车厢进行快速测距定位,计算出采样机械手与目标车辆的相对位置关系.视觉传感器准确识别车厢尺寸及定位,为煤炭采样机械手自动采样提供了实现基础.检测目标是拉煤货运火车车厢,给煤炭采样行业带来更为简单有效,准确的目标定位的识别系统和方法.
【期刊名称】《计算机工程与应用》
【年(卷),期】2017(053)009
【总页数】5页(P253-257)
【关键词】机器视觉;OpenCV;边缘检测;尺寸测量
【作者】郭瑞峰;袁超峰;杨柳;彭光宇
【作者单位】西安建筑科技大学机电工程学院,西安 710055;西安建筑科技大学机电工程学院,西安 710055;西安建筑科技大学机电工程学院,西安 710055;西安建筑科技大学机电工程学院,西安 710055
【正文语种】中文
【中图分类】TP246.62
GUO Ruifeng,YUAN Chaofeng,YANG Liu,et al.
Computer Engineering andApplications,2017,53（9）：253-257.
煤炭交易环节中，供货方提供的数以万吨的煤炭本应该表层质量与内部质量完全一致。

然而，市场上交易的燃煤来源广，不同批次和产地的燃煤质量差异很大，再加上部分煤炭销售单位出于商业利益考虑，在煤炭中掺杂使假、以次充好。

因此，商品煤炭采样检测，是煤炭交易中必不可少的重要环节。

为了公正地评判煤炭的品质，需按规定的、科学合理的方法对煤炭进行采样。

由工人爬上煤堆或车厢随机铲取一份表层煤样的方法费力费时，又不能准确地代表商品煤的质量，所以迫切需要以自动化设备和可靠的理论依据替代人工煤炭采样。

在智能化的采样过程中，车厢的识别和跟踪是完成自动采样的关键，而车厢的三维尺寸测量又是车厢识别和跟踪的核心。

传统的双目或者多目的几何尺寸测量系统，
由于相机不能保证完全同步，测量精度较低，同时调整和标定困难，实用性较差[1]。

本文采用机器视觉的方法，通过设计一套带有激光测距传感器的视觉系统，结合基于多边形拟合和改进的边缘测量算法，提出了一种单相机火车车厢单位尺寸测量方法。

机器视觉具有测量精度高、响应速度快、全场测试等特点[1-3]。

该方法采用
单相机取代传统的多相机测量方法[4-10]，有效地简化了测量原理、复杂算法的运算和测量结构，同时可以消除多个相机采集图像不同步而导致的测量误差，节省运算时间以达到实时性的目的。

目前较为先进的采样设备是多关节机械手，也称为煤炭采样机械手（图1所示）。

采样机械手可以固定于地面或装于汽车底盘上，论文针对煤炭采样机器人提出了车体识别系统。

测量系统硬件平台如图1所示。

如图2所示，基于机器视觉的三维尺寸硬件系统主要由3个激光测距传感器、1
个CMOS工业相机、固定支架以及图像采集和存储系统组成。

在图2所示的三维测量系统中，视觉传感器为深圳市度申科技有限公司，SENSOR型号MT9M001的相机，该相机是具有130万像素，可选软硬件触发及逐行扫描模式的CMOS相机，像元尺寸为5.2 μm×5.2 μm。

连续采集模式（ERS）帧率30 FPS，另外该相机通过USB接口与计算机相连，能够实现图像的自动储存。

图中激光测距传感器为英国真尚有集团的激光相位测距传感器。

型号为ZDSP02，响应速度高达50 Hz，重复精度≤0.5 mm，测量范围0.1～30 m。

具有测量范围广，响应时间短，有同步输入端，可多个传感器同步测量的特点。

图2中3个激光测距传感器和1个视觉传感器用固定支架相连。

其中激光测距传
感器A和激光传感器B在水平方向上垂直且两激光测距传感器之间的距离固定不
变为20 cm。

同样，激光测距传感器B和激光传感器C在竖直方向上垂直且两激
光测距传感器之间的距离固定不变为20 cm。

视觉传感器在激光测距传感器A和
激光测距传感器B的连线中点位置。

测量原理如图3所示。

激光测距传感器J的激光束的中心落点在摄像头的视域中是最亮的点。

激光束照射到摄像头视域中的跟踪目标上，那么摄像头可以捕捉到这个点B。

同样激光测距传感器K照射到摄像头视域中的跟踪目标上，摄像头捕捉到C 点。

通过简单的图像处理的方法，可以在这帧图像中找到激光束照射形成的最亮的两个点G和F，同时可以计算出视觉传感器X轴方向上A点和B点的落点之间像
素的个数即F点与G点间的像素个数n。

则有：
两个测距传感器之间的距离JK为已知标定量，所以有：
激光测距传感器J的测量值为BJ，激光测距传感器K的测量值为CK，设目标物体上的两点B和C点之间的距离为BC，则有：
边缘点A点和D点在视觉传感器中的成像点分别为H点和E点，设H点和E点
之间的距离为HE，所以有：
HE=n2 pixel
设A点与D点之间的距离为AD，因此有：
测量系统图像处理算法流程如图4所示，图像采集后在OpenCV平台上编制图像处理程序，自动完成数字图像的处理与分析。

5.1 图像滤波
图像在获取和传输过程中常常会受到噪声的污染使图像质量降低。

由于降质图像在获取的过程中受各种不同因素的影响，如环境条件、传感器元器件自身质量、传输信道的干扰以及量化等，因此所引入的噪声类型多种多样，如高斯噪声、椒盐噪声、斑点噪声等[11-12]。

这时候需要对图像进行滤波处理[13]。

目前大多数数字图像系统中，输入图像都是采用先冻结再扫描方式将多维图像变成一维电信号，再对其进行处理、存储、传输等加工变换。

最后往往还要组成多维图
像信号，而图像噪声也将同样受到这样的分解和合成[14]。

最终对图像的分析处理造成严重影响，所以对图像噪声的精确滤波处理变得尤为重要。

原图像如图5所示。

而直方图反映数字图像中每一灰度级与其出现频数的关系，它包含丰富的图像信息，反映图像像素灰度的分布情况。

在直方图中，横坐标表示灰度级，一般用r表示，r∈[0,255]，纵坐标表示具有该灰度级的像素个数或出现这个灰度级的概率。

椒盐噪声的直方图特征，满足以下特点即认为是椒盐噪声：有三个波峰（且二个波峰近似为纯黑和纯白像素个数形成），且绝大多数灰度值的像素个数趋于零。

而对于高斯噪声和斑点噪声两种类型的噪声识别问题可归结为直方图曲线形状的判断问题，当直方图典型形状近似于水平直线时，判定为斑点噪声，否则为高斯噪声[11]。

图5原图像的灰度直方图如图6所示，从图中可以判断出图像的噪声类型为椒盐
噪声。

椒盐噪声具有随机性、离散性，所以对图像进行均值滤波，经滤波后的效果图如图7所示。

5.2 增强
灰度图像的对比度增强直方图均衡化是图像增强技术的一种，目的是提高图像整体或局部的反差程度，使得图像的某些细节更可见，从而改善图像的分割效果[15]。

直方图均衡化步骤：
（1）计算输入图像的直方图H。

图像的直方图H如图7所示，从图中可以看出均值滤波很好地滤除了噪声。

横坐
标表示图像的灰度级，纵坐标表示像素的个数。

（2）进行直方图归一化，直方图的组距的和为255。

（3）计算直方图积分：
（4）以H′作为查询表进行图像变换。

均衡化后的原始图像如图8所示。

均衡化直方图如图9所示。

通过以上步骤的处理后，可以进一步保证输出图像的灰度均值调整到输入图像灰度均值附近，增强图像对比度。

5.3 边缘检测
传统Canny算法利用中心点2×2邻域内一阶有限差分的均值来计算该点的梯度幅值，由于采用相对较少的点，所以对噪声较敏感，且容易检测出假S边缘或丢失一些真实边缘的细节部分[16]。

Canny算子的沿x方向和y方向的梯度表达式分别如下式：
Canny算子的水平方向和垂直方向的一阶微分卷积模板分别为：
Sobel算子在空间上易于实现，是边缘检测算子中常用的算子之一。

利用像素点上下、左右邻点的灰度加权平均的算法，根据在边缘处达到极大值的原理进行检测，对噪声具有平滑作用，并且提供了较为精确的边缘方向信息。

但是由于采取了局部平均，会检测出很多伪边缘，得到的边缘较粗且定位精度不够高[17]。

Sobel算子的沿x方向和y方向的梯度表达式分别如下式：
Sobel算子水平方向和垂直方向的卷积模板为：
在设计的单相机尺寸测量系统中，由于运煤火车厢的边缘信息比较复杂，用传统的边缘检测算法容易检测出假边缘伪边缘，定位不准确等。

因此需要用有效的新的算法进行边缘检测。

本文运用了改进的边缘检测算法，综合了Canny算子和Sobel算子的优点。

弥补了Canny算子对噪声敏感，且容易检测出假边缘或丢失一些真实边缘的缺点。

解决了Sobel算子容易检测出很多伪边缘，得到的边缘较粗且定位精度不够高的缺点。

检测算法原理：
算子最终检测出来的边缘为Canny算子检测出的边缘 fx(x,y)和Sobel算子检测出
的边缘gx(x,y)的交集。

边缘检测效果如图10所示，从图中可以看出8个直角点，其中4个外凸点，4个内凹点。

对图像边缘进行角点检测，直角点是梯度幅值急剧变化点，外凸点为正值，内凹点为负值。

取4个外凸点作为端点，绘制矩形轮廓图如图11所示。

5.4 尺寸测量
测量火车车厢时首先采集轮廓的四个角点，然后根据设计的测量算法进行计算分析得出测量结果。

本文分别对尺寸为13 000 mm×2 900 mm×2 000 mm的车厢
和尺寸为10 300 mm×2 890 mm×2 375 mm的车厢各进行了7次测量，测量
结果如表1，表2所示。

从表1、表2可以分别计算出13 000 mm×2 900 mm× 2000mm车厢尺寸偏差如表3所示，10300mm×2890mm× 2 375 mm车厢尺寸偏差如表4所示。

从表3、表4可以看出火车车厢三维扫描定位系统的识别偏差＜95 mm。

（1）本文提出了一种基于机器视觉的单相机火车车厢三维尺寸测量方法。

在该方法中采用了单相机，设计了一套由激光测距传感器组成的视觉测量系统，实现了单目相机火车厢的尺寸测量。

（2）本文运用了改进的边缘检测算法，综合了Canny算子和Sobel算子的优点。

弥补了Canny算子对噪声敏感，且容易检测出假边缘或丢失一些真实边缘的缺点。

解决了Sobel算子容易检测出很多伪边缘，得到的边缘较粗且定位精度不够高的
缺点。

（3）本文最大创新点在于改变了煤炭采样机械手现有的控制模式，提出了基于三维扫描定位技术的高速采样工作模式，破解了现有设备无法突破的采样效率低下和实时性较低的难题，使采样机械手的采样过程更加智能化——动态适应现场条件。

【相关文献】
[1]卢清华，许重川，王华，等.基于机器视觉的大幅面陶瓷地砖尺寸测量研究[J].光学学报，2013（3）.
[2]张旭苹，汪家其，张益昕，等.大尺度三维几何尺寸立体视觉测量系统实现[J].光学学报，2012（3）.
[3]袁江涛，杨立，王小川，等.基于机器视觉的细水雾液滴尺寸测量与分析[J].光学学报，2009（10）.
[4]肖永亮，苏显渝，陈文静.基于全局位姿评估的条纹反向视觉测量[J].中国激光，2011（8）：212-218.
[5]李亚标，王宝光，姜希.基于线阵CCD的瓷砖尺寸在线检测系统的研究[J].传感器与微系统，2010（1）：27-29.
[6]杨博文，张丽艳，叶南，等.面向大视场视觉测量的摄像机标定技术[J].光学学报，2012（9）：166-174.
[7]叶南，富帅，杨博文，等.大空间视觉测量的多靶点亮度自适应调节技术[J].电子测量技术，2013（7）：87-92.
[8]冯萍，魏振忠.光笔式大视场三维视觉测量系统[J].光学精密工程，2013（9）：2217-2224.
[9]刘建伟，梁晋，梁新合，等.大尺寸工业视觉测量系统[J].光学精密工程，2010（1）：126-134.
[10]富帅，张丽艳，叶南，等.面向大型工件现场测量的光笔式视觉测量系统[J].仪器仪表学报，2015（2）：430-438.
[11]丁生荣，马苗.基于直方图信息灰色关联的图像噪声类型识别方法[J].陕西师范大学学报：自然科学版，2011（1）：18-22.
[12]Gonzalez R C，Woods R E.Digital image processing[M].阮秋琦，阮宇智，译.北京：电子工业出版社，2003：176-197.
[13]冈萨雷斯，伍兹.数字图像处理[M].阮秋琦，译.3版.北京：电子工业出版社，2011.
[14]谭永杰，曹彦，王永亮.图像噪声类型识别研究[J].周口师范学院学报，2013（5）：129-131.
[15]陈永亮.灰度图像的直方图均衡化处理研究[D].合肥：安徽大学，2014.
[16]金刚.自适应Canny算法研究及其在图像边缘检测中的应用[D].杭州：浙江大学，2009.
[17]张玲艳.基于Canny理论的自适应边缘检测方法研究[D].西安：西北大学，2009.。