基于机器视觉的FPC缺陷检测系统
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
㊀2020年㊀第9期
仪表技术与传感器
Instrument㊀Technique㊀and㊀Sensor
2020㊀No.9㊀
基金项目:国家自然科学基金资助项目(51275535)收稿日期:2019-08-22
基于机器视觉的FPC缺陷检测系统
眭石军,廖㊀平
(中南大学机电工程学院,湖南长沙㊀410083)
㊀㊀摘要:针对当前FPC(柔性电路板)缺陷检测中人工目检效率低的问题,基于机器视觉技术设计了一套实时检测系统㊂首先搭建了硬件系统,然后对FPC的4种表面缺陷特征进行了研究,基于Halcon设计了相应的缺陷检测算法,提出了通过模板匹配提取ROI的方法,以及运用图像自乘与高斯线检测来提取折痕,最后基于MFC开发了缺陷实时检测系统㊂实验结果显示,设计的系统检测准确率可达90%以上,且每片FPC检测时间只需0.2s㊂
关键词:机器视觉;FPC;缺陷检测;模板匹配;图像自乘;高斯线检测
中图分类号:TP391㊀㊀㊀文献标识码:A㊀㊀㊀文章编号:1002-1841(2020)09-0064-05
DefectDetectionSystemofFPCBasedonMachineVision
SUIShi⁃jun,LIAOPing
(CollegeofMechanicalandElectricalEngineering,CentralSouthUniversity,Changsha410083,China)Abstract:AimingatthelowefficiencyofmanualvisualinspectioninFPC(flexibleprintedcircuit)defectdetection,areal⁃timedetectionsystembasedonmachinevisiontechnologywasdesigned.Firstly,thehardwaresystemwasbuiltup.FourFPCsur⁃facedefectsfeatureswasrestearched,thecorrespondingalgorithmwasdesignedbasedonHalcon,andthemethodofextracting
ROIbytemplatematchingandextractingcreasebyimageself⁃multiplicationandGaussianline⁃detectionwasproposed.Finally,thereal⁃timedetectionsystembasedonMFCwasdeveloped.Theexperimentalresultsshowthatthesystemcanachievemorethan90%accuracy,andeachFPCdetectiontimecostsonly0.2s.
Keywords:machinevision;FPC;defectdetection;templatematching;imageself⁃multiplication;Gaussianline⁃detection
0㊀引言
FPC(flexibleprintedcircuit)柔性印刷电路,是一
种以有机薄膜为基材,并在其表面敷有能够挠曲的薄铜箔导体以制成的柔性电路板,具有质量轻㊁厚度薄㊁可弯曲㊁所占空间小等特点[1-2]㊂FPC可以在结构上实现三维互连安装,使得电子设备的体积得到有效减少,已经广泛应用于电脑㊁手机㊁LCD显示屏等产品[3-4]㊂与此同时,精密电子设备中对FPC的精度要求也越来越高,产品的质量检测在FPC生产过程中越来越重要㊂
FPC的缺陷检测有电学性能检测以及外观检测
等,前者主要使用探针对FPC进行短路或者断路检查;后者即表面缺陷检测,需要人工借助于显微镜或放大镜进行观察,这种方式比较灵活,但显然效率低下㊁成本过高[5]㊂因此本文基于机器视觉对FPC表面缺陷的检测方法进行了研究,能够有效提取缺陷并进行识别,提高缺陷检测效率[6]㊂
1㊀FPC缺陷检测硬件系统
FPC表面缺陷检测系统的主要硬件结构组成如
图1所示,包括图像采集系统及图像处理系统
㊂
图1㊀FPC表面缺陷检测系统
其中图像采集系统包括工业相机㊁镜头㊁光源及光源控制器,图像处理系统则为PC机,与相机通过千兆以太网进行通信㊂根据视野范围㊁工作距离以及检测精度的要求,对硬件进行选型,其中相机选用大恒的CMOS黑白相机,分辨率为2448像素ˑ2048像素,帧率为20fps;镜头为远心镜头㊂根据缺陷特征需要低角度的环形光源照明,故选用拓视达的零角度环形LED光源㊂
㊀㊀㊀㊀㊀第9期眭石军等:基于机器视觉的FPC缺陷检测系统设计65㊀㊀2㊀基于Halcon的FPC表面缺陷检测
本文所做的工作主要是对FPC的表面缺陷进行
检测,在高精度的电子产品中这些缺陷会严重影响
FPC的性能及其使用寿命㊂Halcon是机器视觉软件,
因其功能全面㊁效率高㊁项目开发周期短等优点,已经
在工业生产中得到了广泛应用[7]㊂
2.1㊀油墨不良㊁版面污染缺陷检测
油墨不良㊁版面污染缺陷如图2所示,由于这两种
缺陷的检测算法相似,可以一起分析
㊂
(a)油墨不良
㊀
(b)版面污染
图2㊀油墨不良与版面污染缺陷
在规则㊁均匀的深色背景下,利用全局的阈值分割进行特征的提取㊂对于一副灰度图像,其上任意一点(x,y)的灰度值为f(x,y),要从背景中提取对象,可以选择一个阈值T,然后进行阈值化分割,若处理后的
图像为g(x,y),则
g(x,y)=1㊀f(x,y)>T
0㊀f(x,y)ɤT{(1)
在图像g(x,y)中标记为1的像素则为提取的对象,标记为0的则成为了背景,这样就实现了最基本的图像分割[8]㊂由于环境㊁设备等因素的影响,采集的图像通常会含有一些噪声,本文使用的滤波方法为中值滤波,对处理椒盐噪声非常有效[9]㊂
对于油墨不良检测设置的灰度阈值范围为[105,149],对于版面污染缺陷检测阈值范围为[5,32]㊂图3为检测版面缺陷时阈值参数设置的灰度直方图(纵轴为像素点数量,横轴为灰度值),其中缺陷的灰度值在[5,32]范围内,像素点较少,而FPC图像主体部分的像素点较多,因此可以将缺陷从图像中分割出来㊂图像经滤波㊁阈值化处理后,由select_shape算子(形状特征选择)即可提取特征点,如图4㊁图5所示㊂注意到FPC金面成像的灰度值与版面污染的缺陷灰度值相似,因此对于版面污染缺陷的提取要使用两次形状选择算子,第二次使用时除去形状规则的金面,即可提取不规则的缺陷㊂
2.2㊀金面污染缺陷检测
FPC板上的金面污染缺陷只存在于FPC板的金面上,缺陷成像如图6所示
㊂
图3㊀FPC
图像灰度直方图
图4㊀
油墨不良缺陷
图5㊀
版面污染缺陷
图6㊀金面污染缺陷
本文提出了一种基于模板匹配来提取图像ROI的方法[10],即先将标准金面图像作为感兴趣区域提取出来作为标准模板,然后再从待测图像中寻找相似区域以提取ROI,如图7矩形区域所示,进行Blob分析就可以有效提取缺陷,如图8所示㊂
可以看到创建的标准模板区域的宽要比金面区域稍大,这是因为如果只选择金面区域,在待测图像中寻找相似区域时可能会找到金面上部的线路区域,或者不完全匹配到金面区域㊂在Halcon中有多种模板匹配的方法,在这里适用的是基于形状和基于相关性的匹配方法,两种方法的性能对比如表1所示㊂
㊀㊀
㊀
㊀
㊀66㊀InstrumentTechniqueandSensor
Sep.2020㊀
图7㊀
金面标准模板区域
图8㊀金面污染缺陷检测表1㊀两种匹配方法的性能对比
匹配方法创建模板时间(平均)/ms
匹配时间(平均)
/ms匹配成功率
/%基于形状67030100基于相关性
3400
15
80
㊀㊀基于相关性的匹配方法创建模板的时间较长,但是平均匹配时间很短,而基于形状的匹配时间虽然需要30ms,
但是匹配成功率高,因此选用基于形状的匹配方法㊂2.3㊀版面皱折缺陷检测
版面皱折缺陷在图像中并不明显,其灰度值与背景灰度值非常相近,所以运用全局检测很难将皱折缺陷提取出来㊂考虑使用局部检测,观察FPC板背面可以发现,如图9(a)所示,由于制造工艺的限制,背胶并不是一次成型的,故留有4条间隙,而间隙处一般就是发生皱折的地方㊂因此可以将间隙处的FPC作为感兴趣区域进行处理,如图9(b)所示,这样就不会被图像其他区域所干扰,有效提高检测精度
㊂
(a)FPC
背胶(b)提取ROI(矩形区域)
图9㊀版面皱折缺陷
在Halcon中提取ROI使用较多的方法是Blob分析逼近以及手动在图像中画矩形或者画其他形状来提取㊂在这里由于图像缺陷处的特征不明显,所以要通过画矩形区域来创建ROI㊂但是在自动化检测过程中就需要图像能够实现自动分割出ROI,那么可以先创建标准模板图像,在模板中手动创建ROI,再将待测图像与标准图像通过刚性的仿射变换对准,就可以自
动在待测图像中创建ROI图像,程序流程如图10所示
㊂
图10㊀版面皱折检测流程图
提高图像对比度的方法有很多种,图11为现存几种常用方法的对比㊂在Halcon中增强对比度使用较多的是emphasize算子,但是处理效果并不好㊂灰度拉伸与直方图均衡化是图像处理中比较常用的增强对比度的方法,虽然增强了缺陷特征,但同样也加强了图像中的干扰部分如电路等,使得后续检测结果不理想
㊂
(a)原图像
(ROI)(b)emphasize
算子
(c)
灰度拉伸(d)直方图均衡化
图11㊀增强对比度的效果对比
本文根据FPC缺陷特征提出了一种新的增强图
㊀㊀
㊀
㊀
㊀第9期眭石军等:基于机器视觉的FPC缺陷检测系统设计
67㊀㊀
像对比度的方法,即通过图像自乘来提高图像对比度㊂首先将图像灰度值反转,即:
g(x,y)=255-f(x,y)
(2)
然后再进行图像自乘操作,在Halcon中两图像相
乘的算子为mult_image,可以用公式表示为
g(x,y)=g1ˑg2ˑMult+Add
(3)
在程序中令g1等于g2,并等于灰度值反转后的图
像,取Mult=0.006,Add=-50,图像处理后如图12所示
㊂
图12㊀利用图像自乘增强对比度
但是即使提高了图像对比度,缺陷特征仍不明显,使用canny等边缘检测算子仍无法有效提取缺陷,故考虑使用Gauss线检测[11]的方法来提取特征㊂高斯线条提取算法是由Steger
[12]
在1996年提出的,算
法先计算图像与一个高斯掩膜卷积后的偏导数,得到各个像素点二阶泰勒展开式的系数,然后通过二阶泰勒多项求得线条的中心点,实现以亚像素精度确定线条的位置[13-14]㊂
在Halcon中Gauss线条检测算子为lines_gauss
算子,其在使用前要先确定所检测线条的模型,即LineModel,主要有三种形式:条型bar_shaped㊁抛物线型parabolic以及高斯线型gaussian,如图13所示㊂条型对于大多数线条的提取都有比较好的效果,但是不适于提取背光照明的管状线型㊂抛物线型一般在线条十分清晰的情况下选用,高斯线型一般应用于线条边缘不清楚的场合㊂
lines_gausss算子在处理过程中先对图像进行高
斯平滑,由参数σ来确定所需要的平滑量㊂算子在提取线条过程中使用了滞后阈值算法,即双阈值算法,这样在提取到线条的中心点后能够很快地将其连接成线[15]㊂故需要确定高阈值High和低阈值Low,这两个阈值要通过所提取对象的对比度来确定,若设线条的高对比度与低对比度分别为contrastHigh和cont⁃rastLow,那么高㊁
低阈值的计算公式为
(a)bar_shaped
(b)parabolic
(c)gaussian
图13㊀LineModel示意图
HighLow
=-2ˑ
contrastHighcontrastLow
ˑ
w
2πˑσ
3
ˑe
-
w22σ2
(4)
式中w为所检测线条的最大线宽㊂
对于高于High的点则被认为是线条上的点,低于Low的点则会立即舍弃,而介于Low和High之间的点,若这些点与已经被认为是线条上的点能够通过某一通路相连,并且通路距离小于w,那么这些点才会被
接受㊂
最终检测到的版面皱折缺陷如图14所示㊂
图14㊀版面皱折缺陷
3㊀FPC缺陷检测系统界面设计
系统使用Halcon联合MFC进行设计,在图像处理程序设计完成后,从Halcon将程序导出为C/C++代码㊂系统开发环境为VisualStudio2015,并基于相机的SDK进行开发,可大大缩短开发周期,界面设计如图15所示㊂4㊀实验与分析
将开发的检测系统对提供的80个样本进行检测,检测结果如表2所示㊂
由表2检测结果可以看到,所设计的检测系统对于这几种缺陷的识别有较高的准确率,但是油墨不良缺陷的准确率只有80%,这是因为图像中噪声与缺陷特征相似导致干扰噪声并不能完全去除,且实验无法
㊀㊀
㊀
㊀
㊀68㊀InstrumentTechniqueandSensor
Sep.2020㊀
图15㊀检测系统操作界面
保证无尘环境也会对检测有影响㊂实验的检测速度都在0.2s每片左右,而由于皱折检测算法较复杂所以检测速度稍慢,但也满足生产要求㊂
表2㊀检测结果
缺陷类别样品总数合格品残次品
(缺陷数)正确
识别数
准确率/%检测速度/(s㊃片-1)油墨不良2021816800.21版面污染20416201000.23金面污染25101522880.17版面皱折
15
5
10
14
93
0.43
5㊀结束语
本文基于机器视觉技术,对FPC的表面缺陷特征进行了研究,并基于Halcon研究了缺陷检测算法㊂能够对FPC上的油墨不良㊁污染等缺陷进行有效检测,对金面污染提出了一种基于模板匹配提取ROI的方法,有效提高了检测精度㊂在缺陷不明显的情况下,提出了一种通过图像自乘来提高图像对比度的方法,运用Gauss线检测实现了对表面皱折的有效提取㊂最后基于MFC开发了缺陷实时检测系统㊂实验结果表明,本文算法能够较好地识别FPC的表面缺陷㊂参考文献:
[1]㊀黄杰贤,李迪,黄志平,等.FPC焊盘表面缺陷检测研究[J].激光与红外,2014,44(6):692-696.
[2]㊀於文欣,陈广峰.基于机器视觉的FPC表面缺陷智能检测
系统[J].仪器仪表装置,2017,32(7):30-33.[3]㊀张家亮.全球挠性印制板的市场及其技术研究[J].印制电路信息,2011(10):7-15.
[4]㊀张宜生,彭毅,梁书云,等.基于图像比对技术的柔性印刷
电路板检测系统[J].计算机工程与应用,2005,41(2):
220-222.
[5]㊀李晟阳.基于机器视觉的印刷电路板缺陷检测方法研究[D].洛阳:河南科技大学,2017.
[6]㊀郭联金,朱日龙,杨国卿,等.浅谈机器视觉技术在自动化
制造业中的应用[J].机电一体化,2015(8):63-67.
[7]㊀李成鹏,范彦斌,胡青春.基于HALCON的PCB光学定位
点的3种识别方法及比较[J].佛山科学技术学院学报:
自然科学版,2010,28(2):29-33.
[8]㊀冈萨雷斯,温茨.数字图像处理[M].阮秋琦,译.2版.北
京:电子工业出版社,2007.
[9]㊀宁媛,李皖.图像去噪的几种方法分析比较[J].贵州工业
大学学报:自然科学版,2005,34(4):63-66.
[10]㊀高军,李学伟,张建,等.基于模板匹配的图像配准算法[J].西安交通大学学报,2007,41(3):307-311.[11]㊀苑玮琦,朱蕊.基于Gauss线检测的雪糕棒浅劈裂缺陷
识别[J].电子世界,2018(11):5-7.
[12]㊀STEGERC.Extractionofcurvedlinesfromimages[C].Pro⁃
ceedingofthe13thInternationalConferenceonPattern
Recognition,Vienna:1996(2):261-255.[13]㊀冯瑶,刘宁,冯亚崇.一种针对造影图像中血管狭窄的自动
识别技术[J].生物医学工程学杂志,2013,30(2):380-386.[14]㊀王巧妮,杨远洪.基于Steger图像算法的光纤布拉格光栅寻峰技术[J].光学学报,2014,32(8):1-6.[15]㊀黄林江.面向产品在线质检的图像拼接与柱面缺陷检测方法研究[D].武汉:华中科技大学,2017.
作者简介:眭石军(1996 ),硕士研究生,主要研究方向为图像
处理㊁视觉检测㊂E⁃mail:suishijun@foxmail.com廖平(1964 ),教授,博士生导师,主要研究方向为计算机检测技术㊁智能算法与控制㊂E⁃mail:liaoping0@163.com
(上接第45页)
[11]㊀SamsungElectronicsCO,LTD.K9XXG08UXMPreliminary
FLASHMEMORYProductSpecification[Z].GyeonggiProvince:2005.
[12]㊀胡陈君.弹载小型抗高过载微惯性测量系统设计[D].太
原:中北大学,2015.
[13]㊀廉佳琦,罗丰,吴顺君.基于USB2.0高速大容量固态存储系
统的设计与实现[J].现代电子技术,2007(6):38-40;43.
作者简介:高诗尧(1995 ),硕士研究生,主要研究领域为基于
FPGA的高速采集与无线传输㊂E⁃mail:184****3024@163.com
李杰(1976 ),教授,博士生导师,主要研究方向为微系统集成理论与技术㊁惯性感知与控制技术㊁组合导航理论㊁计算几何及智能信息处理㊂E⁃mail:Lijie@nuc.edu.cn。