计算机视觉检测技术及其在机械零件检测中的应用_张文景

第33卷第5期　1999年5月上海交通大学学报JO U RN A L O F SHA N GHA I JIA O T O NG U N IV ERSIT YVol.33No.5　M ay 1999　收稿日期:1998-03-16基金项目:上海市科技发展基金资助项目(951111052)作者简介:张文景(1971～),男,博士生. 文章编号:1006-2467(1999)05-0635-04计算机视觉检测技术及其在机械零件检测中的应用张文景,　张文渊,　苏键锋,　许晓鸣(上海交通大学自动化系,上海200030)摘　要:基于计算机视觉检测(A VI)技术在检测系统的智能化、柔性、快速性等方面较接触式检测方法具有更大的优越性,综述了其基本原理和分类以及近年来此方面的研究成果.分析了利用AVI 技术对机械零件进行检测的一般方法和系统构成,并探讨了基于CAD 的AV I 的关键环节.最后对AVI 技术的发展趋势提出了作者的观点.关键词:计算机视觉;计算机视觉检测;计算机辅助设计;机械零件中图分类号:TP 391 文献标识码:AAutomated Visual Inspection and Its Applicationon Inspection of Machined PartsZH A N G Wen -j ing ,　ZH AN G W en -y uan ,　SU J ian -f eng ,　X U X iao -ming Dept.of Automation,Shang hai Jiaotong Univ.,Shanghai 200030,ChinaAbstract :With development of co mputer vision ,automated visual inspection (AV I )has mor e applications in a variety of fields in industry.AVI takes more advantages in intellig ence,flex ibility and speed o f inspec-tio n sy stem than contacted inspection.T he recent achievemens r esearched by internatio nal scholars in the field of AVI w ere surveyed .Principle and classificatio n o f inspection techniques w ere intro duced .T he anal-ysis for g ener al methods and sy stem of AVI o f machined par ts w as presented.Key technolo gy o f AVI based on CAD w as also discussed.Some o pinio ns about development of AVI w ere proposed at last.Key words :com puter vision;autom ated visual inspection(AVI);com puter aided design (CAD);m achine parts 随着CIM S 的推广应用,企业在向柔性化、自动化发展的进程中,提出了对计算机辅助质量(CAQ )系统的需求.目前,计算机辅助检测计划(CAIP)系统已成为CAQ 系统的重要组成部分,它的核心问题是解决如何检测零件.在柔性制造中坐标测量机(CM M )是重要的检测手段,在制造企业中得到广泛的应用.随着柔性制造系统(FM S)的推广,人们对检测系统的智能化、柔性、快速性等方面提出了更高的要求,以适应多品种、小批量生产的需要.计算机视觉技术得到不断发展,由于计算机视觉系统可以快速获取大量信息,且易于同设计信息及加工控制信息集成,用于工况监视、现场监控的计算机视觉系统已广泛地应用在工业、商业等领域[1,2].计算机视觉作为一种检测手段已经越来越引起人们的重视,逐步形成一种新的检测技术——计算机视觉检测(Autom ated Visual Inspectio n ,AVI )技术.本文综合了国内外在AVI 方面的研究成果,总结了利用AVI 技术检测机械零件的一般方法和系统构成,并对视觉系统与CAD系统的集成进行了有益的探讨,提出了发展AVI技术的一些看法.1　AVI技术AVI是一种以计算机视觉方法为基础,综合运用图像处理、精密测量以及模式识别、人工智能等技术的非接触检测方法[3].其基本原理是对由计算机视觉系统得到的被测目标图像进行分析,从而得到所需要的测量信息,并根据已有的先验知识,判断被测目标是否符合规范(即合格或不合格).从80年代开始,AVI系统在美国制造业中广泛应用[1,2],最为广泛的是那些重复性检测相同部件或产品的场合.电子工业是AVI应用最活跃、最为成功的行业,其中印刷电路板(PCB)和集成电路芯片的自动检测已广泛采用AVI技术,其他工业如汽车、木材、纺织和包装等都有各自专用的AVI系统.1.1　视觉检测的分类视觉检测按其所处理的数据类型可分为二值图像、灰度图像、彩色图像和深度图像的视觉检测.另外,还有X射线检测、超声波检测和红外线检测.大部分商业视觉检测系统采用二值图像数据格式,其图像精度要求不高,可减少检测所需的数据量,有助于满足系统速度和成本要求.一般地,二值图像视觉检测系统仅采用简单的检测算法,如计算像素点、边缘检测和模板匹配等[4].二值图像对于检测那些没有表面特征的平面物体或仅用边缘轮廓就可表示出来的物体是足够的.灰度图像视觉检测通常用于检测物体的表面缺陷,如裂缝、磨损等[5],对光照条件要求较高.在工业环境中,由于光照条件差,用灰度图像进行视觉检测的系统很少.彩色图像视觉检测主要用于家具、食品等部门,一般根据阴影或色彩的变化来判断是否存在缺陷.在许多情况下,用二值、灰度或彩色图像进行检测是不现实的,因它们只能检测物体的二维(2D)特征,丢失了大量的三维(3D)信息.若要检测物体的3D特征通常采用深度图像(range m aps o r depth data).深度图像最显著的特征是清晰描述了物体的表面信息.1.2　视觉检测方法M oganti等[6]将PCB视觉检测算法分为基于参考的检测方法、非参考型检测方法和混合检测方法.虽然这些方法目前主要应用于PCB检测,但对其他目标的检测也有借鉴意义.(1)基于参考的视觉检测.该方法采用点对点(或特征对特征)比较,它利用了检测目标的完整知识.这类方法主要有:剪影法、模板匹配法、树法、句法方法和图匹配方法.(2)非参考型检测方法.该方法利用的是待检测目标的一般特性,而不是特定的一个检测目标的知识.它不需要任何参考模式,如果模式不符合设计的规则,就认为不合格或有缺陷,因此也称为设计-规则验证方法.该方法依据工件设计规则判断工件是否有缺陷,无须逐点比较待测工件图像和标准图像.(3)混合检测方法.上述两类方法各有其优缺点,混合检测方法的思想是采两者之长,避两者之短.其典型方法有:一般方法、用边界分析的模式检测、射线匹配算法、形状比较法、圆形模式匹配法等.(4)基于CAD的检测方法.近年来,迅猛发展的CAD/CAM技术为建立物体的几何模型提供了几何描述基础,产生了三维物体几何模型,称为CAD模型.计算机视觉和CAD技术相结合,有着广阔的发展前景[2,7～11].2　机械零件的AVI机械零件的自动检测是制造企业中CAQ系统的一个重要组成部分,是实现企业柔性制造自动化的关键环节.研究机械零件视觉检测首先是把三维物体图像化,即得到二维的平面图像,然后再根据图像去分析和理解三维空间物体[12～14].在大部分机械零件中,直线和圆是构成零件几何元素的基本要素,系统对于各几何元素的测量基本上都可归结到对直线和圆的测量.对于直线与圆(圆弧)的检测,通常采用测量点序列进行最小二乘法拟合以得到直线或圆参数的估计值.对于任意的零件几何元素的检测,M undy[15]和No ble等[16]提出了一种有约束的优化模型: m in f1(x),且满足h(x)=0.其中:f1(x)为实测数据与几何元素模型的最小二乘拟合误差总和;h(x)为元素模型之间所应满足的几何约束关系.在他们的实体模型中,每一个几何元素分别采用独立的参数表示,这样,在他们的优化模型中,至少含有2n个变量和n个约束方程(n为元素实体个数).Chen 等[13,14,17]提出了一种无约束最优化模型:min f2(x).由于该模型采用四个具有全局特征的参数(表示平移、旋转和尺度)来描述数据拟合的误差,大大简化了数据拟合的复杂性.对于最优化模型的求解,一些常用的最优化方法已经得到应用,如最小二乘法[8]和Lagrangian松驰法[15,16]、梯度下降法[13]、非线性最小二乘法和单纯形法[12]等.近年来,遗传算法由于其全局最优的收敛性,已被成功地应用到各种优化问题,Chen等[14,17]将遗传算法应用于无约束最优636 上　海　交　通　大　学　学　报第33卷　化模型中的参数寻优,得到了令人满意的结果.一个完整视觉检测系统包括:图像采集、图像分割、零件识别、模型匹配和决策判断.New man 等[9]描述了利用深度图像进行零件检测的AVI 系统,具有一定的代表性.图1所示为该系统的处理流程.图1　一个典型的AV I 系统Fig.1　A ty pical A V I system3　基于CAD 的AVI基于CAD 的计算机视觉是Bir Bhanu 首次提出的,到目前已成为计算机视觉的研究热点.基于CAD 的AVI 的关键是视觉系统和CAD 数据库的集成,即如何在自动制造环境下利用已有的CAD 模型建立适合于视觉检测的视觉模型,并把CAD 数据作为上层知识生成智能检测规划.(1)视觉模型.基于模型的AVI 最终将面临三维几何模型化的问题,也就是解决如何建立面向视觉的三维物体模型.尽管视觉系统和CAD 系统都依赖于物体的几何模型,但它们在知识表达、数据共享等方面仍得不到统一[2,7,10,11,17].视觉检测要求计算机能从CAD 系统中获取零件精确的数学模型,而这种模型往往要用构成零件几何元素的解析表达式来表示[12～16].当前CAD 系统中零件的模型还不能完全以解析形式表示,而只能以几何元素的特征值(如长度、角度、半径、位置等)表示.因此,一些学者已开始研究如何从CAD 模型提取视觉模型的方法.Chen 等[13,14,17]利用CAD 数据提供的边界特征(包括交点、边、夹角)建立了一个由直线段和圆弧组成的零件剖面图的解析表达式,并由些对检测到的数据点进行拟合.(2)检测规划.随着CIMS 的逐步推广,检测系统和CAD 数据库的集成已成为柔性检测技术发展的必然趋势.CM M 发展到现在已具备了离线编程的功能,人们可以直接利用CAD 系统中零件的模型来生成检测点,并进一步生成检测路径,然后传送到CM M 来自动完成检测任务,即目前较为流行的“基于CAD 的CM M 检测规划生成”[19],这也是将CM M 集成到CIM S 中所要解决的关键技术.同样,视觉检测要实现与CIMS 的集成,也必须建立智能的视觉检测规划,以便控制机器人对零件进行操作,可称之为“基于CAD 的视觉检测规划生成”.Park [10]和M arefat 等[11]在这方面做了一些有益的探讨,提出了视觉规划的模型.他们用CAD 数据库中的边界特征及其几何关系建立了一种智能检测规划,为视觉检测提供了必要的信息.这些信息包括可见特征列表、可能的视角方向和摄像机位置以及在每一个视角和位置上的可见边.为了在CAD 系统和检测系统之间进行有效的数据传递,必须建立统一的数据格式和标准.一种面向CMM 的标准规范目前已经形成,即尺寸测量接口规范(Dim ensio nal M easur ing Inter face Specifica-tion,DMIS)[18].DM IS 的目标是作为一套计算机系统和测量设备之间检测数据双向通信的标准.它提供一套词汇表将检测规程和CAD 系统数据(尺寸、公差等)提供给检测设备以及将检测设备的检测结果传递给接受系统.如何建立面向视觉检测的DMIS 已成为发展基于CAD 的计算机视觉检测技术的一个关键环节.4　AVI 技术展望AVI 技术是一种很有发展前途的自动检测技术,可以实现智能化、柔性、快速和低成本的检测目标,而CIMS 的普及与发展已给基于CAD 的AVI 技术提供了广阔的应用前景.作者认为AVI 技术今后的发展应集中在以下几个方面:(1)实现在线实时检测.使系统可以100%地检测产品,而不像现在所普遍采用的抽样检测.视觉检测执行时间在很大程度上取决于低层图像处理(图像平滑、滤波、分割等)速度,采用快速的图像处理算法、高速CPU 和并行处理器是实现在线视觉检测的有效途径.(2)实现智能化检测.从CAD 系统中提取零件视觉模型与检测信息(包括工件位置与方向、摄像机视角等),选定检测项目、检测点和检测路径,建立智能检测规划,并控制工业机器人抓取零件并放置到合适的位置进行检测.为在CAD 系统和检测系统之间进行有效的数据传递,必须建立一种面向视觉系统的尺寸测量接口规范.由于基于CMM 的检测规划目前正趋于成熟,这对AVI 规划的生成也很有借鉴意义.(3)实现高精度检测.CCD 摄像机的分辨率和637　第5期张文景,等:计算机视觉检测技术及其在机械零件检测中的应用系统误差制约了视觉检测精度的进一步提高,无法适应大尺寸零件的检测.与视觉系统相比,CMM在检测精度和测量空间范围上占有很大优势.可以预见,计算机视觉系统与CM M的集成必将成为视觉检测发展的一种新方向.事实上,基于CM M的视觉检测技术已经受到人们关注[3,18].集成化的CM M 和视觉系统可以利用视觉系统迅速识别零件的形状及其在测量平台上的位置和状态,完成机器坐标系、零件坐标系和摄像机坐标系之间的转换,帮助CMM实现检测路径自动形成与测量结果判断.随着计算机视觉技术自身的成熟和发展,AVI 技术必将在现代和未来制造企业中得到越来越广泛的应用.参考文献:[1]　阮秋琦.图像处理和计算机视觉技术在美国[J].北方交通大学学报,1992,16(3):8～14.[2]　N ewman T S,Jain A K.A sur vey o f auto mated v isualinspection[J].Co mput er Vision and Imag e U nder-st anding,1995,61(2):231～262.[3]　祝世平.大型工件特征点空间坐标视觉检测方法研究[D].哈尔滨:哈尔滨工业大学,1997.[4]　Wu W en-Y en,W ang M a o-Jiun,L ui Chi-M ing.A ut o-mated inspectio n o f pr inted circuit boar ds thr oug hmachine vision[J].Co mput er in I ndust ry,1996,28(2):103～111.[5]　G uglielmi N,G uerr ier i R,M ar st rett a M,et al.High-ly-contr ainted neur al netw or ks w ith applicatio n to v i-sual inspectio n o f machined part s[A].In:IEEE I nt er-nat ional Confer ence on A coustics,Speech,a nd Sig nalPr ocessing[C].M inneapo lis,U SA,1993.629～632.[6]　M og anti M,Er ca l F,Dag li C H,et al.A utom atic PCBinspection algo rithms:a surv ey[J].Computer V isio nand Ima ge U nderstanding,1996,63(2):287～313. [7]　Fly nn P J,Jain A K.CAD-based co mputer vision:fro m CA D mo dels to r elat ional g raphs[J].IEEET r ansactions on Pa tter n A nalysis and M achine I nt el-ligence,1991,13(2):114～132.[8]　M o day ur B R,Shapir o L G.A CA D-based sy st em fo rautomat ed inspection o f machined par ts[A].In:Pr o-ceeding s of the1992IEEE/RJS I nter natio nal Confer-ence on I nt ellig ent Ro botics and Systems[C].R eleighN C,1992.7～10,1231～1238.[9]　N ew man T S,Jain A K.A system fo r3D CA D-basedinspectio n using r ang e im ages[J].P atter n R ecog ni-tion,1995,28(10):1555～1574.[10]　P ark H D,M itchell O R.CA D based planning and ex-ecutio n o f inspect ion[A].I n:Pr oceedings o f t he IEEECo nfer ence on Computer V isio n and Patt ern R ecog ni-tion[C].A nn A r bor,M I,1988.858～863.[11]　M ar efat M,K ashyap R L.Planning fo r inspectionbased on CA D mo dels[A].I n:Pr oceedings o f11thI nter natio nal Confer ence on Pat tern Recog nition[C].D en Hag ue,N etherlands,1992.608～611.[12]　V ent ur a J A,W an W enhua.A ccur ate ma tching oft wo-dimensional shapes using t he minimal tolerancezone er ro r[J].Imag e and Vision Co mput er,1997,15(12):889～899.[13]　Chen J M.V ision-based shape reco gnit ion and analy-sis o f ma chined par ts[J].International Jo urnal ofP ro ductio n Research,1995,33(1):101～135.[14]　Chen J M.Det er mining minmax pr o file er ro rs fo r thecr oss-sect ions o f machined pa rts[J].Inter na tio nalJour nal of Pr oduction R esear ch,1998,36(4):1105～1124.[15]　M undy J,N o ble A,M arinos C,et al.A n o bject-o ri-ented appr oach to t emplate g uided visual inspection[A].In:Pr oceedings o f t he IEEE Confer ence onCo mputer Vision a nd P atter n Recog nition[C],U ni-v ersity of I llinois,U nbana-Champion,I L,1992.386～392.[16]　N oble A,N guyen V D,M ar inos C,et al.T emplateg uided visual inspct ion[A].In:Sandini G.Pr oceed-ing s o f2nd Eur opean Confer ence on Co mputer Vision[C].Sa nta M arg herita L ig ure,Italy,1992.893～901.[17]　Chen Jen-M ing.A genetic-ba sed vision system cr oss-functio nal integ ra tio n in flex ible m anufactur ing:a tu-to rial and applica tio n[J].T he Inter nat ional Jour nalo f Flexible M anufacturing Sy stem,1997,9(4):343～365.[18]　林志航.计算机辅助质量系统[M].北京:机械工业出版社,1997.638 上　海　交　通　大　学　学　报第33卷　。