基于HALCON的机器视觉系统的研究与实现
基于Halcon的工业机器人手眼标定方法研究
基于Halcon 的工业机器人手眼标定方法研究Research on hand-eye calibration method of industrial robot based on halcon田春林1，陈李博1，马国庆1，侯茂盛2，刘 涛2TIAN Chun-lin 1, CHEN Li-bo 1, MA Guo-qing 1, HOU Mao-sheng 2, LIU Tao 2（1.长春理工大学 机电工程学院，2.长春理工大学 光电工程学院，长春 130022）摘 要：机器人手眼标定是机器人视觉技术的重要研究内容，基于Halcon所提供的标定板，充分考虑相机镜头径向畸变对手眼标定的影响，设计一种全新的、高精度、高效率的Eye-in-Hand手眼标定方法，该方法在标定了相机内外参数的同时也建立了相机图像坐标系与机器人基坐标系之间的相互转换关系，并通过实验进行了验证，其平移误差在1mm，旋转误差在1。
以内。
实验结果表明该方法具有较高的标定效率与较高的标定精度，可广泛应用于工业机器人视觉系统手眼标定中。
关键词：工业机器人；相机标定；Eye-in-Hand；机器视觉中图分类号：TP242.2 文献标识码：A 文章编号：1009-0134(2018)03-0016-04收稿日期：2017-10-10基金项目：国家高技术研究发展计划（863计划）资助项目（2015AA7060112）；吉林省科技发展计划资助项目 （20160204016GX ）；吉林省省级产业创新专项资金资助项目（2016C088）；吉林省教育厅“十三五”科学 技术项目（JJKH20170626KJ ）；长春理工大学青年科学基金（XQNJJ-2016-04）作者简介：田春林（1972 -），男，吉林人，博士研究生，研究方向为精密、超精密加工和检测及装备。
0 引言随着现代生产的精密化、智能化，无人智能工厂对机器人视觉的依赖程度越来越高，尤其是在航空航天和汽车制造领域中的焊接与装配，物流领域中的码垛、分拣，工业2D 、3D 自动化检测等应用中，机器人视觉比比皆是。
halcon机器视觉的生活中应用3000字论文
halcon机器视觉的生活中应用3000字论文那么，那么，现在，解决halcon机器视觉的生活中应用3000字论文的问题，是非常非常重要的。
所以，那么，从这个角度来看，这种事实对本人来说意义重大，相信对这个世界也是有一定意义的。
我们不得不面对一个非常尴尬的事实，那就是，这种事实对本人来说意义重大，相信对这个世界也是有一定意义的。
生活中，若halcon机器视觉的生活中应用3000字论文出现了，我们就不得不考虑它出现了的事实。
既然如何，现在，解决halcon机器视觉的生活中应用3000字论文的问题，是非常非常重要的。
所以，带着这些问题，我们来审视一下halcon机器视觉的生活中应用3000字论文。
我认为，总结的来说，这种事实对本人来说意义重大，相信对这个世界也是有一定意义的。
每个人都不得不面对这些问题。
在面对这种问题时，所谓halcon机器视觉的生活中应用3000字论文，关键是halcon机器视觉的生活中应用3000字论文需要如何写。
halcon机器视觉的生活中应用3000字论文因何而发生？这样看来，查尔斯·史考伯曾说过这样一句话，一个人几乎可以在任何他怀有无限热忱的事情上成功。
这似乎解答了我的疑惑。
要想清楚，halcon 机器视觉的生活中应用3000字论文，到底是一种怎么样的存在。
要想清楚，halcon机器视觉的生活中应用3000字论文，到底是一种怎么样的存在。
halcon机器视觉的生活中应用3000字论文，发生了会如何，不发生又会如何。
halcon机器视觉的生活中应用3000字论文，发生了会如何，不发生又会如何。
这样看来，我们不得不面对一个非常尴尬的事实，那就是， halcon机器视觉的生活中应用3000字论文，到底应该如何实现。
要想清楚，halcon机器视觉的生活中应用3000字论文，到底是一种怎么样的存在。
既然如此，现在，解决halcon机器视觉的生活中应用3000字论文的问题，是非常非常重要的。
基于HALCON的集装箱箱号自动识别系统的研究党琳炜
基于HALCON的集装箱箱号自动识别系统的研究党琳炜发布时间：2023-05-27T07:25:30.758Z 来源：《中国科技信息》2023年6期作者：党琳炜[导读] 随着物流行业的发展，集装箱的运输与管理显得越来越重要。
如何提升港口的集装箱吞吐量成为一个亟待解决的问题。
由于传统人工凭借肉眼辨识集装箱箱号，容易受到环境因素以及人为因素的影响，识别错误率较高，识别效果不稳定。
上海工程技术大学机械与汽车工程学院上海松江区 200335摘要：随着物流行业的发展，集装箱的运输与管理显得越来越重要。
如何提升港口的集装箱吞吐量成为一个亟待解决的问题。
由于传统人工凭借肉眼辨识集装箱箱号，容易受到环境因素以及人为因素的影响，识别错误率较高，识别效果不稳定。
所以，对集装箱箱号自动识别系统进行研究，可以使其代替传统人工识别，大大提高了识别的速度和识别准确率，避免了外界因素对识别结果产生的影响，从根本上提高了港口的工作效率。
本文介绍了基于HALCON机器视觉软件针对于集装箱箱号识别图像处理的关键技术，包括灰度值调整、字符分割、训练OCR和识别对象。
关键词：集装箱箱号；HALCON；字符分割；OCR一、引言随着疫情逐渐被平复，各个码头的工作都慢慢的恢复正常，港口行业也逐渐开始忙碌起来，而在港口，集装箱无疑是平时接触最多的东西，集装箱箱号作为集装箱唯一的ID标识，在其各个运输和使用环节中都需要被记录，集装箱箱号的识别手段主要有人工方式、OCR （Optical Character Recognition，光学字符识别）方式和其他信息辅助识别方式[1]。
而寻常的人工识别方式不仅费时费力，并且受天气、环境、光线等影响，其失误率也是很高的，因此人工检查集装箱箱号的工作方式的效率可能跟不上要求。
本文希望通过借助HALCON机器视觉软件中的图像处理识别功能以及丰富的工具库来实现对于集装箱箱号的自动识别，能够在短时间内识别集装箱箱号的图像，大大提高识别的效率。
基于HALCON的双目立体视觉系统实现
因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得图5 校正后的双目立体视觉系统1．3 双目立体视觉系统标定摄像机内参数的标定和单目视觉系统标定一致，双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数R和T（即两个摄像机之间的位置关系，R和T分别为旋转矩阵和平移向量）。
一般方法是采用标准的2D或3D精密靶标，通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数。
具体的标定过程如下:1、将标定板放置在一个适当的位置，使它能够在两个摄像机中均可以完全成像。
通过标定确定两个摄像机的内部参数以及他们的外部参数（R1、T1与R2、T2），则R1、T1表示左摄像机与世界坐标系的相对位置，R2、T2表示右摄像机与世界坐标系的相对位置。
2、假定空间中任意一点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为xw、x1、x2，则:消去xw，得到: 两个摄像机之间的位置关系R、T可以用以下关系式表示:1．4 双目立体视觉中的对应点匹配由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上，因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题。
然而，对于实际的立体图像对，求解对应问题极富挑战性，可以说是双目立体视觉中最困难的一步。
为了能够增加匹配结果的准确性以及匹配算法的速度，在匹配过程中通常会加入下列几种约束:（1）极线约束。
在此约束下，匹配点已经位于两副图像中相应的极线上。
（2）唯一性约束。
两副图像中的对应的匹配点应该有且仅有一个。
（3）视差连续性约束。
除了遮挡区域和视差不连续区域外，视差的变化都是平滑的。
（4）顺序一致性约束。
位于一副图像极线上的系列点，在另一幅图像中极线上有相同的顺序。
图像匹配的方法有基于图像灰度（区域）的匹配、基于图像特征的匹配和基于解释的匹配或者多种方法结合的匹配。
二．使用HALCON进行双目立体视觉测量本节以电路板高度测量为例，讲述在HALCON中如何方便快捷地实现高效双目立体视觉测量（图像为640*480）。
Halcon机器视觉算法原理与编程实战
不断发展的领域，需要我们不断学习和探索新的算法和技 术。”
精彩摘录
“通过阅读这本书，你将学习到机器视觉的基本原理、算法和编程技巧，并 掌握一些常用的机器视觉工具和库的使用方法。”
精彩摘录
这些摘录展示了《Halcon机器视觉算法原理与编程实战》这本书的全面性和 实用性。这本书不仅介绍了机器视觉的基本概念和原理，还详细介绍了各种机器 视觉算法和技术，以及如何使用它们来解决实际问题。这本书还提供了大量的实 际案例和编程示例，以帮助读者更好地理解和应用所学知识。无论是初学者还是 专业人士，都可以从这本书中受益匪浅。
阅读感受
当然，这本书也有一些需要改进的地方。例如，书中的代码示例和实验数据 都是用Halcon软件实现的，对于不熟悉Halcon软件的读者来说可能会有一定的学 习难度。书中对于某些算法的讲解还不够详细，需要读者进一步查阅相关资料进 行学习和理解。
阅读感受
《Halcon机器视觉算法原理与编程实战》是一本非常实用的机器视觉算法和 编程参考书籍，适合于从事机器视觉领域的开发人员和技术人员阅读。通过阅读 这本书，可以深入了解机器视觉算法和编程的基础知识，学习如何使用Halcon软 件进行机器视觉应用开发，同时还可以了解一些高级的机器视觉算法和应用案例。 虽然这本书还存在一些不足之处，但仍然是一本非常值得推荐的机器视觉算法和 编程参考书籍。
目录分析
在实战篇中，第八章至第十章分别介绍了三个具体的机器视觉应用案例。这 些案例涵盖了工业检测、人脸识别和自动化装配等领域，通过这些案例，读者可 以更好地了解Halcon软件在实际应用中的使用方法和技巧。
目录分析
本书还提供了附录和
作者简介
作者简介
这是《Halcon机器视觉算法原理与编程实战》的读书笔记，暂无该书作者的介绍。
基于HALCON的机器视觉系统的研究与实现
基于HALCON的机器视觉系统的研究与实现一、引言机器视觉是一种将图像处理和分析技术与计算机视觉相结合的技术，用于使计算机具备对物体进行辨识、判别、分析和认知的能力。
HALCON （High-Level-Application-Programming-Interface-C-Library-Object-Navigator）是一种功能强大的机器视觉库，广泛应用于工业自动化、智能交通、智能仓储等领域。
本文将基于HALCON进行机器视觉系统的研究与实现。
二、研究内容1.系统需求分析根据实际应用需求，对机器视觉系统的功能进行分析和定义，包括物体识别、定位、测量等功能。
同时，对系统的性能要求进行明确，例如识别准确率、速度要求等。
2.图像采集与预处理设计合适的图像采集系统，选择合适的相机设备，并进行图像采集与预处理。
预处理包括图像去噪、灰度化、滤波等操作，以提高后续处理的准确性和可靠性。
3.物体识别与定位算法4.系统性能测试与优化对已实现的机器视觉系统进行性能测试，包括准确性、速度、稳定性等指标进行评估。
根据测试结果，对系统进行优化与调整，提高系统的整体性能。
5.系统集成与应用将机器视觉系统与实际应用场景进行集成，根据系统需求进行相应的界面设计，方便用户对系统的操作与使用。
并根据实际应用需求，进行系统的功能扩展与升级。
三、实验与结果在本文的研究中，我们选择了一个工业自动化的应用场景，以汽车零件尺寸的测量为例，进行了机器视觉系统的研究与实现。
经过系统设计与实现，我们成功地实现了对汽车零件进行测量的功能。
系统在准确性、速度和稳定性等方面均达到了实际需求，并得到了应用方的认可与好评。
四、结论本文基于HALCON进行了机器视觉系统的研究与实现，实现了对汽车零件尺寸的测量功能。
通过实践应用，验证了HALCON的强大功能和可靠性。
在实际生产中，机器视觉系统具有广泛的应用前景，可以大大提高生产效率和产品质量。
同时，我们也意识到系统的改进与优化是一个持续的过程，需要不断地进行迭代和创新。
《HALCON机器视觉与算法原理编程实践》第14章机器视觉中的深度学习
《HALCON机器视觉与算法原理编程实践》第14章机器视觉中的深度学习⽂章⽬录14.1 深度学习的基本概念14.1.1 Halcon中深度学习的应⽤14.1.2 系统需求14.1.3 搭建深度学习环境14.1.4 Halcon的通⽤深度学习流程14.1.5 数据14.1.6 ⽹络与训练过程14.1.7 随机梯度下降法14.1.8 迁移学习14.1.9 设置训练参数：超参数14.1.10 验证训练结果14.2 分类14.2.1 准备⽹络和数据14.2.2 训练⽹络并评估训练过程14.2.3 分类器的应⽤与评估14.2.4 实际检测14.2.5 评估分类检测结果14.3 物体检测14.3.1 物体检测的原理14.3.2 物体检测的数据集14.3.3 模型参数14.3.4 评估检测结果14.3.5 物体检测步骤14.4 语义分割深度学习是模仿⼈类⼤脑认识世界的⽅式，使⽤神经⽹络算法对视觉图像的各层级的特征进⾏提取。
它突破了传统的分类与检测算法的计算性能的局限性，尤其在分类、物体识别、分割⽅⾯表现良好。
Halcon从17.12版本开始⽀持深度学习。
本章将介绍如何在Halcon中应⽤深度学习算法进⾏训练、评估和检测。
14.1 深度学习的基本概念深度学习的概念源于⼈⼯神经⽹络的研究。
含多隐层的多层感知器就是⼀种深度学习结构。
深度学习通过组合底层特征形成更加抽象的⾼层表⽰属性类别或特征，以发现数据的分布式特征表⽰。
深度学习的概念由Hinton等⼈于2006年提出。
基于深度置信⽹络（Deep Belief Network, DBN）提出⾮监督贪⼼逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层⾃动编码器深层结构。
此外LeCun等⼈提出的卷积神经⽹络也是第⼀个真正多层结构学习算法，它利⽤空间相对关系减少参数数⽬以提⾼训练性能。
深度学习和传统机器学习相⽐有以下三个优点：1、⾼效率：例如⽤传统算法去评估⼀个棋局的优劣，可能需要专业的棋⼿花⼤量的时间去研究影响棋局的每⼀个因素，⽽且还不⼀定准确。
基于Halcon的机器人手眼标定方法研究
基于Halcon的机器人手眼标定方法研究舒奇;黄家才【摘要】手眼标定是机器人视觉系统建立过程中的重要环节,本文基于Halcon软件,结合特制的标定板并充分考量相机畸变的影响,提出一种快速、精确、高效的手眼标定方法,该方法在标定过程中建立相机图像坐标系与机器人坐标系转换关系的同时获得相机内外参数.在UR5机器人平台上进行试验验证,试验结果表明该方法可提高标定效率与标定精度,且算法具有良好的跨平台移植性.【期刊名称】《南京工程学院学报（自然科学版）》【年(卷),期】2019(017)001【总页数】5页(P45-49)【关键词】手眼标定;机器人;UR5【作者】舒奇;黄家才【作者单位】南京工程学院自动化学院,江苏南京211167;南京工程学院自动化学院,江苏南京211167【正文语种】中文【中图分类】TP242.2随着工业自动化的大力发展,机器人视觉的应用越来越广,尤其在物流分拣、汽车制造装配与焊接、自动化生产检测等领域中.机器人视觉系统按照相机与机械臂的相对位置可以分为Eye-in-Hand系统和Eye-to-Hand系统.Eye-in-Hand系统中,相机安装在机械臂TCP末端处,随机械臂运动;Eye-to-Hand 系统中,将相机独立安装在机械臂本体外,其位置不受机械臂运动影响[1].目前,常用的手眼标定系统多为Eye-in-Hand系统,常用实心圆整列图案和国际象棋棋盘图案作为标定板,结合Halcon或者Opencv等软件进行标定.Halcon中的算子库拥有与三维世界相关的坐标转换部分的算子,与工业机器人有良好的合作配合.传统的标定方法,如张正友平面标定法,控制机械手进行位姿变换,进行标定；文献[2]利用Hlcon结合机器人完成了纺织行业中织物的分拣任务;文献[3]采用Halcon编程实现了金属零件矩形度检测;文献[4]基于机器视觉的跟踪抓取,完成超市内分拣上料和装配工作.但是这类传统方法操作繁琐,标定过程受外部影响大.为简化传统标定方法的操作、提高标定效率、保证标定精度,设计一种基于Halcon软件的机器人Eye-in-Hand标定方法,为动态识别定位抓取提供基础.1 视觉系统标定机器视觉本质是通过图像来获取三维世界的信息,然后基于该信息进行相应的图像处理,从中获取想要的信息.标定的过程实际是建立图像世界与三维世界位姿的关系,只有准确地建立了该关系,才能从图像准确得知三维世界的真实状态.因此需要获得两种参数,一是内部参数,是摄像机自身特性的参数,包括图像主点坐标、单个像元的高宽、摄像机的有效焦距f和透镜的畸变失真系数k等,通过这些参数,才能够建立由标定板确定的三维坐标系与相机图像坐标系的映射关系[5]；二是外部参数,获得靶标的坐标系相对于摄像机坐标系之间的变换关系.整个视觉系统标定流程见图1. 图1 视觉系统标定流程假设p点在世界坐标系下的齐次坐标为(Xw,Yw,Zw,1),在摄像机坐标下的齐次坐标为(Xc,Yc,Zc,1),那么存在数学关系为:(1)式中:R为3×3的正交单位矩阵;t=[0 0 d]T,d为相机坐标系光轴中心点O到物体平面的距离;M1为4×4的矩阵.图像坐标系与像素坐标系的变换公式为:(2)式中：像素坐标系下的坐标为(u0,v0)；像素点在图像坐标系的坐标为(X,Y),其物理尺度为dX,dY.根据式(1)与式(2),可以得到世界坐标系与像素坐标系的转换矩阵:(3)式中:fx、fy分别为u、v轴上的尺度因子；M1为摄像机的内参，只与摄像机的内部参数有关;M2为摄像机的外参,由摄像机相对于世界坐标系的方法决定,完成摄像机的标定任务,即可通过试验获得摄像机的内、外参数.1.1 相机内参标定机器视觉系统的经典组成包括: 被测物体、光源、相机、镜头、图像处理软件系统、执行机构,其中相机与镜头的选型尤为重要.在选择相机的过程中通常需要考虑分辨率、感光芯片尺寸、像素尺寸、帧率以及像素深度等[6].本系统采取的三维标定,是Halcon默认的标定方法,这种方法可以消除径向畸变和视角畸变,在XYZ方向平移和旋转标定板,采集18张图像,相机和镜头参数作为标定过程中算子StartCamPar的初值.为方便标定,本系统使用的靶标是Halcon特制的标定板,标定过程中调用已封装的算子,通过组合其算子和设置参数即可得到相机的内部参数.标定流程图如图2所示,通过调用内参标定算子calibrate_cameras(CalibDataID, Error),即可输出标定后的相机内部参数.图2 标定流程图1.2 手眼标定相机的内参标定主要是对相机的畸变进行一个矫正,使相机拍摄出来的图像能够真实反映三维世界的信息.内参标定是为了能够准确看到二维图像,但是却无法从二维图像中得到准确的三维世界的精确信息,想要在二维和三维之间建立一个精确的联系仅仅有相机的内参标定是远远不够的,还需要对相机的外部参数进行标定,也就是进行手眼标定[7].图3为手眼标定示意图，图3中：W为机器人的世界坐标系；E 为机器人末端坐标系；C为摄像机坐标系；G为标定板坐标系；T6代表坐标系W 到E之间的转换,在每次末端姿态变化后,可以由机器人参数中获得;Tm代表坐标系E到C之间的转换,是一个待求取的未知固定矩阵,也是手眼标定需要求取的参数；Tc代表坐标系C到G之间的转换,在每次末端姿态变化后,求取得到摄像机相对于靶标的外参数.图3 手眼标定示意图假设Tg是坐标系W到G之间的变换,则根据坐标系之间的变换关系,可以得到第i 次拍摄标定图像的转换公式为：Tg(i)=T6(i)TmTc(i)(4)通过标定板的多次不同的位置姿态采集标定图像,获得多个方程组成的方程组,解方程组即可求得Tm的值.利用Halcon软件进行手眼标定的流程如图4所示.图4 手眼标定2 坐标转换在机械手臂抓取运动过程中主要涉及机器人基坐标系、机器人关节坐标系(杆件坐标系)、工具坐标系和世界坐标系[8].整个过程的变换实质是将图像坐标系的坐标转换为基坐标的位姿变换.在进行坐标系转换之前,已经通过相机标定和手眼标定得到相机坐标系与UR机器人工具坐标系之间的相互关系,并得到了工具坐标系相对于相机坐标系的位姿camHtool,同时定义一个工件坐标系为参考坐标系,可以得到工件坐标系相对于相机坐标系的位姿camHobj,世界坐标系是相对于机器人的基坐标系给出的,因此可以得出工具坐标系相对于基坐标系的位姿baseHtool.那么,工件坐标系相对于基坐标系的位姿计算式为:baseHobj=baseHtool(camHtool)-1 camHobj(5)式(5)表示出最终需要的工件位姿,得到这个位姿便可以给机器人发送运动指令,控制手抓进行抓取任务.坐标系转换具体流程如图5所示.图5 坐标系转换流程3 综合控制平台试验结果本试验利用VS2010与Halcon 12进行混编,其中在VS2010上调用Halcon的库将相机标定与手眼标定结合在一起,因为在进行内参标定的时候已经读入了许多标定图片,在不同角度拍摄标定图片的时候,每幅图片都相对应着一个机器人手抓在机器人基坐标系中的姿态,将姿态读入标定图像的同时也读入了标定模板,这样就可以进行手眼标定的计算,由此只需要在一块标定板上进行一次标定,即可获得相机内、外部参数.图6为视觉标定界面.图6 视觉标定程序界面将标定板放置于平整桌面任意位置(不一定是工作面上),调整UR姿态将摄像头垂直向下对准标定板,并使标定板处于显示的限定框内,调整摄像头焦距使成像清晰,调整摄像头光圈到中间位置,等待程序做自动补光调整(10 s左右)；程序画面显示发现标定板,在图像上长按鼠标左键开始自动标定;UR机器人将自动旋转改变姿态并实时摄取图像直至标定完成,过程中不需人为干预.标定结束后,标定结果会自动存入文件,不需手动存入.上述流程获得三组相机内部参数如表1所示.三组试验数据的平均误差均在0.17～0.18像素之间,反映了较高的标定精度.查阅所使用的相机镜头,选择焦距值接近的第一组相机内部参数.随后通过记录的18张图片和各张图片对应的位姿信息,调用calibrate_hand_eye (CalibDataID, Errors)算子后,最终得到手眼标定的结果，如表2所示.表1 工业相机内部参数组序焦距fCx/mmCy/mmSx/mmSy/mm平均误差第一组7.235 9370.117297.6912.2192.200.186 395第二组7.6344371.899281.4382.2312.190.187 233第三组7.9573325.606239.5192.1992.210.179 424表2 手眼标定结果标定变量标定结果/m标定变量标定结果/(°)x坐标0.083 854 3x轴旋转量90.061 9y坐标0.002 052 2y轴旋转量0.658 2z坐标0.172 143 0z 轴旋转量90.188 2采用本文的方法,利用Halcon进行手眼标定,整个过程大约耗时45 ms即可得到其相应的转换矩阵,其过程相对于传统方法更加方便、高效并且标定精度相对较高.通过本文的方法还可以快速地获得图3所示的各个坐标系之间的转换关系,为之后进行识别抓取试验提供良好的基础.但是通过试验结果也可以看出,标定数据依然存在误差.误差产生的主要原因有:1) 摄像机精度的影响，试验过程中,摄像头的精度是有限的,这必定会给实际标定带来误差;2) 实际的噪声干扰，在采集标定板图片的过程中,由于光照的变化和不均匀,会造成标定的偏差；3) 机械手臂的抖动，摄像机固定在机械臂末端,在实际拍摄中,不可避免地会由于机械臂的抖动而产生图像的模糊,最终会造成角点像素坐标的不准确,从而影响标定结果.4 结语研究并提出一种适用于Eye-in-hand类型的手眼标定方法,试验结果表明该方法既提高了系统的标定精度,又减少了繁杂的操作步骤.利用Halcon与VS进行的联合二次开发程序,具有很好的跨平台性,可大规模应用于工业生产,极大提高了生产效率. 参考文献:【相关文献】[1] 蔡自兴.机器人学[M].北京:清华大学出版社,2000.[2] 戴庭宣.基于双目视觉的机器人织物抓取系统[J].电脑知识与技术, 2017, 13(5):132-134.[3] 刘馨, 周彬, 秦玉娟.基于Halcon的金属零件矩形度检测算法研究[J].自动化与仪器仪表,2017(7):31-32.[4] 陈甦欣, 魏前龙, 王正阳,等.基于视觉的运动目标跟踪抓取和装配研究[J].机床与液压, 2018(3)：12-15.[5] 卢泉奇, 苗同升, 汪地,等.基于Halcon的机械手视觉抓取应用研究[J].光学仪器, 2014,36(6):492-498.[6] 闫霞, 牛建强.基于Halcon软件的摄像机标定[J].数字技术与应用, 2010(11):112-113.[7] 张云珠.工业机器人手眼标定技术研究[D].哈尔滨：哈尔滨工程大学, 2010.[8] 陈阳光, 王磊.基于Halcon的机器人视觉标定[J].光学仪器, 2016, 38(4):320-324.。
基于Halcon_的手机背板表面缺陷快速检测方法
第37卷第1期湖南理工学院学报(自然科学版)V ol. 37 No. 1 2024年3月 Journal of Hunan Institute of Science and Technology (Natural Sciences) Mar. 2024基于Halcon的手机背板表面缺陷快速检测方法朱志鹏, 陈腾飞, 廖杜杰, 张国云, 赵林(三维重建与智能应用技术湖南省工程研究中心, 湖南岳阳 414006;湖南理工学院信息科学与工程学院, 湖南岳阳 414006)摘要:针对人工检测手机背板表面缺陷效率低、成本高等问题, 提出一种基于Halcon的手机背板表面缺陷检测方法. 该方法可快速定位并校正光照不均、位置偏差等成像不一的背板图像, 同时运用二进制大型对象分析、形态学处理和模板匹配等算法实现对手机背板表面缺陷图像的检测与分类. 针对logo区域和非logo区域, 该检测系统采用不同的策略来检测缺陷. 缺陷分类环节利用Halcon中的分类工具, 结合事先定义的特征集合, 根据其形状、大小和颜色等特征进行分类, 以便后续的品质监控和反馈. 一方面对120张缺陷图片进行检测, 检出113张缺陷图片, 单张图片平均耗时约500 ms, 检出率达94%以上; 另一方面对800张同样条件下的无缺陷图片进行测试, 检出25张误判的图片, 即误判率约3%. 实验表明, 该方法具有较高的准确性和实用性, 相较于传统的人工检测, 可大幅度提升生产效率和检测精度, 有效控制企业人力成本. 该方法已在工业生产线实际应用.关键词:Halcon; 缺陷检测; 手机背板; 图像处理中图分类号: TP391 文章编号: 1672-5298(2024)01-0020-07Surface Defect Detection Rapid Method ofMobile Phone Backplane Based on Halcon ZHU Zhipeng, CHEN Tengfei, LIAO Dujie, ZHANG Guoyun, ZHAO Lin (Hunan Engineering Research Center of 3D Reconstruction and Intelligent Application Technology, Yueyang 414006, China;School of Information Science and Engineering, Hunan Institute of Science and Technology, Yueyang 414006, China) Abstract:Aiming at the problems of low efficiency and high cost of manually detecting defects on the surface of mobile phone backplane, a method based on Halcon was proposed for surface defects detection of mobile phone backplane. The method can quickly locate and correct the backplane images with different images such as uneven illumination and position deviation. At the same time, the algorithm of binary large object analysis, morphological processing and template matching was used to detect and classify the surface defect images of mobile phone backplane. For logo area and non-logo area, the detection system adopts different strategies to detect defects. The defect classification process utilizes the classification tool in Halcon, combined with the predefined feature set, according to its shape, size, color and other characteristics, so as to facilitate subsequent quality monitoring and feedback. On one hand, through the detection experiment of 120 defect diagrams, 113 defect diagrams were detected, and the average time of a single image was about 500 ms, and the detection rate was more than 94%. On the other hand, 800 non-defect pictures were tested under the same conditions, and 25 misjudgments were detected, that is, the misjudgment rate was 3%. The experiment shows that the method has high accuracy and practicability, compared with the traditional manual detection, can greatly improve the production efficiency and detection accuracy, and effectively control the labor cost of enterprises. At the same time, the method has been applied in industrial production lines.Key words: Halcon; defect detection; mobile phone backplane; image processing0 引言随着移动通信技术的快速发展, 智能手机已成为现代社会不可或缺的一部分. 而手机背板作为智能手机的外壳, 不仅承担着保护内部电路和组件的功能, 同时也具备提升美观和质感的重要作用. 然而, 在手机背板的制造过程中, 由于材料、工艺等方面的不确定因素, 不可避免地会产生各种各样的缺陷[1]. 准确、高效地检测手机背板的缺陷, 对于保证产品质量、提高生产效率以及增强品牌竞争力具有重要意义. 而Halcon作为一种先进的机器视觉软件系统, 它提供了大量的视觉处理函数, 支持各种图像采集、处理、收稿日期: 2023-02-15基金项目: 湖南省研究生科研创新项目(CX20221237, CX20221212)作者简介: 朱志鹏, 男, 硕士研究生. 主要研究方向: 机器视觉、人工智能通信作者: 赵林, 男, 博士, 副教授. 主要研究方向: 图像信息处理、智能控制第1期 朱志鹏, 等: 基于Halcon 的手机背板表面缺陷快速检测方法 21 分析、识别和检测任务[2].传统的手机背板表面缺陷检测方法主要是人工检测, 该方法耗时耗力且效率低下, 无法满足大规模生产的质量控制需求[3]. 此外, 人工检测容易受到操作人员主观判断的影响, 导致检测结果的不一致性和可重复性差[4]. 随着计算机视觉技术、图像处理技术以及人工智能的发展, 自动化视觉检测系统能够提供一个高效、准确并且客观的解决方案, 以确保产品质量和提升生产效率[5].本文提出一种基于Halcon 的手机背板表面缺陷检测方法. 通过结合高分辨率成像技术和先进的图像处理算法, 尝试解决实际工业生产线上的手机背板缺陷快速检测问题. 先提出包含图像预处理、特征提取、模板匹配以及缺陷分类等多个步骤的综合解决方案[6], 然后在此基础上开展一系列实验, 验证所提方法的有效性和实用性, 并探讨在实际应用时的潜在挑战及可能的解决策略.1 手机背板表面缺陷检测系统总体方案根据手机背板表面缺陷快速检测的需求构建一个综合性系统, 一方面包括硬件部分对图像的获取和采集, 另一方面包括软件部分对图像的处理以及对缺陷的识别和分类. 旨在通过优化硬件配置和软件算法, 实现自动化的高性能缺陷检测, 从而为手机背板检测提供一个可靠的方案.1.1 机械硬件结构手机背板缺陷检测机械结构包括提取背板的吸盘及气缸、工业相机、光源、工控机、图像采集模块、图像处理模块等. 当机台启动时, 载有手机背板的托盘被送入机台指定位置, 吸盘提取背板并放置在相机下方进行图像采集, 通过相机、光源、传感器等图像采集单元将图像信号传输到工控机上[7]. 工控机上的图像处理模块利用Halcon 中的图像处理算法对背板进行图像定位、图像增强等预处理操作, 然后根据预定的手机背板表面缺陷检测算法判断待检品是否存在缺陷, 最后由运控模块将检测出的OK 、NG 产品分类放置. 手机背板缺陷检测系统如图1所示.1.2 图像处理软件结合VS 2022集成开发环境, 使用图像处理开源库研发, 实现基于Halcon 的手机背板表面缺陷快速检测. Halcon 的开发接口支持几乎所有的工业相机和框架抓取卡, 功能覆盖数学运算、图像滤波、形态学分析、图像校正、颜色处理和几何及模式识别等计算任务. 手机背板的表面缺陷主要包括脏污、划伤、腐蚀点、水渍等. 手机背板的常见表面缺陷如图2所示.图像采集模块载有手机背板的托盘图1 手机背板缺陷检测系统 图2 手机背板常见表面缺陷手机背板缺陷检测流程如图3所示. 检测的主要步骤包括: (1)图像采集模块采集图像传输至图像处理模块; (2)运用图像定位、通道转换、图像增强和感兴趣区域(Region Of Interest, ROI)提取进行图像预处理;(3)将手机背板图像非logo 区域和logo 区域分开; (4)对不同区域进行检测, 并根据各缺陷特征将识别的缺22 湖南理工学院学报(自然科学版) 第37卷进而提取到特定特征点(角点、边缘、logo等)的位置信息, 后续在对齐的图像上应用相应的缺陷检测算法. 图4为部分特征点提取结果展示.2.2 通道转化现场缺陷检测机台CCD相机采集的图像为4096像素×4096像素RGB三通道的彩色图像. 为简化后续图像处理与分析, 并降低计算复杂度, 可将三通道图像转换成单通道图像, 对于特定问题只提取某个通道作为灰度图像. 该环节应尽可能防止手机背板部分颜色信息的丢失, 故按照Halcon中decompose3算子将输入的RGB图像分解为红、绿、蓝三个通道的图像. 图5为通道转换后的相应效果图. 在RGB图像中, 每个像素的颜色由红、绿、蓝三个通道的亮度值确定, 其亮度值范围为0~255, 0最暗, 255最亮. decompose3算子将每个像素的RGB值分别存储在三个通道图像中, 将RGB图像转换为三个独立的8位灰度图像, 每个灰度图像对应一个通道. 分解后的图像, 可根据后期实际项目情况达到特定的图像效果和任务需求.输入：Image输出：Image1输出：Image2输出：Image3图4 图像特征点区域及其坐标信息图5 通道转换效果2.3 图像增强实际检测流水线中采集的手机背板图像数量众多, 且图像易受外界传感器、环境或者传输影响, 带来图3 手机背板缺陷检测流程第1期 朱志鹏, 等: 基于Halcon 的手机背板表面缺陷快速检测方法 23 的变化具有不确定性, 因此成像的统一性是缺陷检测中不可忽视的重要问题之一. 图像增强的作用是改善图像的质量、对比度、清晰度或者细节等以突出图像中的一些重要的缺陷特征, 同时弱化非必要的图像信息. 以腐蚀点缺陷特征为例, 使用scale_image 算子调整图像的对比度, 调整前后对比如图6所示.scale_image 算子根据设定的目标值对输入的手机背板图像像素值进行线性映射, 即scale max min255factor ,value value =- (1) scale min offset factor value ,=-⨯ (2)new scale pixel factor pixel offset.=⨯+ (3)其中max value 、min value 分别是输入图像像素值的最大值和最小值, scale factor 、offset 分别是像素映射的斜率和偏移, new pixel 是线性映射后的新像素值. 通过增强图像, 可以使采集到的图像更易于观察、分析和处理, 以适应不同的要求和环境, 进而提高缺陷检测算法的准确性和效果.2.4 感兴趣区域提取受工业环境复杂性等影响, 实际采集到的手机背板图像有较多非必要背景, 还需将背板图像中的相机孔、logo 区域分离开, 即对感兴趣区域(ROI)进行提取, 以便进行后续的缺陷检测工作. 图7为手机背板部分点位的感兴趣区域提取过程效果图.通过ROI 提取可以减少图像处理的时间和计算量, 进而提高检测算法的效率和性能. 本文数据集单张图片规格为4096像素×4096像素, 占据内存48 MB, 每一组图像(包含可采集到手机背板全部信息的8个点位图像)占内存384 MB, 且每次至少检测100组数据, 因此缺陷检测的数据集属于大型数据集.调整前调整后原图分离背景分离相机孔、logo 图6 scale_image 算子调整图像对比度效果图7 ROI 提取效果 3 手机背板表面缺陷检测智能手机在设计的时候会划分不同的功能和装饰区域, 其中之一是logo 区域. 这个区域通常包括特定图案及文字, 往往会采用不同于手机背板其余区域的材料和颜色等. 由于这种划分, 手机背板的缺陷检测需要能区分这两个区域, 即logo 区域和非logo 区域. 因此, 需根据每个区域的特定性质实施不同的检测策略.3.1 logo 区域检测手机背板上的logo 和小字体通常设计为尺寸、形状固定, 具有高度标准化[8], 模板匹配算法能够轻松识别出其在不同图片中的相似区域. 这种一致性降低了算法出错的可能性, 提高了检测的准确性. 由于logo 等字体区域包含大量可区分的特征信息, 即使存在噪声或图像质量的轻微变化, 模板匹配技术通常也能可靠执行. 本文采用最小二乘法模板匹配遍历待检测图像的每个像素点, 将待检测图像与模板图像进行匹配, 通过对比计算两者对应位置的匹配得分来确定它们之间的差异, 匹配效果如图8所示. 设置一24 湖南理工学院学报(自然科学版) 第37卷个分数阈值, 当匹配得分超过设定的阈值时, 可以认为该位置与模板匹配良好, 从而达到对logo文字区域的检测效果.模板图待检测图8 手机背板logo区域检测3.2 非logo区域检测(1) 缺陷初筛对于非logo区域缺陷的检测, 先读取图像并将其转换为灰度图像, 水平和垂直方向遍历ROI图像的每一个像素点, 根据需求筛选出特定的灰度值. 记录所选灰度值像素点的位置信息, 并绘制出对应的散点图, 通过观察散点图来初步识别缺陷. 如果特定灰度值与缺陷特性相关, 那么这些灰度值的像素点的聚集可能就暗示着潜在缺陷的存在. 同理, 特定灰度值可换成其他缺陷相关的特征信息. 图9为背板ROI图像缺陷初筛灰度散点分布.图9 背板ROI图像缺陷初筛灰度散点分布(2) 缺陷检测初筛之后, 基于Halcon机器视觉软件平台, 对经过预处理的手机背板表面缺陷图像进行二进制大型对象(Blob)分析处理来细化缺陷检测, 提取出脏污、划伤、亮斑、腐蚀点等缺陷特征, 然后使用select_shape( )算子基于面积、周长、圆度、长短轴比、平均灰度等特征将识别出的非缺陷特征部分排除掉. 再采用area_center( )和intensity( )算子计算剩余区域的中心位置、面积和灰度值平均强度、标准偏差, 其中intensity( )算子可分析区域的纹理和一致性. 这种综合利用面积、位置和灰度信息的方法极大提高了对真第1期 朱志鹏, 等: 基于Halcon 的手机背板表面缺陷快速检测方法 25 实缺陷的识别能力. 最后, 通过对剩余候选区域的细致分析, 能够进一步筛选出真正的缺陷, 降低漏检率和误判率, 提高手机背板表面缺陷检测的精确度和可靠性.(3) 缺陷分类 接下来对手机背板表面几种常见工艺缺陷进行特征分析, 目的是选出有效特征进行提取. 这些特征包括几何特征、形状特征、颜色特征等. 为将缺陷及其相关特征进行可视化和量化, 对各类缺陷图像及其特征进行统计, 结果见表1. 每种缺陷类型都会与相应的示例检出图像配对展示, 紧接其后是各自的特征统计数据. 这些数据的统计不仅有助于揭示缺陷的本质和特征, 更重要的是, 为后续的分类算法设计提供了依据. 表1中单位pixel 表示像素.表1 各类缺陷图像及其特征统计特征类别缺陷名称脏污碰伤水渍斑点划伤异色 擦伤面积/pixel 1869 11006 151868 960 9550 365705 11671周长/pixel 213.581 407.061 3248.130126.627 1691.8505014.200 1500.480宽/pixel 40 112 950 36 88 1297 398高/pixel 87 136 274 34 736 560 68最大直径/pixel 90.758 135.724 953.546 38.079 739.899 1401.700 400.522圆度 0.273 0.735 0.200 0.805 0.022 0.154 0.086矩形度 0.820 0.780 0.670 0.851 0.762 0.630 0.610紧密度 1.942 1.198 5.528 1.329 23.851 5.470 15.351凸形 0.929 1.00 0.816 0.944 0.756 0.936 0.669长短轴比 3.664 1.308 3.616 1.042 40.718 2.984 7.723蓬松度 1.035 1.010 1.224 1.017 1.040 1.174 1.237平均灰度67.153 151.121 155.856 39.413 92.731 100.489 121.421 4 实验结果与分析出率是互补的, 其计算公式为FN MR 1DR.TP FN==-+ (5) 误判率是系统错误标记为缺陷的非缺陷项目与所有实际非缺陷项目的比例, 反映系统产生误报的频率, 其计算公式为FP FAR .FP TN=+ (6)26 湖南理工学院学报(自然科学版) 第37卷其中TP为真阳性(正确识别为缺陷的数量), TN为真阴性(正确识别为非缺陷的数量), FP为假阳性(错误识别为缺陷的数量), FN为假阴性(错误识别为非缺陷的数量, 即漏检数).按照本文的缺陷检测方案, 实际的检测结果见表2. 可以看出, 基于Halcon的自动化图像处理系统在扫描手机背板表面缺陷方面表现优异. 该系统的检出率达到94.167%, 这意味着其能够检测到几乎所有缺陷, 确保产品质量的高标准. 同时, 误判率仅为3.125%, 表示它几乎不会将良好的产品错误判定为次品, 这对于减少浪费和维护生产流程的连续性至关重要. 此外, 该系统的图像处理速度达到平均500 ms/张, 这样的速度可以轻松适应快节奏的工业生产线, 确保不会成为生产效率的瓶颈. 与传统的人工检测方式相比, 这种自动化缺陷检测方案显著提升了检测的速度, 同时也提高了结果的一致性和可重复性, 减少了因人为判断不一致引起的误差.表2 检测结果统计有缺陷样本数/个检出数/个检出率/% 平均耗时/ms 120 113 94.167 524.1无缺陷样本数/个检出数/个误判率/% 平均耗时/ms 800 25 3.125 512.75 结束语本文基于Halcon图像处理软件, 提出了一种先进的手机背板表面缺陷检测方法. 该方法利用Halcon 强大的图像分析库, 结合自定义的算法, 实现了对手机背板上各类缺陷的快速准确检测. 通过采集高分辨率图像, 并运用Halcon中的图像预处理、特征提取、分类器训练和模板匹配等多种算子, 本文方案能够有效区分正常品和次品, 提高了生产线的自动化水平和质量控制精度. 实验结果表明, 缺陷检出率达到了94%以上的高水平, 同时将误判率控制在3%左右, 证明了该方法的可靠性和实用性. 此外, 每张图像的平均处理时间约为500 ms, 使得本方法能够适应高速的工业生产环境. 另外, 本文提出的快速检测方法已应用于成都、杭州等地企业的实际项目.本文虽然给出基于工业背景下的手机背板表面缺陷快速检测方法, 但该方法在一些极端工作条件下仍存在一些局限性, 例如在背景复杂或光照条件极端变化时, 检测性能可能受到影响. 因此, 未来的工作将致力于提高算法的鲁棒性, 以确保算法在不同的生产环境下都能保持高效稳定的检测性能. 此外, 随着人工智能和机器学习技术的快速发展, 如何进一步融入深度学习等创新方法以提升检测准确度和速度, 也将是我们下一步研究的重点.参考文献:[1]陶显, 侯伟, 徐德. 基于深度学习的表面缺陷检测方法综述[J]. 自动化学报, 2021, 47(5): 1017−1034.[2]郭绍陶, 苑玮琦. 基于双高斯纹理滤波模板和极值点韦伯对比度的圆柱锂电池凹坑缺陷检测[J]. 电子学报, 2022, 50(3): 637−642.[3]高春艳, 秦燊, 李满宏, 等. 改进YOLOv7算法的钢材表面缺陷检测研究[J/OL]. 计算机工程与应用, 1−12[2024-01-22].[4]CHAO S M, TSAI D M, LI W C, et al. A generalized anisotropic diffusion for defect detection in low-contrast surfaces[C]// Proceedings of the 20thInternational Conference on Pattern Recognition, IEEE, 2010: 4408−4411.[5]曾毅, 郭龙源, 罗百通. 基于BP神经网络和均值差分的TFT-LCD MURA缺陷检测方法[J]. 湖南理工学院学报(自然科学版), 2017, 30(1):32−38.[6]任鹏霏, 周传德, 胡帅, 等. HALCON图像处理在纸杯缺陷检测中的应用[J]. 自动化应用, 2019 (6): 98−99+103.[7]贺振东, 王耀南, 毛建旭, 等. 基于反向P-M扩散的钢轨表面缺陷视觉检测[J]. 自动化学报, 2014, 40(8): 1667−1679.[8]汪成龙, 黄余凤, 陈铭泉, 等. 基于Halcon的字符缺陷检测系统[J]. 制造业自动化, 2018, 40(9): 38−41.。
双目立体视觉问题
双目立体视觉问题2008-10-30 20:24双目立体视觉的研究一直是机器视觉中的热点和难点。
使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。
因此双目立体视觉系统可以应用在多个领域。
现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。
双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。
双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。
双目立体视觉系统在机器视觉领域有着广泛的应用前景。
HALCON是在世界范围内广泛使用的机器视觉软件。
它拥有满足您各类机器视觉应用需求的完善的开发库。
HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。
HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。
另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。
一．双目立体视觉相关基本理论说明1．1 双目立体视觉原理双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。
摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。
事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。
左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。
基于HALCON软件的摄像机标定的研究报告
基于HALCON软件的摄像机标定的研究报告摄像机标定是计算机视觉中最基础而又最重要的问题之一，通过标定可以实现摄像机畸变矫正、三维重建、轨迹跟踪等诸多操作。
HALCON是一款流行的计算机视觉和机器视觉开发工具，其自带的摄像机标定模块可以实现对相机内外部参数的计算和优化，并可生成标定文件以供后续操作使用。
本文将介绍HALCON软件的摄像机标定原理和流程，并使用实验数据进行验证。
一、HALCON摄像机标定原理HALCON摄像机标定基于Perspective Projection Model（透视投影模型），即传统的针孔相机模型。
根据这个模型，每个点在图像平面上的位置可以用其在三维空间中的坐标（x,y,z）和摄像机参数（focal length、principal point、radial distortion、tangential distortion等）计算得出。
因此，摄像机标定的主要目的是测量这些摄像机参数，以实现对图像的畸变矫正。
二、HALCON摄像机标定流程HALCON摄像机标定流程包含以下几个步骤：1. 准备标定板：使用一张精确已知的标定板（如棋盘格）作为标定物体。
标定板上应该有一定数量的格子，并且格线应该较为清晰，以便识别。
2. 拍摄标定板照片：摄像机需要从至少两个不同角度拍摄标定板的照片，以获得足够的信息来计算摄像机参数。
拍摄时应注意保持标定板与摄像机位置、光照等条件的一致性。
3. 提取标定板角点：使用HALCON提供的Corner Detection（角点检测）算法，对标定板照片中的角点进行提取。
提取的角点应该较为准确，并尽可能地覆盖整个标定板。
4. 生成初始参数：对提取的角点进行3D-to-2D转换，生成摄像机的初始内外部参数。
这些参数可以作为优化算法的初始值。
5. 优化参数：使用HALCON自带的Optimize Calibration Object Parameters（标定参数优化）算法，对摄像机内外部参数进行优化。
基于HALCON的机器人视觉系统标定方法研究
基于HALCON的机器人视觉系统标定方法研究宋岳秦;卢军;孙姝丽【摘要】本文提出一种基于HALCON,可以较准确地求出斜切角的工业机器人视觉系统的标定方法.首先对摄相机采集的图片进行标定,从而获取摄像机的参数和位资;其次通过机械手标定得到图像坐标系与机械坐标系可进行相互换算的对应关系;最后将图像坐标系对应的点经过旋转平移转换到机械坐标系,可根据识别得到的像素位置去引导机械手抓取,实验结果表明该标定方法能够提高工业机器人视觉系统的精度、实用性强.【期刊名称】《南方农机》【年(卷),期】2018(049)020【总页数】3页(P46-48)【关键词】机器人标定;斜切角;机器视觉【作者】宋岳秦;卢军;孙姝丽【作者单位】陕西科技大学机电工程学院,陕西西安 710021;陕西科技大学机电工程学院,陕西西安 710021;陕西科技大学机电工程学院,陕西西安 710021【正文语种】中文【中图分类】TP242机器视觉标定是工业机器人的关键技术之一[1]。
摄像机标定是准确测量目标物体的必要过程，通过机器人视觉系统的标定，得到世界坐标系与图像坐标系之间的转换关系，从而可将被检测物体的像素坐标换算成物理坐标，并把结果传给机器设备使其能进行对应的移动。
机器人视觉系统的关键部分是图像处理，HALCON是德国Mvtec公司开发的图像处理软件[2]，具有完善的图像处理库和机器视觉集成开发环境，提供了大量的函数库，包括Blob分析、形态学、几何定位、三维目标识别定位和立体视觉等。
1 视觉系统介绍机器视觉系统是利用机器代替人眼来做各种测量和判断，它是计算及科学的一个重要分支，综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。
图像处理和模式识别等技术的快速发展，也大大地推动了机器视觉的发展[3]，视觉系统的硬件主要由镜头、摄像机、图像采集卡、输入输出单元、控制装置构成。
Halcon在机器视觉中的典型应用
HALCON实际应用:图像获取
• 打开采集设备，如果是序列磁盘文件，设备为'File'
Replace this box with your logo
Contrast太低
Contrast 理想
Contrast 太高
Replace this box with your logo
模板生成: 金字塔层
inspect_shape_model(Image,ModelImages,ModelRegions,5,40) dev_display(Image) dev_display(ModelRegions)
模板
匹配的对象
模板匹配中的极性问题
通常物体的极性是不会改变的 但一些情况下，物体的灰度值会翻转 物体或者背景会变化 或者明暗区域发生改变
Replace this box with your logo
Bright outside
Dark inside
模板匹配中的极性问题
Polarity mode: use_polarity
while (true) grab_image (Image, FGHandle) * Apply image processing endwhile
• 关闭设备
close_framegrabber(FGHandle)
HALCON实际应用:图像获取
通过图像获取助手，可快捷简单获取图像，并可生成代码
HALCON实际应用: Blob分析
Replace this box with your logo
基于HALCON软件的摄像机标定
基于HALCON软件的摄像机标定HALCON是一种非常强大的计算机视觉软件，可以用于许多应用领域，包括自动化、机器视觉、医学成像等。
在这些不同的领域，HALCON用户需要对摄像机进行标定，以便准确地测量和分析图像。
在本文中，我们将探讨如何使用HALCON进行摄像机标定。
摄像机标定的基本原理摄像机标定是计算机视觉中的一个重要过程。
在这个过程中，我们需要找到摄像机内部的一些参数，以便能够准确地测量对象的大小、位置和方向。
这些参数包括内部参数和外部参数。
内部参数包括焦距、畸变和像素距离等，这些参数决定了光学系统如何将世界坐标系中的点映射到图像平面上。
外部参数包括摄像机的位置和朝向，这些参数决定了摄像机如何拍摄场景。
因此，摄像机标定的目标就是确定这些参数。
摄像机标定的步骤摄像机标定通常涉及到摄像机的内部参数和外部参数，因此标定的步骤通常包括两个部分。
第一步是内部参数标定，我们需要用一些已知的三维坐标对摄像机的成像进行测量，得到这些坐标在图像中的投影。
这些点的坐标通常以像素为单位，我们可以使用极线几何或者张正友标定法等方法来求解内部参数。
第二步是外部参数标定，我们需要知道摄像机对于目标的位置和朝向。
通常我们使用标定板或者其他点来测量这些参数。
标定板通常是一个具有已知格子的图案，我们可以测量这些格子在图像中的位置，然后使用PnP算法和非线性优化等数学方法计算摄像机的位置和朝向。
HALCON摄像机标定步骤和代码接下来我们将介绍如何使用HALCON进行摄像机标定。
首先我们需要准备一些标定板或者其他特殊图案。
这些标定板通常由黑白相间的正方形组成，我们需要利用这些正方形来求解内部参数和外部参数。
1. 导入图像首先，我们需要使用HALCON导入摄像机标定所需的图像。
通常我们需要拍摄一系列的标定板图像，这些图像应该包括各种不同的摄像机角度和位置。
这些图像将用于内部参数和外部参数的标定过程。
通常在导入图像之前，需要对图像进行预处理，例如去除噪声和平滑化处理。
基于HALCON的机器视觉系统的研究与实现
基于HALCON的机器视觉系统的研究与实现近年来，机器视觉系统以其高效率、高可靠、低成本的特点在国外取得了广泛的应用。
机器视觉系统适用于众多领域，例如工业自动化、医药业、制造业、农业等，弥补了人类视觉的很多不足。
本文采用德国MVTec公司的专业机器视觉软件HALCON来开发机器视觉系统，提出了相关机器视觉实现方法，并且在机器视觉实验平台上完成了一个弹簧片检测任务。
目前关注较多的是机器视觉系统的硬件部分，而机器视觉软件部分关注较少，一个先进的机器视觉系统除了具有高性能的硬件外，还需要有高性能的软件，虽然说许多常见的开发软件例如Mircosoft的Visual Studio、NI的LabWindows\CVI等等都可以开发机器视觉系统，但是开发周期比较长，针对性较弱，程序的复杂程度较高。
而采用HALCON作为机器视觉和图像处理核心软件，不仅大大缩短了开发周期，降低了开发难度，而且可以参考HALCON提供的众多机器视觉和图像处理例程来针对具体的任务做具体开发。
文章的第一章研究了机器视觉系统的组成、应用现状和发展，并且对机器视觉软件HALCON做了概述。
第二章根据相关要求，选择合适的硬件单元，设计和搭建了VS-ZM1200机器视觉实验平台。
第三章研究了机器视觉中常用的一些图像处理技术，重点讨论了在弹簧片检测任务中所采用的图像处理技术和算法，如图像的增强，分割，边缘检测等。
第四章研究了机器视觉软件，重点研究了HALCON，并且对在Visual C++开发环境下如何使用HALCON编写的程序做了讨论。
第五章介绍了在VS-ZM1200机器视觉实验平台上，使用HALCON和Visual C++开发的一套弹簧片检测系统，该系统完成关于弹簧片的尺寸参数测量和外观参数判别的任务。
第一章：绪论1.1机器视觉概述人类在征服自然、改造自然和推动社会进步的过程中,为了克服自身能力、能量的局限性,发明和创造了许多机器来辅助或代替人类完成任务。
基于halcon机器视觉药品分拣系统设计
96电子技术Electronic Technology电子技术与软件工程Electronic Technology & Software Engineering●基金项目：博士科研启动基金（G2*******）；2019年度广西高等教育本科教学改革工程项目（2019JGB313）；玉林师范学院2018年高等教育本科教学工程项目（2018XJJG10, 2018XJJG39）。
21世纪以来，随着计算机技术、信息处理、模式识别、智能检测、小型外设摄像头等技术的发展[1]，基于Halcon 的机器视觉检测技术已经成功的应用于微小物品检测领域，大幅度地加强了物品检测的准确性与可靠性，使生产时间大幅度减少。
但目前我国大多数制药厂的生产线，主要通过人眼检测的方法分拣药品，极大的降低了工作效率和加重了工作量。
针对以上分析，本设计基于Halcon 机器视觉药品分拣系统，尝试模拟制作铝薄塑料泡包包装药品的出厂质量检测。
该设计通过摄像头得到图像信息，利用Halcon 库算法进行图像分割、边界提取，从而分辨出铝薄塑料泡包装药品缺失数目及完整数目，通过串口通信将检测药品结果发送至AT89S52单片机，单片机根据药品是否缺失，去驱动电机使次传送带转动，从而实现药品分拣。
1 系统总体设计本设计采用计算机作为核心处理器[2]，控制系统的结构图为图1、实物图为图2。
药品分拣系统的硬件电路设计由以下几部分组成：FPV700线摄像头、计算机处理器、AT89S52单片机、红外传感器模块、步进电机模块、TB6560电机驱动模块、电源转接板模块、蓄电池模块等组成。
其中摄像头采集图像信息并调用Halcon 库的算法对图像信息进行解析，然后把解析出来的数据通过HDevelop 变量控制界面显示，再通过串口发送相应数据到AT89S52单片机[3]，单片机通过控制I/O 口驱动步进电机转动。
若药品与设定值符合，则待药品传送至传送带末端时，红外传感器检测到时，启动次传送带的步进电机正转；反之，启动次传送带的步进电机使之反转。
机器视觉之halcon学习——机器视觉工程应用的开发思路
halcon学习笔记——机器视觉工程应用的开发思路机器视觉工程应用主要可划分为硬件和软件两大部分。
硬件：工程应用的第一步就是硬件选型。
硬件选型很关键，因为它是你后面工作的基础。
主要是光源、工业相机和镜头选择。
软件：目前业内商业库主要有Halcon，康耐视，DALSA，evision，NI等，开源库有Ope nCV.其中NI的labview+vision模块。
机器视觉工程应用的基本开发思路是：一、图像采集，二、图像分割，三、形态学处理，四、特征提取，五、输出结果。
下面在Halcon下对这四个步骤进行讲解。
一、图像采集：Halcon通过imageacquisition interfaces对各种图像采集卡及各种工业相机进行支持。
其中包括：模拟视频信号，数字视频信号Camera Link,数字视频信号IEEE 1394,数字视频信号USB2.0,数字视频信号Gigabit Ethernet等。
Halcon通过统一的接口封装上述不同相机的image acquisition interfaces,从而达到算子统一化。
不同的相机只需更改几个参数就可变更使用。
Halcon图像获取的思路：1、打开设备，获得该设备的句柄。
2、调用采集算子，获取图像。
1、打开设备，获得该设备的句柄。
2、调用采集算子，获取图像。
图像采集其他相关算子：grab_image_start，该算子开始命令相机进行异步采集。
只能与grab_image_async （异步采集）一起使用。
例子：3、相机参数读写读取相机参数：info_framegrabber( : : Name, Query : Information, ValueList)写相机参数：set_framegrabber_param( : : AcqHandle, Param, Value : )二、图像分割：图像分割的定义：所谓图像分割是指将图像中具有特殊含义的不同区域分割开来，这些区域是互相不交叉的，每个区域都满足特定区域的一致性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于HALCON的机器视觉系统的研究与实现近年来，机器视觉系统以其高效率、高可靠、低成本的特点在国外取得了广泛的应用。
机器视觉系统适用于众多领域，例如工业自动化、医药业、制造业、农业等，弥补了人类视觉的很多不足。
本文采用德国MVTec公司的专业机器视觉软件HALCON来开发机器视觉系统，提出了相关机器视觉实现方法，并且在机器视觉实验平台上完成了一个弹簧片检测任务。
目前关注较多的是机器视觉系统的硬件部分，而机器视觉软件部分关注较少，一个先进的机器视觉系统除了具有高性能的硬件外，还需要有高性能的软件，虽然说许多常见的开发软件例如Mircosoft的Visual Studio、NI的LabWindows\CVI等等都可以开发机器视觉系统，但是开发周期比较长，针对性较弱，程序的复杂程度较高。
而采用HALCON作为机器视觉和图像处理核心软件，不仅大大缩短了开发周期，降低了开发难度，而且可以参考HALCON提供的众多机器视觉和图像处理例程来针对具体的任务做具体开发。
文章的第一章研究了机器视觉系统的组成、应用现状和发展，并且对机器视觉软件HALCON做了概述。
第二章根据相关要求，选择合适的硬件单元，设计和搭建了VS-ZM1200机器视觉实验平台。
第三章研究了机器视觉中常用的一些图像处理技术，重点讨论了在弹簧片检测任务中所采用的图像处理技术和算法，如图像的增强，分割，边缘检测等。
第四章研究了机器视觉软件，重点研究了HALCON，并且对在Visual C++开发环境下如何使用HALCON编写的程序做了讨论。
第五章介绍了在VS-ZM1200机器视觉实验平台上，使用HALCON和Visual C++开发的一套弹簧片检测系统，该系统完成关于弹簧片的尺寸参数测量和外观参数判别的任务。
第一章：绪论1.1机器视觉概述人类在征服自然、改造自然和推动社会进步的过程中,为了克服自身能力、能量的局限性,发明和创造了许多机器来辅助或代替人类完成任务。
这类机器,我们通常称为智能机器,它能模拟人类的功能,能感知外部世界并有效地解决人所希望解决的问题。
人类感知外部世界主要是通过视觉、触觉、听觉和嗅觉等感觉器官,而视觉,是人类最重要的感觉功能。
视,就是看;觉,就是感觉、感知。
通过看来感知外部世界丰富多采的信息。
“百闻不如一见”,这句话生动地说明了视觉对获得客观世界信息的重要性。
据统计,人所感知的外界信息有80%以上是由视觉得到的[1],通过视觉,我们可以感受到物体的位置,亮度以及物体之间的相互关系等。
因此,对于智能机器来说,赋予机器人类的视觉功能对发展智能机器是极其重要的,由此形成了一门新的学科———机器视觉。
机器视觉，就是用机器（通常是数字计算机）代替人眼来做测量及判断，对图像进行自动处理并报告“图像中有什么”的过程。
美国制造工程师协会（SME Society of Manufacturing Engineers）机器视觉分会和美国机器人工业协会（RIA Robotic Industries Association）的自动化视觉分会对机器视觉下的定义为：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置”。
具体来讲，是指通过镜头将被测目标转化为图像信号，投射至影像接受器件（一般为 CCD 元件）上再通过数字计算机进行分析处理。
CCD是英文（Charge Coupling Device）的缩写，其中文含义为电荷耦合组件。
当不同强度的光线照射在CCD表面，CCD 即发生光电效应，产生对应分布的电荷量。
通过模数转换即可得到对应的数字量。
由于一般均采用8位模数转换，则最低强度光线（黑）到最高强度光线（白）分成256等分（0~255），专业术语称之为灰阶或灰度随着信息时代的到来，用计算机处理各种信息的需求越来越多。
多媒体信息处理技术已经成为日常生活各个领域的迫切需要，而人们就更希望能用计算机来处理视觉问题，例如利用人脸、虹膜、指纹等识别技术来处理与个人有关的一切事务。
利用自动识别技术帮助盲人，利用视觉自动监控系统监视环境中发生的非常事件，如陌生人的侵入、老年人的异常行动等。
在如智能交通管理系统、视频检索、用于军事目的的自动目标检测等，都需要应用机器视觉技术来解决问题。
正如视觉是人类在自然环境与社会环境生存不可缺少的最重要感知器官，机器视觉技术也是信息技术中一门不可缺少的技术，因此它成为计算机学科中不可或缺的一们学科。
1.1.1 机器视觉组成图1-1 机器视觉系统的组成框图图1-1用图的方式表示了一个机器视觉系统在最基本层次上的组成。
首先对未知物体进行度量，并确定一组特征的度量值。
在工业应用中，这些特征包括被度量零件在图像中的长，宽和面积。
一旦特征经过度量后，其数值就被送到一个实现决策规则的过程中去。
这种决策的规则一般用一个子程序实现。
它对度量值进行计算，并根据所度量的值确定物体最可能属于的类别。
典型的机器视觉系统一般包括：光源，光学镜头，摄像机，传感器，图像分析处理软件，通讯接口等组成的。
图1-2：机器视觉基本结构如图1-2所示光源：在目前的机器视觉应用系统中，好的光源与照明方案往往是整个系统成败的关键，光源与照明方案的配合应尽可能地突出物体特征量，在物体需要检测的部分与那些不重要部份之间应尽可能地产生明显的区别。
其中 LED 光源凭借其诸多的优点在现代机器视觉系统中得到越来越多的应用光学镜头：光学镜头相当于人眼的晶状体，在机器视觉系统中非常重要。
镜头的主要性能指标有焦距、光阑系数、倍率、接口等。
相机：相机是机器视觉系统获取原始信息的最主要部分，目前主要使用的CMOS相机和CCD相机。
目前 CCD 摄像机以其小巧、可靠、清晰度高等特点在商用与工业领域都得到了广泛地使用。
图像采集卡：在基于 PC 机的机器视觉系统中，图像采集卡是控制摄像机拍照，完成图像采集与数字化，协调整个系统的重要设备。
视觉传感器：基于 PC 机的机器视觉系统结构没有模块化，安装不方便，可移植性差，特别是与工业广泛使用的PLC 接口比较麻烦。
从软件和硬件开发两个方面来考虑，都需要一种更适合工业需求的机器视觉组件。
目前国外已经开发出了一种叫做视觉传感器的模块化部件，图 2 为实物图。
这种视觉传感器集成了光源、摄像头、图像处理器、标准的控制与通讯接口，自成为一个智能图像采集与处理单元，内部程序存储器可存储图像处理算法，并能使用 PC 机，利用专用组态软件编制各种算法下载到视觉传感器的程序存储器中。
视觉传感器将 PC 的灵活性，PLC 的可靠性、分布式网络技术结合在一起。
用这样的视觉传感器和PLC 可以更容易地构成机器视觉系统1.1.2 机器视觉应用机器视觉被称为自动化的眼睛，在国民经济、科学研究及国防建设等领域都有着广泛的应用。
视觉的最大优点是与被观测的对象无接触，因此对观测与被观测者都不会产生任何损伤，十分安全可靠，这是其他感觉方式无法比拟的。
另外，视觉方式所能检测的对象十分广泛，可以说对对象是不加选择的。
理论上，人眼观察不到的范围计算机视觉也可以观察。
例如红外线、微波、超声波等人类就观察不到，而机器视觉则可以利用这方面的敏感器件形成红外线、微波、超声波等图像。
因此可以说机器视觉扩展了人类的视觉范围。
另外，人无法长时间地观察对象，计算机视觉则不知疲劳，始终如一地观测，所以机器视觉可以广泛地用于长时间恶劣的工作环境。
下面列举一些已取得的应用成果[10-14]：检测技术是现代制造业的基础技术之一,是保证产品质量的关键。
近年来,随着市场竞争的不断加剧,对产品质量的要求几乎近于苛刻,产品在线100%检测、控制和管理已成为企业不可缺少的技术装备,并可通过网络与制造业信息化系统连接,实现产品质量管理。
随着现代制造业的发展,许多传统的检测技术已不能满足其需要,表现在:现代制造产品种类有很大的扩充,现代制造强调实时、在线、非接触检测,现代产品的制造精度大大提高;现代制造业的进步需要研究新型的产品检测技术,视觉检测技术具有非接触、速度快、精度合适、现场抗干扰能力强等突出的优点,能很好地满足现代制造业的需求,在实际中显示出广阔的应用前景。
机器视觉检测系统正是适应以上要求而发展起来的一门学科。
机器视觉检测系统是建立在计算机视觉研究基础上的一门新兴检测技术,可用于工业领域的很多方面,如零件检验与尺寸测量、零件的缺陷检查、零件装配、机器人的引导和零件的识别等。
在现代制造业自动化生产中,涉及到各种各样的检查、测量和零件识别应用。
这类加工生产的共同特点是连续大批量生产、对尺寸精确度的要求非常高。
这种带有高度重复性和智能性判断的工作一般只能靠人手工检测来完成,我们经常在一些工厂的现代化流水线后面看到数以百计甚至逾千的检测工人来执行这道工序,在给工厂增加巨大的人工成本和管理成本的同时,仍然不能保证100%的检验合格率,而当今企业之间的竞争,已经不允许哪怕是0.1%的缺陷存在。
有些时候,如微小尺寸的精确快速测量,形状匹配,颜色辨识等,用人眼根本无法连续稳定地进行,其它物理量传感器也难有用武之地。
以铸件而言,它的形状不规则导致难以测量,而钣金件也是千变万化。
这时,计算机的快速性、可靠性、结果的可重复性,与人类视觉的高度智能化和抽象能力相结合,使机器视觉在工业检测中的应用越来越广泛。
机器视觉的特点是自动化、客观、非接触和高精度,与一般意义上的图像处理系统相比,机器视觉强调的是精度和速度,以及工业现场环境下的可靠性。
机器视觉系统形式多样，在不同的场景中应用所采用摄像装置也是不同的。
主要区分为，线阵和面阵两类。
工业视觉大多数使用线阵系统。
下面列出部分使用线阵和面阵视觉系统的应用。
(1)纺织与服装断纱检测;织染检测;布料、皮革形状检测。
(2)食品与粮食粮食异物检测、分拣与色选;饮料液位检测;生产日期、保质期字符识别;灌装线上空瓶的破损、洁净检测。
(3)特种检验缆绳磨损与破损检测;容器与管道探伤;游乐设施速度检测;危险装备的在线状态检测。
(4)包装外观完整性检测;条码识别;唆头、密封性检测。
(5)机械制造零部件外形尺寸检测;装配完整性检测;部件的定位与姿态识别;零件、发动机、底盘等编号的同色凹字符识别。
(6)邮政分拣邮政编码识别;包裹物品检测。
(7)海关与口岸指纹、掌纹、虹膜与人脸识别;货物识别;安检危险物品检测。
此外，机器视觉还广泛应用于集成电路检测、航空航天、军事国防、消防和公路交通等。
1.1.3 机器视觉的现状和发展机器视觉自七步发展到现在，已有接近15年的历史。
应该说机器视觉作为一个应用系统，其功能特点是随着工业自动化的发展而逐渐完善和发展的。
据不完全统计，目前全球整个视觉市场总量大概在70亿美元这个规模，并且按照每年8.8%的速度在增长。