基于HALCON的双目立体视觉工件尺寸测量

合集下载

基于HALCON的双目立体视觉系统实现

图1双目立体成像原理图图3一般双目立体视觉系统原理图由此可计算出空间中某点P在左摄像机坐标系中的坐标为:因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。

1．2双目立体视觉的系统结构以及精度分析由上述双目视觉系统的基本原理可知，为了获得三维空间中某点的三维坐标，需要在左右两个摄像机像面上都存在该点的相应点。

立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体。

图3为原理图。

这样通过求得两个图像中相应点的图像坐标，便可以由双目立体视觉测量原理求取三维空间坐标。

事实上，获取两幅图像也可以由一个摄像机实现，如一个摄像机通过给定方式的运动，在不同位置观测同一个静止的物体，或者通过光学成像方式将两幅图像投影到一个摄像机，都可以满足要求。

各种双目视觉系统结构各有优缺点，这些结构适用于不同的应用场合。

对要求大测量范围和较高测量精度的场合，采用基于双摄像机的双目立体视觉系统比较合适；对测量范围要求比较小，对视觉系统体积和质量要求严格，需要高速度实时测量对象，基于光学成像的单摄像机双目立体视觉系统便成为最佳选择。

基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上，在进行双目视觉系统标定以及应用该系统进行测量时，要确保摄像机的内参(比如焦距)和两个摄像机相对位置关系不能够发生变化，如果任何一项发生变化，则需要重新对双目立体视觉系统进行标定。

视觉系统的安装方法影响测量结果的精度。

测量的精度可由下式得出:上式中⊿z表示测量得出的被测点与立体视觉系统之间距离的精度，z指被测点与立体视觉系统的绝对距离，f指摄像机的焦距，b表示双目立体视觉系统的基线距，⊿d表示被测点视差精度。

为了得到更高的精度，应该使摄像机的焦距以及基线长度增大，同时应该使被测物体尽可能的靠近立体视觉系统。

另外这个精度和视差的精度有直接的关系。

在HALCON中一般情况下视差结果可以精确到1/5~1/10个像素，如果一个像素代表7.4μm那么视差的精度可以达到1μm。

基于Halcon软件的双目立体视觉系统标定

第１３卷
第９期
军事交通学
院学报
Ｖ０．３Ｎｏ．１１９Ｓｐ．２ｅｔ０１１
２１０１年９月
ＪｕａｆＭｉｔｒｒｎｐｒｔｎＵｎｖｒｉｏｒｌｏｌａｙＴａｓｏｔｉｉｅｓｙｎｉａｏｔ
近年来，备自主驾驶能力的智能车日渐成具为关注热点，研究涉及环境感知、划决策、其规车
双目立体视觉是立体视觉的一种重要形式，它是基于双目视差理论并利用成像设备从不同的位置获取被测物体的２幅图像，过计算图像通对应点间的位置偏差，获取物体三维几何信息来
表1摄像机性能参数项目性能指标型号分辨率pixels单位像素尺寸m外形尺寸mmbasiera6016564909999604429将计算得到的摄像机镜头最小焦距和视场角与实际的镜头参数进行比较选择参数最相近的摄像机镜头产品以采集满足应用要求的最佳图万方数据万方数据48军事交通学院学报第l3卷第9期光照条件下同一摄像头的参数虽有差异但差异很小
ＣｅｇＸｉｏｏｇＸｕＹｏｃｕＬａ，ｉｅｇｈｎａｌｎ，ｕｈｎ，ｉＨｕＪａＰｎ
（ｕｍｏｉｎｉｅｒｇＤｐｒｅｔｉｔｒＴａｓｏａｉｎｖｒｔ，ｉｊ０１１ｈｎ）ＡｔｂｅＥｇｅｎｅａｔｎ，ＭｌａｙｒｎｐｒｔｎＵｉｓｙＴａｉ３０６，Ｃｉａｏｌｎｉｍｉｔｏｅｉｎｎ

基于HALCON的双目视觉系统深度信息测量技术研究

基于HALCON的双目视觉系统深度信息测量技术研究基于 HALCON 的双目视觉系统深度信息技术研究立体视觉技术是机器人技术研究中最为活跃的一个分支是智能机器人的重要标志双目立体视觉是通过对同一目标的两幅图像提取识别匹配和解释进行三维环境信息的重建其过程主要包括视频捕获摄像机定标图像预处理和特征提取立体匹配以及三维重建为解决智能移动机器人工业装配机器人家用机器人公共服务机器人的视觉问题双目立体视觉技术的进一步研究可对多目视觉具有重要的启发本文对双目立体视觉测深原理和双目视觉系统的结构进行了初步研究其图象处理主要包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分并且应用 HALCON 软件实现了这些步骤的算法最后对基于HALCON 双目视觉系统测量深度进行了初步编程测试关键字双目视觉系统 HALCON 标定IV基于 HALCON 的双目视觉系统深度信息技术研究AbstractStereo vision technology is one of active branches in the robot technology it is animportant symbol of the intelligent robot Inthe system the three-dimensionalreconstruction environmental information is reconstructedby the objective extractionfrom images identification matching and explanation The process includes videocapture camera calibration image pre-processing and feature extractionthree-dimensional matching and three-dimensional reconstruction In order to solve theproblems about the vision of smart mobile robots industrial robot household robotsrobot visual public service problems the further study on the three-dimensional visiontechnology could inspire to more eyes visionIn the thesis the principle of binocular stereovision measuring depth and thestructure of binocular stereo vision are studied preliminarily Itsimage process includesfive parts such as image acquisition calibrationimage pre-processing and featureextraction three-dimensional matching and information extraction Thehalcon softwareto realize the algorithm of these steps have been applied Finally theexperiment of theprogramming to measure the depth based on the halcon in the binocularvision systemhave been carried and tested preliminaryKey words Binocular vision system halcon CalibrationV基于 HALCON 的双目视觉系统深度信息技术研究目录第一章绪论 111 研究的背景及意义 112 双目立体视觉系统的现状及发展方向 1com 双目视觉系统技术的国内外现状1com 双目立体视觉系统发展方向313 本文的主要研究内容 3第二章双目立体系统测量深度原理 521 双目立体视觉原理 522 体视觉系统的图象处理 6com 图像的获取 6com 摄像机的标定 7com 图像预处理与特征提取9com 图像匹配 9com 获得立体信息 1023 双目视觉系统的结构 11com 系统的结构 11com 双目测量深度的硬件组成12 第三章双目视觉系统深度测量程序设计 1431 本程序的设计思路及程序框图 1432 利用HALCON进行双目测深图像处理结果14 com 获取标定板图像 14com 处理标定板图像 15com 双目视觉系统标定 17com 获取观察物图像 17com 矫正图像 18com 获得中心点 3D信息1833 生成VC程序及制作应用软件20第四章基于halcon双目测深实验结果及误差分析21 41 实验结果 21VI基于 HALCON 的双目视觉系统深度信息技术研究42 误差分析 21第五章设计总结与展望 23参考文献 24致谢 26附录 1 27附录2 38声明 42VII基于 HALCON 的双目视觉系统深度信息技术研究第一章绪论11 研究的背景及意义双目视觉系统技术的研究一直是机器视觉中的热点和难点使用双目立体视觉系统可以确定任意物体的三维轮廓并且可以得到轮廓上任意点的三维坐标因此双目立体视觉系统可以应用在多个领域双目立体视觉系统在机器视觉领域有着广泛的应用前景双目立体视觉是机器视觉的一种重要形式它是基于视差原理并由多幅图像获取物体三维几何信息的方法双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像并基于视差原理恢复出物体的三维几何信息重建物体三维轮廓及位置HALCON是德国MVtec公司的图像处理软件是世界公认具有最佳效能的机器视觉软件这是一套图像处理库由一千多个各自独立的函数以及底层的数据管理核心构成其中包含了各类滤波色彩分析以及几何数学变换形态学计算分析校正分类辨识形状搜索等等基本的几何以及图像计算功能由于这些功能大多并非针对特定工作设计的因此只要用得到图像处理的地方就可以用HALCON强大的计算分析能力来完成工作由于机器视觉技术的发展这种可以"取代人眼"对重复工作不会疲劳精度高且稳定的特质促进了高科技业的发展例如电子业[1]产量的大幅提升本文研究了基于 HALCON 实现双目立体视觉系统以及立体视觉的基本理论方法和相关技术搭建双目立体视觉系统和提高算法效率12 双目立体视觉系统的现状及发展方向com 双目视觉系统技术的国内外现状双目视觉系统技术应用非常广泛目前主要应用于四个领域机器人导航操作系统的参数检测三维测量和虚拟现实日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统利用双目体视的原理以每幅图像中相对静止的三个标志为参考实时计算目标图像的雅可比矩阵从而预测出目标下一步运动方向实现了对运动方式未知的目标的自适1基于 HALCON 的双目视觉系统深度信息技术研究应跟踪该系统仅要求两幅图像中都有静止的参考标志无需摄像机参数而传统的视觉跟踪伺服系统需事先知道摄像机的运动光学等参数和目标的运动方式日本东京大学将实时双目立体视觉和机器人整体姿态信息集成开发了仿真机器人动态行走导航系统该系统实现分两个步骤首先利用平面分割算法分离所拍摄图像对中的地面与障碍物再结合机器人躯体姿态的信息将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系建立机器人周围区域的地图其次根据实时建立的地图进行障碍物检测从而确定机器人的行走方向华盛顿大学与微软公司合作为火星卫星探测者号研制了宽基线立体视觉系统使探测者号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航系统使用同一个摄像机在探测者的不同位置上拍摄图像对拍摄间距越大基线越宽能观测到越远的地貌系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配得到亚像素精度的视差并根据此视差计算图像对中各点的三维坐标相比传统的体视系统能够更精确地绘制探测者号周围的地貌和以更高的精度观测到更远的地形东南大学电子工程系基于双目立体视觉提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法可对三维不规则物体偏转线圈的三维空间坐标进行非接触精密测量哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部可以同时监视不同方位视点体现出比人类视觉优越的一面通过合理的资源分配及协调机制使机器人在视野范围测量精度及处理速度方面达到最佳匹配双目协调技术可使机器人同时捕捉多个有效目标观测相遇目标时通过数据融合也可提高测量精度在实际比赛中其他传感器失效的情况下仅仅依靠双目协调仍然可以实现全自主足球机器人导航火星 863 计划课题人体三维尺寸的非接触测量采用双视点投影光栅三维测量原理由双摄像机获取图像对通过计算机进行图像数据处理不仅可以获取服装设计所需的特征尺寸还可根据需要获取人体图像上任意一点的三维坐标该系统已通过中国人民解放军总后勤部军需部鉴定可达到的技术指标数据采集时间小于5s人提供身高胸围腰围臀围等围度的测量精度不低于10cm[2]2基于 HALCON 的双目视觉系统深度信息技术研究com 双目立体视觉系统发展方向就目前立体视觉技术的发展现状而言要构造出类似于人眼的通用双目立体视觉系统还有很长的路要走进一步的研究方向可归纳如下1如何建立更有效的双目体视模型能更充分地反映立体视觉不确定性的本质属性为匹配提供更多的约束信息降低立体匹配的难度2 探索新的适用于全面立体视觉的计算理论和匹配策略选择有效的匹配准则和算法结构以解决存在灰度失真几何畸变透视旋转缩放等噪声干扰特殊结构平坦匹域重复相似结构等及遮掩景物的匹配问题双目立体视觉这一有着广阔应用前景的学科随着光学电子学以及计算机技术的发展将不断进步逐渐实用化不仅将成为工业检测生物医学虚拟现实等领域的关键技术还有可能应用于航天遥测军事侦察等领域目前在国外双目体视技术已广泛应用于生产生活中而我国正处于初始阶段尚需广大科技工作者共同努力为其发展做出贡献13 本文的主要研究内容立体视觉的基本原理是从两个或多个视点观察同一景物以获取在不同视角下的感知图像通过三角测量原理计算图像象素间的位置偏差即视差来获取物体的三维信息这一过程与人类视觉的立体感知过程是类似的一个完整的双目立体视觉系统一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分本文研究内容为利用 HALCON 软件对图像进行处理通过图像匹配技术得到目标视差从而转化为物体所需的深度信息程序大致关键步骤分为图像获取―摄像机标定－物体识别－深度信息确定分析了各个步骤的相应问题和处理方法并将本课题的重点集中于测量深度信息各种算法 HALCON 软件编程这一部分第一章介绍了本文的研究意义以及双目立体视觉系统的国内外现状和发展方向最后介绍了本文的主要研究内容及章节安排第二章介绍了双目立体视觉原理及结构介绍了双目视觉的技术实现包括图像获取摄像机标定图像预处理与特征提取立体匹配信息提取3基于 HALCON 的双目视觉系统深度信息技术研究第三章研究了应用 HALCON 软件编程各种算法所得的整个程序四个主要步骤标定立体摄像系统获取图像矫正图像获得 3D 信息以及制作 VC 程序和应用软件第四章对基于 HALCON 双目视觉系统测量深度进行了实验对实验结果处理并分析了实验误差第五章最后介绍了本设计的总结及对今后的工作进行了展望4基于 HALCON 的双目视觉系统深度信息技术研究第二章双目立体系统测量深度原理21 双目立体视觉原理双目立体视觉三维测量是基于视差原理图 2-1 所示为简单的平视双目立体成像原理图两摄像机的投影中心分别为O 和O 点P为观察物上的中心点基线距b21为两摄像机的投影中心的连线距离两摄像机的焦距为f且相同左边摄像机的坐标系的原点在摄像机镜头的光心O处坐标系O_ x y z 如图 1 所示左右摄像机的c c c成像平面为O uv和O uv O 和O 分别为左右图像坐标系的原点在摄像机光轴与平21 2 1面的交点实际上摄像机的成像平面在镜头的光心后面f处这里绘制在镜头的光心前面f处成像平面的u轴和v轴和摄像机坐标系O_ x y z 的x 轴和y 轴方向一致c c c c c这样可以简化计算过程图2 －1 双目立体成像原理图点P在左摄像机成像平面和右摄像机成像平面中相应的坐标分别为Pu v 和11 1P u v 假定两摄像机的图像在同一个平面上则P点坐标y 在O uv和O uv系中v2 2 2c1 2坐标相同即v v 由三角几何关系得到215基于 HALCON 的双目视觉系统深度信息技术研究x x b ycu f c u c v v1 v2 f2-11 2 1z z zc c c视差定义为某一点在两幅图像中相应点的位置差其表达式为f bd u u2-21 2zc由此可计算出空间中某点P 在左摄像机坐标系中的坐标为b u1xc db vy c 2-3db fzcd因此只要能够找到空间中某点 P 在左右两个摄像机像面上的相应点并且通过摄像机标定获得摄像机的内外参数就可以确定这个 P 点的三维坐标这样深度信息的测量变为 P 点的 Z 轴之间的差值22 体视觉系统的图象处理一个完整的双目立体视觉系统的图象处理一般包括图像的获取摄像机标定图像预处理与特征提取立体匹配信息提取等五个部分com 图像的获取双目体视的图像获取是由不同位置的两台摄像机CCD 经过移动或旋转拍摄同一幅场景获取立体图像对其模型如图 2-2 假定摄像机C 与 C 的角距和内部参12数都相等两摄像机的光轴互相平行二维成像平面u O v 和u O v 重合P 与P 分1 1 12 2 2 1 2别是空间点P在C 与C 上的成像点但一般情况下两个摄像机的内部参数不可能1 2完全相同摄像机安装时无法看到光轴和成像平面故在实际中难以应用上海交大在理论上对会聚式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析并通过试验指出对某一特定点进行三角测量该点测量误差与两CCD光轴夹角是一个复杂的函数关系若两摄像头光轴夹角一定则被测坐标系与摄像头坐标系之间距离越大测量得到点距离的误差就越大在满足测量范围的前提下应选择两CCD之间夹角在 50-80 度之间[561012]6基于 HALCON 的双目视觉系统深度信息技术研究图2-2 双摄像机模型com 摄像机的标定计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的这些几何模型参数就是摄像机参数这个过程被称为摄像机标定根据摄像机参数性质可以分为内部参数和外部参数内部参数描述摄像机的内部光学和几何特性如图像中心焦距镜头畸变以及其它系统误差参数等相对于一个世界坐标系的摄像机坐标的三维位置和方向称为外部参数摄像机标定是立体视觉研究的重要组成部分首先建立 4 个坐标系见图 2-3 1 三维世界坐标系O_X YZ Xw ww wYw Zw 为物体点 P 的三维世界坐标 2 摄像机坐标系 O_X Y Z 图中光心到图c c c像平面距离OO 为摄像机有效焦距 f 3 成像平面坐标系 O XY P X Y1 uu u表示针孔模型下 P点的理想成像坐标P X Y 是由透镜径向畸变引起的偏离 Pd d d uX Y 的实际成像平面坐标 4 图像坐标系 O uv 原点 O 在图像平面u u 0 0的左上角每一像素的坐标u v 分别是该像素在数组中的列数和行数所以uv 是以像素为单位的图像坐标系的坐标[2389]7基于HALCON 的双目视觉系统深度信息技术研究图2-3四个坐标系图摄像机内参数的标定和单目视觉系统标定一致双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数 R 和 T 即两个摄像机之间的位置关系R 和 T 分别为旋转矩阵和平移向量一般方法是采用标准的 2D 或3D 精密靶标通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数具体的标定过程如下1将标定板放置在一个适当的位置使它能够在两个摄像机中均可以完全成像通过标定确定两个摄像机的内部参数以及他们的外部参数R T 与R T1 12 2则R T 表示左摄像机与世界坐标系的相对位置R T 表示右摄像机与世界坐标1 12 2系的相对位置2 假定空间中任意一点在世界坐标系左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为Xw Xc1 Xc2 则X R X T X R X T 11 2-41 C1 1 2W2 C W 2消去XW 得到1 1 11 2-5X R R X T R R T2 2 C 1 1 2 2 C 1 12两个摄像机之间的位置关系RT可以用以下关系式表示R R R T T R R T 1 1 2-62 1 2 2 1 128基于 HALCON 的双目视觉系统深度信息技术研究com 图像预处理与特征提取由光学成像系统生成的二维图像包含了各种各样的随机噪声和畸变因此需要对原始图像进行预处理突出有用信息抑制无用信息从而改善图像质量图像预处理的目的主要有两个一是改善图像的视觉效果提高图像的清晰度二是使图像变的更有利于计算机的处理便于各种特征分析图像预处理技术包括图像对比度的增强随机噪声的去除边缘特征的加强等特征提取是为了得到匹配赖以进行的图像特征由于目前尚没有一种普遍适用的理论可运用于图像特征的提取从而导致了立体视觉研究中匹配特征的多样性目前常用的匹配特征主要有点特征线特征和区域特征等一般来讲大尺度特征含有较丰富的图像信息在图像中的数目较少易于得到快速的匹配但它们的定位精度差特征提取与描述困难而小尺度特征数目较多其所含信息较少因而在匹配时需要较强的约束准则和匹配策略以克服歧义匹配和提高运算效率良好的匹配特征应具有可区分性不变性稳定性唯一性以及有效解决歧义匹配的能力[1415]com 图像匹配由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题然而对于实际的立体图像对求解对应问题极富挑战性可以说是双目立体视觉中最困难的一步为了能够增加匹配结果的准确性以及匹配算法的速度在匹配过程中通常会加入下列几种约束1 极线约束在此约束下匹配点已经位于两副图像中相应的极线上2 唯一性约束两副图像中的对应的匹配点有且仅有一个3 视差连续性约束除了遮挡区域和视差不连续区域外视差的变化都是平滑的4 顺序一致性约束位于一副图像极线上的系列点在另一幅图像中极线上有相同的顺序图像匹配的方法有基于图像灰度区域的匹配基于图像特征的匹配和基于解释的匹配或者多种方法结合的匹配针对模板匹配HALCON 提供了许多不同的方法方法的选择取决于图像的数据和需要解决的任务9基于 HALCON 的双目视觉系统深度信息技术研究基于灰度值的匹配gray-value-based macthing 是典型的匹配方法如果物体中灰度值变化不大没缺损部分和混乱这种方法可以被使用这种方法能够处理单一物体实例该实例在查找图像中可以是旋转的基于形状的匹配shape-based macthing 是机器视觉中的先进技术基于形状的匹配不是使用灰度值而是提取并使用轮廓的特征来产生模板和完成匹配在照明的变化和物体灰度值的变化的情况下这种方法得到的效果都是完全一致的他能够处理物体上的缺损部分混乱和噪声而且同一模板的多个实例可被同时发现多个的不同模板也可以被同时使用这种方法允许物体被旋转和缩放基于成分的匹配component-based matching 被认为是一种更高级的基于形状的匹配增强的功能是物体能够包含若干个可旋转和平移的部分旋转和平移是相对于这些部分之间进行的一个简单的例子是一对钳子逻辑上这被认为是一个物体但物体上它包含了两部分成分匹配允许只用一个查找步骤就能处理类似这样的复合物与将各个部分处理为整个特殊模型的方法相比成分匹配的优点在于提高了执行速度和算法的健壮性基于点的匹配point-based matching 目的是为了组合两幅有两幅重叠区域的图像首先在这两幅图像上提取有效点这些点被输入到实际的匹配过程匹配的结果是从一幅图像到另一幅图像映射允许平移旋转缩放和透视失真这种映射的典型应用是把两幅图像结合成一幅更大的图像当然一幅图像也可以作为模板对待另一幅图像则被视为包含需被查找模板实例的图像对待这种方法的优点在于能够处理没有校准的透视失真缺点在于增加了执行时间时间主要被用于有[1]效点的提取com 获得立体信息立体视觉的任务就是得出感兴趣场景的三维信息对于不同的应用可以有不同的要求但最基本的就是要计算目标的深度信息得到三维坐标若需要结果的可视化则可对场景进行重建己知立体成像模型和完成立体匹配后三维信息的恢复是比较容易的重要的是如何提高计算的精确度其影响因素是多方面的如摄像机参数标定图像特征定位的精确程度和立体匹配的准确性等等因此要提高三维重建的精度还需要更深入的研究而本文研究的正是最基本的目标获得深度信息得到三维坐标10基于 HALCON 的双目视觉系统深度信息技术研究23 双目视觉系统的结构com 系统的结构由上述双目视觉系统的基本原理可知为了获得三维空间中某点P 的三维坐标需要在左右两个摄像机像面上都存在该点的相应点立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体如图 2-4 所示为系统结构的实物图图2-4 一般双目立体视觉系统结构的实物图图2-4 所示双目视觉系统中两个真彩色摄像机型号均为 SSE1616两相机光轴中心设计在同一水平面上水平间距设计为 20Omm 且两摄像机之间的为50 度摄像机的图像传感器和镜头的物理参数分别为图像有效尺寸646515晶片尺寸617 H μm617 V μm 镜头焦距 f 16 mm 考虑到本系统为双目立体视觉系统要求双摄像机能够同时采集场景图像所以本文采用的是大恒公司 DH-VT121 视频采集卡它是基于 PC104-Plus 总线开发的可双路同时操作的视频采集卡它具有高品质的图像质量和稳定性因为深度信息的测量变为 P 点在不同位置的 Z 轴之间的差11基于 HALCON 的双目视觉系统深度信息技术研究值这样我们只要识别到一个点就可以因此我设定观察物为一张带有黑圆圈白纸P 点设为黑圆圈的中心点这样通过求得观察物上点P的两个摄像机的图像中相应点的图像坐标便可以由双目立体视觉测量原理求取点P在三维空间坐标基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上在进行双目视觉系统标定以及应用该系统进行测量时要确保摄像机的内参比如焦距和两个摄像机相对位置关系不能够发生变化如果任何一项发生变化则需要重新对双目立体视觉系统进行标定com 双目测量深度的硬件组成。

基于HALCON的双目立体视觉系统实现

基于HALCON的双目立体视觉系统实现双目立体视觉系统是一种模拟人眼观察物体的视觉系统，通过两个摄像机模拟人眼的双眼观察物体的方式，获取物体的三维信息。

HALCON是一种广泛应用于机器视觉领域的开发工具，可以用于开发和实现双目立体视觉系统。

双目立体视觉系统通过两个距离较短的摄像机成像同一个场景，利用两个图像的差异来计算场景中物体的深度信息。

在HALCON中，实现双目立体视觉系统的关键步骤包括相机校准、图像获取、图像匹配以及深度计算。

首先，进行相机校准。

双目相机系统的校准是获取准确三维信息的基础，HALCON提供了相机标定工具来获取相机的内参和畸变参数。

通过使用标定板或者特定的标定物体拍摄一组图像，可以通过HALCON的相机标定工具获取相机的校准参数。

接下来，进行图像获取。

使用两个相机同时拍摄同一个场景的图像，获取左右两个相机的图像。

HALCON提供了图像处理的函数和工具，可以方便地读取和处理图像。

然后，进行图像匹配。

通过对左右两个相机的图像进行匹配，找到对应的视差点对。

HALCON提供了多种图像匹配算法，可以根据具体的应用需求选择合适的算法，例如基于相似度的匹配算法、基于特征点的匹配算法等。

最后，进行深度计算。

根据图像匹配得到的视差点对，可以通过三角测量方法计算物体的深度信息。

HALCON提供了三角测量的函数和工具，可以根据视差和相机间的基线距离计算出物体的深度。

除了基本的双目立体视觉系统实现，HALCON还提供了丰富的图像处理和计算机视觉函数，可以进行目标检测、目标跟踪、图像分割等进一步的应用开发。

双目立体视觉系统在智能制造、机器人导航、自动驾驶等领域具有广泛应用。

通过HALCON的支持，可以方便地实现双目立体视觉系统，并为各种应用场景提供高效可靠的解决方案。

总结来说，基于HALCON的双目立体视觉系统实现，需要进行相机校准、图像获取、图像匹配和深度计算等步骤。

HALCON提供了丰富的函数和工具，可以方便地实现这些步骤，并为双目立体视觉系统的应用提供强大的支持。

halcon双目测距原理

halcon双目测距原理摘要：一、引言二、Halcon双目测距原理1.双目视觉基本概念2.双目测距的计算方法3.Halcon软件在双目测距中的应用三、Halcon双目测距的实际应用1.自动驾驶2.机器人视觉3.无人机导航四、Halcon双目测距的发展趋势与挑战1.提高测距精度2.应对复杂环境3.与其他深度估计算法的比较五、总结正文：一、引言随着计算机技术、图像处理技术和人工智能技术的快速发展，双目测距技术在众多领域得到了广泛应用。

Halcon作为一款功能强大的图像处理软件，也在双目测距领域发挥着重要作用。

本文将详细介绍Halcon双目测距的原理及其在实际应用中的表现。

二、Halcon双目测距原理1.双目视觉基本概念双目视觉系统是指通过两个相机从不同的角度拍摄同一场景，然后通过计算机处理这两幅图像来获取场景中物体的三维信息。

2.双目测距的计算方法双目测距主要利用视差原理，通过比较两幅图像中的对应点，计算出物体在空间中的距离。

3.Halcon软件在双目测距中的应用Halcon提供了丰富的图像处理功能，包括图像预处理、特征提取、匹配以及三维重建等，为双目测距提供了强大的支持。

三、Halcon双目测距的实际应用1.自动驾驶Halcon双目测距技术可以实时获取车辆周围环境的三维信息，为自动驾驶提供可靠的安全保障。

2.机器人视觉双目测距技术在机器人领域也有广泛应用，如导航、抓取、避障等任务，都需要准确获取物体的距离信息。

3.无人机导航无人机在执行任务时，需要实时获取地形和障碍物的三维信息，Halcon双目测距技术可以帮助无人机实现这一目标。

四、Halcon双目测距的发展趋势与挑战1.提高测距精度随着深度学习技术的发展，可以通过深度神经网络对双目测距结果进行优化，提高测距精度。

2.应对复杂环境在复杂环境下，如强光照、遮挡、纹理缺失等情况下，双目测距的性能会受到影响，需要研究针对性的解决方案。

3.与其他深度估计算法的比较Halcon双目测距技术需要与其他深度估计算法进行比较，以找到最适合特定应用场景的解决方案。

基于双目视觉的工件尺寸三维测量_张璐铭

点定为0。
3.2 逐点法识别特征圆
根据上述已确定的阵列坐标的大标志圆，对位于阵列其它位置的小特征圆进行预估定位。考虑到相邻点的间距变化不大，采用逐点确定法检测标靶行方向上的小标志圆。算法流
程图如图4所示。
3.4 识别所有特征圆最后判断是否所有的特征圆都被识别到，如果有一个圆没有被识别到，由该圆在标靶中的相对位置，分别根据该圆行和列的各点应用最小二乘法拟合直线，求两直线的交点，作为该圆的图像坐标值。 4.图像特征点提取图像的特征提取是指从图像中获得任何一种有用的结构化信息。通过双目视觉系统获得的图像含有大量丰富的信息，为了提高系统测量的速度和精度，在提取特征点时，一般先对图像进行预处理，流程图如图5所示。
(2) 其中和是三个点组成的两个向量，L的范围为[0,1]，越趋向于0表示两条线段越具有共线性，反之，越趋向于1表示两者越不共线。
图7 圆形度去噪图8 椭圆拟合
》》
学术交流
图9 立体匹配
5.立体匹配立体匹配就是根据不同的匹配算法将从两幅图像中提取出来的特征进行一一对应。在二维图像特征点提取以后，关键任务是寻求左 (右)图像中每个特征点在右(左)图像中相对应的点，用以恢复图像的深度信息，求得某些特征点的空间坐标以及由三维数据完成物体的三维测量。立体匹配的算法很多，其基本思想是基于相似性度量、连续性假设或外极约束等原则[8]。本文将椭圆拟合的圆心图像坐标，结合标定数据与极线约束的原则进行图像对的立体匹配，将像素坐标换算成世界坐标系下的三维坐标，最后根据这些三维点坐标计算出绝对误差与相对误差，完成物体的三维测量。图10为运用极线约束原则得出的图像对的立体匹配效果图。
间距a 间距b 间距c 间距d 间距e

基于双目视觉的工件尺寸在机三维测量

＊Ｃ０ｒｒ０ｇａｕｔｈｏｒ，Ｅ－ｍａｉｌ：ｍｅｙｍａｑｕａｎ＠ｓｃｕｔ．ｅｄｕ．ｃｎ
．
Ａｂｓｔｒａｃｔ：Ａｓｔｒａｄｉｔｉｏｎａｌｍｅａｓｕｒｉｎｇｍｅｔｈｏｄｓａｎｄｅｑｕｉｐｍｅｎｔｃａｎｎｏｔｍｅｅｔｔｈｅｒｅｑｕｉｒｅｍｅｎｔｏｆ３Ｄｍｅａｓ
（ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌａｎｄＡｕｔｏｍｏｔｉｖｅＥｎｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆ
Ｔｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０６４０，Ｃｈｉｎａ）
基于双目视觉的工件尺寸在机三维测量
全燕鸣，黎淑梅，麦青群
（华南理工大学机械与汽车工程学院，广东广Ｊ，ｉ１５１０６４０）
摘要：由于传统测量方法及仪器设备无法满足在机实时检测工件三维尺寸的要求，本文基于双目立体视觉视差原理，搭
ｕｒｅｍｅｎｔｏｆｗｏｒｋｐｉｅｃｅｄｉｍｅｎｓｉｏｎｓｏｎ — ｍａｃｈｉｎｅｉｎｒｅａｌ — ｔｉｍｅ。ａｎｏｎ— ｍａｃｈｉｎｅ３Ｄｖｉｓｉｏｎｍｅａｓｕｒｉｎｇｓｙｓｔｅｍｂａｓｅｄｏｎｔｈｅｐｒｉｎｃｉｐｌｅｏｆｂｉｎｏｃｕｌａｒｓｔｅｒｅｏｖｉｓｉｏｎｗａｓｅｓｔａｂｌｉｓｈｅｄｔｏｗｏｒｋａｔｔｈｅｗｏｒｋｓｈｏｐ．Ｆｉｒｓｔｌｙ，Ａｓｔｅｒｅｏｖｉｓｉｏｎｓｙｓｔｅｍｃａｌｉｂｒａｔｉｏｎｍｅｔｈｏｄｂｙｕｓｉｎｇａｐｌａｎｅｃａｌｉｂｒａｔｉｏｎｐｌａｔｅｗａｓｉｎｔｒｏｄｕｃｅｄ．Ｔｈｅｎ，ｔｈｒｅｓｈｏｌｄｓｅｇｍｅｎｔａｔｉｏｎａｌｇｏｒｉｔｈｍｗａｓｕｓｅｄｆｏｒｒｅｃｏｇｎｉｚｉｎｇａｎｄｅｘｔｒａｃｔｉｎｇｔｈｅｗｏｒｋｐｉｅｃｅｆｒｏｍｔｈｅｂａｃｋｇｒｏｕｎｄａｎｄｔｈｅＣａｎｎｙｏｐｅｒａｔｏｒａｎｄｐｏｌｙｇｏｎａｌａｐｐｒｏｘｉｍａｔｉｏｎｍｅｔｈｏｄｗｅｒｅｕｓｅｄｆｏｒｅｘｔｒａｃｔｉｎｇｔｈｅｗｏｒｋｐｉｅｃｅｃｏｎｔｏｕｒａｎｄｔｈｅｃｏｎｔｏｕｒｆｅａｔｕｒｅｐｏｉｎｔｓ．Ｆｕｒｔｈｅｒｍｏｒｅａｃｃｏｒｄｉｎｇｔｏｔｈｅｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍ

halcon双目测距原理

halcon双目测距原理Halcon是一款强大的计算机视觉开发平台，广泛应用于工业自动化、机器人、品质检测等领域。

在其中，双目测距作为一项重要的技术，被广泛应用于三维重建、机器人导航、物体检测和位置定位等方面。

双目测距是指通过两个相互平行的相机，通过分析相机拍摄到的物体图像之间的位移关系，在图像上计算出物体的三维坐标。

这样的技术有助于解决单目视觉无法准确估计物体大小和深度的问题。

双目测距的原理主要基于视差法，即通过对比左右两幅图像上的像素颜色值差异来计算物体的深度。

视差是指在双目摄像头所拍摄的图像中，同一物体在左右两幅图像上的像素点之间的水平偏移量。

根据视差，可以通过三角测量原理推导出物体的距离。

在识别物体之前，首先需要进行立体标定。

立体标定是根据摄像机内外参数来对两个相机进行标定，以便后续的深度计算。

求解相机的内外参数可以通过标定棋盘格的方法进行。

标定棋盘格时，需要将棋盘格放置在不同位置，并利用两个相机分别拍摄图像。

通过分析棋盘格图像上的角点坐标，可以求解出摄像机的内参矩阵、畸变参数和外参矩阵。

在标定完成后，可以开始进行双目测距的计算。

首先，通过两个相机同时拍摄同一场景的图像，得到左右两幅图像。

然后，通过立体匹配算法，在两幅图像之间搜索对应的像素点。

立体匹配算法可以分为区域匹配算法和特征匹配算法两种。

区域匹配算法是基于图像亮度的像素级匹配。

该算法首先选取一定大小的区域，在左图像上找到对应的右图像的区域，并计算两个区域之间的亮度差异。

通过找到使亮度差异最小的区域，确定两个像素点之间的匹配关系。

特征匹配算法是基于图像特征的点级匹配。

该算法通过检测图像中的特征点，如角点、边缘点等，然后在两幅图像中寻找对应的特征点。

通过特征点之间的关系，确定两个像素点之间的匹配关系。

在确定了左右图像上的匹配关系后，可以计算视差。

视差的计算可以通过像素级或子像素级的方法进行。

像素级的视差计算是将图像上的像素点直接的水平偏移量作为视差值，而子像素级的计算则是通过对比两个像素点之间的灰度值的差异，来对视差进行精确的估计。

基于双目视觉的零件多尺寸在线测量系统

㊀２０１８年㊀第１０期仪表技术与传感器Ｉｎｓｔｒｕｍｅｎｔ㊀Ｔｅｃｈｎｉｑｕｅ㊀ａｎｄ㊀Ｓｅｎｓｏｒ２０１８㊀Ｎｏ１０㊀基金项目：国家自然科学基金项目（６１３７１１９０）收稿日期：２０１７－０９－１３基于双目视觉的零件多尺寸在线测量系统张俊勇１，伍世虔１，陈㊀彬２，张㊀琴１，廖龙兴３（１．武汉科技大学，冶金装备及其控制教育部重点实验室，湖北武汉㊀４３００８１；２．武汉科技大学信息科学与工程学院，湖北武汉㊀４３００８１；３．泉州华中科技大学智能制造研究院，福建泉州㊀３６２０００）㊀㊀摘要：针对零件的自动化测量环节，搭建了一套可用于工业流水线生产的零件多尺寸在线测量系统㊂首先，对经典的张正友相机标定方法进行了改进；其次，把边缘聚焦思想用于Ｃａｎｎｙ算子实现了高精度的零件轮廓提取；然后根据相机的极线对齐理论，提出了基于极线阈值约束的灰度相关边缘匹配算法，获得零件轮廓点云图；最后，对目标点云数据拟合得到零件关键尺寸㊂整个过程基于高斯金字塔多分辨率技术来实现，在满足测量精度的前提下进一步提高了检测速度㊂经过多次实验测试，该系统具有测量精度较高㊁重复性误差小的优点，可以较好地完成零件的在线检测任务㊂关键词：双目视觉；在线测量；相机标定；边缘聚焦；高斯金字塔；流水线中图分类号：ＴＰ３９１㊀㊀㊀文献标识码：Ａ㊀㊀㊀文章编号：１００２－１８４１（２０１８）１０－００７５－０６ＢｉｎｏｃｕｌａｒＶｉｓｉｏｎＢａｓｅｄＭｕｌｔｉ⁃ｄｉｍｅｎｓｉｏｎｓＯｎ⁃ｌｉｎｅＭｅａｓｕｒｉｎｇＳｙｓｔｅｍｆｏｒＷｏｒｋｐｉｅｃｅｓＺＨＡＮＧＪｕｎ⁃ｙｏｎｇ１，ＷＵＳｈｉ⁃ｑｉａｎ１，ＣＨＥＮＢｉｎ２，ＺＨＡＮＧＱｉｎ１，ＬＩＡＯＬｏｎｇ⁃ｘｉｎｇ３（１．ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭｅｔａｌｌｕｒｇｉｃａｌＥｑｕｉｐｍｅｎｔａｎｄＣｏｎｔｒｏｌＴｅｃｈｎｏｌｏｇｙ，ＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ，ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００８１，Ｃｈｉｎａ；２．ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｎｅｅｒｉｎｇ，ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００８１，Ｃｈｉｎａ；３．ＱｕａｎｚｈｏｕＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＩｎｔｅｌｌｉｇｅｎｔＭａｎｕｆａｃｔｕｒｉｎｇＩｎｓｔｉｔｕｔｅ，Ｑｕａｎｚｈｏｕ３６２０００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔａｕｔｏｍａｔｉｃｍｅａｓｕｒｅｍｅｎｔｏｆｗｏｒｋｐｉｅｃｅｓ，ａｂｉｎｏｃｕｌａｒｖｉｓｉｏｎｂａｓｅｄｍｕｌｔｉ⁃ｄｉｍｅｎｓｉｏｎｓｏｎ⁃ｌｉｎｅｍｅａｓｕｒｉｎｇｓｙｓ⁃ｔｅｍｕｓｅｄｉｎｔｈｅｉｎｄｕｓｔｒｉａｌａｓｓｅｍｂｌｙｌｉｎｅｆｏｒｗｏｒｋｐｉｅｃｅｓｗａｓｃｏｎｓｔｒｕｃｔｅｄ．Ｆｉｒｓｔｌｙ，ａｎｉｍｐｒｏｖｅｍｅｎｔｗａｓｍａｄｅｏｎｔｈｅｃｌａｓｓｉｃＺｈａｎｇｓｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ．Ｓｅｃｏｎｄｌｙ，ｔｈｅｅｄｇｅｆｏｃｕｓｉｎｇｗａｓｅｍｐｌｏｙｅｄｉｎＣａｎｎｙｄｅｔｅｃｔｏｒｔｏａｃｃｕｒａｔｅｌｙｅｘｔｒａｃｔｓｔｒｕｃｔｕｒａｌｂｏｕｎｄａｒｉｅｓ．Ｆｕｒ⁃ｔｈｅｒｍｏｒｅ，ａｃｃｏｒｄｉｎｇｔｏｅｐｉｐｏｌａｒａｌｉｇｎｍｅｎｔｔｈｅｏｒｙ，ｔｈｅｇｒａｙｃｏｒｒｅｌａｔｉｏｎｍａｔｃｈｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｅｐｉｐｏｌａｒａｎｄｔｈｒｅｓｈｏｌｄｃｏｎ⁃ｓｔｒａｉｎｔｗａｓｐｒｏｐｏｓｅｄｔｏｏｂｔａｉｎｐｏｉｎｔｃｌｏｕｄｏｆｃｏｎｔｏｕｒｓ．Ｆｉｎａｌｌｙ，ｔｈｅｔａｒｇｅｔｐｏｉｎｔｃｌｏｕｄｗａｓｐｒｏｃｅｓｓｅｄａｎｄｆｉｔｔｅｄｔｏｙｉｅｌｄｔｈｅｋｅｙｗｏｒｋｐｉｅｃｅｓｄｉｍｅｎｓｉｏｎｓ．ＴｈｅｗｈｏｌｅｐｒｏｃｅｓｓｗａｓｂａｓｅｄｏｎＧａｕｓｓｉａｎｐｙｒａｍｉｄｍｕｌｔｉ⁃ｒｅｓｏｌｕｔｉｏｎｔｅｃｈｎｏｌｏｇｙ，ａｎｄｔｈｅｄｅｔｅｃｔｉｏｎｓｐｅｅｄｗａｓｆｕｒｔｈｅｒｉｍｐｒｏｖｅｄｕｎｄｅｒｔｈｅｐｒｅｍｉｓｅｏｆｓａｔｉｓｆｙｉｎｇｔｈｅｍｅａｓｕｒｅｍｅｎｔａｃｃｕｒａｃｙ．Ａｆｔｅｒｓｅｖｅｒａｌｅｘｐｅｒｉｍｅｎｔｓ，ｔｈｅｓｙｓｔｅｍｈａｓｔｈｅａｄ⁃ｖａｎｔａｇｅｓｏｆｈｉｇｈｍｅａｓｕｒｉｎｇａｃｃｕｒａｃｙａｎｄｓｍａｌｌｒｅｐｅａｔａｂｉｌｉｔｙｅｒｒｏｒ，ａｎｄｃａｎｃｏｍｐｌｅｔｅｔｈｅｏｎ⁃ｌｉｎｅｔｅｓｔｉｎｇｏｆｐａｒｔｓｗｅｌｌ．Ｋｅｙｗｏｒｄｓ：ｂｉｎｏｃｕｌａｒｖｉｓｉｏｎ；ｏｎ⁃ｌｉｎｅｍｅａｓｕｒｅｍｅｎｔ；ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ；ｅｄｇｅｆｏｃｕｓｉｎｇ；Ｇａｕｓｓｉａｎｐｙｒａｍｉｄ；ａｓｓｅｍｂｌｙｌｉｎｅ０㊀引言随着中国制造２０２５的推进，工业上对产品的加工㊁检测等自动化程度提出了更高的要求，特别是面对零件连续大批量生产时，传统的人工测量方法已不能满足目前工业自动化的需要㊂因此，基于视觉传感测量的方式应运而生㊂国内学者对视觉测量方法研究较多，孙军华等介绍了一种采用双目相机结合编码结构光的三维测量系统，通过移动测量仪获得三维点云矩阵，并使用点云拼接方法完成大型曲面的测量［１］㊂张瑞峰等设计了一种基于虚拟双目视觉的测量系统，由线激光器和工业相机构成，由导轨带动激光器做一维平移扫描，实现了圆形工件的轴线测量［１］㊂全燕鸣等搭建了一套用于车间数控机床上的双目测量系统，通过移动相机对工件不同部位进行拍照处理，实现了对简单工件的几何尺寸测量［３］㊂夏瑞雪等提出了一种利用工件ＣＡＤ模型，通过人工点击方式引导视觉测量仪进行测量［４］㊂这些方法仅适用于单个静态物体的尺寸检测，测量效率较低㊂本文使用被动式双目测量方式，结合光电传感器和光源控制器，搭建了一套面向工业大批量生产的零件在线测量系统，并从影响视觉测量精度㊀㊀㊀㊀㊀７６㊀ＩｎｓｔｒｕｍｅｎｔＴｅｃｈｎｉｑｕｅａｎｄＳｅｎｓｏｒＯｃｔ２０１８㊀的３个要素着手，对经典的相机标定㊁边缘检测和特征点匹配等方法进行研究与改进，提高了三维测量精度㊂１㊀系统搭建及电路设计１．１㊀双目视觉在线测量系统的搭建本文设计的双目在线测量系统，主要实现了大批量零件流水线传输时的在线尺寸检测，以及配合工业机器人对不合格零件进行在线智能分拣㊂图１为搭建的在线测量系统，该系统主要包括双目相机㊁传送带㊁光电传感器㊁漫反射光源㊁光源控制器和工业机器人等㊂待测零件由传送带从右向左传输，利用光电传感器及光源控制器实现两个相机同步外触发拍照及光源同步频闪补光㊂在线测量系统完成对零件关键尺寸的检测，对于不合格的零件，系统利用相机帧信息㊁零件的三维点云信息以及传送带传输速率信息，控制工业机器人将次品零件移入不合格料篓㊂图１㊀双目视觉在线测量系统１．２㊀双目相机及光源同步外触发电路设计系统采用了一对完全一样的ＭＶ－ＥＭ１２０Ｃ工业相机，相机内部的Ｉ／Ｏ线路通过光耦连接㊂为保证在线测量系统的测量精度，２个相机必须同步采集照片，同时为了避免产生运动模糊，相机曝光时间必须足够短，为此系统增加了高亮度漫反射光源，并通过光源控制器实现只在相机拍照时同步频闪，这样抑制了ＬＥＤ内部升温可使光源长时间稳定工作㊂针对上述要求，设计了双目相机及光源外触发接线电路，如图２所示，光电传感器检测到零件后，信号线Ｏｕｔ和零电位线Ｇｎｄ导通，此时相机的引脚２和３接收到电压激励信号，光耦常开开关闭合，相机内部电路导通，２个相机经电平上升沿触发同步曝光拍照，与此同时，连接引脚４和５端口的光耦常闭开关断开，开关三极管ｂ极由低电平变为高电平，大于导通电压，三极管ｃ极和ｅ极饱和导通，光源控制器外触发端口受到电压激励后，输出电压脉冲信号触发漫反射光源频闪补光㊂图２㊀双目相机及光源同步外触发电路原理图２㊀高精度在线测量系统２．１㊀双目视觉在线测量系统的标定２．１．１㊀双目视觉测量模型双目视觉测量是基于视差原理获得待测物体表面的三维坐标信息，如图３所示，ｐ（ｕ，ｖ）是空间中一点Ｐ（Ｘ，Ｙ，Ｚ）在相机成像面Ｉ上的投影坐标，Ｏｌ㊁Ｏｒ分别为左右相机光心，ｎ为相机主光轴向量，ｆ为相机焦距㊂若已知空间点Ｐ在左右像平面的投影坐标Ｐｌ和Ｐｒ以及相机标定参数，即可计算出点Ｐ的三维坐标（Ｘ，Ｙ，Ｚ）㊂图３㊀双目视觉测量模型２．１．２㊀相机标定方法的改进相机标定是估计镜头和图像传感器的参数，包括相机内参㊁外参以及透镜畸变系数，标定的准确性与鲁棒性直接影响系统的测量精度㊂相机模型有线性和非线性之分，基于小孔成像的线性模型为：ｓｕｖ１éëêêêêùûúúúú＝Ｋ［Ｒ㊀ｔ］ＸＹＺ１éëêêêêêùûúúúúú，Ｋ＝ｆｘ０ｕ００ｆｙｖ０００１éëêêêêùûúúúú（１）式中：ｓ为尺度因子；（ｕ，ｖ）为空间点（Ｘ，Ｙ，Ｚ）投影到成像面的图像坐标；ｋ为相机内参，包括焦距ｆｘ和ｆｙ，主点坐标（ｕ０，ｖ０）；［Ｒ㊀ｔ］为相机外参矩阵㊂目前工业相机普遍使用透镜模型，由于透镜加工及㊀㊀㊀㊀㊀第１０期张俊勇等：基于双目视觉的零件多尺寸在线测量系统７７㊀㊀安装的误差，相机成像发生畸变，相机非线性模型为ｕ＝ｕ＋δｕ（ｕ，ｖ）ｖ＝ｖ＋δｖ（ｕ，ｖ）{（２）式中：（ｕ，ｖ）为存在畸变的实际图像坐标；（ｕ，ｖ）为理想图像坐标；δｕ和δｖ为非线性畸变参数㊂张正友提出了一种灵活的平面标定方法［５］，解决了传统标定对昂贵设备的需求和自标定精度低的问题，但其自身也存在缺陷㊂张正友标定法是先通过相机线性模型获得封闭解，然后以该解作为初值，通过非线性搜索算法估计所有参数，包括相机内参㊁外参以及畸变系数㊂因为相机参数是耦合的，若提供的初值精度不高，非线性优化表现会很差，也就是不同的标定图像求解的相机参数相差很大，标定的准确性和鲁棒性不够㊂初值的求解精度受限于２个方面：标定图像的采集质量和标定板角点的提取精度㊂本系统使用高精度棋盘格标定板，采用随机抽样一致性算法（ＲＡＮＳＡＣ）［６］，从影响初值求解精度的两方面入手，自动去除不合规范的低质量图像和精度较低的角点，提高了标定精度，具体流程如下：（１）基于绝对二次曲线的像（ＩＣＡ）在单个相机中不变的理论［７］，构建ＩＣＡ模型，运用ＲＡＮＳＡＣ思想，自动去除低质量的标定图像㊂（２）基于标定板和成像面的单应性映射，利用每幅标定板角点的重投影误差大小，运用ＲＡＮＳＡＣ思想，自动去除误差较大的角点㊂（３）最后使用封闭解求得较为准确的初值，即相机的初始内外参数，然后考虑到镜头畸变因素，采用非线性优化算法求得精确的相机内外参数以及透镜畸变系数㊂（４）采用上面１３步改进的标定算法分别对左右相机进行标定，计算双目相机的相对位置参数㊂２．２㊀边缘聚焦思想的轮廓检测利用视觉进行尺寸测量感兴趣的是零件的轮廓特征，例如孔特征㊁线特征，对零件边缘轮廓特征的精确提取可以提高系统测量精度㊂边缘检测的算子很多，有Ｓｏｂｅｌ㊁Ｐｒｅｗｉｔｔ㊁Ｌｏｇ和Ｃａｎｎｙ等，其中Ｃａｎｎｙ算子的边缘检测效果最好，其凭借低漏检率㊁高定位精度而被广泛采用㊂但Ｃａｎｎｙ也有不足之处：Ｃａｎｎｙ算法采用高斯核进行平滑滤波：ｇ（ｘ，ｙ）＝１２πσ２ｅｘｐ（－ｘ２＋ｙ２σ２）（３）式中：（ｘ，ｙ）为图像坐标；σ为高斯核宽度参数㊂σ的取值对边缘检测影响很大，如果σ取值过小，图像平滑不够，除了零件的关键轮廓外，其表面的细小纹理等弱边缘也一同检测出来，不利于后面的分析判断；若σ取值过大，在抑制不必要边缘细节的同时会使边缘发生偏移，降低了边缘定位准确度㊂为了解决这一问题，本文将边缘聚焦技术［８］与Ｃａｎｎｙ亚像素边缘定位算法结合㊂文献［８］论证了当Δσɤ０５时，经高斯核函数平滑后的边缘偏移量不超过一个像素㊂基于上述论证，设计的边缘检测流程如图４所示，其核心思想就是首先采用较大的高斯核宽度σ０，然后不断地以步长０．５减小σ０并迭代优化边缘达到逼近真实边缘的同时又抑制了弱边缘的目的㊂图４㊀边缘检测流程图需要注意的是，由于在迭代中使用了较小尺寸的σ，经Ｃａｎｎｙ检测后的新边缘Ｅ（ｉ，ｊ，σｋ）会比旧边缘的定位精度更加准确，但相对于旧边缘会出现一些不必要的边缘细节及噪声㊂解决方法如下：对新边缘Ｅ（ｉ，ｊ，σｋ）采用８连通的方法对其连通区域进行标记，若新边缘中的像素点在旧边缘的８邻接范围内，且该点所在的连通区域长度超过给定的阈值，则该点保留，否则去除㊂该方法可以有效地抑制新边缘中出现的弱边缘及噪声，得到只含零件轮廓特征的高精度边缘图，记为Ｅ０（ｉ，ｊ，σｋ）㊂２．３㊀基于极线阈值约束的灰度相关边缘匹配特征匹配的目的是寻找左右图像的特征匹配点，也称共轭点㊂传统的匹配点搜索策略为Θ∗＝ａｒｇｍａｘΘ｜Ｆｉ⊕Ｆｊ（Θ）｜（４）式中：Θ为运动参数（沿ｘ，ｙ方向的平移）；⊕为相似性度量；Ｆｉ和Ｆｊ分别为左右图像特征点的聚合描述子㊂传统的匹配策略为二维搜索，即沿ｘ㊁ｙ方向的搜索，时间代价和误匹配率均较高，采用极线约束后，左右图像的共轭点在同一水平线上，实现了只沿ｘ方向的一维搜索㊂因为极线约束只实现了特征点对的ｙ坐标一致，左图像的特征点在极线约束下可能对应多个㊀㊀㊀㊀㊀７８㊀ＩｎｓｔｒｕｍｅｎｔＴｅｃｈｎｉｑｕｅａｎｄＳｅｎｓｏｒＯｃｔ２０１８㊀候选点，本文提出的采用基于灰度相关的边缘匹配方法，在候选点中选取最佳匹配点，并使用阈值约束进一步排除误匹配点，提高了匹配精度㊂具体实现方法：将左右边缘图中的待匹配特征点坐标映射到对应灰度图中，并在以该点为中心的窗结构内进行代价聚合，采用匹配代价函数ＳＳＤ作为灰度相似性度量标准，计算聚合描述子，构造代价函数如下：Ｐ（ｘ，ｙ，ｄ）＝ａｒｇｍｉｎｘ，ｙ，ｄðｎｉ＝１ðｎｊ＝１［Ｆｌ（ｘ＋ｉ，ｙ＋ｉ）－Ｆｒ（ｘ＋ｉ＋ｄ，ｙ＋ｊ）］２（５）式中：Ｆｌ和Ｆｒ对应左右灰度图像；（ｘ，ｙ）为特征点像素坐标；ｄ为水平视差；ｎ为聚合窗口尺寸㊂求得使式（５）最小时对应的特征点坐标Ｐ（ｘ，ｙ）和与之对应的水平视差Ｐｄ㊂对视差Ｐｄ进行阈值约束排除误匹配点，由三角测量关系可知：ＰｄɪｆＴ［Ｚｍａｘ，Ｚｍｉｎ］（６）式中：ｆ为相机焦距；Ｔ为两相机光心距离；Ｚ为待测零件到左相机光心的竖直距离㊂３㊀高斯金字塔加速技术为满足柔性生产线的测量精度与检测速度要求，基于不同加工精度的零件，采用高斯金字塔技术对获取的图像进行降采样处理，降低了采集图像的分辨率，在满足测量精密度的条件下，提升了系统的运行速度㊂该方法还避免了更换相机设备，可以使在线测量系统无间断工作㊂图５为高斯金字塔示意图，每层的尺寸从下至上依次减小㊂图５㊀高斯金字塔示意图对于一幅灰度图像Ｆ（ｘ，ｙ）ɪＲＭˑＮ，Ｍ和Ｎ为图像的宽度和高度，令高斯金字塔Ｌ０层图像：Ｇ０（ｘ，ｙ）＝Ｆ（ｘ，ｙ）（７）则Ｌｌ层图像：㊀Ｇｌ（ｘ，ｙ）＝ð２ｍ＝－２ð２ｎ＝－２ｗ（ｍ，ｎ）Ｇｌ－１（２ｘ＋ｍ，２ｎ＋ｙ）（８）式中ｗ（ｍ，ｎ）为高斯加权函数㊂经高斯金字塔降采样得到的图像尺寸会缩减，此时得到的特征点坐标及视差需要与原图进行关联㊂假设空间点Ｐ（Ｘ，Ｙ，Ｚ）在左成像面上的投影坐标为ｐ（ｘ，ｙ），且与之对应的视差为ｐｄ，创建第Ｌ层高斯金字塔，此时特征点坐标ｐＬ（ｘ，ｙ）及视差ｐＬｄ与原图的关系为ｐＬ（ｘ，ｙ）＝ｐ（ｘ２Ｌ，ｙ２Ｌ），ｐＬｄ＝ｐｄ２Ｌ（９）４㊀实验结果及数据分析４．１㊀实验具体过程双目视觉在线测量系统的流程图如图６所示㊂图６㊀双目视觉在线测量系统流程图（１）完成在线测量平台的搭建，进行双目相机标定㊂实验采用１５０ｍｍˑ１５０ｍｍ的高精度棋盘格标定板，要求摆放的标定板在２个相机的共同视野内，且相对于相机有不同的旋转姿态㊂左右相机共采集了１８对标定图像，使用改进的方法进行相机标定，并和经典的张正友标定法进行了对比，采用平均重投影误差作为相机标定精度的评价标准，结果如表１所示㊂表１㊀左右相机的平均重投影误差ｐｉｘｅｌ相机标定平均重投影误差（左）平均重投影误差（右）张正友标定法０．１６５００．１６０３改进的标定法０．１４３７０．１３４３㊀㊀（２）通过双目相机外触发进行同步图像采集㊂实验采用的测量对象为方形法兰，如图７所示㊂图７㊀方形法兰零件调整光电传感器相对于相机的位置，确保任意方向摆放的法兰零件触发光电传感器时，均在双目相机㊀㊀㊀㊀㊀第１０期张俊勇等：基于双目视觉的零件多尺寸在线测量系统７９㊀㊀的视野范围内㊂图８为双目相机同步采集的法兰零件图像对㊂㊀图８㊀法兰零件图像对（３）对采集的图像对进行畸变矫正和极线校正，使左右图像的特征匹配点位于同一水平线上㊂经过校正的图像对如图９所示，从图中的２条辅助线中可以看出，特征点对的ｙ坐标已经对齐㊂图９㊀经过校正的法兰零件图像对（４）对校正的图像进行轮廓特征检测，把边缘聚焦思想［８］应用在Ｃａｎｎｙ亚像素边缘提取中，得到高精度的法兰边缘轮廓，如图１０所示㊂㊀图１０㊀结合边缘聚焦思想的Ｃａｎｎｙ亚像素边缘检测（５）对左右图像的轮廓特征进行特征点匹配，根据式（５）寻找最佳匹配点对，根据式（６）的阈值约束排除误匹配点，计算特征点对应的三维坐标，得到法兰零件轮廓点云图，如图１１所示㊂图１１㊀法兰零件轮廓点云图（６）对零件轮廓点云进行空间圆和直线［９－１０］的分析及拟合处理，可得到方形法兰部分关键尺寸㊂经过多次重复实验，测量结果见表２，方形法兰零件的部分关键尺寸如图１２所示㊂表２㊀方形法兰部分关键尺寸测量结果关键尺寸参考值测量值／ｍｍ误差／ｍｍ相对误差／％４３．３１６７０．２４３４０．５６５１尺寸ａ４３．０７３３４３．２５７８０．１８４５０．４２８３４３．２８５９０．２１２６０．４９３６６２．２４５４０．２２８７０．３６８８尺寸ｂ６２．０１６７６２．２９３４０．２７６７０．４４６２６２．２９３７０．２７７００．４４６７６０．５０１２０．０２１２０．０３５１尺寸ｃ６０．４８００６０．４７５８－０．００４２０．００６９６０．４９６４０．０１６４０．０２７１１２０．３１５５－０．０７１２０．０５９１尺寸ｄ１２０．３８６７１２０．４０１２０．０１４５０．０１２０１２０．３９０８０．０４１００．０３４１１２０．２４９２０．０１４５０．０１２１尺寸ｅ１２０．２２００１２０．２０２４０．０１７６０．０１４６１２０．２５３６０．０３３６０．０２７９１７．１１０８０．０３０８０．１８０３尺寸ｆ１７．０８００１７．１２１２０．０４１２０．２４１２１７．１１２９０．０３２９０．１９２６１７．１５１７０．０３１７０．１８５２尺寸ｇ１７．１２００１７．１７０３０．０５０３０．２９３８１７．１６１８０．０４１８０．２４４２１７．２３５３０．０５５３０．３２１９尺寸ｈ１７．１８００１７．２１６２０．０３６２０．２１０７１７．２１５４０．０３５４０．２０６１１７．０１３５－０．０４５６０．２６７３尺寸ｉ１７．０６００１７．０１６２－０．０４３９０．２５７２１７．０２６２－０．０３３８０．１９８１１２９．８４０６０．０２０６０．０１５９尺寸ｊ１２９．８２００１２９．８１６７－０．００３３０．００２５１２９．８４０５０．０２０５０．０１５８㊀注：表中的参考值为精度０．０２ｍｍ游标卡尺３次测量平均值４．２㊀实验结论分析由表２数据分析可知，该双目在线测量系统的测量精度较高，重复性误差较小，对于零件线性轮廓的测量相对误差在０．０６％以内，对于非线性轮廓的测量相对误差在０．６％以内㊂５㊀结束语针对工业自动化的发展趋势，本文利用双目相机㊀㊀㊀㊀㊀８０㊀ＩｎｓｔｒｕｍｅｎｔＴｅｃｈｎｉｑｕｅａｎｄＳｅｎｓｏｒＯｃｔ２０１８㊀图１２㊀方形法兰部分关键尺寸图及光电传感器等设备搭建了一套在线测量系统，并对影响系统测量精度的关键因素进行了分析与改进㊂实验结果表明，该系统的测量精度较高，鲁棒性较好，适用于流水线零件的批量尺寸检测，在工业自动化检测中具有一定的研究价值㊂参考文献：［１］㊀孙军华，张广军，魏振忠，等．大型自由曲面移动式三维视觉测量系统［Ｊ］．仪器仪表学报，２００６，２７（１２）：１６８８－１６９１．［２］㊀张瑞峰，张肖萌．基于虚拟双目立体视觉的空间圆柱轴线测量［Ｊ］．仪表技术与传感器，２０１３（２）：４９－５１．［３］㊀全燕鸣，黎淑梅，麦青群．基于双目视觉的工件尺寸在机三维测量［Ｊ］．光学精密工程，２０１３，２１（４）：１０５４－１０６１．［４］㊀夏瑞雪，陈琳．精密视觉测量中的测量引导方法［Ｊ］．仪表㊀㊀技术与传感器，２０１５（１１）：９７－１００．［５］㊀ＺＨＡＮＧＺ．Ａｆｌｅｘｉｂｌｅｎｅｗｔｅｃｈｎｉｑｕｅｆｏｒｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓ＆ＭａｃｈｉｎｅＩｎ⁃ｔｅｌｌｉｇｅｎｃｅ，２０００，２２（１１）：１３３０－１３３４．［６］㊀ＦＩＳＣＨＬＥＲＭＡ，ＢＯＬＬＥＳＲＣ．Ｒａｎｄｏｍｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ：ａｐａｒａｄｉｇｍｆｏｒｍｏｄｅｌｆｉｔｔｉｎｇｗｉｔｈａｐｐｌｉｃａｔｉｏｎｓｔｏｉｍａｇｅａｎａｌｙｓｉｓａｎｄａｕｔｏｍａｔｅｄｃａｒｔｏｇｒａｐｈｙ［Ｍ］．ＡＣＭ，１９８１．［７］㊀ＬＶＹ，ＦＥＮＧＪ，ＬＩＺ，ｅｔａｌ．Ａｎｅｗｒｏｂｕｓｔ２Ｄｃａｍｅｒａｃａｌｉｂｒａ⁃ｔｉｏｎｍｅｔｈｏｄｕｓｉｎｇＲＡＮＳＡＣ［Ｊ］．Ｏｐｔｉｋ⁃ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｆｏｒＬｉｇｈｔａｎｄＥｌｅｃｔｒｏｎＯｐｔｉｃｓ，２０１５，１２６（２４）：４９１０－４９１５．［８］㊀ＢＥＲＧＨＯＬＭＦ．Ｅｄｇｅｆｏｃｕｓｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔ⁃ｔｅｒｎＡｎａｌｙｓｉｓ＆ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，１９８７，９（６）：７２６－７４１．［９］㊀张晶，黄琴，兰红军，等．工程测量中空间圆的拟合方法研究［Ｊ］．计量与测试技术，２０１１，３８（９）：３１－３２．［１０］㊀ＡＨＮＳＪ，ＲＡＵＨＷ，ＷＡＲＮＥＣＫＥＨＪ．Ｌｅａｓｔ⁃ｓｑｕａｒｅｓｏｒ⁃ｔｈｏｇｏｎａｌｄｉｓｔａｎｃｅｓｆｉｔｔｉｎｇｏｆｃｉｒｃｌｅ，ｓｐｈｅｒｅ，ｅｌｌｉｐｓｅ，ｈｙｐｅｒｂｏ⁃ｌａ，ａｎｄｐａｒａｂｏｌａ［Ｊ］．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，２００１，３４（１２）：２２８３－２３０３．作者简介：张俊勇（１９９２），硕士研究生，主要从事机器视觉㊁智能检测等方面的研究㊂Ｅ⁃ｍａｉｌ：ｚｊｙｌｏ＿ｖｅ＠１６３．ｃｏｍ伍世虔（１９６４），教授，博士，主要从事机器视觉㊁智能机器人㊁机器学习㊁图像处理及模式识别等领域的研究㊂Ｅ⁃ｍａｉｌ：ｓｈｉｑｉａｎ．ｗｕ＠ｗｕｓｔ．ｅｄｕ．ｃｎ（上接第７１页）５㊀结束语为了方便车辆检修人员获取轮胎使用信息及对车胎进行有效管理，本文设计了基于ＣＡＮ技术和ＲＦＩＤ技术的车胎信息采集系统，完成系统的软硬件设计㊂ＲＦＩＤ读写模块通过以太网进行数据传输，ＲＦＩＤ应用具有更大的灵活性与实时性，ＣＡＮ具有低成本㊁传输速率高㊁可靠的错误检测与出错处理等优势，而ＲＦＩＤ技术与ＣＡＮ技术的结合为车胎信息的采集与记录提供了一种解决方案㊂该系统设计不仅能为车辆检修人员对车胎的替换工作提供通用参考，而且能为废旧车胎的管理工作提供有效手段，具有广阔的应用前景㊂参考文献：［１］㊀张力．谈轮胎的换位及延长轮胎寿命的方法［Ｊ］．黑龙江科技信息，２０１１（３３）：５．［２］㊀何涛．卡车轮胎全寿命管理系统［Ｊ］．露天采矿技术，２０１５（３）：５９－６１．［３］㊀陈海军．基于ＲＦＩＤ技术的轮胎生产智能化管理系统［Ｊ］．轮胎工业，２００８，２８（１２）：７４７－７５０．［４］㊀康东，石喜琴，李勇鹏，等．射频识别（ＲＦＩＤ）核心技术与典型应用开发案例［Ｍ］．北京：人民邮电出版社，２００８：５４－９９．［５］㊀罗峰，孙泽昌．汽车ＣＡＮ总线系统原理㊁设计与应用［Ｍ］．北京：电子工业出版社，２０１０：２７－４７．［６］㊀欧阳宏志，单长虹，黄智伟．物联网中ＵＨＦ频段ＲＦＩＤ读写器设计［Ｊ］．电子设计工程，２０１３，２１（２２）：２３－２９．［７］㊀侯金红，陈伟建，文光俊，等．兼容ＩＳＯ１８０００－６Ｂ／６ＣＵＨＦＲＦＩＤ读写器软件设计及实现［Ｊ］．计算机应用，２０１１，３１（２）：１６６－１６８．［８］㊀孙毅刚，邓勇，李强．基于ＡＳ３９９２的ＵＨＦＲＦＩＤ阅读器设计和研究［Ｊ］．制造业自动化，２０１３，３５（１０）：１３８－１４２．［９］㊀刘丽丽，徐皑冬，宋岩，等．车辆通用故障诊断协议的研究与开发［Ｊ］．计算机工程，２０１２（８）：９－１３．作者简介：白华（１９８０），副教授，博士，主要研究方向为光电检测技术与信息系统的研究㊂Ｅ⁃ｍａｉｌ：ｂａｉｈｕａ＠ｔｊｐｕ．ｅｄｕ．ｃｎ林巧婷（１９９１），硕士研究生，主要研究方向为无线通信技术及应用㊂Ｅ⁃ｍａｉｌ：ｌｉｎｑｉａｏｔｉｎｇ１５＠１６３．ｃｏｍ。

基于hancon双目立体视觉焊缝检测

基于halcon的双目立体视觉焊缝检测基于halcon的双目立体视觉焊缝检测1 前言现代焊接生产中，对焊接技术和质量的要求愈来愈高。

自动化和智能化在焊接生产上的应用日趋广泛。

近年来图像处理技术和机器视觉技术得到空前的发展，如果把机器视觉技术用在焊缝成形质量评判中，可以提高评判效率，为焊接质量评判的智能化打下基础。

机器视觉是运用计算机来模拟人的视觉，从不同事物的图像中获取信息，进行相应处理并加以分析、理解，最终应用于实际的检测与测量等。

机器视觉检测和测量方法不但可以有效提高生产效率与自动化程度，且易于实现信息的集成，从而满足数字化自动化生产的要求。

机器视觉中的立体视觉技术把二维景物的分析推广到了三维景物，该项技术可方便实现从图像获取到三维景物表面重建的完整体系，对于整个机器视觉的发展具有重要意义。

双目立体视觉是立体视觉中的一个重要的分支，它直接模拟人视觉处理景物的方式，可以在各种条件下灵活地测量景的立体信息。

2 双目视觉检测2.1 基本理论如图1 所示，设点P为空间焊缝某一特征点，该点在两相机平面O1和O2的投影点依次为P1和P2。

图1 双目视觉原理根据空间解析几何理论，很显然，式( 3) 中的4个方程均具有平面解析式的形式，前2 方程代表2平面相交，得到的是直线O1P1P 的方程，同理直线O2P2P 的方程由后2 个方程得出。

两直线方程相交，即可求出P 点的空间三维坐标。

可见，若采用单相机模型，则理论上仅能解出一条直线的空间方程，无法得出空间点的准确三维坐标，而双目视觉理论则能够克服这个缺陷，从而使焊缝的精确测量有了可能。

2.2图像处理为实现准确测量的目的，必须对采集到的图像进行数字化处理。

首先，经过相机采集到的焊缝图像不可避免地存在一些污染痕迹，这些痕迹会对有效捕捉焊缝特征点产生影响，这在计算机图形学中被称之为噪点，要进行降噪处理以剔除噪点。

其次，初步采集到的图像为全信息图像，欲提取有效焊缝信息，必须对图像进行二值化处理，以便计算机有效区分焊缝轮面坐标系O －XlYl ，O －XrYr 的转换矩阵分别为Ml 和Mr ，那么根据透镜成像原理，针对左右相机，可得如下2 个方程:111121314112122232431323334=11111111u m mm m v m m m m m mmm llllll l l l l l l X X Y Y Z Z M ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦ (1) 211121314r 22122232431323334=11111111u m m m m m m m m m mmmrrrr rr r rr r r r X X Y Y Z Z v M ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦ (2) 式中: ( u1，v1，1) 和( u2，v2，1) 依次为p1和p2的齐次相机平面坐标; ( X ，Y ，Z ，1 ) 为点P 在空间绝对坐标系中的齐次坐标。

基于双目立体视觉的工件测量研究

ë 1 û
2
2
2
2 éX ù
w
éu rù éêm11 m12 m13 m14 ùú ê ú
Y
2
2
2
2
w
Z cr êv rú = êêm 21 m 22 m 23 m 24úú ê ú
167
确定的，外参矩阵 M 2 是由旋转矩阵 R 和平移向量
T 所确定的。因此，可以将 M 定义为 3×4 阶投影矩
阵。
已知点 P 在左右成像平面各得到一个投影点，
两侧摄像机的光可以表示为 O l 、O r ，f 表示摄像机
分别用 M1 和 M 2 表示左右摄像机的投影矩阵。则
焦距，n 表示相机光轴方向向量。将空间一点 P（X，
的方法。首先进行摄像机标定，得到摄像机的内外参数，然后利用 sobel 算法对工件边缘检测，最终利用摄像机内外参数计
算所提取工件特征点在世界坐标系下的三维坐标，得到工件的相关尺寸。
关键词
双目立体视觉；摄像机标定；sobel 算法；边缘检测
中图分类号
TP274
DOI：10. 3969/j. issn. 1672-9730. 2020. 01. 039
Abstract
110136）
Workpiece dimensional accuracy measurement plays an important role in the industrial production industry. Based
on the binocular stereo vision model，this paper proposes a method for measuring the dimensions of the workpiece. First，the camera

基于双目立体视觉的IC板深度测量

基于双目立体视觉的IC 板深度测量IC board depth measurement based on binocular stereo vision席云飞1，吴双2，徐健2，马荣路2，游晓航2XI Yun-fei 1, WU Shuang 2, XU Jian 2, MA Rong-lu 2, YOU Xiao-hang 2（1.北京机械工业自动化研究所，北京 100120；2.北自所（北京）科技发展有限公司，北京 100120）摘要：为了测量批量生产的IC板深度，搭建了一套双目立体视觉系统，介绍了双目视觉测量原理和测量过程，结合HALCON视觉处理软件开发了图像处理算法，通过立体匹配获取到了左右相机的视差图，最终根据视差图像计算出了IC零件的深度，实现了对IC零件深度的准确测量。

实验结果表明，该方法可较精确的测量出IC零件深度。

关键词：双目视觉；HALCON；图像处理；深度检测中图分类号：TP29 文献标识码：A 文章编号：1009-0134(2020)05-0129-04收稿日期：2019-03-24作者简介：席云飞（1994 -），男，山西忻州人，硕士研究生，研究方向为控制理论与控制工程。

0 引言随着电子行业的高速发展，电子产品的零件设计向着复杂化、精细化、轻薄化的方向发展。

这将大大增加体积越来越小，精度越来越高的印刷电路板PCB 质量检测难度。

如何对批量生产的PCB 板外观质量检测，成为制约生产效率的主要问题。

若采用人工检测的方法去检测外形尺寸及厚度、孔径、IC 孔位置尺寸的合格性，受人的主观因素影响比较大，使得检测效率较低，检测结果错误率较高。

随着机器视觉技术和计算机技术的深度发展，采用机器视觉技术进行尺寸检测得到广泛的应用。

这种技术的出现，大大提高了检测效率和准确性。

双目立体视觉技术可以获得视场中目标的深度和形状等三维信息，实现物体在三维空间的检测、识别、追踪以及交互。

相较于其他视觉技术，具有成本低，精度高和适用范围广等优点。

基于HALCON的双目摄像机标定

基于HALCON的双目摄像机标定于春和;祁乐阳【摘要】Based on the binocular stereo vision system for the purpose of calibration. The internal and external parameters of stereo vision system of binocular camera are obtained by using HALCON calibration board and comparative experiment by software rich operator platform. The results are accurate and simple. The program is robust and efficient, and can be applied to binocular stereoscopic vision system effectively, which provides a solid foundation for 3D reconstruction of human face based on binocular stereoscopic vision.%基于对双目摄像机立体视觉系统进行标定的目的.采用HALCON标定板,通过软件丰富算子平台进行对比实验得到双目摄像机立体视觉系统的内部参数以及外部参数.算法结果准确,简单易行.其程序鲁棒性强,运算效率高,能够高效的运用到双目立体视觉系统中,为基于双目立体视觉的人脸三维重建提供了坚实的基础.【期刊名称】《电子设计工程》【年(卷),期】2017(025)019【总页数】4页(P190-193)【关键词】刚性转换;双目标定;机器视觉;HALCON标定板【作者】于春和;祁乐阳【作者单位】沈阳航空航天大学电子信息工程学院,辽宁沈阳 110136;沈阳航空航天大学电子信息工程学院,辽宁沈阳 110136【正文语种】中文【中图分类】TN391Abstract:Based on the binocular stereo vision system for the purpose of calibration.The internal and external parameters of stereo vision system of binocular camera are obtained by using HALCON calibration board and comparative experiment by software rich operator platform.The results are accurate and simple.The program is robust and efficient，and can be applied to binocular stereoscopic vision system effectively，which provides a solid foundation for 3D reconstruction of human face based on binocular stereoscopic vision.Key words:rigidity conversion；binocular calibration；machine vision；HALCON calibration plate摄像机标定是机器视觉和摄像测量领域相对基础的工作，同时也是最复杂、困难的工作。

一种基于双目视觉的零件多尺寸的测量方法及系统与流程

一种基于双目视觉的零件多尺寸的测量方法及系统与流程
基于双目视觉的零件多尺寸的测量方法是使用双目视觉系统对零件进行测量的一种方法。

该方法的基本流程如下：
图像获取：使用双目视觉系统获取零件的图像。

双目视觉系统由两个相机和一个光源组成，相机用于捕捉零件的图像，光源用于照亮零件。

图像预处理：对获取的零件图像进行预处理，包括去噪、增强、分割等操作，以提高测量精度和稳定性。

特征提取：提取零件的特征点，如边缘、角点等。

这些特征点用于后续的测量和计算。

坐标系建立：根据零件的特征点，建立零件的坐标系。

这个坐标系用于描述零件的位置和方向。

尺寸测量：根据建立的坐标系，测量零件的各个尺寸，如长度、宽度、高度等。

结果输出：将测量结果输出到计算机或打印机等设备上，以便进行后续的分析和处理。

基于双目视觉的零件多尺寸测量方法具有以下优点：
非接触测量：该方法采用非接触式的测量方式，不会对零件造成任何损伤。

高精度测量：通过精确的相机和光源配置，可以实现高精度的测量结果。

自动化程度高：该方法可以实现自动化测量，大大提高了测量效率。

适用范围广：该方法适用于各种形状和尺寸的零件测量，具有广泛的应用前景。

需要注意的是，基于双目视觉的零件多尺寸测量方法需要专业的设备和人员操作，同时还需要对图像处理和计算机视觉技术有一定的了解。

halcon双目测距原理

halcon双目测距原理如何使用"net use"命令在Windows中映射网络驱动器在Windows操作系统中，"net use"命令可以用来映射网络驱动器，使得用户可以通过本地计算机访问远程文件夹或网络共享资源。

本文将逐步介绍"net use"命令的用法，并提供一些示例操作。

第一步：打开命令提示符要使用"net use"命令，首先需要打开命令提示符。

在Windows操作系统中，可以通过以下方式打开命令提示符：1. 在任务栏的搜索框中输入"cmd"，然后点击出现的"命令提示符"应用程序图标；2. 按下Win + R键，然后在"运行"对话框中输入"cmd"，最后点击"确定"按钮。

第二步：查看"net use"命令的语法在命令提示符中输入"net use /?"命令可以查看"net use"命令的详细使用方式和参数。

net use [<device name> *] [] [/persistent:{YES NO}]net use [<device name> *][{\\<system>[\sharename[\volume] [>] [<device name>: [{/d /delete} [{/y /yes}]]]注意：中括号"<>"中的内容表示可选项，竖线" "表示可选项之间的选择。

第三步：映射网络驱动器使用"net use"命令可以将远程网络共享资源映射为本地驱动器。

下面是一个示例：net use X: \\server\share以上命令将把远程服务器"server"上的共享资源"share"映射到本地计算机的X驱动器。

Halcon在工件二维尺寸检测上的应用

机电技术 2011年8月12作者简介：陈艺峰 (1986-)，男，硕士研究生，研究方向：机电一体化及机器视觉。

Halcon 在工件二维尺寸检测上的应用陈艺峰（厦门大学物理与机电工程学院，福建厦门 361005）摘要：工件在加工过程中，尺寸的检测是是保证加工精度和提高生产效率的重要保证，机器视觉在工件二维尺寸检测中具有重要的应用价值。

文章基于强大的视觉软件Halcon 为平台，实现对平面工件的二维特征尺寸检测，具有简明、快速、稳定的特点，可达到较好的效果。

关键词：Halcon ；机器视觉，二维尺寸检测中图分类号：TP391.41 文献标识码：A 文章编号：1672-4801(2011)04-012-03工业生产中经常需要对半成品或成品进行几何尺寸的测量，一般要求具有一定的测量准确度和较快的测量速度。

非接触式测量消除了在接触式测量中可能产生的工件表面损伤，是较好的测量方法。

非接触式测量有光栅测量法、激光三角测量法以及机器视觉测量等方法。

其中机器视觉测量是人工智能与测量技术交叉而形成的智能测量,测量速度快、系统成本低、安装方便，具有较高的研究价值[1]。

1 Halcon 机器视觉软件德国 MVtec 公司的图像处理软件 Halcon ，是世界公认具有最佳效能的机器视觉软件。

它发源自学术界，有别于市面一些商用软件包。

事实上，这是一套图像处理库，由一千多个各自独立的函数，以及底层的数据管理核心构成。

其中包含了各类滤波、色彩分析以及几何、数学变换、形态学计算分析、校正、分类、辨识、形状搜索等等基本的几何以及图像计算功能。

可以辅助以图形图像处理为主的应用程序的开发。

作为目前业内功能最完善、效率最高的软件之一, 已被广泛应用于工业生产中的各个方面, 如陶瓷、食品、机械、医疗等[2]。

Halcon 在为工业检测上提供了高速、高精度、强有力的方法。

关于平板、晶片以及硬模检测，如PCB 、BGA 插脚检测，Halcon 能检测的缺陷精度高于1 μm ；Halcon 的超级边缘检测和轮廓分析加上其强大的3D 摄像机标定使得在整个视场范围内的测量都很精确；在表面检测方面，不同材料，不同的缺陷类似像边缘裂痕、破洞、内含污染物、划痕、凹陷等，Halcon 先进的滤波技术能够应付此类问题；在OCR 、2维码识别方面，Halcon 识别每个字符的时间小于0.1 ms 。