视觉检测技术-课件_
合集下载
视觉测量第一章课件
围。
图像采集卡
图像采集卡是连接视觉传感器和计算机的桥梁，负责将传感器捕获的图像数据传输 到计算机中。
图像采集卡具有高传输速率和低延迟等特点，能够保证图像数据的实时性和准确性。
图像采集卡还具有图像预处理功能，可以对图像进行噪声抑制、对比度增强等操作， 提高图像质量。
计算机
计算机是视觉测量系统的数据处理中 心，负责存储、处理和分析图像数据。
视觉测量的应用领域
工业检测
医学影像分析
在制造业中，视觉测量广泛应用于产品检 测、质量控制和生产自动化等方面，如零 件尺寸测量、表面缺陷检测等。
在医学领域，视觉测量技术可用于医学影 像的分析和诊断，如X光片、CT和MRI等影 像的测量和分析。
农业领域
交通领域
在农业领域，视觉测量技术可用于农作物 的生长监测、产量预测等方面，如植物高 度、叶片面积等参数的测量。
利用深度相机获取深度信息，进行匹配。
基于灰度的匹配
利用灰度信息进行匹配，如SSD、NCC等算 法。
多模态匹配
结合多种特征进行匹配，提高匹配准确度。
测量算法
几何测量
基于几何原理进行测量，如距离、角 度、面积等。
运动学测量
利用机器人的运动学信息进行测量。
深度学习测量
利用深度学习算法进行测量，如语义 分割、目标检测等。
计算机还需要安装专业的视觉测量软 件，以便对图像数据进行处理、分析 和识别。
计算机需要具备强大的计算能力和存 储能力，能够快速处理大量的图像数 据。
软件系统
软件系统是实现视觉测量的关键， 包括图像处理、特征提取、目标
识别等功能。
软件系统需要具备友好的用户界 面和灵活的操作方式，方便用户
进行测量和调试。
图像采集卡
图像采集卡是连接视觉传感器和计算机的桥梁，负责将传感器捕获的图像数据传输 到计算机中。
图像采集卡具有高传输速率和低延迟等特点，能够保证图像数据的实时性和准确性。
图像采集卡还具有图像预处理功能，可以对图像进行噪声抑制、对比度增强等操作， 提高图像质量。
计算机
计算机是视觉测量系统的数据处理中 心，负责存储、处理和分析图像数据。
视觉测量的应用领域
工业检测
医学影像分析
在制造业中，视觉测量广泛应用于产品检 测、质量控制和生产自动化等方面，如零 件尺寸测量、表面缺陷检测等。
在医学领域，视觉测量技术可用于医学影 像的分析和诊断，如X光片、CT和MRI等影 像的测量和分析。
农业领域
交通领域
在农业领域，视觉测量技术可用于农作物 的生长监测、产量预测等方面，如植物高 度、叶片面积等参数的测量。
利用深度相机获取深度信息，进行匹配。
基于灰度的匹配
利用灰度信息进行匹配，如SSD、NCC等算 法。
多模态匹配
结合多种特征进行匹配，提高匹配准确度。
测量算法
几何测量
基于几何原理进行测量，如距离、角 度、面积等。
运动学测量
利用机器人的运动学信息进行测量。
深度学习测量
利用深度学习算法进行测量，如语义 分割、目标检测等。
计算机还需要安装专业的视觉测量软 件，以便对图像数据进行处理、分析 和识别。
计算机需要具备强大的计算能力和存 储能力，能够快速处理大量的图像数 据。
软件系统
软件系统是实现视觉测量的关键， 包括图像处理、特征提取、目标
识别等功能。
软件系统需要具备友好的用户界 面和灵活的操作方式，方便用户
进行测量和调试。
视觉测量技术一_视觉系统构成 ppt课件
入射光照-关于光轴的漫射光照
光分束器 Beam Splitter
光源Light source
漫散射器 Diffuser 物体 Object
入射光照-关于光轴的漫射光照
纹理表面光照
突出光洁表面与纹理表面反射光的不同
Emphasize Finish/Texture (reflection) Differences
轴承的外观检测
高速检测连续冲孔的 冲压零部件。
可使用2台线型相 机高精度检测长尺 的金属滚轴表面缺 陷
曲面外观检测
2、机器视觉应用
• 导航
Rocky 7 火星车
Rocky7视觉系统获取的立体图象对
(a) 深度图象
(b)障碍物探测示意图
Rocky7 视觉系统对场景的深度恢复
2、机器视觉应用
• 导航
每个摄影镜头都有 一个或者多个最佳光圈 ，在这些最佳光圈下， 画面的质量达到最好， 分辨率高、反差均衡等 。
3.1 摄像机 - 镜头 – 型号
3.1 摄像机 - 镜头 – 型号
3.1 摄像机 - 镜头 – 焦距
薄透镜原理
f: 透镜焦距长度 F: 透镜焦点 z’: 摄像机常数
1- 1=1 z' z f
线阵
3.1 摄像机- Sensor
CMOS（complementary metal-oxide semiconductor） 互补金属氧化物半导体
灵敏度 成本 分辨率 抗噪声 功耗 速度
3.1 摄像机- Sensor
CCD
CCD 高 高
Vs CMOS
CMOS 低 低
高
低
好
一般
高
低
低
高
3.1 摄像机-CCD 传感器-尺寸
课件6-8视觉检测.
圆形水晶
方形水晶
三、欧姆龙智能视觉检测系统在上下料机器人工作站系统的应用
• 1、水晶形状的识别： • （1）、新建一个场景。 • （2）、在主界面单击“流程编辑”，进入流程编辑界面。 • （3）、输入图像。
圆形水晶图像输入
方形水晶图像输入
三、欧姆龙智能视觉检测系统在上下料机器人工作站系统的应用
• 1、水晶形状的识别：
模型登入
登入完城
二、欧姆龙智能视觉检测系统典型应用
• 2、工件编号的识别： • （3）、全部录入完成后回到模型登录界面，点击“测量参数”，进入测量
参数界面。把相适度改成90到100之间。最后点击“确定”回到主界面。 • （4）、 回到主界面，镜头对准工件，点击“执行测量”，此时会在右下角
对话框显示测量信息。
参数界面。把相适度改成95到100 之间。最后点击“确定”回到主界面。
测量参数界面
二、欧姆龙智能视觉检测系统典型应用
• 1、工件颜色的识别： • （7）、回到主界面，镜头对准工件，点击“执行测量”，此时会在右下角
对话框显示测量信息。
测量结果
二、欧姆龙智能视觉检测系统典型应用
• 2、工件编号的识别：
点击“图像输入”，进入“图像输入”界面，设置参数，如图所示，镜 头对准工件后，点击“确定”，则图像获取完毕。
输入图像
二、欧姆龙智能视觉检测系统典型应用
• 1、工件颜色的识别： • （4）、模型登入。
①、点击“分类”图标，进入设置界面在“分类”界面先设置“模型参 数”，在初始状态下设定，选择“旋转”，还要设定旋转范围、跳跃角度、 稳定度和精度等；具体设置如图所示。
模型登录界面
完成一个模型的录入
二、欧姆龙智能视觉检测系统典型应用
视觉检测
机器视觉简介
§ 系统组成概述
分为两大模块：硬件模块，软件模块
D及光学器件，2.LED光源，3.零 件传感器，4.图像采集卡，5.微机平 台，6.视觉软件，7.数字I/O
§ 系统硬件
工业摄像机（CCD）
LED光源
图像采集卡
一、建设目的和意义
机器视觉就是用机器代替人眼来做测量和判断，是 计算机视觉在工业领域的应用。其特点是可以极大地 提高生产的柔性和自动化程度，是实现计算机集成制 造的基础技术。
机器视觉为一多学科交叉领域，涉及信号及图像处 理、控制工程、计算机科学、传感技术、系统集成、 系统设计、机械制造等学科。本项目的建设可挂靠无 损检测和机械制造两个研究方向，为相关领域的研究 以及研究生、本科教育提供实验平台。
ห้องสมุดไป่ตู้
三、可开展的实验及研究内容
从技术上说，机器视觉应用范围主要包括两大类： 其一是目标测量，包括目标的几何尺寸、特征、缺陷等 的检测和测量；其二是定位，引导制造和装配及其他加 工过程中目标在运动过程中实时进行位姿调整，使之与 特定的加工、装配要求进行匹配。
辅助平台
1. 小功率直流电机驱动的传送带（宽200mm,长1200mm 左右）平台（含电源），模拟物体运动过程。 2. PC机，用于图像采集卡安装并控制平台协调运动、 编程、处理图像。
机械零件外观缺陷检测、尺寸测量
加工、装配实时引导、定位
其他检测 （包括各类标签、汽车牌号、发动机铭牌、玻璃（瓶）缺陷、
电路板缺陷、灯丝焊接缺陷、输电配线、零件尺寸、符号位置、产品计数、产 品分拣、焊接质量等的检测）
食品安全
四、项目建设内容
硬件系统
1. 光源。LED点阵式环形光源，光强均衡平稳，脉动小。 2. CCD摄像机。用于抓取图像。 3. 图像采集卡。用于控制CCD抓图动作，并提供二次开发 平台以编写应用程序。 4. 镜头。放大、滤波。
§ 系统组成概述
分为两大模块：硬件模块，软件模块
D及光学器件，2.LED光源，3.零 件传感器，4.图像采集卡，5.微机平 台，6.视觉软件，7.数字I/O
§ 系统硬件
工业摄像机（CCD）
LED光源
图像采集卡
一、建设目的和意义
机器视觉就是用机器代替人眼来做测量和判断，是 计算机视觉在工业领域的应用。其特点是可以极大地 提高生产的柔性和自动化程度，是实现计算机集成制 造的基础技术。
机器视觉为一多学科交叉领域，涉及信号及图像处 理、控制工程、计算机科学、传感技术、系统集成、 系统设计、机械制造等学科。本项目的建设可挂靠无 损检测和机械制造两个研究方向，为相关领域的研究 以及研究生、本科教育提供实验平台。
ห้องสมุดไป่ตู้
三、可开展的实验及研究内容
从技术上说，机器视觉应用范围主要包括两大类： 其一是目标测量，包括目标的几何尺寸、特征、缺陷等 的检测和测量；其二是定位，引导制造和装配及其他加 工过程中目标在运动过程中实时进行位姿调整，使之与 特定的加工、装配要求进行匹配。
辅助平台
1. 小功率直流电机驱动的传送带（宽200mm,长1200mm 左右）平台（含电源），模拟物体运动过程。 2. PC机，用于图像采集卡安装并控制平台协调运动、 编程、处理图像。
机械零件外观缺陷检测、尺寸测量
加工、装配实时引导、定位
其他检测 （包括各类标签、汽车牌号、发动机铭牌、玻璃（瓶）缺陷、
电路板缺陷、灯丝焊接缺陷、输电配线、零件尺寸、符号位置、产品计数、产 品分拣、焊接质量等的检测）
食品安全
四、项目建设内容
硬件系统
1. 光源。LED点阵式环形光源，光强均衡平稳，脉动小。 2. CCD摄像机。用于抓取图像。 3. 图像采集卡。用于控制CCD抓图动作，并提供二次开发 平台以编写应用程序。 4. 镜头。放大、滤波。
传感与检测技术视觉检测
02
视觉检测技术概述
定义与分类
定义
视觉检测技术是指利用计算机视觉和 图像处理技术，对图像进行采集、处 理和分析，以实现目标检测、识别、 测量和定位等功能的综合性技术。
分类
根据应用场景和检测对象的不同，视 觉检测技术可以分为表面缺陷检测、 尺寸测量、目标定位与跟踪、识别与 分类等。
视觉检测系统的组成
数据特征提取
从原始数据中提取出反映被测对象特性的特 征信息。
数据可视化
将处理后的数据以图表、图像等形式进行可 视化展示，便于分析和理解。
05
视觉检测系统设计与实现
系统架构与设计原则
架构概述
一个典型的视觉检测系统包括图 像采集、预处理、特征提取、目
标识别和结果输出等模块。
设计原则
系统设计应遵循实时性、准确性、 稳定性和可扩展性等原则，以确保 检测效果和性能。
• 实时处理速度提升：随着工业自动化和智能安防等领域的快速发展，对视觉检 测技术的实时处理速度提出了更高的要求。未来将通过算法优化、并行计算等 技术手段，提高视觉检测系统的实时处理速度。
• 多传感器融合：为了更好地满足复杂场景下的检测需求，多传感器融合将成为 视觉检测技术的发展趋势之一。通过将不同类型和功能的传感器与视觉检测技 术相结合，可以实现更全面、准确的数据采集和处理，提高检测效果。
模块间通信
模块间应采用高效的数据传输和同 步机制，确保系统实时响应和数据 处理能力。
系统硬件选型与配置
图像采集设备
选择高分辨率、高帧率的工业相机和镜头，以满 足检测精度和速度要求。
光源与滤镜
根据被检测物体的特性，选择合适的光源和滤镜， 以提高图像对比度和降低噪声。
硬件平台
视觉测量技术-第一章
38
AOI工业检测应用范例
雷达天线面形检测
39
AOI工业检测应用范例
雷达天线面形检测
CNAruRrasAtyOo(mVVeLeArr:y) Large ASuprpfaliccaetimone:asurement
40
AOI工业检测应用范例
雷达天线面形检测
CVeusrtteoxmer: ASuprpfaliccaetimone:asurement
41
CAArnuetsectonibmnoaer3:05m ASuprpfaliccaetimone:asurement
42Leabharlann AOI工业检测应用范例AOI于光电产业应用范例
Fiber connector Ferrule
Light Guide Plate
CD tracks
Alignment of optical switch
据(二维图像数据)到最终对三维环境的表达经历了三个阶段 的处理。
65
1.3 Marr的视觉理论框架
第一阶段（早期阶段）:将输入的原始图像进行处理，构成所 谓“要素图”或“基元图”(primary sketch)。基元图由二 维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何 元素或特征组成。
第二阶段（中期阶段）: 在以观测者为中心的坐标系中， 由基元图恢复场景可见部分的深度、法线方向和轮廓等， 包含了深度信息，但不是真正的三维表示。Marr称为对 环境的2.5维描述（2.5 dimensional sketch），即部分 的、不完整的三维信息描述。
24
AOI工业检测应用范例
AOI于IC封装打线应用
AOI工业检测应用范例
在飞机制造业中的应用
AOI工业检测应用范例
雷达天线面形检测
39
AOI工业检测应用范例
雷达天线面形检测
CNAruRrasAtyOo(mVVeLeArr:y) Large ASuprpfaliccaetimone:asurement
40
AOI工业检测应用范例
雷达天线面形检测
CVeusrtteoxmer: ASuprpfaliccaetimone:asurement
41
CAArnuetsectonibmnoaer3:05m ASuprpfaliccaetimone:asurement
42Leabharlann AOI工业检测应用范例AOI于光电产业应用范例
Fiber connector Ferrule
Light Guide Plate
CD tracks
Alignment of optical switch
据(二维图像数据)到最终对三维环境的表达经历了三个阶段 的处理。
65
1.3 Marr的视觉理论框架
第一阶段（早期阶段）:将输入的原始图像进行处理，构成所 谓“要素图”或“基元图”(primary sketch)。基元图由二 维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何 元素或特征组成。
第二阶段（中期阶段）: 在以观测者为中心的坐标系中， 由基元图恢复场景可见部分的深度、法线方向和轮廓等， 包含了深度信息，但不是真正的三维表示。Marr称为对 环境的2.5维描述（2.5 dimensional sketch），即部分 的、不完整的三维信息描述。
24
AOI工业检测应用范例
AOI于IC封装打线应用
AOI工业检测应用范例
在飞机制造业中的应用
视觉检测
8.2
视觉传感器
一、CCD光敏元件工作原理 CCD基本结构图
8.2
视觉传感器
CCD电荷转移原理
二、电荷转移原理 CCD转移电压
8.2
视觉传感器
三、CCD的输入－输出结构 1.电荷注入 2.电荷输出 四、CCD的特性参数 1.转移效率和转移损失率 2.工作频率 8.2.2 CCD器件 视觉检测系统采用的摄像机分为电子管式摄像机和 固体器件摄像机CCD两种。CCD是利用内光电效应由单个 光敏元件构成的集成化光电传感器。它集电荷存贮、移 位和输出为一体。应用于成像技术、数据存贮和信号处 理电路等。
8.2
视觉传感器
一、CCD线阵摄像器件工作原理。 线阵列固体摄像器件基本结构简图如图所示。 线型CCD 摄像器件有两种基本形式：一是 单沟道线型 ICCD，另一是双沟道线阵ICCD。
8.2
视觉传感器
二、面阵ICCD
场传输面阵CCD和行传输面型CCD结构原理如图。
8.2
视觉传感器
三、ICCD的基本特性参数 1.转换特性 2. 动态范围 3.分辨率 8.2.3 光电位置传感器(PSD) 光电位置传感器（PSD）是一种对入射到 光敏面上的光点位置敏感的光电器件，其输出 信号与光点在光敏面上的位置有关。它利用半 导体的横向光电效应来测量入射点的位置。目 前在光学定位、跟踪、位移、角度测量和虚拟 现实设备中获得了广泛的应用。 PSD分为一维和二维两种类型。
8.1 视觉检测技术概述
三、图像存储体 图像存储体可以分为外置式和内置式两种。 外置式图像存储体为独立单元，它一般单独供 电，功能较为全面，可以适用于微机系统、笔 记本电脑、微处理器和可编程控制器等，成本 也较高。内置式图像存储体一般为卡式结构称 为图像卡)，可以直接插入计算机扩展槽内， 使用方便、成本低，并可以充分利用计算机的 软硬件资源。
视觉检测技术
6.1.2 视觉检测系统的组成 视觉检测系统的构成如图所示。 狭义的视觉传感器可以只包括摄像器件， 广义的视觉传感器除了镜头和摄像器件外，还可 以包括光源、图像存储体和微处理器等部分集成 在一起的数字器件。
一、光源 1.光源的选择 用于视觉检测的光源应满足以下几点要求： （1）照度要适中 （2）亮度要均匀 （3）亮度要稳定 （4）不应产生阴影 （5）照度可调 2.光源的照明方式 光源的照明一般有以下几种方式： (1)漫反射照明方式、(2)透射照明方式、(3)结构 光照明方式、(4)定向照明方式，如图6.1所示。
CCD是以电荷作为信号，而不同于其他大多数 器件是以电流或者电压为信号，其基本功能是信 号电荷的产生、存储、传输和检测。当光入射到 CCD的光敏面时．CCD首先完成光电转换．即产生 与入射光辐射量成线性关系的光电荷。CCD的工作 原理是被摄物体反射光线到CCD器件上．CCD根据 光的强弱积聚相应的电荷．产生与光电荷量成正 比的弱电压信号，经过滤波、放大处理，通过驱 动电路输出一个能表示敏感物体光强弱的电信号 或标准的视频信号。
ห้องสมุดไป่ตู้
CCD和传统底片相比，CCD 更接近于人眼对视 觉的工作方式。只不过，人眼的视网膜是由负责 光强度感应的杆细胞和色彩感应的锥细胞，分工 合作组成视觉感应。 CCD经过长达42年（1969贝 尔）的发展，大致的形状和运作方式都已经定型。 CCD 的组成主要是由一个类似马赛克的网格、聚 光镜片以及垫于最底下的电子线路矩阵所组成。 目前有能力生产 CCD 的公司分别为：SONY、 Philips、Kodak、Matsushita、Fuji和Sharp，大半 是日本厂商。
图像检测与处理的基本理论，并以机器
人视觉系统和自动调焦系统为例，说明