现代检测技术5--基于机器视觉的测控技
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
f x, y T 0 g x, y 255 f x, y T
阈值的选取
间接阈值法 多阈值法 p尾法确定阈值
5.2.3 图像分割
阈值的选取 间接阈值法 多阈值法 p尾法确定阈值 最大类间方差确定阈值
假定图像的灰度区间为,设以灰度k为阈值将图像分为两 个区域,灰度为1~k的像素和灰度为k+1~L的像素分别属 于区域A和B,则区域A和B的概率分别为:
5.2.2 边缘检测
Marr-Hildreth边缘检测算子
DOG 1 , 2 x2 y2 exp 2 12 2 1 1 1 2 2 x2 y2 exp 2 2 2
考虑到M-H算子的对称性,可采用分解的方法来提高运 算速度。即把一个二维滤波器分解为独立的行、列滤波 器。
5.2.2 边缘检测
梯度算子
用标准的模板来计算梯度:
-1 1 0 0 -1 0 -1 1 -1 0 -1
0 0 0
-1 -1 -1
1 0 -1
1 0 -1
1 0 -1
-1 -2 -1
0 -1 0
1 2 2
1 0 -1
2 0 -2
1 0 -1
(a)Roberts
(b)Prewitt
(c)Sobel
5.2.2 边缘检测
等;
5.1.1 机器视觉检测系统硬件
图像采集卡: 将视频图像以模拟电信号方式输出
标准视频信号:黑白视频(RS-170、 RS-330、RS343、CCIR)、复合视 频(NTSC、PALSECAM 制
式)、分量 模拟视频、S-Video等。
非标准视频信号:非标准RGB信号、线扫描信号、
逐行扫描信号。
发展起来的边缘学科,是认识世界、改造世界的重要手段
。目前图像处理与识别技术已应用于许多领域,成为21世 纪信息时代的一门重要的高新科学技术。
5.2.1 平滑和滤波
邻域平均
g x, y 1 M
x , y S
f m , n
一般实际情况中,考虑到运算的计算量,为3×3的模板
体积小、耗电少、价格低,在光学分辨率、感光度、信噪比
和高速成像等已超过CCD。
5.1.1 机器视觉检测系统硬件
图像传感器
其他:飞点扫描器(Flying Point Scanner)、扫描鼓、扫 描仪、显微光密度计等。
遥感图像获取设备: 光学摄影:摄像机、多光谱摄像机等;
红外摄影:红外辐射计、红外摄像仪、多通道红外扫描仪
第5章 基于机器视觉的测控技术
主要内容
机器视觉测控系统
数字图像处理
图像融合技术
典型应用
HALCON简介
第5章 基于机器视觉的测控技术
介绍机器视觉测控系统、数字图像处理方法以及图像 信息融合术,简要介绍应用作者研制的ZM-VS1300视觉智 能测控系统平台研制开发自己专用视觉测控系统方案,最 后给出了作者研制的机器视觉测控系统典型应用案例。
5.1.1 机器视觉检测系统硬件
光源的照明方式: 3)结构光照明结构光指几何形状已知的光束,通 过结构光投影模式的变化可以检测物体的二维、三 维几何特征。 4)定向照明方式如果物体表面光滑且无缺陷,则 定向平行光束将会被有规律地反射;若物体表面粗 糙或存在缺陷,则会造成投射光的散射。根据反射 光的变化检测物体表面的粗糙度或表面缺陷。
5.1 机器视觉测控系统
本节从机器视觉测控系统的基本概念出发,综合机器视 觉测控系统原理、技术和应用进行介绍 。 典型的视觉检测系统的构成:
概念:
机器视觉测控就是将被测对象的视觉图像信息 检测传递给图像处理装置,图像处理装置经过一系列 处理后给出决策结果,根据决策结果实施对测控系统 的相应控制。 应用:广泛应用于有形物体的检测、识别和跟踪。如 工业产品的尺寸测量、缺陷识别、分类判定等;微电 子器件的焊点自动检测;软质、易脆零部件的检验; 各种模具二维形状检测;大型工具三维自动检测等。
2 K 1 2
h2
2 K exp 2 2
5.2.2 边缘检测
Canny边缘检测法
Canny给出了评价边缘检测性能优劣的三个指标 (1)低失误概率 (2)高定位精度 (3)对单一边缘仅有唯一响应 设n为任意方向,Gaussian函数在这个方向上的一 阶导数为:
5.1.1 机器视觉检测系统硬件
(5)计算机主机计算机用于对数字图像 进行管理、分析和处理,是机器视觉检 测系统应用的主要工作和核心。可以是 PC或工作站。需要高速实时处理的图像 主板上装有图像处理器、图像加速器、 DSP处理器等
5.1.2 机器视觉检测系统软件
近年来,机器视觉工作者在研究视觉测控系统硬件的
5.2.2 边缘检测
Canny边缘检测法
Canny算子的算法实现
(1)对要处理的图像I作高斯光滑,则新的图像
I 为 f G *,其次对求的方向导数
f x (G * I Leabharlann Baidu x ,
f y (G * I ) y
(2)细化M中所有的边 (3)双阈值操作
5.2.3 图像分割
灰度阈值法
图像阈值化处理的变换函数表达式为:
5.1.1 机器视觉检测系统硬件
图像传感器
CCD电荷耦合器件摄像机(Charge Coupled Device):感光像 元在接收输入光后,产生电荷转移,形成输出电压。分为线 阵和面阵两种。性价比高,受到广泛应用。
CMOS摄像机(Complementary Metal Oxide Semiconductor):
5.2.2 边缘检测
将方程改写为
2 G H 12 x , y H 21 x , y
其中 :
H 12 x , y h1 x h2 y
h1
H 21 x , y h2 x h1 y
2 exp 2 2
同时,也对机器视觉检测处理的共性软件进行了研究开发,
出现了很多机器视觉测控系统组态软件平台,如最 具代表性的机器视觉软件HALCON。
5.1.2机器视觉检测系统软件
德国MVtec公司的HALCON是世界范围内 广泛使用的机器视觉软件,拥有满足用 户各类视觉应用需求的完善开发库。支 持Linux和Windows,可通过C、C++、 C#、VB、Delphi开发。
拉普拉斯算子
对一个连续函数,它在位置处的拉普拉斯值定义
如下:
2 f
2 f x
2
2 f y
2
5.2.2 边缘检测
拉普拉斯算子
计算函数的拉普拉斯值也可以借助各种模板实现,它要 求模板的中心像素系数应该是正的,而对应中心像素的邻 近像素的系数应是负的,且它们之和应该是零 。
0 -1 0 -1 4 -1 0 -1 0 -1 -1 -1 -1 8 -1 -1 -1 -1
5.1.1 机器视觉检测系统硬件
光源
照度要适中 亮度要均匀 亮度要稳定
不应产生阴影
照度可调
5.1.1 机器视觉检测系统硬件
在视觉检测系统中,视觉传感器对光线 的依赖性很大,照明条件的好坏将直接 影响成像的清晰度,细节分辨率和图像 的对比等。因此,照明光源的正确设计 与选择是是视觉检测成功的关键
5.2.2 边缘检测
梯度算子
f x, y G x
Gy
T
f x
f y
T
实际操作中,用下面式子取代微分:
x f x, y f x, y f x 1, y
y f x, y f x, y f x, y 1
6
原理:机器视觉测控系统一般由获取图像信息的图像 测量系统、决策分类或跟踪对象的控制系统组成。可 分为图像获取和图像处理两大部分。 获取被测场景中的图像信息设备称为观测系统,包括 照相机和摄像系统。获取的信息可是是静态的,也可 以是动态的;可以是二维的,也可以是三维的。决策 分类或跟踪对象的控制系统根据对图像信息的分析结 果进而实施一定的控制。
5.2.1 平滑和滤波
中值滤波法
将模板在图中漫游,并将模板中心与图中某个像素
位置重合;
读取模板下各对应像素的灰度值; 将这些灰度值从小到大排成1列; 找出这些值里排在中间的1个; 将这个中间值赋给对应模板中心位置的像素。
5.2.1 平滑和滤波
空域滤波实现
R k 0 s 0 k1 s1 k 8 s 8
5.1.1 机器视觉检测系统硬件
图像采集卡的设计
①
基于PCI总线的图像采集卡的设计
5.1.1 机器视觉检测系统硬件
②
基于USB总线的图像采集卡的设计
5.1.1 机器视觉检测系统硬件
(4)图像存储设备 用于暂时或永久存储摄像系统获取的数字图像 。 包括硬盘、光盘、磁带机、闪存等。 硬盘存储技术发展很快,大图像存储可使用磁 盘 阵列;光盘也可满足大容量存储;磁带机顺序 存 储;闪存发展最快,成为数码相机、PDA、 MP3/4等的首选。
5.2.2 边缘检测
Marr-Hildreth边缘检测算子
1 r2 1 2 G r 4 2 2 2 2 e
r2
此算子有无限长拖尾,在具体实现卷积时,应取一个N×N 的窗口 。同时,为了减小卷积运算的计算量,可用两个不
同带宽的高斯曲面之差(DOG)来近似 。
5.1.1 机器视觉检测系统硬件
(3)图像采集卡 采用非标准视频信号通常是为了获得更 高分辨率、高刷新率的图像或其他特殊 要求。如X光机、超声波等医疗影像设备 。
5.1.1 机器视觉检测系统硬件
(3)图像采集卡 性能指标要求:多路视频输入;通过标准总线输 出至计算机;实时多屏显示;自定义采集方式及 采集窗口大小;实时采集单场、单帧、任意间隔 及连续帧;视频输入(PAL、S-Video);分辨 率;采样位数;亮度、对比度、色度、饱和度; 即插即用;稳定接收视频信号。
A pi , B
i 1 k i k 1
p
L
i
5.2.3 图像分割
最大类间方差确定阈值
区域A和B的平均灰度为:
A
1
A
i 1
k
i pi
k
k
B
1
B
i k 1
L
i pi
k 1 k
5.1.3 视觉检测系统应用
缺陷检测 尺寸测量 PCB焊点检测与分类
5.1.3 视觉检测系统应用
5.1.3 视觉检测系统应用
5.1.3 视觉检测系统应用
5.1.3 视觉检测系统应用
5.2 数字图像处理
数字图像处理技术是一门跨学科的前沿高科技,是在信号
处理、计算机科学、自动控制理论及其他应用领域基础上
Gn G n n G
5.2.2 边缘检测
Canny边缘检测法
当一个像素满足以下三个条件时,则被认为是图像的 边缘点: (1)该点的边缘强度大于沿该点梯度方向的两个相邻 像素的边缘强度; (2)与该点梯度方向上相邻两点的方向差小于 45°; (3)以该点为中心3×3的邻域中的边缘强度极大值小 于某个闭值。
原理:
机器视觉测控系统一般由获取图像信息的图像 测量系统、决策分类或跟踪对象的控制系统组成。可 分为图像获取和图像处理两大部分。 获取被测场景中的图像信息设备称为观测系统,包括 照相机和摄像系统。获取的信息可是是静态的,也可 以是动态的;可以是二维的,也可以是三维的。决策 分类或跟踪对象的控制系统根据对图像信息的分析结 果进而实施一定的控制。
5.1.1 机器视觉检测系统硬件
根据具体应用选择光源: 1)通过检测被测物体的像来测量被检测 物体的某些特征参数——选用白炽灯或卤 钨灯; 2)通过测量被检测物体的空间频谱分布 来确定被检测物体的某些特征参数——选 用激光照明。
5.1.1 机器视觉检测系统硬件
光源的照明方式: 1)漫反射照明适合于照射表面光滑、形 状规则的物体。 2)投射照明也称为背光照明,适合于不 透光物体照明,可以形成一幅黑白灰度 图像,用于物体轮廓识别与定位。
阈值的选取
间接阈值法 多阈值法 p尾法确定阈值
5.2.3 图像分割
阈值的选取 间接阈值法 多阈值法 p尾法确定阈值 最大类间方差确定阈值
假定图像的灰度区间为,设以灰度k为阈值将图像分为两 个区域,灰度为1~k的像素和灰度为k+1~L的像素分别属 于区域A和B,则区域A和B的概率分别为:
5.2.2 边缘检测
Marr-Hildreth边缘检测算子
DOG 1 , 2 x2 y2 exp 2 12 2 1 1 1 2 2 x2 y2 exp 2 2 2
考虑到M-H算子的对称性,可采用分解的方法来提高运 算速度。即把一个二维滤波器分解为独立的行、列滤波 器。
5.2.2 边缘检测
梯度算子
用标准的模板来计算梯度:
-1 1 0 0 -1 0 -1 1 -1 0 -1
0 0 0
-1 -1 -1
1 0 -1
1 0 -1
1 0 -1
-1 -2 -1
0 -1 0
1 2 2
1 0 -1
2 0 -2
1 0 -1
(a)Roberts
(b)Prewitt
(c)Sobel
5.2.2 边缘检测
等;
5.1.1 机器视觉检测系统硬件
图像采集卡: 将视频图像以模拟电信号方式输出
标准视频信号:黑白视频(RS-170、 RS-330、RS343、CCIR)、复合视 频(NTSC、PALSECAM 制
式)、分量 模拟视频、S-Video等。
非标准视频信号:非标准RGB信号、线扫描信号、
逐行扫描信号。
发展起来的边缘学科,是认识世界、改造世界的重要手段
。目前图像处理与识别技术已应用于许多领域,成为21世 纪信息时代的一门重要的高新科学技术。
5.2.1 平滑和滤波
邻域平均
g x, y 1 M
x , y S
f m , n
一般实际情况中,考虑到运算的计算量,为3×3的模板
体积小、耗电少、价格低,在光学分辨率、感光度、信噪比
和高速成像等已超过CCD。
5.1.1 机器视觉检测系统硬件
图像传感器
其他:飞点扫描器(Flying Point Scanner)、扫描鼓、扫 描仪、显微光密度计等。
遥感图像获取设备: 光学摄影:摄像机、多光谱摄像机等;
红外摄影:红外辐射计、红外摄像仪、多通道红外扫描仪
第5章 基于机器视觉的测控技术
主要内容
机器视觉测控系统
数字图像处理
图像融合技术
典型应用
HALCON简介
第5章 基于机器视觉的测控技术
介绍机器视觉测控系统、数字图像处理方法以及图像 信息融合术,简要介绍应用作者研制的ZM-VS1300视觉智 能测控系统平台研制开发自己专用视觉测控系统方案,最 后给出了作者研制的机器视觉测控系统典型应用案例。
5.1.1 机器视觉检测系统硬件
光源的照明方式: 3)结构光照明结构光指几何形状已知的光束,通 过结构光投影模式的变化可以检测物体的二维、三 维几何特征。 4)定向照明方式如果物体表面光滑且无缺陷,则 定向平行光束将会被有规律地反射;若物体表面粗 糙或存在缺陷,则会造成投射光的散射。根据反射 光的变化检测物体表面的粗糙度或表面缺陷。
5.1 机器视觉测控系统
本节从机器视觉测控系统的基本概念出发,综合机器视 觉测控系统原理、技术和应用进行介绍 。 典型的视觉检测系统的构成:
概念:
机器视觉测控就是将被测对象的视觉图像信息 检测传递给图像处理装置,图像处理装置经过一系列 处理后给出决策结果,根据决策结果实施对测控系统 的相应控制。 应用:广泛应用于有形物体的检测、识别和跟踪。如 工业产品的尺寸测量、缺陷识别、分类判定等;微电 子器件的焊点自动检测;软质、易脆零部件的检验; 各种模具二维形状检测;大型工具三维自动检测等。
2 K 1 2
h2
2 K exp 2 2
5.2.2 边缘检测
Canny边缘检测法
Canny给出了评价边缘检测性能优劣的三个指标 (1)低失误概率 (2)高定位精度 (3)对单一边缘仅有唯一响应 设n为任意方向,Gaussian函数在这个方向上的一 阶导数为:
5.1.1 机器视觉检测系统硬件
(5)计算机主机计算机用于对数字图像 进行管理、分析和处理,是机器视觉检 测系统应用的主要工作和核心。可以是 PC或工作站。需要高速实时处理的图像 主板上装有图像处理器、图像加速器、 DSP处理器等
5.1.2 机器视觉检测系统软件
近年来,机器视觉工作者在研究视觉测控系统硬件的
5.2.2 边缘检测
Canny边缘检测法
Canny算子的算法实现
(1)对要处理的图像I作高斯光滑,则新的图像
I 为 f G *,其次对求的方向导数
f x (G * I Leabharlann Baidu x ,
f y (G * I ) y
(2)细化M中所有的边 (3)双阈值操作
5.2.3 图像分割
灰度阈值法
图像阈值化处理的变换函数表达式为:
5.1.1 机器视觉检测系统硬件
图像传感器
CCD电荷耦合器件摄像机(Charge Coupled Device):感光像 元在接收输入光后,产生电荷转移,形成输出电压。分为线 阵和面阵两种。性价比高,受到广泛应用。
CMOS摄像机(Complementary Metal Oxide Semiconductor):
5.2.2 边缘检测
将方程改写为
2 G H 12 x , y H 21 x , y
其中 :
H 12 x , y h1 x h2 y
h1
H 21 x , y h2 x h1 y
2 exp 2 2
同时,也对机器视觉检测处理的共性软件进行了研究开发,
出现了很多机器视觉测控系统组态软件平台,如最 具代表性的机器视觉软件HALCON。
5.1.2机器视觉检测系统软件
德国MVtec公司的HALCON是世界范围内 广泛使用的机器视觉软件,拥有满足用 户各类视觉应用需求的完善开发库。支 持Linux和Windows,可通过C、C++、 C#、VB、Delphi开发。
拉普拉斯算子
对一个连续函数,它在位置处的拉普拉斯值定义
如下:
2 f
2 f x
2
2 f y
2
5.2.2 边缘检测
拉普拉斯算子
计算函数的拉普拉斯值也可以借助各种模板实现,它要 求模板的中心像素系数应该是正的,而对应中心像素的邻 近像素的系数应是负的,且它们之和应该是零 。
0 -1 0 -1 4 -1 0 -1 0 -1 -1 -1 -1 8 -1 -1 -1 -1
5.1.1 机器视觉检测系统硬件
光源
照度要适中 亮度要均匀 亮度要稳定
不应产生阴影
照度可调
5.1.1 机器视觉检测系统硬件
在视觉检测系统中,视觉传感器对光线 的依赖性很大,照明条件的好坏将直接 影响成像的清晰度,细节分辨率和图像 的对比等。因此,照明光源的正确设计 与选择是是视觉检测成功的关键
5.2.2 边缘检测
梯度算子
f x, y G x
Gy
T
f x
f y
T
实际操作中,用下面式子取代微分:
x f x, y f x, y f x 1, y
y f x, y f x, y f x, y 1
6
原理:机器视觉测控系统一般由获取图像信息的图像 测量系统、决策分类或跟踪对象的控制系统组成。可 分为图像获取和图像处理两大部分。 获取被测场景中的图像信息设备称为观测系统,包括 照相机和摄像系统。获取的信息可是是静态的,也可 以是动态的;可以是二维的,也可以是三维的。决策 分类或跟踪对象的控制系统根据对图像信息的分析结 果进而实施一定的控制。
5.2.1 平滑和滤波
中值滤波法
将模板在图中漫游,并将模板中心与图中某个像素
位置重合;
读取模板下各对应像素的灰度值; 将这些灰度值从小到大排成1列; 找出这些值里排在中间的1个; 将这个中间值赋给对应模板中心位置的像素。
5.2.1 平滑和滤波
空域滤波实现
R k 0 s 0 k1 s1 k 8 s 8
5.1.1 机器视觉检测系统硬件
图像采集卡的设计
①
基于PCI总线的图像采集卡的设计
5.1.1 机器视觉检测系统硬件
②
基于USB总线的图像采集卡的设计
5.1.1 机器视觉检测系统硬件
(4)图像存储设备 用于暂时或永久存储摄像系统获取的数字图像 。 包括硬盘、光盘、磁带机、闪存等。 硬盘存储技术发展很快,大图像存储可使用磁 盘 阵列;光盘也可满足大容量存储;磁带机顺序 存 储;闪存发展最快,成为数码相机、PDA、 MP3/4等的首选。
5.2.2 边缘检测
Marr-Hildreth边缘检测算子
1 r2 1 2 G r 4 2 2 2 2 e
r2
此算子有无限长拖尾,在具体实现卷积时,应取一个N×N 的窗口 。同时,为了减小卷积运算的计算量,可用两个不
同带宽的高斯曲面之差(DOG)来近似 。
5.1.1 机器视觉检测系统硬件
(3)图像采集卡 采用非标准视频信号通常是为了获得更 高分辨率、高刷新率的图像或其他特殊 要求。如X光机、超声波等医疗影像设备 。
5.1.1 机器视觉检测系统硬件
(3)图像采集卡 性能指标要求:多路视频输入;通过标准总线输 出至计算机;实时多屏显示;自定义采集方式及 采集窗口大小;实时采集单场、单帧、任意间隔 及连续帧;视频输入(PAL、S-Video);分辨 率;采样位数;亮度、对比度、色度、饱和度; 即插即用;稳定接收视频信号。
A pi , B
i 1 k i k 1
p
L
i
5.2.3 图像分割
最大类间方差确定阈值
区域A和B的平均灰度为:
A
1
A
i 1
k
i pi
k
k
B
1
B
i k 1
L
i pi
k 1 k
5.1.3 视觉检测系统应用
缺陷检测 尺寸测量 PCB焊点检测与分类
5.1.3 视觉检测系统应用
5.1.3 视觉检测系统应用
5.1.3 视觉检测系统应用
5.1.3 视觉检测系统应用
5.2 数字图像处理
数字图像处理技术是一门跨学科的前沿高科技,是在信号
处理、计算机科学、自动控制理论及其他应用领域基础上
Gn G n n G
5.2.2 边缘检测
Canny边缘检测法
当一个像素满足以下三个条件时,则被认为是图像的 边缘点: (1)该点的边缘强度大于沿该点梯度方向的两个相邻 像素的边缘强度; (2)与该点梯度方向上相邻两点的方向差小于 45°; (3)以该点为中心3×3的邻域中的边缘强度极大值小 于某个闭值。
原理:
机器视觉测控系统一般由获取图像信息的图像 测量系统、决策分类或跟踪对象的控制系统组成。可 分为图像获取和图像处理两大部分。 获取被测场景中的图像信息设备称为观测系统,包括 照相机和摄像系统。获取的信息可是是静态的,也可 以是动态的;可以是二维的,也可以是三维的。决策 分类或跟踪对象的控制系统根据对图像信息的分析结 果进而实施一定的控制。
5.1.1 机器视觉检测系统硬件
根据具体应用选择光源: 1)通过检测被测物体的像来测量被检测 物体的某些特征参数——选用白炽灯或卤 钨灯; 2)通过测量被检测物体的空间频谱分布 来确定被检测物体的某些特征参数——选 用激光照明。
5.1.1 机器视觉检测系统硬件
光源的照明方式: 1)漫反射照明适合于照射表面光滑、形 状规则的物体。 2)投射照明也称为背光照明,适合于不 透光物体照明,可以形成一幅黑白灰度 图像,用于物体轮廓识别与定位。