基于机器视觉的测控技术

选择或确定1组能正确代表所需区域的种子像素； 确定在生长过程中能将相邻像素包括进来的准则； 制定使生长停止的条件或规则。
②
③
5.2.3 图像分割
区域生长
实现步骤
①
对图像进行光栅扫描，求出不属于任何区域的像素。
当寻找不到这样的像素时结束操作。 把这个像素灰度同其周围（4-邻域或8-邻域）不属 于其他区域的像素进行比较，若灰度差值小于阈值， 则合并到同一区域，并对合并的像素赋予标记。
图像采集卡的设计
①
基于PCI总线的图像采集卡的设计
5.1.1 机器视觉检测系统硬件
②
基于USB总线的图像采集卡的设计
5.1.2 机器视觉检测系统软件
近年来，机器视觉工作者在研究视觉测控系统硬件的
同时，也对机器视觉检测处理的共性软件进行了研究开发，
出现了很多机器视觉测控系统组态软件平台，如最 具代表性的机器视觉软件HALCON。

CCD电荷耦合器件摄像机（Charge Coupled Device）:感光像 元在接收输入光后，产生电荷转移，形成输出电压。分为线 阵和面阵两种。性价比高，受到广泛应用。

CMOS摄像机（Complementary Metal Oxide Semiconductor）:
体积小、耗电少、价格低，在光学分辨率、感光度、信噪比
5.2.1 平滑和滤波
空域滤波实现
R k 0 s 0 k1 s1 k 8 s8
5.2.2 边缘检测
梯度算子
f x, y G x
T

Gy

T
f x
f y
实际操作中，用下面式子取代微分：
x f x, y f x, y f x 1, y
图像采集卡: 将视频图像以模拟电信号方式输出
标准视频信号：黑白视频（RS-170、 RS-330、RS343、CCIR）、复合视 频（NTSC、PALSECAM 制
式）、分量 模拟视频、S-Video等。
非标准视频信号：非标准RGB信号、线扫描信号、
逐行扫描信号。
5.1.1 机器视觉检测系统硬件
5.2.3 图像分割
分裂合并
白 灰 A B C D A C 1 3 5 7 2级 2 4 6 8 0级 1级 A B E C D
E
黑 0级 1级 2级 1 2 3 4 5 6 7 8
利用分裂合并算法对图像进行分割的步骤
①
生成图像的四叉树结构。
5.2.3 图像分割
②
根据经验和任务需要，从四叉树的某一层开始，合并
考虑到M-H算子的对称性，可采用分解的方法来提高运 算速度。即把一个二维滤波器分解为独立的行、列滤波 器。
ห้องสมุดไป่ตู้
5.2.2 边缘检测
将方程改写为
其中 :
2 G H12 x, y H 21 x, y
H 12 x , y h1 x h2 y
H 21 x , y h2 x h1 y
域。
⑤
由于噪声影响或者按照四叉树划分区域边缘未对准，进 行上述操作后可能仍存在大量的小的区域，为了消除这 些影响，可以将它们按照相似性准则归入邻近的大区域 内。
5.2.4 特征提取
线提取
Hough变换原理
在图像空间XY里，设所有过点（x,y）的直线都满足方程：
y px q
式中，p为直线的斜率，q为直线的截距。也可以写成：
A pi , B
i 1 k i k 1
p
L
i
5.2.3 图像分割

最大类间方差确定阈值
区域A和B的平均灰度为：
A
1
A
L

i
k i pi k i 1
k
B
1
B
i k 1

L
i pi
k 1 k
图像阈值化处理的变换函数表达式为：
f x, y T 0 g x, y 255 f x, y T
阈值的选取

间接阈值法 多阈值法 p尾法确定阈值
5.2.3 图像分割
阈值的选取 间接阈值法 多阈值法 p尾法确定阈值 最大类间方差确定阈值
假定图像的灰度区间为，设以灰度k为阈值将图像分为两 个区域，灰度为1~k的像素和灰度为k+1~L的像素分别属 于区域A和B，则区域A和B的概率分别为：
②
5.2.3 图像分割
②
从新合并的像素开始，反复进行步骤②的操作。
③
④
反复进行步骤②、③的操作，直至不能再合并。
返回步骤①的操作，寻找新区域出发点的像素。
1 1 0 2 2 0 0 1 0 2 4 4 5 5 5 7 7 5 6 6 5 7 5 5 4 1 1 1 1 1 1 1 1 1 1 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 1 1 1 2 2 1 1 1 1 2 5 5 5 5 5 7 7 5 5 5 5 7 5 5 5 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
q px y
式中表示参数空间PQ中过点（p,q）的一条直线。图像空 间到参数空间之间的转换可以用图表示：
5.2.4 特征提取
Hough变换原理
Y Q
x 2 , y 2
q'
q px1 y1
x1, y1
O X O
q px2 y2 p'
P
在实际使用哈夫变换时，要在上述基本方法的基础上根 据图像具体情况采取一些方法以提高精度和速度，在实 际中常用的是极坐标直线方程。
5.1.3 视觉检测系统应用

缺陷检测 尺寸测量 PCB焊点检测与分类
5.2 数字图像处理
数字图像处理技术是一门跨学科的前沿高科技，是在信号
处理、计算机科学、自动控制理论及其他应用领域基础上
发展起来的边缘学科，是认识世界、改造世界的重要手段
。目前图像处理与识别技术已应用于许多领域，成为21世 纪信息时代的一门重要的高新科学技术。
满足一致性属性的共根的4个子块。重复对图像进行操 作，直到不能合并为止。
③
考虑上一步中没有合并的子块，如果它的子节点不满 足一致性准则，将这个节点永久地分为4个子块。如果
分出的子块仍不满足一致性准则，继续划分，直到所
有的子块都满足为止。
5.2.3 图像分割
④
由于人为地将图像进行四叉树分解，可能会将同一区域 的像素分在不能按照四叉树合并的子块内，因此需要搜 索所有的图像块，将邻近的未合并的子块合并为一个区
5.2.1 平滑和滤波
邻域平均
1 g x, y M f m, n
x , y S
一般实际情况中，考虑到运算的计算量，为3×3的模板
5.2.1 平滑和滤波
中值滤波法

将模板在图中漫游，并将模板中心与图中某个像素
位置重合；

读取模板下各对应像素的灰度值； 将这些灰度值从小到大排成1列； 找出这些值里排在中间的1个； 将这个中间值赋给对应模板中心位置的像素。
直线提取
以下是用Hough变换检测直线的算法过程：
①初始化变换域空间的数组，表示图像对角线方向的像 素数，方向上角度初始化数目为90。 ②顺序搜索图像中所有的物体点，对每一个物体点，按 照变换域的各个点加1。
5.2.2 边缘检测
Canny边缘检测法

Canny算子的算法实现
（ 1 ）对要处理的图像 I 作高斯光滑，则新的图像
I 为 f G *，其次对求的方向导数
f x (G * I ) x ,
f y (G * I ) y
（2）细化M中所有的边 （3）双阈值操作
5.2.3 图像分割
灰度阈值法
' x cos ' y sin '
5.2.4 特征提取
Hough变换原理
图像平面上的一个点就对应到参数平面上的一条正弦曲线 上。哈夫变换最适合于检测较简单曲线
y 1.0 1 1

0.5

0
y mx b
y
0 -1 0
1 2 3 4 5
0.5
1.0
x 0
x
1


5.2.4 特征提取
第5章 基于机器视觉的测控技术
主要内容

机器视觉测控系统
数字图像处理
图像融合技术
典型应用
HALCON简介
第5章 基于机器视觉的测控技术
介绍机器视觉测控系统、数字图像处理方法以及图像 信息融合术，简要介绍应用作者研制的ZM-VS1300视觉智 能测控系统平台研制开发自己专用视觉测控系统方案，最 后给出了作者研制的机器视觉测控系统典型应用案例。
5.1 机器视觉测控系统
本节从机器视觉测控系统的基本概念出发，综合机器视 觉测控系统原理、技术和应用进行介绍 。 典型的视觉检测系统的构成：
4
5.1.1 机器视觉检测系统硬件
光源
照度要适中 亮度要均匀 亮度要稳定
不应产生阴影
照度可调
5.1.1 机器视觉检测系统硬件
图像传感器
0 -1 0 -1 4 -1 0 -1 0 -1 -1 -1 -1 8 -1 -1 -1 -1
5.2.2 边缘检测
Marr-Hildreth边缘检测算子
2 1 r 1 2 Gr 2 4 2
2 2 e
r2
此算子有无限长拖尾，在具体实现卷积时，应取一个N×N 的窗口 。同时，为了减小卷积运算的计算量，可用两个不
其中为全图的平均灰度：

i p
i 1
A A B B
两个区域的方差为：
2 c1 f i, j t 像素数为 w1，灰度平均值为 m1，方差为 1 2 c f i , j t 像素数为 w ，灰度平均值为 m ，方差为 2 2 2 2
2 exp 2 2
2 h1 K 1 2
2 h2 K exp 2 2
5.2.2 边缘检测
Canny边缘检测法


Canny给出了评价边缘检测性能优劣的三个指标 （1）低失误概率 （2）高定位精度 （3）对单一边缘仅有唯一响应 设n为任意方向，Gaussian函数在这个方向上的一 阶导数为：
G Gn nG n
5.2.2 边缘检测
Canny边缘检测法

当一个像素满足以下三个条件时，则被认为是图像的 边缘点： （1）该点的边缘强度大于沿该点梯度方向的两个相邻 像素的边缘强度； （2）与该点梯度方向上相邻两点的方向差小于 45°； （3）以该点为中心3×3的邻域中的边缘强度极大值小 于某个闭值。
5.2.3 图像分割

最大类间方差确定阈值
按照最大类间方差的准则：组间方差越大，则两组
的差别越大。即k值越大，表明分割效果越好。从1至L
改变k，并计算类间方差，使式最大的k,即是区域分割 的阈值。

最佳熵自动阈值法 峰谷法
5.2.3 图像分割
区域生长
在实际应用区域生长法时需要解决3个问题：
①
和高速成像等已超过CCD。
5.1.1 机器视觉检测系统硬件
图像传感器

其他：飞点扫描器（Flying Point Scanner）、扫描鼓、扫 描仪、显微光密度计等。

遥感图像获取设备： 光学摄影：摄像机、多光谱摄像机等；
红外摄影：红外辐射计、红外摄像仪、多通道红外扫描仪
等；
5.1.1 机器视觉检测系统硬件
y f x, y f x, y f x, y 1
5.2.2 边缘检测
梯度算子
用标准的模板来计算梯度：
-1 1 0 0 -1 0 -1 1 -1 0 -1
0 0 0
-1 -1 -1
1 0 -1
1 0 -1
1 0 -1
-1 -2 -1
0 -1 0
1 2 2
1 0 -1
2 0 -2
同带宽的高斯曲面之差（DOG）来近似 。
5.2.2 边缘检测
Marr-Hildreth边缘检测算子
x2 y2 x2 y2 1 DOG 1 , 2 exp exp 2 2 2 1 2 2 2 1 2 2 1
1 0 -1
（a）Roberts
（b）Prewitt
（c）Sobel
5.2.2 边缘检测
拉普拉斯算子
对一个连续函数，它在位置处的拉普拉斯值定义
如下：
2 f
2 f x
2

2 f y
2
5.2.2 边缘检测
拉普拉斯算子
计算函数的拉普拉斯值也可以借助各种模板实现，它要 求模板的中心像素系数应该是正的，而对应中心像素的邻 近像素的系数应是负的，且它们之和应该是零 。