机器视觉在测量领域中的应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
光源选取 图像处理
确定待 测目标
构造特 征信息
提取特 征信息
约束关系
左右图像 特征匹配
外参数标定：待测目标与相机之间的位置关系 内参数标定：相机与图像之间的位置关系
特征信息重建
7
双目立体视觉测量原理-锻件测量
搭 建 在 线 测 量 硬 件 平 台
获取大锻件热态 几何特征清晰图像
几何特征快速提取
求取摄像机内参数（标定）
考虑了畸变参数， 但方法复杂速度慢， 对初值和噪声比较 敏感，且不能保证 参数收敛到全局最 优解。
对于双目立体视觉标 定技术，外参数需要 考虑到左右相机之间 的关系，多组双目需 要考虑到双目之间的 关系。
11
视觉测量的主要技术
图像处理 数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。 视觉测量应用于工业领域中主要涉及的图像处理方式为：图像二值化、图像滤波。 图 像 二 值 化
激光条序号
平均值 锻件高度
东北特钢锻造厂 材料：GCr15SiMn 温度：始锻1250℃
①②③④⑤⑥⑦⑧⑨⑩
终锻850℃
实验结果
8
10
锻件高度测量图
不同位置锻件高度重建结果
高度重建结果 1322.8mm 直径重建结果 525.9mm
长轴类锻件现场图片 长轴类锻件直径重建结果
实现了大型热态锻件尺寸参数现场测量，测量精度可达 0.2%
9
机器视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
10
视觉测量的主要技术
摄像机标定 是否需要标定参照物 传统摄像机标定 技术 自标定技术
所用模型
线性模型标 定技术
利用经典的 小孔成像模 型进行线性 方程求解， 但线性模型 不考虑镜头 畸变。
三 维 轮 廓 重 建
特征点匹配 求取测量现场摄像机 外参数
8
双目立体视觉测量方法-锻件测量
输 入 摄 像 机 内 外 参 数 光 条 像 素 缘 提 取
读 入 图 像
图 像 裁 剪
去 除 干 扰 光 线
拟合 重建 曲线 求取 锻件 直径
保 存 空 间 点
欧 式 重 建
光 条 中 心 点 匹 配
光 条 亚 像 素 中 心 求 取
直接与周围环境进行智能交互
机器视觉
难以建立复杂的 生物视觉系统
控制视觉环境 高效、非接触测量 明确测量任务
4
机器视觉测量
被检测目标
机器视觉产品（图像摄取装置）
图像信号
判别结果 控制设备动作
数字信号
图像处理系统(像素分布、亮度、颜色) 图像处理系统(各种算法)
目标特征 图像摄取装置：CMOS、CCD摄 像机 CMOS传感器感光度通常比CCD 传感器低10倍。 像素（图像元素）： 构成数码影像的基本单元，通常 以像素每英寸PPI（pixels per inch）为单位来表示影像分辨率 的大小。 机器视觉测量系统示意图
12
视觉测量的主要技术
图像处理对比图
RGB图像
灰度图像
二值化过程
二值化图像
高斯滤波
均值滤波
中值滤波
双边滤波 13
视觉测量的主要技术
特征提取
边 缘 提 取
指数字图像处理中，对于图片轮廓的一个处 理。对于边界处，灰度值变化比较剧烈的地 方，就定义为边缘。也就是拐点，拐点是指 函数发生凹凸性变化的点。常用的边缘提取 算子有canny算子、sobel算子等。
图像二值化就是将 图像上的像素点的 灰度值设置为0或 255，也就是将整 个图像呈现出明显 的黑白效果。 RGB图像
灰度化处理
二值化图像
图 像 滤 波
在尽量保留图像细节特 征的条件下对目标图像 的噪声进行抑制，其处 理效果的好坏将直接影 响到后续图像处理和分 析的有效性和可靠性。 滤波前 滤波后
常用滤波方法： （1）高斯滤波 （2）均值滤波 （3）中值滤波 （4）双边滤波
所用的摄像机个数
单 摄 像 机 标 定 技 术 双目 立体 视觉 标定 技术 多组 双目 立体 视觉 标定 技术
利用多幅图像 基于特定的实验条 之间的直线对 件，如形状尺寸已 应关系的摄像 知的标定物，经过 机自标定方以 对其进行图像处理， 及利用灭点和 利用一系列数学变 通过弱透视投 换和计算方法，求 影或平行透视 取摄像机模型的内 投影进行摄像 部参数和外部参数。 机标定等。
算法复杂度 简单 简单 简单 提取速度 快 快 快 提取精度 像素 像素 像素 方向性 差 差 差 抗白噪声 差 差 差 抗强漫反射 差 差 差 抗反射干扰 差 差 差
中心提取 极值法 自适应阈值 法 灰度重心法
方向模板法
曲线拟合法 Steger算法
简单
复杂 较复杂
中
非常慢 慢
像素
亚像素 亚像素
一般
差 好
一般
一般 好
一般
一般 差
一般
差 好
14
机器视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
15
应用举例-圆柱类热态大型锻件直径测量
测量仪组成原理
4台高分辨率工业相机、
1台图像工作站、1组激 光器阵列等设备组成
相机 相机 激光器阵列 相机 相机
仪器特点 可依据测量环境与对象变 化灵活布局 能够实现锻件局部快速测
大型锻件 热态几何 参数在线 分布式测 量仪现场 实验 16
16
量与整体尺寸全局测量
系统拓展性强，维护简便
应用举例-圆柱类热态大型锻件直径测量
应用实Biblioteka Baidu场地：
锻件高度/mm
1450 1400 1350 1300 1250 1200 0 2 4 6
5
机器视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
6
双目立体视觉测量原理
双 目 立 体 视 觉 测 量 原 理 双 目 立 体 视 觉 测 量 方 法 标定 世界坐标系三维坐标 重建
外参数
摄像机坐标系二维坐标 内参数
图像坐标系二维坐标（像素坐标系）
应用最为广泛，但 标定精度依赖标定 参照物精度，且与 算法选择密切相关。 方法灵活，但并 不很成熟。未知 参数太多,很难得 到稳定的结果。
非线性模型 标定技术
模型不服从 经典的小孔 成像模型， 考虑了畸变 参数，引入 了非线性优 化。
简单快速，目 前已有大量研 究成果，未考 虑畸变系数， 准确性欠佳。
17
应用举例-圆柱类热态大型锻件直径测量
谢谢！
欢迎提问！
18
双目立体视觉
在工业测量领域中的应用
1
双目立体视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
2
双目立体视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
3
机器视觉简介
生物视觉 生物最强大的感知方式
确定待 测目标
构造特 征信息
提取特 征信息
约束关系
左右图像 特征匹配
外参数标定：待测目标与相机之间的位置关系 内参数标定：相机与图像之间的位置关系
特征信息重建
7
双目立体视觉测量原理-锻件测量
搭 建 在 线 测 量 硬 件 平 台
获取大锻件热态 几何特征清晰图像
几何特征快速提取
求取摄像机内参数（标定）
考虑了畸变参数， 但方法复杂速度慢， 对初值和噪声比较 敏感，且不能保证 参数收敛到全局最 优解。
对于双目立体视觉标 定技术，外参数需要 考虑到左右相机之间 的关系，多组双目需 要考虑到双目之间的 关系。
11
视觉测量的主要技术
图像处理 数字图像处理是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。 视觉测量应用于工业领域中主要涉及的图像处理方式为：图像二值化、图像滤波。 图 像 二 值 化
激光条序号
平均值 锻件高度
东北特钢锻造厂 材料：GCr15SiMn 温度：始锻1250℃
①②③④⑤⑥⑦⑧⑨⑩
终锻850℃
实验结果
8
10
锻件高度测量图
不同位置锻件高度重建结果
高度重建结果 1322.8mm 直径重建结果 525.9mm
长轴类锻件现场图片 长轴类锻件直径重建结果
实现了大型热态锻件尺寸参数现场测量，测量精度可达 0.2%
9
机器视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
10
视觉测量的主要技术
摄像机标定 是否需要标定参照物 传统摄像机标定 技术 自标定技术
所用模型
线性模型标 定技术
利用经典的 小孔成像模 型进行线性 方程求解， 但线性模型 不考虑镜头 畸变。
三 维 轮 廓 重 建
特征点匹配 求取测量现场摄像机 外参数
8
双目立体视觉测量方法-锻件测量
输 入 摄 像 机 内 外 参 数 光 条 像 素 缘 提 取
读 入 图 像
图 像 裁 剪
去 除 干 扰 光 线
拟合 重建 曲线 求取 锻件 直径
保 存 空 间 点
欧 式 重 建
光 条 中 心 点 匹 配
光 条 亚 像 素 中 心 求 取
直接与周围环境进行智能交互
机器视觉
难以建立复杂的 生物视觉系统
控制视觉环境 高效、非接触测量 明确测量任务
4
机器视觉测量
被检测目标
机器视觉产品（图像摄取装置）
图像信号
判别结果 控制设备动作
数字信号
图像处理系统(像素分布、亮度、颜色) 图像处理系统(各种算法)
目标特征 图像摄取装置：CMOS、CCD摄 像机 CMOS传感器感光度通常比CCD 传感器低10倍。 像素（图像元素）： 构成数码影像的基本单元，通常 以像素每英寸PPI（pixels per inch）为单位来表示影像分辨率 的大小。 机器视觉测量系统示意图
12
视觉测量的主要技术
图像处理对比图
RGB图像
灰度图像
二值化过程
二值化图像
高斯滤波
均值滤波
中值滤波
双边滤波 13
视觉测量的主要技术
特征提取
边 缘 提 取
指数字图像处理中，对于图片轮廓的一个处 理。对于边界处，灰度值变化比较剧烈的地 方，就定义为边缘。也就是拐点，拐点是指 函数发生凹凸性变化的点。常用的边缘提取 算子有canny算子、sobel算子等。
图像二值化就是将 图像上的像素点的 灰度值设置为0或 255，也就是将整 个图像呈现出明显 的黑白效果。 RGB图像
灰度化处理
二值化图像
图 像 滤 波
在尽量保留图像细节特 征的条件下对目标图像 的噪声进行抑制，其处 理效果的好坏将直接影 响到后续图像处理和分 析的有效性和可靠性。 滤波前 滤波后
常用滤波方法： （1）高斯滤波 （2）均值滤波 （3）中值滤波 （4）双边滤波
所用的摄像机个数
单 摄 像 机 标 定 技 术 双目 立体 视觉 标定 技术 多组 双目 立体 视觉 标定 技术
利用多幅图像 基于特定的实验条 之间的直线对 件，如形状尺寸已 应关系的摄像 知的标定物，经过 机自标定方以 对其进行图像处理， 及利用灭点和 利用一系列数学变 通过弱透视投 换和计算方法，求 影或平行透视 取摄像机模型的内 投影进行摄像 部参数和外部参数。 机标定等。
算法复杂度 简单 简单 简单 提取速度 快 快 快 提取精度 像素 像素 像素 方向性 差 差 差 抗白噪声 差 差 差 抗强漫反射 差 差 差 抗反射干扰 差 差 差
中心提取 极值法 自适应阈值 法 灰度重心法
方向模板法
曲线拟合法 Steger算法
简单
复杂 较复杂
中
非常慢 慢
像素
亚像素 亚像素
一般
差 好
一般
一般 好
一般
一般 差
一般
差 好
14
机器视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
15
应用举例-圆柱类热态大型锻件直径测量
测量仪组成原理
4台高分辨率工业相机、
1台图像工作站、1组激 光器阵列等设备组成
相机 相机 激光器阵列 相机 相机
仪器特点 可依据测量环境与对象变 化灵活布局 能够实现锻件局部快速测
大型锻件 热态几何 参数在线 分布式测 量仪现场 实验 16
16
量与整体尺寸全局测量
系统拓展性强，维护简便
应用举例-圆柱类热态大型锻件直径测量
应用实Biblioteka Baidu场地：
锻件高度/mm
1450 1400 1350 1300 1250 1200 0 2 4 6
5
机器视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
6
双目立体视觉测量原理
双 目 立 体 视 觉 测 量 原 理 双 目 立 体 视 觉 测 量 方 法 标定 世界坐标系三维坐标 重建
外参数
摄像机坐标系二维坐标 内参数
图像坐标系二维坐标（像素坐标系）
应用最为广泛，但 标定精度依赖标定 参照物精度，且与 算法选择密切相关。 方法灵活，但并 不很成熟。未知 参数太多,很难得 到稳定的结果。
非线性模型 标定技术
模型不服从 经典的小孔 成像模型， 考虑了畸变 参数，引入 了非线性优 化。
简单快速，目 前已有大量研 究成果，未考 虑畸变系数， 准确性欠佳。
17
应用举例-圆柱类热态大型锻件直径测量
谢谢！
欢迎提问！
18
双目立体视觉
在工业测量领域中的应用
1
双目立体视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
2
双目立体视觉在工业测量领域中的应用
一、机器视觉测量系统简介
二、双目立体视觉测量原理
三、视觉测量的主要技术 四、应用举例
3
机器视觉简介
生物视觉 生物最强大的感知方式