视觉检测技术在曲轴锻件尺寸检测中的应用
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
透镜
CCD
A
物体
B 0
图像
主要从事内燃机零部件设计、 分析及其检测。
图1
CCD 摄像机成像简图
10 2.2
摄像机标定
[3]
中国测试
2009 年 11 月
摄像机标定就是对摄像机内外参数 的估算 。 内部参数包括焦距 、 像素大小 、 径向畸变系数 、 驻 点的位置， 外部参数包括摄像机的位置和方向等， 利用内外参数可以精确地表示摄像机坐标系与物 空间坐标系之间的关系 。在视觉检测系统中， 通常 采 用 RAC （Radial Alignment Constraint）标 定 方 法 对 CCD 摄像机进行标定 [4-6]， 其具有较高的精度和 稳定性。
YI yc xc oc f PI YI XI zc xc PC u uo v0
1
引入镜头畸变后， 空间点 P 的实际像点 P（ d Xd， Yd ） 和理想像点 P（ Y） I XI， I 的位置关系为： XI Xd = （1+ k1r2） （3 ） YI Yd 式 （3）中： k1 —— —摄像机镜头的径向畸变系数； r = 姨Xd2 + Yd2 。 实际像点坐标 P（ Yd）和计算机 图像坐标 d Xd ， P （u， ν ） 的关系为： -1 Xd dx = sx （u-u0） - 1 0 （4 ） 0 s （ ν ν ） y 0 Yd dy 式 （4 ） 中： （u -u0）—— —成像中心在计算机图像坐标 系中的坐标； dx 和 dy — ——CCD 感光面在 X 和 Y 方向上 的光敏单元的中心距； sx 、 sy — ——在 X 和 Y 方向上不确定的图像 比例因子。 由以上各式可以得出空间坐标 p （xw， yw， zw ） 和 （u， ν ） 的关系为： 计算机图像坐标 P XI =sx - 1d（ ） （1+ k1r2） x u-u0 YI = sy - 1d（ ） （1+ k1r2） y ν - ν0 （5 ） f r1xw + r2yw +r3zw +tx = XI r7xw +r8yw +r9zw +tz f r4xw + r5yw +r6zw +ty = YI r7xw +r8yw +r9zw +tz 由于此检测系统不考虑摄像机坐标系和物体 坐标系之间的旋转， 只考虑平移， 因此： 1 0 0 r1 r2 r3 （6 ） r4 r5 r6 = 0 1 0 0 0 1 r7 r8 r9 式 （5 ） 可以简化为： XI =sx - 1d（ ） （1+ k1r2） x u-u0 YI = sy - 1d（ ） （1+ k1r2） y ν - ν0 （7 ） f· xw +tx = XI zw +tz f· yw +ty = YI zw +tz 采用 RAC 法进行摄像机坐标标定包括两步， 第一步， 利用径向准直约束条件， 即无论畸变如何， 向量 OIPI 和向量 PPc 的方向相同： OIPI × PPc =0 （8 ） 即： [ xwYd ywYd zwYd Yd - xwXd - ywXd - zwXd ]·L=Xd L =[ Ty -1sx 0 0 Ty -1Txsx 0 Ty -1r5 0 ] T （9 ） 采集标定靶标上的每一个特征点， 都可以得到相对 应的一对坐标 （xw， yw， zw ） 和 （u， ν ） ， 联合方程式 （4 ） 和
收稿日期 ：2009-05-04 ； 收到修改稿日期 ：2009-07-15 基金项目 ： 重庆市教委科学技术研究项目 （KJ070610 ） 作者简介 ：李朝晖 （1971） ， 男， 重庆市人， 高级实验师， 硕士，
CCD 摄像机的成像模型可以看作把三维世界 透视投影到物镜球面， 然后把物镜球面上像投射到 CCD 平面的过程， 其成像简图如图 1 所示。理想情 况下该透镜成像是针孔模型， 物与像满足相似三角 形关系， 而实际的透镜并不满足这个条件， 故不能 通过简单的计算得到被测物体的尺寸， 而必须进行 摄像机标定。
关键词 ：机器视觉； 曲轴锻件； 尺寸检测； 摄像机标定 中图分类号 ：TN386.5 ；TP391.41 文献标识码 ：A 文章编号 ：1674-5124 （2009 ）06-0009-05
Research of visual measuring technical and application of crankshaft forging dimensions measuring
该文重点是运用计算机视觉和图像处理的原理和方法对研究对象进行图像获取图像预处理图像分割边界提取以及尺寸计算的研究并将此技术应用于曲轴锻件的快速检测中及时迅速地反馈产品的误差信息不断提高产品质量符合现代制造的质量工程要求
第 35 卷第 6 期 2009 年 11 月
中国测试 CHINA MEASUREMENT & TEST
LI Zhao-hui，HAO Jian-jun，YANG Xin-hua （Automobile College， Chongqing University of Technology， Chongqing 400050， China ） Abstract: In order to conquer the low automatic level in the inspection of crankshaft forging dimensions ， an automatic inspecting method utilizing image process to crankshaft forging dimensions was proposed through the research on image edge identification and CCD calibration. The inspection system based on CCD camera realized consecutive imaging to crankshaft， obtained characteristics information of different parts of crankshaft by means of image sticking and edge process， and calculated geometric dimensions and location tolerances of the crankshaft rapidly and correctly through digital image operation. This method improves the inspection speed and precision of crankshaft forging，while enhancing the manufacture efficiency greatly. Key words: Machine vision；Crankshaft forging；Dimension detection；Camera calibration
1
引
言
2
2.1
视觉检测技术的关键问题
摄像机成像模型
计算机视觉检测作为一种新型的检测手段， 其 优点有自动化 、 速度快、 非接触和高精度， 主要应用 于包括汽车 、 电子与电气 、 机械制造 、 制药 、 包装和 医学等领域的质量检查及三维数字化、 位置/角度测 量、 特性/字符识别等[1-2]。 该文重点是运用计算机视觉和图像处理的原 理和方法对研究对象进行图像获取 、图像预处理 、 图像分割 、 边界提取以及尺寸计算的研究， 并将此 技术应用于曲轴锻件的快速检测中， 及时迅速地反 馈产品的误差信息， 不断提高产品质量， 符合现代 制造的质量工程要求。
姨
XI
OI
yc zc
zw yw xw
v screen
图2
摄像机透视变换模型
ቤተ መጻሕፍቲ ባይዱ
建立 CCD 摄像机透视变换模型， 如图 2 所示 。 模型中共有四个坐标系：物空间坐标系 owxwywzw， 摄 像机坐标系 ocxcyczc， 像平面坐标系 OIXIYI 和计算机 图像坐标系 ouν。 空间一点 P 经摄像机成像后， 可以 确定像面坐标和摄像机坐标的关系， 即模型的数学 表达式为： XI = f = YI （1 ） xc z c yc 式中， f 为摄像机成像镜头的有效焦距， 即摄像机坐 标系原点到像面的距离。P 点在物空间坐标系 owxwywzw 中的坐标 p （xw， yw， zw ） 和在摄像机坐标系 ocxcyczc 中的坐标 p （xc， yc， zc ） 的关系为： xc xw （2 ） yc = R yw + T zc zw r1 r2 r3 式 （2 ） 中： R= r4 r5 r6 —— —旋转矩阵； r7 r8 r9 tx T= ty —— —平移矢量； tz R 和 T 决定了摄像机相对于空间坐标系的方 向和位置。
Vol.35 No.6 November， 2009
视觉检测技术在曲轴锻件尺寸检测中的应用
李朝晖 ， 郝建军 ， 杨新桦
（重庆理工大学汽车学院， 重庆 400050 ）
摘 要 ：针对当前曲轴锻件尺寸检测自动化水平不高的问题， 通过对图像边界识别 、 CCD 标定等关键问题的研究，
提出了一种利用图像处理技术自动检测锻件尺寸的方法 。基于 CCD 摄像机的检测系统实现对曲轴锻件连续成像， 边界处理， 得到曲轴各处的特征信息， 快速准确的计算出曲轴各位置的几何尺寸与形位公差 。该方 通过图像拼接、 法提高了曲轴锻件的检测速度和精度， 极大的提高了生产效率 。
姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨
姨
姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨
姨
姨
第 35 卷第 6 期
李朝晖等： 视觉检测技术在曲轴锻件尺寸检测中的应用
11
式 （9 ） ， 并结合正交矩阵约束条件， 用最小二乘法求 ty 和 sx 、 sy 的解； 第二步， 把所 解， 得到 T 的分量 tx ， 得的参数代入式 （7 ） ， 采用迭代的方法可求出其他 参数的解。 2.3 边缘检测 边缘 （Edge ） 是指图像局部亮度变化最显著的 部分,是图像分割、 及形状特征提取和图像分析的基 础。 由于边缘点一般位于图像中灰度值变化剧烈的 位置 （灰度值导数较大或极大 ） ， 边缘点附近灰度的 变化情况可以从其相邻像素灰度分布的梯度来反 映， 所以边缘检测通常是通过对待处理像素为中心 的邻域作灰度分析来实现。 即采用某种模板与锐化 后的图像进行卷积就得到边缘轮廓的图像， 根据这 一特点， 前人提出了多种边缘检测算子， 如 Roberts 梯度算子 、 Sobel 梯度算子 、 拉普拉斯算子 、 Prewitt 梯度算子等， 其中算法的优劣决定着边缘轮廓提取 [7] 精度的高低 。 （1 ） Roberts 算子 。 以 G [i， j] 表示处理后 （i， j ） 点 的灰度值， f [i， j] 表示处理前该点的灰度值， Roberts 算子表示为： G[i， j ]=| f [ i ， j ]- f [ i+ 1 ， j+ 1]|+ |f [ i+ 1 ， j ]- f [ i ， j+ 1]| 这是一种计算梯度幅值的简单近似方法。 （2 ） Sobel 算子 G[i， j ]=| f [ i- 1 ， j+ 1]+2f [ i ， j +1]+ f [ i+ 1 ， j+ 1]f [ i- 1 ， j- 1]-2f [ i+ 1 ， j -1]|+| f [ i- 1 ， j- 1]+ 2f [ i- 1 ， j ]+ f [ i- 1 ， j+ 1]- f [ i+ 1 ， j -1]j ]- f [ i+ 1 ， j+ 1]| 2f [ i+ 1 ， 利用上式对每点进行计算， 计算出该点的值如果大 即为边界。 于某一阑值 THS， （3 ） Prewitt 算子。 Prewitt 算子与 Sobel 算子基本 相同， 只是没有加权， 所有系数全为 1。 （4 ） 拉普拉斯算子 。拉普拉斯算子是一种不依 赖于边缘方向的二阶微分算子， 它的表达式为： G[i， j ]=| f [ i+ 1 ， j ]- f [ i- 1 ， j ]+ f [i， j+ 1]- f [ i ， j- 1]-4f [ i ， j ]| 由于拉普拉斯算子是二阶微分算子， 更易受噪声的 影响。
CCD
A
物体
B 0
图像
主要从事内燃机零部件设计、 分析及其检测。
图1
CCD 摄像机成像简图
10 2.2
摄像机标定
[3]
中国测试
2009 年 11 月
摄像机标定就是对摄像机内外参数 的估算 。 内部参数包括焦距 、 像素大小 、 径向畸变系数 、 驻 点的位置， 外部参数包括摄像机的位置和方向等， 利用内外参数可以精确地表示摄像机坐标系与物 空间坐标系之间的关系 。在视觉检测系统中， 通常 采 用 RAC （Radial Alignment Constraint）标 定 方 法 对 CCD 摄像机进行标定 [4-6]， 其具有较高的精度和 稳定性。
YI yc xc oc f PI YI XI zc xc PC u uo v0
1
引入镜头畸变后， 空间点 P 的实际像点 P（ d Xd， Yd ） 和理想像点 P（ Y） I XI， I 的位置关系为： XI Xd = （1+ k1r2） （3 ） YI Yd 式 （3）中： k1 —— —摄像机镜头的径向畸变系数； r = 姨Xd2 + Yd2 。 实际像点坐标 P（ Yd）和计算机 图像坐标 d Xd ， P （u， ν ） 的关系为： -1 Xd dx = sx （u-u0） - 1 0 （4 ） 0 s （ ν ν ） y 0 Yd dy 式 （4 ） 中： （u -u0）—— —成像中心在计算机图像坐标 系中的坐标； dx 和 dy — ——CCD 感光面在 X 和 Y 方向上 的光敏单元的中心距； sx 、 sy — ——在 X 和 Y 方向上不确定的图像 比例因子。 由以上各式可以得出空间坐标 p （xw， yw， zw ） 和 （u， ν ） 的关系为： 计算机图像坐标 P XI =sx - 1d（ ） （1+ k1r2） x u-u0 YI = sy - 1d（ ） （1+ k1r2） y ν - ν0 （5 ） f r1xw + r2yw +r3zw +tx = XI r7xw +r8yw +r9zw +tz f r4xw + r5yw +r6zw +ty = YI r7xw +r8yw +r9zw +tz 由于此检测系统不考虑摄像机坐标系和物体 坐标系之间的旋转， 只考虑平移， 因此： 1 0 0 r1 r2 r3 （6 ） r4 r5 r6 = 0 1 0 0 0 1 r7 r8 r9 式 （5 ） 可以简化为： XI =sx - 1d（ ） （1+ k1r2） x u-u0 YI = sy - 1d（ ） （1+ k1r2） y ν - ν0 （7 ） f· xw +tx = XI zw +tz f· yw +ty = YI zw +tz 采用 RAC 法进行摄像机坐标标定包括两步， 第一步， 利用径向准直约束条件， 即无论畸变如何， 向量 OIPI 和向量 PPc 的方向相同： OIPI × PPc =0 （8 ） 即： [ xwYd ywYd zwYd Yd - xwXd - ywXd - zwXd ]·L=Xd L =[ Ty -1sx 0 0 Ty -1Txsx 0 Ty -1r5 0 ] T （9 ） 采集标定靶标上的每一个特征点， 都可以得到相对 应的一对坐标 （xw， yw， zw ） 和 （u， ν ） ， 联合方程式 （4 ） 和
收稿日期 ：2009-05-04 ； 收到修改稿日期 ：2009-07-15 基金项目 ： 重庆市教委科学技术研究项目 （KJ070610 ） 作者简介 ：李朝晖 （1971） ， 男， 重庆市人， 高级实验师， 硕士，
CCD 摄像机的成像模型可以看作把三维世界 透视投影到物镜球面， 然后把物镜球面上像投射到 CCD 平面的过程， 其成像简图如图 1 所示。理想情 况下该透镜成像是针孔模型， 物与像满足相似三角 形关系， 而实际的透镜并不满足这个条件， 故不能 通过简单的计算得到被测物体的尺寸， 而必须进行 摄像机标定。
关键词 ：机器视觉； 曲轴锻件； 尺寸检测； 摄像机标定 中图分类号 ：TN386.5 ；TP391.41 文献标识码 ：A 文章编号 ：1674-5124 （2009 ）06-0009-05
Research of visual measuring technical and application of crankshaft forging dimensions measuring
该文重点是运用计算机视觉和图像处理的原理和方法对研究对象进行图像获取图像预处理图像分割边界提取以及尺寸计算的研究并将此技术应用于曲轴锻件的快速检测中及时迅速地反馈产品的误差信息不断提高产品质量符合现代制造的质量工程要求
第 35 卷第 6 期 2009 年 11 月
中国测试 CHINA MEASUREMENT & TEST
LI Zhao-hui，HAO Jian-jun，YANG Xin-hua （Automobile College， Chongqing University of Technology， Chongqing 400050， China ） Abstract: In order to conquer the low automatic level in the inspection of crankshaft forging dimensions ， an automatic inspecting method utilizing image process to crankshaft forging dimensions was proposed through the research on image edge identification and CCD calibration. The inspection system based on CCD camera realized consecutive imaging to crankshaft， obtained characteristics information of different parts of crankshaft by means of image sticking and edge process， and calculated geometric dimensions and location tolerances of the crankshaft rapidly and correctly through digital image operation. This method improves the inspection speed and precision of crankshaft forging，while enhancing the manufacture efficiency greatly. Key words: Machine vision；Crankshaft forging；Dimension detection；Camera calibration
1
引
言
2
2.1
视觉检测技术的关键问题
摄像机成像模型
计算机视觉检测作为一种新型的检测手段， 其 优点有自动化 、 速度快、 非接触和高精度， 主要应用 于包括汽车 、 电子与电气 、 机械制造 、 制药 、 包装和 医学等领域的质量检查及三维数字化、 位置/角度测 量、 特性/字符识别等[1-2]。 该文重点是运用计算机视觉和图像处理的原 理和方法对研究对象进行图像获取 、图像预处理 、 图像分割 、 边界提取以及尺寸计算的研究， 并将此 技术应用于曲轴锻件的快速检测中， 及时迅速地反 馈产品的误差信息， 不断提高产品质量， 符合现代 制造的质量工程要求。
姨
XI
OI
yc zc
zw yw xw
v screen
图2
摄像机透视变换模型
ቤተ መጻሕፍቲ ባይዱ
建立 CCD 摄像机透视变换模型， 如图 2 所示 。 模型中共有四个坐标系：物空间坐标系 owxwywzw， 摄 像机坐标系 ocxcyczc， 像平面坐标系 OIXIYI 和计算机 图像坐标系 ouν。 空间一点 P 经摄像机成像后， 可以 确定像面坐标和摄像机坐标的关系， 即模型的数学 表达式为： XI = f = YI （1 ） xc z c yc 式中， f 为摄像机成像镜头的有效焦距， 即摄像机坐 标系原点到像面的距离。P 点在物空间坐标系 owxwywzw 中的坐标 p （xw， yw， zw ） 和在摄像机坐标系 ocxcyczc 中的坐标 p （xc， yc， zc ） 的关系为： xc xw （2 ） yc = R yw + T zc zw r1 r2 r3 式 （2 ） 中： R= r4 r5 r6 —— —旋转矩阵； r7 r8 r9 tx T= ty —— —平移矢量； tz R 和 T 决定了摄像机相对于空间坐标系的方 向和位置。
Vol.35 No.6 November， 2009
视觉检测技术在曲轴锻件尺寸检测中的应用
李朝晖 ， 郝建军 ， 杨新桦
（重庆理工大学汽车学院， 重庆 400050 ）
摘 要 ：针对当前曲轴锻件尺寸检测自动化水平不高的问题， 通过对图像边界识别 、 CCD 标定等关键问题的研究，
提出了一种利用图像处理技术自动检测锻件尺寸的方法 。基于 CCD 摄像机的检测系统实现对曲轴锻件连续成像， 边界处理， 得到曲轴各处的特征信息， 快速准确的计算出曲轴各位置的几何尺寸与形位公差 。该方 通过图像拼接、 法提高了曲轴锻件的检测速度和精度， 极大的提高了生产效率 。
姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨
姨
姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨 姨
姨
姨
第 35 卷第 6 期
李朝晖等： 视觉检测技术在曲轴锻件尺寸检测中的应用
11
式 （9 ） ， 并结合正交矩阵约束条件， 用最小二乘法求 ty 和 sx 、 sy 的解； 第二步， 把所 解， 得到 T 的分量 tx ， 得的参数代入式 （7 ） ， 采用迭代的方法可求出其他 参数的解。 2.3 边缘检测 边缘 （Edge ） 是指图像局部亮度变化最显著的 部分,是图像分割、 及形状特征提取和图像分析的基 础。 由于边缘点一般位于图像中灰度值变化剧烈的 位置 （灰度值导数较大或极大 ） ， 边缘点附近灰度的 变化情况可以从其相邻像素灰度分布的梯度来反 映， 所以边缘检测通常是通过对待处理像素为中心 的邻域作灰度分析来实现。 即采用某种模板与锐化 后的图像进行卷积就得到边缘轮廓的图像， 根据这 一特点， 前人提出了多种边缘检测算子， 如 Roberts 梯度算子 、 Sobel 梯度算子 、 拉普拉斯算子 、 Prewitt 梯度算子等， 其中算法的优劣决定着边缘轮廓提取 [7] 精度的高低 。 （1 ） Roberts 算子 。 以 G [i， j] 表示处理后 （i， j ） 点 的灰度值， f [i， j] 表示处理前该点的灰度值， Roberts 算子表示为： G[i， j ]=| f [ i ， j ]- f [ i+ 1 ， j+ 1]|+ |f [ i+ 1 ， j ]- f [ i ， j+ 1]| 这是一种计算梯度幅值的简单近似方法。 （2 ） Sobel 算子 G[i， j ]=| f [ i- 1 ， j+ 1]+2f [ i ， j +1]+ f [ i+ 1 ， j+ 1]f [ i- 1 ， j- 1]-2f [ i+ 1 ， j -1]|+| f [ i- 1 ， j- 1]+ 2f [ i- 1 ， j ]+ f [ i- 1 ， j+ 1]- f [ i+ 1 ， j -1]j ]- f [ i+ 1 ， j+ 1]| 2f [ i+ 1 ， 利用上式对每点进行计算， 计算出该点的值如果大 即为边界。 于某一阑值 THS， （3 ） Prewitt 算子。 Prewitt 算子与 Sobel 算子基本 相同， 只是没有加权， 所有系数全为 1。 （4 ） 拉普拉斯算子 。拉普拉斯算子是一种不依 赖于边缘方向的二阶微分算子， 它的表达式为： G[i， j ]=| f [ i+ 1 ， j ]- f [ i- 1 ， j ]+ f [i， j+ 1]- f [ i ， j- 1]-4f [ i ， j ]| 由于拉普拉斯算子是二阶微分算子， 更易受噪声的 影响。