结构光三维视觉检测中光条图像处理方法研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图4 光条横截面的光强分布示意
"
"#!
图l 实验系统结构
结构光图像处理方法
按照处理的先后顺序， 分为以下 4 步 . 中值滤波 由于实际测量的环境光照是不稳定的 （如白
天的自然光和夜晚的照明灯光等） ， 加之测量工作 台周围其它物体的反射光， 被测物体本身表面的 反射光， 以及 CCD 感光面的成像噪声和图像采集 卡的采样和量化误差等因素的影响， 使获得的数 字图像带有大量的各种类型的噪声 . 所以测量任 务首先要做的就是对图像进行 “净化” — — —滤掉噪 声信号， 保留有用的光条信号 . 结构光图像是一种 测量用的图像， 其处理过程和用做其它用途的图 一是 像处理不完全一样 . 这里重点做的有两点， “去伪” ， 即去除假的干扰信号， 否则会得到不正确 的测量结果， 二是在 “去伪” 的同时要保证 “存真” ， 即不能改变或去除有用的信号 . 根据以上原则， 首先使用中值滤波法对原始
本文实验系统采用的激光器为半导体激光
布不是均匀的， 而是近似服从高斯分布， 而且亮度 梯度变化较大， 如图 4 所示 .
输出功率约 8 mW. 图像采 器， 输出波长约 650 nm， 集选用 Watec 公司的 WAT-50lEX 型 CCD 摄象机， 分辨率 550 线， 信噪比大于 46 dB， 有效像素总数 镜头焦距 l6 mm. 实验系统的结构如图 768 > 576， l 所示 .
收稿日期：2002-04-22 基金项目：教育部跨世纪优秀人才培养计划基金资助项目
结构光的光强分布特性不同， 从而直接关系到结 构光图像的处理和分析方法的选择 . 目前， 由于激光具有良好的方向性、 准直性、 单色性及高亮度等物理特性， 在许多结构光视觉 检测系统中采用激光作结构光的光源 . 上述的各 种形式的结构光， 均有以激光为光源的产品 . 本文 主要讨论单直线型激光结构光图像的处理方法 . 使用的激光器为半导体激光器， 发出一束激光， 经 柱面镜反射得到一光平面 . 若该光平面投射到与 该平面不平行的平面上， 则显示为一光亮的线条，
a O d b l e c O f
是为得到光条中心的精确坐标， 而根据前面分析， 得到的图像上的光条是有一定宽度的， 一般为几 个像素的宽度， 所以中值滤波后进行粗略的光条 中心提取， 得到单像素宽度的光条 . 根据图 4 所示的光条横截面光强分布特点， 可知光条的中心位置处最 “亮” ， 即中心位置处像 粗略提取光条中心的方法 素的灰度值最大 . 所以， 就是逐行搜索， 寻找灰度值最大的像素， 而且检验 该灰度最大像素左右两侧相邻的几个像素的灰度
， 女， 山东沂南人， 博士生，junjihe@ 163 . com. 作者简介：贺俊吉 （1974 - ）
594
北 京 航 空 航 天 大 学 学 报
2003 年
因此称为线结构光 .
的， 它与被测物体表面的交线是有一定宽度的光
［2］ 亮的线条， 称之为光条 . 该光条的横截面光强分
!
高斯光束的特性
中图分类号：TP 751.1 文献标识码：A 文 章 编 号：1001-5965 （2003） 07-0593-05
Study on method for processing image of strip in structured-light 3D vision measuring technicue
［3］ 图像滤波 ， 这样可去掉大部分的椒盐噪声 . 下面
本文分析了激光线结构光的光强特性， 对结 构光视觉检测技术中的结构光图像去噪声处理方 法和光条中心提取方法进行了研究， 给出了实验 结果 . 一般激光器输出的激光束， 既不是均匀平面 光波， 也不是均匀球面光波， 而是一种结构比较特 殊的高斯光束， 如图 2 所示
! O
符合， 则认为是最大灰度的像素为光条中心 . 用这 一方法的结果是， 只要是光条线段， 总能检测到其 中心， 不会漏检 . 但这种方法会把一些不在光条上 的点认作光条中心， 即出现 “假” 光条中心 . !"# 滤波去除 “假” 光条中心 中值滤波法既消除绝大部分的椒盐噪声， 但 是结构光图像中还有其它的干扰因素引起的噪 声， 比如， 被测物体表面材料引起的反光， 被测物 体的边角等较尖锐的部位会有强烈的反光， 测量 工作台周围的其它物体被结构光照射到会反光， 而且反射的光又射到被测物体上， 诸如此类的情 况在获取的结构光图像上是经常发生的 . 这些杂 光会在粗提光条中心的过程中制造 “假” 光条中 心 . 作者采用了一种滤波算法， 专门消除这类噪 声. 经过第 2 步处理后， 图像已被二值化， 粗提的 其它像素值为 O， 而且 光条中心处的像素值为 l， 光条中心的宽度为 l 个像素 . 也就是说， 当前图像 中每行最多只有一个像素值为 l， 其余像素值均 根据试验， 取 3 > 3 邻域大小就足 为 O . 取一模板， 以消除 “假” 光条中心， 如图 5 所示 . 使该模板沿行 和列滑动， 当前像素与模板的中心元素对应， 当模 则计算该像 板滑动到某一像素值为 l 的位置时， 素处的 M 值： 2 2 2 M =（ a - l） +（ b - l） +（ c - l） + 2 2 2 （ d - l） +（ e - l） +（ f - l） 则该像素为 M 的值只能为 4 或 5 或 6 . 若 M = 6， 孤立的一个亮点， 可消除， 将该像素值置为 O； 若 则该像素是连续的光条上的一点， 是有用 M = 4， 信号， 保留； 若 M = 5， 则计算 M l 值， M l =（ a 2 2 2 （ b - l） （ c - l） ， 若 M l = 2， 则该像素连 l） + +
2003 年 7 月 第 29 卷 第 7 期
北京航空航天大学学报 JournaI of Beijing University of Aeronautics and Astronautics
JuIy 2003 VoI. 29 No.7
结构光三维视觉检测中光条 图像处理方法研究
贺俊吉
摘
张广军
（北京航空航天大学 自动化科学与电气工程学院，北京 100083）
［l］
.
图2
高斯光束
沿 ! 轴传播的高斯光束的电矢量表达式 ! 是三维坐标 " ， 图 3 是 ! 分别在 ! = 0 #， ! 的函数， 和 ! > 0 的光束横截面上的分布情况 . 由图 3 可 见， 高斯光束的横截面光斑中心最亮， 向外逐渐减 弱.
简要介绍中值滤波法 . 中值滤波是一种非线性平滑滤波器， 其依据 是： 椒盐噪声的特点是分散的， 随机的， 在一定的 邻域内， 噪声点的灰度值与邻域内其它点的灰度 值相比总是比较 “突出” ， 要么很大， 要么很小 . 所 以取邻域内灰度值序列的中间值， 就可以将 “突 出” 的噪声点去掉 . 工作步骤如下： 并将模板中心与图中 l）将模板在图中漫游， 某个像素位置重合； 2）读取模板下各对应像素的灰度值； 3）将这些灰度值从小到大排序； 4）找出灰度序列中排在中间的一个灰度值； 5）将这个中间值赋给对应模板中心位置的 像素 .
［4， 5］ 值， 看是否符合左右对称、 梯度变化的特点 .若
图5
滤波模板
经过以上处理后， 能将所有单像素的噪声点 和两像素的噪声点都去掉， 一般这样滤波 2 到 3 遍， 便足够滤掉所有非光条上的噪声点， 只保留连 续的光条图像 . !"$ 光条中心亚像素精度提取方法 根据前面对高斯光束的分析， 光条的横截面 光强近似服从高斯分布， 那么光条的中心可以认 为在光强分布的峰值点， 所以采用曲线拟合的方 法来得到亚像素级精度的光条中心坐标， 即利用 峰值点附近的像素点坐标和灰度值拟合曲线方 程， 具体步骤如下： 找到 l）对已经滤波的图像依次搜索每一行， 光强峰值点， 即该行中灰度值最大的点， 设该点为 ， 灰度值为 g O ； M（ yO ） O xO ， ， 2）选 取 M O 的 左 侧 邻 点 M - 2（ x - 2 ，y O ） ， M -（ y O ）和 右 侧 邻 点 M l （ x l ， y O ） l x -l， ， 设其灰度值分别为 g - 2 ， M（ yO ） g -l， gl ， g2 . 2 x2 ， 利用以上 5 点， 根据最小二乘原理进行二次曲线 拟合； 3）由拟合曲线求出极大值点在 x 向的坐标 ! 则 （ xO ， 即是所求的光条中心点 . x ， yO ）
结构光视觉检测技术中带有结构光的图像是 实现测量任务的信息源， 它包含有被测量物体表 面的三维形貌信息 . 对结构光图像的处理和计算 是整个检测任务中的关键环节之一 . 目前投射的结构光有多种形式和类型， 如单 点， 点列， 点阵， 单直线， 多条平行线， 单圆环， 同心 圆环， 网格， 十字叉丝等等 . 投射结构光的光源类 型有激光光源， 白炽灯光源等 . 根据测量的精度要 求和投射光装置的设计结构而采用不同的光源 . 不同的光源的光谱特性是不同的， 导致投射出的
He Junji Zhang Guangjun
（SchooI of Automation Science and EIectricaI Engineering，Beijing University of Aeronautics and Astronautics，Beijing 100083，China）
要：在结构光视觉检测系统中， 光条中心的提取精度直接影响到整个
测量系统的测量精度 . 光条图像的处理是其中重要的一步， 尤其是受到严重噪声干扰 的图像 . 探讨了被多种噪声干扰的光条图像的处理和精确提取光条中心的方法 . 给出 了一种消除环境干扰的滤波模板并实验验证了其滤波效果 . 使用这些光条图像处理 方法使整个测量系统在 200 mm X 200 mm 的测量范围内测量精度达到 0 . 083 mm. 关 键 词：光学图像处理；滤波算法；激光非破坏性检验；结构光
a
!=0
b
!>0
图3
电矢量 ! 分布曲线
高斯光束斜入射到柱面反射镜上被展开成为 一个连续的光平面， 该光平面实际是有一定厚度
第7期
贺俊吉等： 结构光三维视觉检测中光条图像处理方法研究
ຫໍສະໝຸດ Baidu595
!"!
粗略提取光条中心 在视觉检测技术中对结构光图像处理的目的
光条的起始点， 保留， 若它是 2 个邻近的噪声点中 的第 l 个， 则在处理下一行时自然会被消除掉 .
Abstract：In a structured-Iight vision system，the accuracy of center position of the stripe is of great importance for that of the whoIe measuring system. Processing the image of stripe is an important step，especiaIIy for images with serious noises . Methods for processing images of stripe disturbed by various noise sources were discussed， “ suras weII as the method for detecting accurateIy the center of stripes . A speciaI fiItering mask was submitted for rounding”disturbance and was verified effective . For the measuring range as Iarge as 200 mm X 200 mm the accuracy of the whoIe measuring system when using the methods mentioned is 0 . 083 mm. Key words：opticaI image processing；fiItering aIgorithm；nondestructive Iaser anaIysis；structured-Iight
"
"#!
图l 实验系统结构
结构光图像处理方法
按照处理的先后顺序， 分为以下 4 步 . 中值滤波 由于实际测量的环境光照是不稳定的 （如白
天的自然光和夜晚的照明灯光等） ， 加之测量工作 台周围其它物体的反射光， 被测物体本身表面的 反射光， 以及 CCD 感光面的成像噪声和图像采集 卡的采样和量化误差等因素的影响， 使获得的数 字图像带有大量的各种类型的噪声 . 所以测量任 务首先要做的就是对图像进行 “净化” — — —滤掉噪 声信号， 保留有用的光条信号 . 结构光图像是一种 测量用的图像， 其处理过程和用做其它用途的图 一是 像处理不完全一样 . 这里重点做的有两点， “去伪” ， 即去除假的干扰信号， 否则会得到不正确 的测量结果， 二是在 “去伪” 的同时要保证 “存真” ， 即不能改变或去除有用的信号 . 根据以上原则， 首先使用中值滤波法对原始
本文实验系统采用的激光器为半导体激光
布不是均匀的， 而是近似服从高斯分布， 而且亮度 梯度变化较大， 如图 4 所示 .
输出功率约 8 mW. 图像采 器， 输出波长约 650 nm， 集选用 Watec 公司的 WAT-50lEX 型 CCD 摄象机， 分辨率 550 线， 信噪比大于 46 dB， 有效像素总数 镜头焦距 l6 mm. 实验系统的结构如图 768 > 576， l 所示 .
收稿日期：2002-04-22 基金项目：教育部跨世纪优秀人才培养计划基金资助项目
结构光的光强分布特性不同， 从而直接关系到结 构光图像的处理和分析方法的选择 . 目前， 由于激光具有良好的方向性、 准直性、 单色性及高亮度等物理特性， 在许多结构光视觉 检测系统中采用激光作结构光的光源 . 上述的各 种形式的结构光， 均有以激光为光源的产品 . 本文 主要讨论单直线型激光结构光图像的处理方法 . 使用的激光器为半导体激光器， 发出一束激光， 经 柱面镜反射得到一光平面 . 若该光平面投射到与 该平面不平行的平面上， 则显示为一光亮的线条，
a O d b l e c O f
是为得到光条中心的精确坐标， 而根据前面分析， 得到的图像上的光条是有一定宽度的， 一般为几 个像素的宽度， 所以中值滤波后进行粗略的光条 中心提取， 得到单像素宽度的光条 . 根据图 4 所示的光条横截面光强分布特点， 可知光条的中心位置处最 “亮” ， 即中心位置处像 粗略提取光条中心的方法 素的灰度值最大 . 所以， 就是逐行搜索， 寻找灰度值最大的像素， 而且检验 该灰度最大像素左右两侧相邻的几个像素的灰度
， 女， 山东沂南人， 博士生，junjihe@ 163 . com. 作者简介：贺俊吉 （1974 - ）
594
北 京 航 空 航 天 大 学 学 报
2003 年
因此称为线结构光 .
的， 它与被测物体表面的交线是有一定宽度的光
［2］ 亮的线条， 称之为光条 . 该光条的横截面光强分
!
高斯光束的特性
中图分类号：TP 751.1 文献标识码：A 文 章 编 号：1001-5965 （2003） 07-0593-05
Study on method for processing image of strip in structured-light 3D vision measuring technicue
［3］ 图像滤波 ， 这样可去掉大部分的椒盐噪声 . 下面
本文分析了激光线结构光的光强特性， 对结 构光视觉检测技术中的结构光图像去噪声处理方 法和光条中心提取方法进行了研究， 给出了实验 结果 . 一般激光器输出的激光束， 既不是均匀平面 光波， 也不是均匀球面光波， 而是一种结构比较特 殊的高斯光束， 如图 2 所示
! O
符合， 则认为是最大灰度的像素为光条中心 . 用这 一方法的结果是， 只要是光条线段， 总能检测到其 中心， 不会漏检 . 但这种方法会把一些不在光条上 的点认作光条中心， 即出现 “假” 光条中心 . !"# 滤波去除 “假” 光条中心 中值滤波法既消除绝大部分的椒盐噪声， 但 是结构光图像中还有其它的干扰因素引起的噪 声， 比如， 被测物体表面材料引起的反光， 被测物 体的边角等较尖锐的部位会有强烈的反光， 测量 工作台周围的其它物体被结构光照射到会反光， 而且反射的光又射到被测物体上， 诸如此类的情 况在获取的结构光图像上是经常发生的 . 这些杂 光会在粗提光条中心的过程中制造 “假” 光条中 心 . 作者采用了一种滤波算法， 专门消除这类噪 声. 经过第 2 步处理后， 图像已被二值化， 粗提的 其它像素值为 O， 而且 光条中心处的像素值为 l， 光条中心的宽度为 l 个像素 . 也就是说， 当前图像 中每行最多只有一个像素值为 l， 其余像素值均 根据试验， 取 3 > 3 邻域大小就足 为 O . 取一模板， 以消除 “假” 光条中心， 如图 5 所示 . 使该模板沿行 和列滑动， 当前像素与模板的中心元素对应， 当模 则计算该像 板滑动到某一像素值为 l 的位置时， 素处的 M 值： 2 2 2 M =（ a - l） +（ b - l） +（ c - l） + 2 2 2 （ d - l） +（ e - l） +（ f - l） 则该像素为 M 的值只能为 4 或 5 或 6 . 若 M = 6， 孤立的一个亮点， 可消除， 将该像素值置为 O； 若 则该像素是连续的光条上的一点， 是有用 M = 4， 信号， 保留； 若 M = 5， 则计算 M l 值， M l =（ a 2 2 2 （ b - l） （ c - l） ， 若 M l = 2， 则该像素连 l） + +
2003 年 7 月 第 29 卷 第 7 期
北京航空航天大学学报 JournaI of Beijing University of Aeronautics and Astronautics
JuIy 2003 VoI. 29 No.7
结构光三维视觉检测中光条 图像处理方法研究
贺俊吉
摘
张广军
（北京航空航天大学 自动化科学与电气工程学院，北京 100083）
［l］
.
图2
高斯光束
沿 ! 轴传播的高斯光束的电矢量表达式 ! 是三维坐标 " ， 图 3 是 ! 分别在 ! = 0 #， ! 的函数， 和 ! > 0 的光束横截面上的分布情况 . 由图 3 可 见， 高斯光束的横截面光斑中心最亮， 向外逐渐减 弱.
简要介绍中值滤波法 . 中值滤波是一种非线性平滑滤波器， 其依据 是： 椒盐噪声的特点是分散的， 随机的， 在一定的 邻域内， 噪声点的灰度值与邻域内其它点的灰度 值相比总是比较 “突出” ， 要么很大， 要么很小 . 所 以取邻域内灰度值序列的中间值， 就可以将 “突 出” 的噪声点去掉 . 工作步骤如下： 并将模板中心与图中 l）将模板在图中漫游， 某个像素位置重合； 2）读取模板下各对应像素的灰度值； 3）将这些灰度值从小到大排序； 4）找出灰度序列中排在中间的一个灰度值； 5）将这个中间值赋给对应模板中心位置的 像素 .
［4， 5］ 值， 看是否符合左右对称、 梯度变化的特点 .若
图5
滤波模板
经过以上处理后， 能将所有单像素的噪声点 和两像素的噪声点都去掉， 一般这样滤波 2 到 3 遍， 便足够滤掉所有非光条上的噪声点， 只保留连 续的光条图像 . !"$ 光条中心亚像素精度提取方法 根据前面对高斯光束的分析， 光条的横截面 光强近似服从高斯分布， 那么光条的中心可以认 为在光强分布的峰值点， 所以采用曲线拟合的方 法来得到亚像素级精度的光条中心坐标， 即利用 峰值点附近的像素点坐标和灰度值拟合曲线方 程， 具体步骤如下： 找到 l）对已经滤波的图像依次搜索每一行， 光强峰值点， 即该行中灰度值最大的点， 设该点为 ， 灰度值为 g O ； M（ yO ） O xO ， ， 2）选 取 M O 的 左 侧 邻 点 M - 2（ x - 2 ，y O ） ， M -（ y O ）和 右 侧 邻 点 M l （ x l ， y O ） l x -l， ， 设其灰度值分别为 g - 2 ， M（ yO ） g -l， gl ， g2 . 2 x2 ， 利用以上 5 点， 根据最小二乘原理进行二次曲线 拟合； 3）由拟合曲线求出极大值点在 x 向的坐标 ! 则 （ xO ， 即是所求的光条中心点 . x ， yO ）
结构光视觉检测技术中带有结构光的图像是 实现测量任务的信息源， 它包含有被测量物体表 面的三维形貌信息 . 对结构光图像的处理和计算 是整个检测任务中的关键环节之一 . 目前投射的结构光有多种形式和类型， 如单 点， 点列， 点阵， 单直线， 多条平行线， 单圆环， 同心 圆环， 网格， 十字叉丝等等 . 投射结构光的光源类 型有激光光源， 白炽灯光源等 . 根据测量的精度要 求和投射光装置的设计结构而采用不同的光源 . 不同的光源的光谱特性是不同的， 导致投射出的
He Junji Zhang Guangjun
（SchooI of Automation Science and EIectricaI Engineering，Beijing University of Aeronautics and Astronautics，Beijing 100083，China）
要：在结构光视觉检测系统中， 光条中心的提取精度直接影响到整个
测量系统的测量精度 . 光条图像的处理是其中重要的一步， 尤其是受到严重噪声干扰 的图像 . 探讨了被多种噪声干扰的光条图像的处理和精确提取光条中心的方法 . 给出 了一种消除环境干扰的滤波模板并实验验证了其滤波效果 . 使用这些光条图像处理 方法使整个测量系统在 200 mm X 200 mm 的测量范围内测量精度达到 0 . 083 mm. 关 键 词：光学图像处理；滤波算法；激光非破坏性检验；结构光
a
!=0
b
!>0
图3
电矢量 ! 分布曲线
高斯光束斜入射到柱面反射镜上被展开成为 一个连续的光平面， 该光平面实际是有一定厚度
第7期
贺俊吉等： 结构光三维视觉检测中光条图像处理方法研究
ຫໍສະໝຸດ Baidu595
!"!
粗略提取光条中心 在视觉检测技术中对结构光图像处理的目的
光条的起始点， 保留， 若它是 2 个邻近的噪声点中 的第 l 个， 则在处理下一行时自然会被消除掉 .
Abstract：In a structured-Iight vision system，the accuracy of center position of the stripe is of great importance for that of the whoIe measuring system. Processing the image of stripe is an important step，especiaIIy for images with serious noises . Methods for processing images of stripe disturbed by various noise sources were discussed， “ suras weII as the method for detecting accurateIy the center of stripes . A speciaI fiItering mask was submitted for rounding”disturbance and was verified effective . For the measuring range as Iarge as 200 mm X 200 mm the accuracy of the whoIe measuring system when using the methods mentioned is 0 . 083 mm. Key words：opticaI image processing；fiItering aIgorithm；nondestructive Iaser anaIysis；structured-Iight