一种三维物体的视觉识别方法研究

% 引言
三维物体特征识别是机器人视觉的重要组成 部分 ’ 其任务是识别出图像中有什么类型的物体 ’ 并反映出物体在图像中的位置和方向 ) 如果在识 别过程中要利用有关物体的先验知识 ’ 则称为基 于模型的三维物体识别 * 本文对基于模型的三维
*#+
特征受成像环境影响较大 ’ 考虑到在固定的工作 空间内进行识别 ’ 环境变化较小 ’ 故利用颜色特征 提取物体轮廓的方法是可行的 *
的坐标开始的 ! 这个起始点有 H 个邻接点 ! 其中至 少有一个是边界点 * 边界链码规定了从当前边界 点到下一个边界点必须采用的方向 * 由于有 H 种 可能的方向!因此!可以 将它们从 + 到 D 编号 * 图
’ A "
"123!$123 值 ! 同时减少亮度 $ 的权值 ’ 变换后物体区
域的颜色特征函数表达式为
像素 ! 若有 ! 则连接成一闭合的链码 %
- 三维物体匹配识别
拓扑结构等价的二维投影线图在表达某个三 维物体时所起的作用是相同的 #1%! 即其表征物体形 状的特征向量 ! 相同 ! 因此可以只取其中 & 个有 代表性的图用来表达这个三维物体 # 这样若干个 拓扑结构不同的二维投影线图对应的特征向量 ! 就可完整地表达这个三维物体 # 模糊理论与神经网络的有机结合 #&,%! 融合了二 者的优点 ! 既能像模糊系统那样表达近似与定性 知识 ! 又具有神经网络的学习和非线性表达能力 #
$ 分量 ’ 而 % 和 " 通常由构成物体的原材料的光线
吸收和反射特征决定 * 为了减少光照对识别精度 的影响 ’ 在识别目标时 ’ 将减少亮度 $ 的权值 ’ 以 ! 和 " 作为判定的主要特征 * 从 ./0 模式到 234 模式的转换公式如下*&+
$& %’()(*$5&
"6#7& 89:%’ ’)’*$+$
&.$. 年 234567 859:7!;<5=>3? #&&% 已 证 明 !& 个 - 层 @A 神 经 网 络 即 可 以 实 现 任 意 精 度 逼 近 任 何 连 续 函数 # 故本文采用 @A 神经网络进行三维物体的形
# 基于颜色特征识别
本 文 利 用 ,,- 摄 像 头 采 集 图 像 以 获 取 原 始
%6;<=’#
! $ #51 # ’,) " >! ’,* " 1 ! ! " " ! " ’, ) > ’, * ), * %
若 *-) ’%6&)%#%*
收稿日期 !!""!#""##$ " 修回日期 !!""!#$$#"$ 基金项目 ! 中国民航总局教育教学研究基金项目 #%&’&’#! $( 作者简介 ! 孙毅刚 %$%)&# &’ 男 ’ 山东汶上人 ’ 教授 ’ 博士 ’ 研究方向为智能机器人 ( 机场设备自动化 &
#$%
!!" 利用链码提取形状特征
引入相对链码与绝对链码 ! 个概念 # 对于边 界上的每 & 个点都有前 & 点指向此点的链码 !& 和 此点指向后一点的链码 !!# 相对链码 " 是指 !! 和
码不为 , 的点为前一条直线段的终点 # 记录物体 的直线段个数 & #
!& 的相互关系 !即 !!(!& !
# 形状特征提取
在机器人视觉中 ! 形状可以看成是目标的轮 廓 !是用于目标识别的重要特征 *
"#! 图像预处理
为了去除干扰 ! 利用形态学噪声滤波器进行
第 !! 卷 第 " 期
孙毅刚 ! 孙承琦 ! 杜艳红 " 一种三维物体的视觉识别方法研究
1
段是直线段还是曲线段 #
满足 ! 线段绝对链码变化速 率 基 本 相 同 且 同 向 ! 则将这两条直线段合并为一条 % 否则 ! 出现相对链
"’ " !!(!&($ # * $
绝对链码是指从起始点开始相对链码的累加 值 ! 起始点的绝对链码设为 ,# 在根据链码提取特征向量时 ! 经常会遇到毛 刺和断码的问题 # 所以在利用链码提取特征之间 需要对链码进行平滑与补码操作 # 补码 "当链码前方出现断码时 ! 做如下操作 "
&$ 以该链码的切线方向向前增长一个像素 % !$ 按八连通准则搜索该像素周围有没有其它
-$ 若增长的像素周围没有其它像素 ! 重复 &$
和 !$%
*$ 增长 - 个像素后 ! 仍然没有搜索到 ! 则补码
停止 & 其中 ! 链码的切线方向为 " 直 线 段 中 ! 最 后 一 个链码的方向 % 曲线段中 ! 最后一个链码与最后一 个相对链码之差的方向 & 平滑 "&$ 去掉产生 " 大于 & 的毛刺 ! 即凸点 或凹点 %!$ 如果 " ’"!! 且 !! 和 !& 都是 奇 数 ! 则 设 置一个点来保持边界跟踪的连续 性 %- $ 建 立 新 边 界点的 # 坐标 ’$ 坐标和链码 %*( 修正后所对应的 新链上的点满足 " %&& 对新链做如下运算得到物体的各形状特征 "
#
!!(!& )* !!(!& +* !!(!& ’*
* ( 若某一链码 段 不 是 直 线 段 ! 且 链 码 数 大 于 .! 则为曲线段 # 记录物体的曲线段个数 ’ # /( 由轮廓跟踪算法 #.% 得到物体的各个闭环 ! 记
录闭环数 (! 同时用 -( 的方法得到组成每 个 闭 环 的直线段数 !记录下其中的最大值 (&# 这样 ! 就得到了表示三维物体形状的特征向 量 !’#% !& !( !(& !’%0# 链码把整个圆周只分成 $ 个等份 ! 若达不到 具体要求精度 ! 可采用 - 点链码和计算 !- 点链码 和为当前点和前两点的绝对链码之和 ! 可将圆周 分为 !* 等份 # 计算方法同上 #
第 !! 卷 第 " 期
中 国 民 航 学 院 学 报
!"#!"! $"!"
!##$ 年 %! 月
%&’($)*+&,+-./.*+)/.)0.&$+’$./1(2.03+&,+-4.$)++++++++++++++++++++++++++++++567689:;+ "#$#
% !##$$ #"& ###’& #" !"#$%%##%& ’###
物体识别的研究 ’ 可用于机场排爆机器人对机场 内易燃易爆物 + 枪支等可疑物品的识别 ( 定 位 ’ 有 助于机场的保安 ( 反恐和防爆工作 * 提取物体的形状特征是三维物体识别的难 点 ’置于复杂场景中的三维物体受背景干扰使形状 特征的提取难度更大 ’且形状特征提取不全时识别 的鲁棒性差 * 为了解决这一问题 ’本文提出了一种 三维物体的视觉识别方法 ! 将形状与颜色特征结 合 ’ 共同用于三维物体的特征提取 ’ 匹配识别时采 用链码提取物体形状特征作为神经网络的输入 ’使 神经网络的输出为属于某类物体的隶属度 *
!
+
,
图!
(
链码表示图
D
考虑到物体特征表达方法必须具备下述条 件 (" $ 明 确 性 )A $ 唯 一 性 )’ $ 不 敏 感 性 )! $ 方 便 匹 配和存储 * 本文选用的三维物体形状特征表达属 于形态图的表示法 %D)* 物体图像经过轮廓提取和边界跟踪得到的是 二维线图 ! 它们可以表示成链码 ! 并以链码文件记 录线图的信息 * 本文利用链码得到两方面的信息作为三维物 体识别的形状特征 * 一是拓扑结构信息 !它反映线 图的形貌和结构 ! 这方面的信息有 ( 顶 点 个 数 + 边 数 % 闭环数 % 闭环的组成边数 ) 二是几何信息 ! 它反 映线图中各线段的几何性质 ! 这方面的信息有 ( 线
则被视为背景 * 这样便可从复杂背景中提取目标 物体区域 * 由于上述方法是以保证物体形状完整性为前 提的 ! 故将不可避免地在提取物体区域的同时产 生一些误识和干扰 *
" 显示了一种 H 个方向的
编码方案 * 因此链码包含 了起始点的坐标 ! 以 及 用 来确定围绕边界路径走 向的编码序列 *
%()
!!" 颜色匹配识别
自然界中所有物体的颜色特征均满足如下的 关系表达式 #! !" !# $!$ #!!"!$$"!!%&!’(&)!"!%&!*)!
$!%+! #,,)假定待识别的物体为单一颜色 ! 通过标定原 始图像 % #& !’ $ 中目标物体区域内固定大小的所有 像素的 ./0 值 ! 计算出该区域内 ! %"%$ 各自Байду номын сангаас最 小值和最大值 ! 记为 !12 3!!145!"12 3!"145!$123!$145! 则 可得到物体区域的颜色特征函数表达式为
!!! 颜色模式
实验中采集的图像是 ./0 模式 ’ 但由于 ./0 模 式 在 不 同 条 件 下 ’ 测 得 ./0 的 颜 色 值 分 布 分 散 ’ 在 ./0 空间两点的欧氏距离与颜色距离不成 线性关系 ’ 不利于进行颜色特征的分类 *1+* 为提高 识别效果 ’ 本文将颜色表示从 ./0 颜色空间转化 到更接近人眼观察方式的 234 颜色空间 ’ 从而提 高不同光照环境下识别系统的鲁棒性 * 在 234 颜色空间中 !! 代表色度 "" 代表饱和 度 "# 代表亮度 * & 个分量中 ’ 受光照影响较大的是
(
中 国 民 航 学 院 学 报
!""! 年 "# 月
若采集的原始图像干扰较多 ! 可先进行中值 滤波 !再进行模式转换 "
去噪处理 %’)! 其中所用的模板需要大于每个干扰小 区域的面积 * 若三维物体的颜色在图像中是唯一的 ! 可以 直接标记出该区域 ) 若几个物体的颜色相同 ! 则需 先用连通区域标记法进行区域分割 %!)! 然后对各个 物体进行标记 * 为了加快处理速度 ! 本文边缘检测时处理的 并不是图像中的所有像素点 ! 而是仅对待识别物 体 & 标记区域 $ 的像素点采用 /8E;F 算子进行边缘 检测并细化 %,)* 将细化后的边缘图像二值化 ! 便可 得到三维物体边界 * 本文采用自适应阈值的方法 进行二值化处理 ! 即图像中的各点灰度值为
一种三维物体的视觉识别方法研究
孙毅刚 #’孙承琦 #’杜艳红 1
%#? 中国民用航空学院 交通工程学院 ’ 天津 &%%&%% "1? 东北电力学院 自动化系 ’ 吉林 #&1%#1 $
摘要 !研究了一种利用二维图像识别三维物体的方法 * 通过颜色特征提取物体的有效区域 ’使 用链码描述了区域中三维物体的形状特征 ’ 并形成物体的形状特征向量 * 将该特征向量作为所 设计的 0@ 神经网络的输入进行物体匹配识别 ’ 网络输出为属于某种物体的隶属度 * 通过在各 种光照环境下不同三维物体的二维彩色图像进行实验 ’ 证明了所提出方法的有效性 * 关 键 词 ! 三维物体识别 " 颜色特征 "形状特征 " 链码 "0@ 神经网络 文献标识码 !B 数据 ’ 利用灰度图像进行三维物体识别 * 物体颜色 中图分类号 !A@1!1?)
*!%*123!*145)#"!%"123!"145)# 7 $ & (&) !" !$$6 % ! ! ! ! ! ! ! $!%$123!$145)
&
%&&!’$6
A,, ) +
%&& !’$(-." 89:;<=2>;
& ’
89:;<=2>;
其中 ( 阈值 -# & % &&@"!’@" $@ % &&@" !’$@ % &&@"!’?" $
在实际处理中 ! 由于颜色特征随成像环境的 变化而变化较大 ! 并且需要保持待识别物体的形 状完整性 ! 故本文将颜色特征标定的范围加大 !即 增加原标定物体区域的 *145!"145!$145 值 ! 减小 *123!
@ %&&!’@"$@ %&&!’$@ %&&!’?"$@ %&&?" !’@"$@ %&&?"! ’$@ %&&?"!’?" $$BG* "!" 链码 链 码 是 从 物 体 边 界 上 任 意 选 取 某 个 点 && !’ $
7 !!%!123?,7!*145@,")# $ & & "!%"123?,A!"145@,A)# &"$ +&! !" !$ $6% ! ! ! ! ! $!%"BA &$123?,’$!A &$145@,’$) & & + 89:;<=2>; ’ 其中 (取 ,"!%"!()),A!%+C+*!+C+’) ),’!%*!D) * 识别时 ! 对图像进行 * 次遍历扫描 ! 获得每 * 个像素的 ./0 值 ! 则所有满足式 &* $ 中 ( &*!"!$ $ # * 的点被认为是该物体内的点 ! 同时进行标记 ! 否