自然场景下果实目标的识别和定位

第35卷第3期2007年6月

浙江工业大学学报

JO U RN A L OF ZHEJIA N G U N IV ERSIT Y OF T ECH N OL O GY V ol.35N o.3Jun.2007

收稿日期:2006-11-26

基金项目:浙江省自然科学基金资助项目(Y105314)

作者简介:古 辉(1956)),男,山西孝义人,教授,硕士生导师,研究方向为多媒体应用技术和信息处理技术.

自然场景下果实目标的识别和定位

古 辉1,芦亚亚1,丁维龙1,王 杰2,张维统1

(1.浙江工业大学信息工程学院,浙江杭州310032;2.浙江工业大学机电工程学院,浙江杭州310032)

摘要:通过分析目前果蔬图像中识别果蔬对象存在的问题,研究了果蔬采摘机器人视觉中的两大难题:识别果蔬和定位果蔬.在此大背景下,研究提出了一种结合多种颜色特征和纹理特征进行分割的方法,有效解决果蔬目标和背景颜色差异较小时的果蔬对象识别问题.同时,提出一种全新的理念解决果实被部分遮挡时中心点和采摘点确定问题.另外,为了克服已有的类球形果蔬的定位方法不能适用于偏斜下垂生长的果蔬定位、不能有效定位叠加的多个果蔬的不足,利用几何校正方法,研究提供一种能够适应于偏斜下垂生长的果蔬定位的方法,能有效定位叠加的多个果蔬.经实验证明,效果良好.

关键词:自然场景;颜色;纹理;果实目标;识别;定位中图分类号:T P391.41 文献标识码:A

文章编号:1006-4303(2007)03-0267-07

The recognizing and locating method for fruit objects under nature scenes

GU H ui 1

,LU Ya -ya 1

,DING We-i lo ng 1

,WA NG Jie 2

,ZH ANG We-i tong

1

(1.Colleg e of Inform ation Engineering,Zhejiang University of Techn ology,H an gzhou 310032,Ch ina;2.College of M echanical Engineering,Zhejian g Un iversity of T echnology,H angzhou 310032,C hina)

Abstract:T his paper discussed about the mo st difficult problems in the vision o f harvesting ro -bot,including r ecognizing and lo cating pro blem ex isted in the reco gnition of the fruit o bject in

fruit images.A new seg mentation metho d combined w ith color features and tex ture features is presented,in w hich the recognitio n problem w ith little differ ence betw een w ith the target and the backg round is solved.It also put fo rw ar d a no vel conception to reso lve the locating center and ab -scission point under the conditio n that the fruit or v eg etables are partially sheltered.Meanw hile,in order to o vercom e the dem er its of the going locating m ethods w hich unfits fo r the declining fruit,a new lo cating metho d based o n the technique of g eometry co rrection fitting for the decl-i ning fruits and locating the abscission points under the conditio n that fruits ar e overlapped by each other is presented.It is pr oved by ex periments that it w ill w or k w ell under the nature scenes.

Key words:nature scene;co lor;tex ture;fr uit o bject;recog nition;lo catio n

0 引 言

果蔬采摘机器人是一类针对水果和蔬菜,可以通过编程来完成这些作物的采摘、转运、打包等相关作业任务的具有感知能力的自动化机械收获系统[1].采摘要解决的关键问题是识别和定位果实[2].其中识别指将果实目标与背景分离;而定位包括果实中心的定位和采摘点的定位.

目前,国内外有许多关于果蔬采摘机器人视觉方面的研究报道[3,4].王雅琴等研究了自然环境下水果图像分割与定位,研究了自然环境下多种水果图像的果实和背景的颜色特征,提出了用2r -g -b 分量进行图像的分割,并对随机H o ug h 变换算法进行了改进[5].D.M.Bulanon 等人根据图像中果实目标比背景成分红色分量高的原理,进一步增强图像中的红色分量,得到双峰直方图.根据最佳阈值分割算法,分割果实目标和背景,成功率达88%[6].

这些研究,从不同角度提出了从复杂自然场景中提取果实目标的方法,基本思想都是把获得的图像通过颜色空间变换,利用颜色特征参数来提取果实目标.但都没有完全解决三大问题:(1)当果实颜色和背景颜色差异较小的时候,如何识别果实目标;(2)当果实非自然下垂生长的时候,如何确定采摘点;(3)当多个果实叠加而无法检测其整体边缘的时候,如何确定中心和采摘点.如果不解决这三个问题,意味着机器人采摘可能失败.

鉴于上述思想,本研究的目的是通过计算机视觉正确识别出果蔬和定位果蔬;找到一种合适的算法,可以对自然场景下的果蔬图像进行识别,使其基本上不受光照、果蔬颜色等因素的影响,利用果蔬固有的特征比较合理地把果实和背景分割开来,实现果蔬的识别.其次,利用几何原理找到一种合理的方法解决采摘点确定问题.

1 识别方案研究

1.1 分类器

分类的核心思想是把不同种类的物体区别开来,包括同类别的物体,也包括区别同一物体的不同部分等等.但是,所有的分类方法必须依据这样一个事实:被区别的图像包括一个或者多个特征,比如几

何特征,颜色特征等,而且每种特征只能属于这些待

区别类中的一种.图像分类算法通过分析不同的特

征,把图像数据归类.分类算法的传统做法分两个阶段的处理:训练和测试.在训练阶段,区分特定图像的特征属性,产生描述特定类的唯一方法,产生训练集.在测试阶段,利用这些特征空间识别图像.本实验中,分别采样果实,枝干,叶子各50个像素,借鉴平均(最小)距离分类器原理构造分类器.选取两个特征m,n,构造判别式:F (m,n)=am +bn +c.a,b,c 可以是任意常数,只要满足F(m,n)=0;m,n 是两个特征,可以是颜色,形状,大小,纹理等,只要是对象的属性就可以.每个判别式根据F(m,n)>0还是F(m,n)<0都可把由图像获取系统获得的图像分成两个部分,如图1所示.

图1 分类器模型图

F ig.1 M odel of classifier

针对果实目标、叶子和枝干在每个颜色空间设计分类器,为每个颜色空间分别构造3个判别式实现分离:F (fruit/leaf),简写为F 1,用来分离果实和叶子;F (fruit/branch),简写为F 2,用来分离果实和枝干;F (leaf /branch),简写为F 3,用来分离叶子和枝干.由于叶子和枝干共同被视作背景,故每个颜色空间只需构造F 1和F 2两个判别式.1.2 颜色特征

为了把果实从叶子,枝干等非果实区域中分割开来,需要使用一种适合特定情景分析的颜色模型.常用的RGB 表示方法不适合拍摄到的果蔬图像,因为在RGB 空间,三基色(RGB)不仅代表颜色,还表示亮度.由于周围环境光照的改变,亮度使果实的识别更加复杂,在果实图像的分割过程中是不可靠的.为利用果实在色度空间的聚类性[7],需把颜色表达式中的色度信息与亮度信息分开,将R,G,B 转换为色度与亮度分开的色彩表达空间可以达到这个目的.

笔者选用3种颜色模型.第一种是LCD(lum-i nance and colo r difference)模型.涉及到的颜色属性包括:亮度信息Y,红色分量颜色差C r ,绿色分量颜

#268#浙江工业大学学报第35卷