基于计算机视觉的荔枝检测与分级方法_刘敏娟
基于计算机视觉的水果体积测量方法[发明专利]
![基于计算机视觉的水果体积测量方法[发明专利]](https://img.taocdn.com/s3/m/24927d34e97101f69e3143323968011ca200f75a.png)
(10)申请公布号 (43)申请公布日 2013.09.18C N 103307979 A (21)申请号 201310198684.6(22)申请日 2013.05.27G01B 11/00(2006.01)G01B 11/24(2006.01)(71)申请人四川农业大学地址625014 四川省雅安市雨城区新康路46号(72)发明人许丽佳 李朝林 吴新保 赵俊马荣朝 陈松柏 温洪 庞涛邹志勇李逊(54)发明名称基于计算机视觉的水果体积测量方法(57)摘要本发明公开了一种基于计算机视觉的水果体积测量方法，通过对CCD 摄像机拍摄的水果三视图进行预处理、边缘提取和调整，从创建的立方体的正面和侧面分别按照正视图边缘轮廓和侧视图边缘轮廓进行切割得到矩形切片集，利用矩形切片集轮廓点最小纵坐标之间的关系得到缩小倍数；利用双插值算法对俯视图边缘按缩小倍数进行缩小得到缩小边缘，再将缩小边缘根据区域生长法得到水果切片序列图，对此序列图进行三维重建得到水果的立体三维散点图，统计该立体三维散点图的像素个数；拟合该像素个数与水果的实际体积得到两者之间的数学模型，用此数学模型即可计算出同类其他水果的体积。
本发明实现了对水果体积的有效测量，操作简单且测量精度较高。
(51)Int.Cl.权利要求书2页 说明书5页 附图3页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2页 说明书5页 附图3页(10)申请公布号CN 103307979 A*CN103307979A*1.一种基于计算机视觉的水果体积测量方法，其特征在于，首先从创建的立方体的正面和侧面分别按照水果的正视图边缘轮廓和侧视图边缘轮廓进行切割，得到交集部分即为矩形切片集；用最大矩形切片轮廓点中的最小纵坐标值减去最小矩形切片轮廓点中的最小纵坐标值，然后将该差值的绝对值作为缩小倍数基数；用每一层矩形切片轮廓点中的最小纵坐标值减去最小矩形切片轮廓点中的最小纵坐标值，然后将该差值的绝对值除以缩小倍数基数作为缩小倍数；利用双插值算法对水果的俯视图边缘按前述缩小倍数进行缩小，将缩小边缘利用区域生长法得到水果的切片序列图，由该序列图三维重建得到水果的立体三维散点图，统计该立体三维散点图的像素个数，拟合该像素个数与水果实际体积获得两者之间的数学模型，将像素个数输入该数学模型即可获得水果的体积。
华南农业大学农业电气自动化硕博士学位论文统计
姓名学位导师时间论文许耀军硕士罗锡文2004水田激光平地系统的研究刘落实硕士张铁民2004纵弯复合型直线超声电机优化设计与实验研究陈海生硕士洪添胜2005果树仿形喷雾控制系统付雄新硕士陈润恩2005基于公用电话网络远程测控系统的研究秦勇硕士张铁民2005面内复合模态直线超声电机优化设计与实验研究郭灼硕士洪添胜2006田间作物叶面积指数的检测方法李松硕士张建瓴2006基于DSP的果树形态结构参数检测系统罗霞硕士陈润恩2006基于GIS 校园基本建设数据服务系统刘汉旭硕士张铁民2006压电超声波吸入泵的有限元分析与实验研究孙道宗硕士王卫星2006基于CAN总线的喷雾监控系统的设计与试验黄伟锋硕士洪添胜2005果园喷雾机的嵌入式远程监测系统陈梅雯硕士陈联诚2006木材干燥神经网络辩识研究胡孟谦硕士邓继忠2006甘蔗切割过程动态测试系统的设计与试验贺晓龙硕士陈联诚2007草坪灌溉机器人定位与控制技术的研究熊俊涛硕士钟南2007植物根系竞争生长的可视化模拟王文婷硕士张建瓴2007基于虚拟仪器的直线超声电机检测系统郭胜君硕士王卫星2007土壤含水量监测仪的设计与试验孙宝霞硕士王卫星2007基于节点剩余能量的簇头选举算法张文科硕士张铁民2007超声波电机频率自动跟踪与负载匹配技术尹东晓硕士宋淑然2007基于机器视觉的果实识别与定位技术苏宝林硕士陈润恩2007土壤电导特性及影响因素试验研究夏健杰硕士张铁民2007基于DSP的振动能量存储控制系统马先明硕士张铁民2007基于压电陶瓷变压器的新型直流开关电源罗双发硕士陈润恩2007基于ZigBee 技术的无线传感器网络的应用研究黄莺硕士王卫星2007基于节点剩余能量和位置的分簇算法研究许利霞硕士张铁民2007基于组态软件的超声电机测控系统研究张志斌博士罗锡文2008基于机器视觉的农业机械导航算法研究刘国成博士罗锡文2008基于XCT的根系图像分割及体视化技术研究杨秀丽博士张铁民2011基于压电转换的整流变换技术与实验研究赵进辉博士罗锡文2008基于图像处理的田间甘蔗病害识别技术研究刘志壮博士洪添胜2008药液实时精确计量与变量喷雾控制张俊平博士胡月明2008数据挖掘技术在耕地质量评价中的应用研究刘敏娟硕士洪添胜2008基于计算机视觉的荔枝检测与分级方法李 亭硕士张铁民2008超声波电机多定子同步驱动技术的研究邢志卿硕士洪添胜2008基于DSP 的果树图像识别系统杨敬锋硕士薛月菊2008模糊分类器和分类器集成及其在土地评价中的应用罗承旸硕士宋淑然2008基于变频控制的风送变量喷雾试验研究漆海霞硕士张铁民2008二自由度工作平台的协调控制系统研究胡均万博士罗锡文2009双板差分冲击式谷物流量传感器设计与研究张建桃博士张铁民2011超声电机非线性建模与广义预测控制文晟博士张铁民2011压电转换的动力学分析与实验研究代芬博士洪添胜2011基于光谱技术的砂糖橘品质无损检测方法研究樊志平博士洪添胜2011柑橘园土壤水分远程监测系统关键技术研究李 震博士洪添胜2009土壤墒情监测的WSN信号传输方式研究及系统设计张明武博士杨波2009具有协商安全与隐私保护的信任模型研究叶水涛硕士陈润恩2009鸡蛋新鲜度的振动检测研究廖 娟硕士陈润恩2009非接触式电能传输系统的研究与应用王海硕士邓继忠2009超级稻超低播量精准育秧播种装备控制系统研究姜焰鸣硕士洪添胜2009基于嵌入式的柑橘园滴灌监控系统文 韬硕士洪添胜2009基于WSN与IPv4 网络的土壤墒情监测系统钟荣敏硕士王卫星2008基于ARM的茶园WSNs旱情监测网关设计卢永锋硕士王建2009基于嵌入式linux的图像采集系统杨志勇硕士王卫星2009基于茶园旱情监测的无线传感网络节点设计与实现罗文锦硕士魏德仙2009基于流量传感器的肺活量采集系统罗伟春硕士魏 玉2009基于FPGA 的可信计算密码协处理器的研究与设计李标硕士张建瓴2009超声波电机驱动控制系统研究刘 旭硕士张铁民2009基于压电转换的自供电系统及其在RFID上的应用刘潇建硕士张铁民2009超声电机递阶控制系统的研究尹令博士洪添胜2011奶牛行为监测系统关键技术研究孔德兵硕士张铁民2010直线超声电机摩擦驱动研究李运兵硕士陈润恩2010黄瓜生长监测系统研究刘国瑛硕士薛月菊2010基于双目立体视觉的荔枝采摘点识别王大飞硕士宋淑然2010基于AVR单片机与TCP/IP协议的门禁控制系统设计王锦坚硕士洪添胜2010柑橘树光谱特征及叶面积指数模拟模型武 威硕士张铁民2010基于LabVIEW的超声电机测试与分析系统肖国坤硕士王卫星2010基于茶园旱情监测的无线传感器网络节点的研究薛秀云硕士宋淑然2011山地果园喷雾管网优化袁啸风硕士王卫星2011基于嵌入式服务器的无线传感器网络网关设计李苏硕士洪添胜2011电容式土壤水分传感器的设计陈柱子硕士张铁民2011双腔并联压电泵的理论与实验研究洪涯硕士洪添胜2011基于近红外光谱技术的砂糖橘总酸无损检测程世昌硕士陈润恩2011超声波风速风向仪的设计与研究黄哲扉硕士洪添胜2010户外燃气炉喷嘴的计算流体力学分析及结构优化崔晓冠层温度 作物水分胁迫指数CWSI 夏玉米 红外测温仪梁丽英直线超声电机(LUSM) 复合振子 有限元分析(FEA) 模态简并朱克武有序抛栽 Fluent 气流场 ANSYS/LS-DYNA 碰。
基于机器视觉的采后荔枝表皮微损伤实时检测
基于机器视觉的采后荔枝表皮微损伤实时检测孙宝霞;汤林越;何志良;邹湘军;熊俊涛【摘要】利用机器视觉技术进行采后荔枝的品质检测与分级有重要意义.首先结合摄像机与荧光光谱仪进行了荔枝图像的光谱分析,荧光作为激发光进行荔枝果皮的发射光谱特性分析,确定了不同荧光照射荔枝果实表皮的视觉检测方法的可行性;然后设计了具有不同颜色光照转换控制功能的机器视觉系统,选定了红色、蓝色和绿色荧光灯,对正常和微损伤两种品质状态的荔枝果实荧光图像进行灰度直方图统计分析,确定了利用蓝色荧光作为照射光源以及HSV颜色空间的V分量进行微损伤荔枝果实图像识别的方法,利用探索性分析法对荔枝果实视觉检测试验结果进行统计与分析,确定了正常与微损伤荔枝果实图像分割的灰度图阈值范围,结合优化的圆拟合算法,实现了荔枝果实视觉智能分级系统的设计.试验结果表明:该研究方法对正常荔枝和表皮微损伤荔枝的识别正确率为92％,为荔枝产后智能化检测分级提供了技术支持.【期刊名称】《农业机械学报》【年(卷),期】2016(047)007【总页数】7页(P35-41)【关键词】荔枝;损伤;光谱分析;机器视觉;信息融合【作者】孙宝霞;汤林越;何志良;邹湘军;熊俊涛【作者单位】广东工程职业技术学院,广州510520;华南农业大学数学与信息学院,广州510640;华南农业大学数学与信息学院,广州510640;华南农业大学工程学院,广州510640;华南农业大学数学与信息学院,广州510640【正文语种】中文【中图分类】TP391.41利用信息化手段进行果蔬产后的检测与分级，能有效提升农产品的附加值，降低果蔬业产后的劳动成本，对农产品生产和农业经济的发展有着重要的意义[1]。
国外对果蔬产后分级的主要研究有：SHIN等[2]研究了基于视觉图像的采后柑橘质量和大小估算方法，进行柑橘的筛选分级；KHOSHROO等[3]从机器视觉采集的图像中提取石榴的面积、高宽比、圆度和曲率，设定筛选参数进行石榴的形状分类，建立了石榴自动化分级系统； NOZARI等[4]将水果的果重、长度、宽度和厚度作为测量参数，对1 000个水果进行分级，模糊系统分级率可达93.5%；SAEED等[5]进行油棕鲜果的分类，利用近红外技术进行油棕鲜果新鲜程度判断，实现了油棕鲜果的准确分类。
基于视觉和嗅觉信息协同的水果新鲜度智能化评判方法[发明专利]
![基于视觉和嗅觉信息协同的水果新鲜度智能化评判方法[发明专利]](https://img.taocdn.com/s3/m/f327292cb6360b4c2e3f5727a5e9856a57122657.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201610845716.0(22)申请日 2016.09.23(71)申请人 江苏大学地址 212013 江苏省镇江市京口区学府路301号(72)发明人 黄星奕 王顺 任晓锋 潘思慧 吕日琴 (51)Int.Cl.G01N 21/84(2006.01)G01N 21/78(2006.01)(54)发明名称基于视觉和嗅觉信息协同的水果新鲜度智能化评判方法(57)摘要本发明公开了基于视觉和嗅觉信息协同的水果新鲜度智能化评判方法，属于食品农产品无损检测技术领域。
本方法采用计算机视觉系统监测水果表面特征变化情况，采用嗅觉信息图像化系统监测水果气味变化状况。
同时建立水果表面颜色、纹理等外观特征信息和水果气味特征信息与水果新鲜度的相关关系，模拟人的识别方式，基于水果的视觉信息、嗅觉信息、特别是视觉和嗅觉信息的协同作用对储藏阶段的水果新鲜度进行智能化评判。
评判过程对检测对象不具破坏性、比单一的视觉、嗅觉检测方法有着更高检测精度和可靠性，可在水果储藏过程中依据其新鲜度进行智能化管理。
可有效降低水果产后损失，实现农业增收。
权利要求书1页 说明书4页 附图1页CN 106338517 A 2017.01.18C N 106338517A1.基于视觉和嗅觉信息协同的水果新鲜度智能化评判方法，其特征在于：按照下述步骤进行：（1）依照新鲜度检测标准挑选各种等级的水果样品；（2）在视觉信息和嗅觉信息采集一体化装置中进行水果样品图像采集，由CCD摄像头拍摄水果图像并保存至计算机中；（3）在拍摄图像的同时，水果自身充分散发气味后与可视化传感器阵列反应；用扫描仪采集可视化传感器阵列反应前后的图像并保存至计算机中；（4）对水果图像进行预处理并提取视觉信息特征向量，对可视化气体传感器阵列图像进行预处理获取差值图像，并提取嗅觉信息特征向量，同时构建视觉和嗅觉信息协同作用变量；将三者融合建立储藏阶段下的水果新鲜度判别模型，来提高水果新鲜度检测的全面性与可靠性。
基于机器视觉的荔枝果实采摘时品质检测技术
基于机器视觉的荔枝果实采摘时品质检测技术熊俊涛;邹湘军;刘念;彭红星;李锦鸿;林桂潮【期刊名称】《农业机械学报》【年(卷),期】2014(045)007【摘要】为了在荔枝采摘时实时判断果实的品质状态,通过分析自然环境中荔枝不同生长期的图像,对荔枝果实未成熟、成熟、成熟后外表腐烂变质的3种情况进行了图像数据分析.选取了YCbCr颜色模型,利用探索性分析法对荔枝不同部位、不同光照、不同生长期的荔枝图像的Cr分量进行了数据分析与统计,确定了辨识荔枝果实未成熟与成熟的Cr分量的阈值范围;对于成熟的荔枝,采用边缘提取与Hough圆拟合方法对其Cr分量图进行处理,标记出图像的荔枝果实,然后利用纹理统计法、颜色特征与果实不同部分面积比值相结合的方法进行果实变质的判断,最终实现了未成熟、成熟以及腐烂变质的荔枝果实的视觉智能判断,建立了荔枝果实品质辨识的智能系统.试验结果表明,辨识荔枝品质状态的正确率达93％.【总页数】7页(P54-60)【作者】熊俊涛;邹湘军;刘念;彭红星;李锦鸿;林桂潮【作者单位】华南农业大学信息学院,广州510642;华南农业大学南方农业机械与装备关键技术教育部重点实验室,广州510642;华南农业大学南方农业机械与装备关键技术教育部重点实验室,广州510642;华南农业大学南方农业机械与装备关键技术教育部重点实验室,广州510642;华南农业大学信息学院,广州510642;华南农业大学南方农业机械与装备关键技术教育部重点实验室,广州510642【正文语种】中文【中图分类】TP391.41【相关文献】1.不同采摘期对库尔勒香梨果实品质的影响 [J], 王建友;刘凤兰;韩宏伟;毛金梅;邱杰;李勇;蒋江照2.荔枝采摘机械手果实识别与定位技术 [J], 熊俊涛;邹湘军;陈丽娟;彭红星;吴定中3.多肽对荔枝成花、果实发育、产量和果实品质的影响 [J], 李松刚;陈业渊;杜中军;张蕾;罗海燕;王家保4.\"红阳\"猕猴桃不同采摘期果实品质的表现 [J], 杨飞;李秀亚;韩世明;宋福兵5.基于机器视觉的采摘机器人果实三维模型重构与识别 [J], 李丽;张晓亮因版权原因，仅展示原文概要，查看原文内容请购买。
基于计算机视觉的荔枝检测与分级方法_刘敏娟
算机工程与应用[J]，2003，34(1)：73-75 [6] 福建省质量监督局．荔枝标准综合体．福建省地方标准，
2003 [7] 侯文军．基于机器视觉的苹果自动分级方法研究．[硕士
学位论文]．南京：南京林业大学．2006：33-45 [8] 李文静，张瑞环，陈秀伟．果品储藏加工学．重庆：重庆
R2 = 0.9789
35.0
30.0
桂味
25.0
20.0 20.0 25.0 30.0 35.0 40.0 机测横径/mm
图 2.2 荔枝实测横径与机测横径关系图
为了验证测量精度和分级正确率，随后又另外在 两个品种中选取了 126 粒桂味以及 120 粒糯米糍以验 证其测量精度以及分级效果。
实验可得，计算机测量桂味横径最大绝对误差 1.42533mm，最小绝对误差为 0.008367mm，平均绝对 误差为 0.427772mm，平均相对误差为 1.38712％。计 算机测量糯米糍横径最大绝对误差 2.2364mm，最小 绝对误差为 0.0019mm，平均绝对误差为 0.668406mm， 平均相对误差为 1.62209％。
华大学出版社，2005．176-208
[2] 陈石榕．国际鲜荔枝标准[J]．福建标准化信息，1997，(1)：
11-12 [3] 邓继忠，张泰岭，罗锡文．计算机视觉技术在农产品品质
测中的应用[J]．广东农机，2000，(2)： 25-26 [4] 邓继忠，张泰岭．数字图像处理技术[M]．广州：广东科
图像分割：在经过图像增强后，荔枝图案与背景 已经被明显区分开来。本实验采用了简单的阈值法对 图像进行分割，其中通过最大方差取阈值法取到了合 适的阈值。
基于ResNet50_神经网络的荔枝表皮缺陷检测研究＊
文章编号：2095-6835（2023）17-0064-04基于ResNet50神经网络的荔枝表皮缺陷检测研究＊刘现1，郑华伟2，张海佳1（1.福建省农业科学院数字农业研究所，福建福州350003；2.福建农林大学计算机与信息学院，福建福州350003）摘要：为了提高荔枝表皮缺陷检测的智能化程度与效率，基于ResNet50神经网络开展荔枝表皮缺陷检测研究。
利用自主研制的图像采集系统试验平台构建荔枝表皮缺陷图像数据集，使用残差神经网络（Residual Network，ResNet）50算法构建荔枝表皮缺陷检测分类模型，并将它与K-近邻法（K-Nearest Neighbor，KNN）和随机森林（Random Forest，RF）算法所构建的模型进行对比，评估其分类效果和性能。
试验结果表明，综合考虑模型分类准确率和程序运行时间，基于ResNet50的荔枝表皮缺陷检测分类模型相较于其他2种算法是最佳的，能够有效地将荔枝图像划分为正常、霉变和裂口3类，将正常的荔枝与有表皮缺陷的荔枝区分开。
研究结果可为基于荔枝图像的表皮缺陷检测方法提供技术参考。
关键词：荔枝表皮缺陷；ResNet50；KNN算法；RF算法中图分类号：S666.2；TP391文献标志码：A DOI：10.15913/ki.kjycx.2023.17.018荔枝（Litchi chinensis Sonn.）为无患子科（Sapindaceae）荔枝属（Litchi Sonn.）常绿果树，中国是荔枝主产国，荔枝是华南地区最具特色的水果之一，目前荔枝栽培面积约为53万hm2，产量为230万t，均居世界首位[1-2]。
荔枝分级是它保鲜、销售及深加工之前一个十分重要的工序，能够有效地提升其产业附加值[3]，建立完整的分级制度可促进果品优质优价，进一步促进荔枝果业的发展[4]。
深度学习是机器学习的一个次领域，是现今研究的一个崭新方向[5]。
其中卷积神经网络（Convolutional Neural Network，CNN）虽然在图像分类中取得了很好的效果，但是当CNN达到一定的网络层深度时，会产生梯度弥耗和爆炸问题，导致深层的网络训练准确率反而低于浅层的网络训练准确率。
基于计算机视觉技术的水果分级研究进展
颜 色 和表 面 缺 陷 等外 部 品 质特 征 进 行 的 ，有 单 指 标
分 级 和多 指 标 综 合 分 级 两 大类 。
关 键 。发 达 国 家 的 经 验 告诉 我们 ，水 果 产 值 的 大部
分 是 由采 后 处 理 和加 工 创 造 出 来 的 。在 美 国 、欧 洲 以及 澳 大 利 亚 等 国家 ，除 了在 收 获 季 节 随摘 随卖 少 量 水果 之 外 ，绝 大部 分 水 果 都 必 须 经 过 采 后 处 理 程 序 ，否 则 不 能 成 为 商 品 。 目前 ，我 国水 果 采 后
用 机 器 视 觉 技 术 进 行 苹 果 大 小 和 碰 伤 分 级 的 深 入 研
处 理 能 力 不 到 水果 总量 的 ５ ％，采 后 烂 果 率 高 达 ２ ％ ５
以上 。 由此 可见 ，水 果 采 后 处 理 对 我 国水 果 业 乃 至
整 个农 业 的 重要 性 。
究 ，但 分 级 正确 率 仅 为 ６ ％ 国 内开 展 水 果 智 能 分 ９。 级 的研 究 已 近 １ ０年 ， 于很 好 地 借 鉴 了 国外 在 该 领 由 域 的研 究 成 果 ，发 展 速 度 较 快 。应 义斌 （ ０ ０） ２０ 去 除 果 梗 并 完 成 了边 缘 提 取 与 细 化 的 水 果 图像 ，通 过 曲线 积 分 并 离 散 ，求 水 果 形 心 坐 标 ，进 而 建立 黄 花 梨 实 际 最 大 横 径 与 预 测 最 大 横 径 关 系 的 线性 回 归 方 程 ，二 者 相 关 系 数 为 ０ ９ 。 冯斌 等 （ ０ ３ 通 ．６ ２０ ） 过 水 果 图像 的边 缘 像 素 求 水 果 形 心 ，取 过 形 心 的 半 径 序 列 中最 小 值 方 向为 水 果 轴 向 ，将 轴 向 宽度 ４等 分 ，过 ３等 分 点 求 垂 直 于 轴 向的 果 径 ，最 大值 作 为 水果 大 小 的 特 征 值 。试 验 结 果 表 明 ，轴 向检 测 正 确
基于机器视觉的水果分级分拣系统关键技术研究
基于机器视觉的水果分级分拣系统关键技术研究作者：刘福华来源：《机电信息》2021年第28期摘要：机器视觉就是利用图像摄取装置等产品代替人眼做测量和判断，当前在水果分级分拣领域应用极广，已成为工业机器人进行农产品自动化检测的研究热点，但如何对采集到的自然图像进行高效目标分割和识别检测，成为制约分拣机器人应用的技术难点。
现利用机器视觉测量精度高、结果稳定可靠和非接触性等优点，通过对苹果进行尺寸测量、空间定位，并根据果形大小、色泽光洁程度和表面缺陷等指标进行特征识别，实现对苹果品质的科学精准分级和自动分拣，并利用机械手臂自动完成不同等级水果的分拣，实现生产线上的“手眼”协调工作。
关键词：机器视觉;水果分级分拣;关键技术0 引言当前对苹果品质的检测工作主要依靠人工完成，但是人工检测会存在误判、效率低和成本高等问题，且对于后期的水果分拣工作也存在效率和准确率低的问题。
机器视觉就是用图像摄取装置等来代替人眼做一些分析和判断，自动得到一些问题的结果，近年来其以速度快、信息量大、功能多等特点在水果分级分拣领域得到了广泛应用[1-3]。
本研究从水果的分级分拣环节入手，利用图像分割和深度学习算法，达到了准确高效分拣水果的目的。
1 水果分级分拣系统硬件搭建水果分级分拣系统样机如图1所示，其主要由硬件系统和软件系统构成。
（1）硬件系统包括图像采集模块、机械手模块。
图像采集模块用于图像的获取，作为图像分析的数据源;机械手模块用于对水果进行抓取。
（2）软件系统主要实现苹果的智能识别和自动抓取功能，包括苹果定位模块、苹果分类识别模块和机械手抓取模块。
其中抓取系统的X轴、Y轴运动利用标准滑台实现，Z轴运动利用滚珠丝杠花键实现，同时还可以实现旋转和旋转移动;利用PLC对电机进行闭环控制，实现抓取装置准确定位;利用气缸驱动夹具实现抓取功能。
2 水果分级分拣系统关键技术研究基于机器视觉的苹果分拣系统要解决两个关键问题，一是如何通过图像来确定苹果的空间位置，二是如何通过图像来确定苹果的分类和分级。
机器视觉技术在荔枝识别与定位研究中的应用
机器视觉技术在荔枝识别与定位研究中的应用郭艾侠;彭明明;邢仲璟【摘要】为解决串型荔枝图像识别和定位问题,提出以Harris与SIFT算法融合的采摘点计算与匹配为基础,进行平行双目立体视觉模型下采摘点定位的研究方案.首先对荔枝YCbCr色彩空间的Cr灰度图进行二次阈值分割,分类识别出荔枝串、荔枝果与结果母枝.其次,提取识别果实区域的最小外接矩形、质心等特征信息,结合在结果母枝上检测的Harris特征点计算出采摘点的二维图像坐标,并对计算采摘点进行基于SIFT向量搜索的立体匹配.最后,对计算采摘点进行视觉定位及其深度误差分析实验,实验数据表明:在354～590 mm距离范围内,插值补偿后的采摘点的定位深度误差小于10 mm,能够较好满足荔枝采摘机器人的现有技术要求.%To resolve the problem on fast recognition and accurate location faced by the robot of picking litchi, a scheme on location of picking point based on parallel binocular stereo vision model is proposed, which is supported by the compu-tation and matching of picking point obtained from combined algorithm of Harris and SIFT. Firstly, litchi cluster, litchi fruit and its main fruit bearing branch are sortedly recognized, by segmenting Cr gray picture of YCbCr with twin-threshold method. Secondly, region feature information on centroid and Minimum Bounding Rectangle(MBR)of litchi is extracted, along with corners from the recognized main fruit bearing branch detected by Harris algorithm, and two-dimensional coordinate pixel on the picking point is achieved. After stereo matching of the picking point based on SIFT vector search is accomplished, the experiment on picking location and its error analysis is finally carried out. Theexperimental data shows that depth error on location of the picking point commenced by interpolation method is less than 10 mm, under shooting distance of 354～590 mm, which is better satisfaction for litchi-picking robot.【期刊名称】《计算机工程与应用》【年(卷),期】2017(053)017【总页数】7页(P218-223,259)【关键词】机器视觉;立体匹配;图像识别;荔枝采摘机器人【作者】郭艾侠;彭明明;邢仲璟【作者单位】华南农业大学数学与信息学院,广州 510642;华南农业大学数学与信息学院,广州 510642;华南农业大学数学与信息学院,广州 510642【正文语种】中文【中图分类】TP391.41基于机器视觉的果蔬采摘机器人是现代高科技技术在传统农业上的一种综合运用。
基于机器视觉的荔枝品质快速自动检测
ＤＯＩ：１０．１３７３３／ｊ．ｊｃａｍ．ｉｓｓｎ．２０９５－５５５３．２０２０．０１．２６
Ｖｏｌபைடு நூலகம்４１ Ｎｏ．１ Ｊａｎ． ２０２０
基于机器视觉的荔枝品质快速自动检测＊
周伟亮，王红军，邹湘军
（华 南 农 业 大 学 工 程 学 院 ，广 州 市 ，５１０６４２）
摘要：荔枝的产后品质检测是进入市场前的一个重要工序，对提高荔枝商品化的处理水平、增强其市场竞争力 以 及 提 高 其 附加价值具有重要的意义。基于机器视 觉 的 检 测 方 法 能 在 无 损 伤 的 前 提 下，快 速 准 确 的 进 行 检 测，具 有 良 好 的 可 靠 性。 为此，基于机器视觉技术，提出了一种 荔 枝 品 质 快 速 自 动 检 测 的 方 法。 利 用 深 度 学 习 中 的 ＳＳＤ 算 法 结 合 多 视 窗 检 测 方 法，对视觉获取的图像进行荔枝快速品质检测。建立了一套荔枝品质自动检测系统，以“桂味”荔枝作为实 验 对 象，在 模 拟 车间环境下进行多组实验，平 均 识 别 准 确 率 为 ９３．３％，其 中 成 熟 品、未 成 熟 品 和 爆 裂 品 的 识 别 准 确 率 分 别 为 ９５．６％、 ９３．２％ 和 ９１．１％ ，平 均 识 别 耗 时 ４０ ｍｓ，可 以 实 现 产 后 荔 枝 的 品 质 快 速 自 动 化 检 测 。 关键词：荔枝品质检测；机器视觉；ＳＳＤ 算法；多视窗检测 中图分类号：ＴＰ３９１．４１ 文献标识码：Ａ 文章编号：２０９５－５５５３ （２０２０）０１－０１４４－０５
周 伟 亮 ，王 红 军 ，邹 湘 军 ．基 于 机 器 视 觉 的 荔 枝 品 质 快 速 自 动 检 测 ［Ｊ］．中 国 农 机 化 学 报 ，２０２０，４１（１）：１４４－１４７，２０４ Ｚｈｏｕ Ｗｅｉｌｉａｎｇ，Ｗａｎｇ Ｈｏｎｇｊｕｎ，Ｚｏｕ Ｘｉａｎｇｊｕｎ．Ｒａｐｉｄ ａｎｄ ａｕｔｏｍａｔｉｃ ｑｕａｌｉｔｙ ｄｅｔｅｃｔｉｏｎ ｏｆ ｌｉｔｃｈｉ ｂａｓｅｄ ｏｎ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ［Ｊ］．Ｊｏｕｒ－ ｎａｌ ｏｆ Ｃｈｉｎｅｓｅ Ａｇｒｉｃｕｌｔｕｒａｌ Ｍｅｃｈａｎｉｚａｔｉｏｎ，２０２０，４１（１）：１４４－１４７，２０４
基于机器视觉的水果的自动分级系统的设计
中 图 分 类 号 ：Ｔ ２５３ Ｓ ５ ．５ 文献 标 志 码 ：Ａ ｃ ｉ １． ６／ｓ ． ７ － ６ ６ Ｘ） ０ ２１． ７ ｌ ： ０３ ９ ｉ ｎ１ １９ ４ （ ． １． ０ ｏ ９ ｊｓ ６ ２ ０４
（ｃｏｌ ｆ ｌ ｔｃａｄＡ ｔ ｔ ｎｉｅｒ ｇ ｈ ｎｓｕＩｓｔｔ ｏ ｅｈ ｏ ｇ ，Ｃ ａｇｈ ， ｉ ｇｕ２ ５ ０ ，Ｃ ｉａ Ｓ ｈｏ ｏ ｅ ｒ ｎ ｕｏ ｉ Ｅ ｇ ｅｉ ，Ｃ ａ ｇｈ ｔｕ ｆ ｃｎｌ ｙ ｈ ｎｓｕ Ｊ ｎｓ １５ ０ ｈｎ） Ｅ ｃ ｉ ｍａｃ ｎ ｎ ｎｉ ｅ Ｔ ｏ ａ
Ｄｅ ｉｎ ｏ ｅ Ｆ ｕ ｔ ｔ ｍａｉ ｌｓ ｉ ｃ ｔ ｎ Ｓ ｓｅ Ｂａ ｅ ｎ Ｍａ ｈ ｎ ｓｏ ｓｇ ｆ ｈ ｒ ｉ Ａｕｏ ｔ Ｃ ａ ｓ ａｉ ｙ ｔｍ ｓ ｄ ｏ ｃ ｉ ｅＶｉｉｎ ｔ ｃ ｉ ｆ ｏ
Ｄ Ｎ ｎ Ｇ Ｏ Ｊ ｅ ＨＵ Ｐ ｉｙ ，Ｘ ｎ ｘ ｇ Ｕ ｉ Ｅ Ｇ Ｗａ ，’ Ａ ，Ｚ ｅ ｉ Ｕ Ｊ － ｉ ，Ｃ Ｉ ｕ － ｉ ｎ Ｗｅ
第 １ Ｏ期 （ 总第 ２ ５期） ９
２１ ０ ２年 １ Ｏ月
农产 品加工 ・ 学刊
Ａ ａ ｅ ｉ ｅｉ ｉａ ｏ ａｍ ｒｄ ｃｓ ｒｃ ｓｉｇ ｃｄ ｍ ｃＰ ｒ ｄｃ ｌ ｆ ｒ Ｐ ｏ ｕ ｔ Ｐ ｏ ｅｓ ｏ Ｆ ｎ
Ｎｏ １ ．Ｏ Ｏｅ ． ｔ
文章 编 号 ：１７ — ６ ６ （０ ２ １— １４ ０ ６ １ ９４ ２ １ ） ０ ０ ５ — ３
Ａ ｓ ａ ｔ Ａ ｇａ ｉｇ ｍｅｈ ｄ ｉ ｄ ｖ ｌｐ ｄ ｔ ｍｐ ｏ ｅ ｔ ｅ ｑ ａｉ ｆ ｒ ｉ ． Ｔ ｅ ｓ ｍｐ ｅｉ ｇ ｓｓ ｏ ｙ ａ Ｃ Ｄ ａ ｒ ｎ ｈ ｂ ｔ ｃ ： ｒ ｄ ｎ ｔｏ ｓ ｅ ｅｏ ｅ ｏ ｉ ｒｖ ｈ ｕ ｌ ｙｏ ｕｔ ｒ ｔ ｆ ｓ ｈ ａ ｌ ｍａ ｅ ｉ ｈ ｔ Ｃ ｃ ｍｅ ａ ａ ｄ ｔ ｅ ｂ ｐ ｃ ｉ ｇｕ ｆｅｇ ｎ ｖ ｌ ｅ ｓｐ ｏ ｏ ｅ ｔ ｈ ｏ ｔ ｆ ｉｋ ｎ ｐ ｏ ｉ ｅ ａｕ ｓ ｉ ｒ ｐ ｓ ｄ ｗｉ ｔ ｅ ｓ ｆ ｏ ｈ ＭＡＴ ＡＢ Ａｃ ｏ ｄｎ ｏ ｔｅ ｇ ａ ｅ ｏ ｅ ｆ ｉ ａ ｃ ｍｐ ｉ ｅ ｅａ ｔｍａ ｉ Ｌ ． ｃ ｒ ｉ ｇｔ ｈ ｄ ｆ ｕ ｔ ｃ ｏ ｌ ｈ ｄ ｔ ｕ ｏ ｔ ｒ ｈ ｔ ｒ ｓ ｈ ｃ ｆｕ ｔｈ ｅ ａｃ ｙ ｉ ｅ ｈ ｌ ｆＰ Ｃ ｔ ｏ ｔｏ ｃ ａ ｉ ｆｒ ｓ ｒ ｎ ，ｔ ｅ ｅ ｐ ｒ ｎ ｈ ｗ ｈ ｔｔ ｅ ｍｅｈ ｄ ｐ ｅ ｉｉｎ ａ ｄ ｒ ｉ ｉｒｒ ｈ ，ｗ ｔ ｔ ｅｐ ｏ Ｌ ｏ ｃ ｎ ｒ ｌｍｅ ｈ ｎ ｓ ｏ ｏ ｔ ｇ ｈ ｘ ｅ ｉ ｈ ｈ ｍ ｉ ｍｅ ｔｓ ｏ ｓ ｔａ ｈ ｔ ｏ ｒ ｃｓ ｎ ｏ ｖ ｌｃｔ ｒ ａｉｆｉ ｇ ｅｏ ｉ ａ ｅ ｓ ｔ ｙ ｎ ． ｙ ｓ
基于机器视觉的自然环境中成熟荔枝识别
然后利用 regionprops 函数对数据矩阵 的数据矩阵， 进行面积统计， 保留面积最大值的区域， 去除其余小 的区域， 从而得到唯一目标连通区域。
（ g） 顺光， 去背景图
（ h） 逆光， 去背景图
图4 Fig． 4
（ a） 顺光
Cr 分量图
（ c） 复杂背景
Image of Cr component
Abstract A recognition method of mature litchi in natural scene was researched． Through analyzing the gray and color features of litchi，the YCbCr color model was selected，and by using threshold segmentation， the Cr component image was selected to remove the complex background，then morphology operation and connected region label were used to remove random noise，and then the onedimensional random signal means clustering （ FCM ） segmentation were used to achieve the histogram analysis and the fuzzy C recognition of litchi fruit and peduncle． The recognition results under different natural conditions showed that the algorithm could segment the fruit successfully and the recognition rate reached to 95. 5% ． Key words Mature litchi，Image recognition，Fuzzy clustering，Machine vision 橘、 草莓等， 视觉系统的识别方法主要集中在通过颜 色模型或灰度特征分割图像、 寻找目标， 或者在图像 采集时使用滤波片等设备获取较为简单的图像 ， 再 ［11 ］ 根据形状特征寻找目标 。 目前已有方法大多停 留在理论研究阶段， 对单果、 无遮挡、 色泽差别大等 情况研究较多， 对不同光线、 遮挡和多果实等情况涉 及较少， 如何解决环境因素影响的识别问题是采摘 机器人发展面临的问题。 本文以成熟荔枝为对象， 通过分析荔枝的果实、
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[2] 陈石榕．国际鲜荔枝标准[J]．福建标准化信息，1997，(1)：
11-12 [3] 邓继忠，张泰岭，罗锡文．计算机视觉技术在农产品品质
测中的应用[J]．广东农机，2000，(2)： 25-26 [4] 邓继忠，张泰岭．数字图像处理技术[M]．广州：广东科
检测误差分析发现：荔枝的果核体积较大，但是 重量较轻，而且其大小没有规律性，从而影响到重量 检测的精度。
检测到荔枝的重量后，同样采用阈值法按照分级 标准进行荔枝重量分级。分级结果如表 3.2 所示：
品种
桂味 糯米糍
表 3.2 重量分级结果对照表
特等品 一等品 二等品 等外品 分级
计
计
计
计
人
人
人
人
算
3 荔枝重量分级检测方法
荔枝的重量是荔枝分级的一个重要指标，在我国 的农业行业标准中有着明确的规定。但是，重量是一 个力学参数，要对其进行检测，按照目前荔枝检测分 级的方法，仍然是用力学系统对其进行测量，这势必 会将整个荔枝分级系统复杂化，并且降低荔枝分级的 速度。因此，本实验采用建立荔枝最大横径处面积与 其重量的关系的方法来测量荔枝的重量。 3.1 分级标准
将其换算成每粒的重量如下表：
品种
优等品
一等品
桂味 糯米糍
>17.9 >26.3
16.1-17.9 20-26.3
单位：g
二等品 >14.7 >17.9
3.2 分级方法 本实验选取了 80 粒荔枝，通过建立荔枝最大横径
图 3.1 荔枝重量与最大横径处面积的关系
3.3 结果分析 通过对荔枝投影面积与重量的关系的研究，笔者
基于计算机视觉的荔枝检测与分级方法*
刘敏娟 1,2,洪添胜 1※,李震 1,吴伟斌 1,刘志壮 1
(华南农业大学南方农业机械与装备关键技术省部共建教育部重点实验室，广州 510642；华南农业大学工程学院，广州 510642 中国农业科学院农业信息研究所，北京，100081）
摘 要: 为提高荔枝商品化处理水平，搭建了一套适合荔枝等水果进行品质自动检测与分级的计算机视觉系统，通过对图像灰度变 换、去除噪声、图像增强、图像分割等多种低层处理方法的对比研究，确定了适合于荔枝检测与分级的预处理方法。试验结果表 明，利用荔枝横径测量的最大轴旋转法测量并分级的桂味和糯米糍两种荔枝正确率分别为 98.4%和 96.7%；利用荔枝最大横径处 面积估测荔枝果重，该方法估测的荔枝重量与其最大横径处面积的相关系数分别可达 0.9841 和 0.9775, 分级精度可达 96.8%和 96.7%。
1 荔枝图像预处理
在提取荔枝的各项特征之前需要对图像进行一些 预处理，以便能方便的提取出来特征向量。通过对比 研究，笔者采取了以下四个步骤对荔枝图片进行预处 理，得到了能够满足进一步进行荔枝特征提取和模式 识别的要求的荔枝图片。
灰度变换：为了得到二值化的图像，灰度变换是 第一步。本实验采用平均法进行灰度变换，将拍摄的 24 位真彩图像转换为 8 位的灰度图像，为后续得到二 值化图像做好准备。
得出了二者的线性回归方程，两个品种的线性相关系 数分别为 0.9841 和 0.9775。
接下来选取了 126 粒桂味，以及 120 粒糯米糍来 验证重量检测精度以及分级效果。实验可得，桂味重 量测量最大绝对误差为 2.2929g，最大绝对误差为 0.0169g，平均绝对误差为 0.576334g，平均相对误差 为 3.59％；糯米糍重量测量最大绝对误差为 2.3499g， 最大绝对误差为 0.0018g，平均绝对误差为 0.736068g， 平均相对误差为 3.39％。
本实验将 2002 年 2 月 1 日开始实施的中华人民共 和国农业行业标准中对荔枝的有关规定作为分级的标 准。标准中对本实验选用的桂味及糯米糍两个荔枝品 种的规格有如表 3.1 中规定：
品种 桂味 糯米糍
表 3.1 荔枝重量分级标准
优等品
一等品
<56
56-62
<38
38-50
单位：粒／kg
二等品 <68 <56
此外，本文还建立了荔枝最大横径处的面积与重 量的对应关系，以此来估测荔枝重量，误差较小，分 级正确率较高，同样取得了较好的分级效果。如果在 建立重量和荔枝投影面积关系的时候能增加分级标准 中边界值样本的数量，分级效果就会更好。
[参 考 文 献] [1] 边肇祺，张学工等．模式识别（第二版）[M]．北京：清
关键词: 计算机视觉; 大小分级检测; 重量分级检测; 荔枝
0 引言
农产品的品质检测与分级，是流通和加工过程中 的一个重要环节，其检测与分级水平不仅直接关系到 人民的健康，而且是国际、国内农产品市场竞争的重 要因素。虽然我国农产品的产量和出口量逐年增加， 但由于产后处理环节薄弱，速度慢，精确度低，给加 工、储藏和出口带来许多困难，从而导致产品经济价 值的降低和竞争力的减弱，影响了农业产值的提高， 给国民经济带来重大损失。利用计算机视觉分级代替 人工分级、机械尺寸分级、重量分级是自动化分级发 展的必然趋势，它将是改变我国农产品加工效率低下 现状的关键技术。
荔枝是我国特色水果之一，在国际上具有广阔的 市场，但是我国荔枝生产存在的一些问题已在很大程 度上影响了荔枝的商业运作。农户只在采摘后粗略的 进行人工分级，不同质量的农产品混杂在一起，很难 实现荔枝生产的规模交易，也致使农产品出口品质偏 低，只能作为低质产品出售。因此，本研究选择荔枝 为研究对象，探索用计算机视觉进行荔枝自动检测和 分级的理论与方法，希望对高新技术在我国农产品品 质评价方面的应用起到一定的促进作用。
图像滤波：为了找到适合荔枝图像的滤波方式， 分别采用均值滤波、中值滤波和自适应滤波三种常用 的滤波方式对经过图像增强后的荔枝图像进行滤波处 理。经过三种滤波方式处理后的效果对比发现，中值 滤波不仅对荔枝图片中的噪声有良好的去除效果，而 且不使边缘模糊。本文选用中值滤波对荔枝图像滤波。
图像增强：利用直方图灰度变换、直方图均衡化 以及对比度自适应直方图均衡化三种图像增强方式针 对荔枝灰度图像进行图像增强处理，处理效果对比发 现，通过直方图灰度线性变换增强的图像对比度很好， 阴影被很好的去除了，从而使得荔枝图案很好的与背 景分开了。从图像处理后的直方图来看，也只有经过 直方图灰度线性变换的图像呈现很好的双峰特性，即 荔枝图案与背景分离开来。所以，显然对于本实验而 言，应当采用直方图灰度变换的方法对图像进行增强， 从而便于下一步对图像进行分割。
表 2.2 计算机分级与人工分级结果对照表
特等品
一等品
二等品 等外品 分级
品种
计
计
计
计
人
人
人
人
算
算
算
算
正确率
工
工
工
工
机
机
机
机
处面积与其重量的关系的方法来间接测量荔枝的重 量。根据计算机测得的荔枝最大横径处的面积值，建 立与荔枝重量的关系，得到如图 3.1 所示的关系图及 线性回归方程：
桂味 糯米糍
26 24 100 102 0 0 0 0 98.4% 115 111 5 9 0 0 0 0 96.7%
R2 = 0.9789
35.0
30.0
桂味
25.0
20.0 20.0 25.0 30.0 35.0 40.0 机测横径/mm
图 2.2 荔枝实测横径与机测横径关系图
为了验证测量精度和分级正确率，随后又另外在 两个品种中选取了 126 粒桂味以及 120 粒糯米糍以验 证其测量精度以及分级效果。
实验可得，计算机测量桂味横径最大绝对误差 1.42533mm，最小绝对误差为 0.008367mm，平均绝对 误差为 0.427772mm，平均相对误差为 1.38712％。计 算机测量糯米糍横径最大绝对误差 2.2364mm，最小 绝对误差为 0.0019mm，平均绝对误差为 0.668406mm， 平均相对误差为 1.62209％。
*项目基金：广东省科技计划资助项目（2006B50106002） 作者简介：刘敏娟（1982—），女（汉族），山西人，硕士，计算机应用。 通讯地址：北京市海淀区中国农业科学院，100081。 email:liuminjuan@ 通讯作者：洪添胜，男，博士生导师，华南农业大学工程学院，510642， email: tshong@
出版社，1990．1-3 [9] 罗军辉，冯平，哈力旦．Matlab7.0 在图像处理中的应用
[M]．北京：机械工业出版社，2006．121-153 [10] 李震，宋淑然，洪添胜．基于颜色特征和聚类的马氏距离
图像分割法[J]．计算机工程与设计，2006， 27（8）：
1352-1404 [11] 饶秀勤, 应义斌．基于机器视觉的水果尺寸检测误差分
级别 大小规格
表 2.1 荔枝大小分级标准
特等品
一等品
≥33mm
≥20mm
二等品 ≥15mm
2.2 分级方法 本实验设计了一种最大轴旋转法对荔枝的横径进
行测量，具体步骤如下： （1）求出荔枝目标区域的质心，将其作为旋转的中心； （2）做包含荔枝轮廓的最小外接矩形,求出 8 个区域 极值点的坐标值； （3）分别计算这 8 个极值点之间的距离，并在这些值 当中取得最大值，则这个值所对应的两个端点所确定 的轴即定义为荔枝的最大轴（一般为荔枝纵径）； （4）计算荔枝最大轴与水平轴所夹的角度，并将最大 轴按照此角度旋转至与水平轴一致； （5）此时，作荔枝的最小外接矩形，那么纵轴方向的 距离即为荔枝横径值。
算
算
算
正确率
工
机
机
42 40 17 21 26 24 41 41 96.8% 13 12 89 88 10 13 8 7 96.7%
4 结束语