27090785_黄花菜采摘机器人视觉系统研究

宁夏农林科技，Ningxia Journal of Agri.and Fores.Sci.&Tech.2021，62（12）：60-64
基金项目：宁夏自然科学基金项目“基于机器视觉技术的黄花菜目标识别与定位方法研究”（2021AAC03257）、宁夏农林科学院科技创新引导项目“基于机器视觉及深度学习的枸杞智能精选算法研究”（NKYQ-20-04）。

作者简介：马聪（1987-），女，回族，宁夏吴忠人，工程师，研究方向：农业物联网，E-mail：303838703@。

收稿日期：2021-11-06
修回日期：2021-11-10
黄花菜，又称忘忧草，因其具有口感好、富含多种人体所需营养元素、产品易于存储运输等优点，市场消费需求量不断增加。

黄花菜一次栽培种植后可以多年采收获益，投入成本不高、田间管理工作量小，因此黄花菜产业也成为了很多地区增收致富的特色产业。

随着人们生活水平的提高和物流速度的加快，黄花菜的商品量流通量也在不断增加，
黄花菜产业正在向规模化方向发展。

黄花菜成熟采摘期基本集中在每年的6月下旬至8月上旬，持续收获高峰期仅有40～50d，为保证质量和产量，需在黄花菜开花前1～2h 内完成采收，避免花蕾绽放造成品质和产量下降，影响收益[1-3]。

但是由于黄花菜成熟花苞分布的随机性，目前尚未实现黄花菜的机械化采收。

课题组在黄花菜采收期间对宁夏某黄花菜种植
基地进行了实地采摘情况调研，
由于黄花菜种植面积大、劳动用工不足，为了完成每日采摘任务，黄花菜采摘人员每天凌晨至午间开展采收工作，采摘方式是双手掰断花梗后放入挂在腰间或脖子上的收集袋，当颈部或腰部超出负重后，步行至路边倾倒花蕾至收集筐。

采摘过程重复性劳动时间长、
强度大，清晨温度黄花菜采摘机器人视觉系统研究
马聪，陈学东
宁夏农林科学院农业经济与信息技术研究所，
宁夏银川750002摘
要：黄花菜采摘依靠人工，存在劳动强度大、成本高等制约产业发展的问题，
因此研发提升采摘效率的采摘机器人十分必要。

本文针对采摘机器人视觉系统开展研究，基于机器视觉技术搭建了黄花菜采摘机器人视觉系统；采用张正友标定法对双目相机进行标定，获取双目相机参数，在此基础上采用Bouguet 算法对双目图像进行校正，使双目图像实现严格的行对齐，通过HSV 颜色模型完整地分割出黄花菜目标区域，采用的方法和算法可作为黄花菜采摘机器人视觉系统研究的基础。

关键词：黄花菜；机器视觉；双目图像；HSV 中图分类号：S225.92；TP242文献标识码：A
文章编号：1002-204X （2021）12-0060-06
doi:10.3969/j.issn.1002-204x.2021.12.017
Vision System of Daylily Picking Robot
Ma Cong,Chen Xuedong
(Institute of Agricultural Economy and Information Technology,Ningxia Academy of Agriculture and Forestry
Sciences,Yinchuan,Ningxia 750002)Abstract Daylily picking relies on manual labor,and there are problems of high labor intensity and high cost that restrict the development of the industry.It is necessary to develop picking robots that improve picking efficiency.In this paper,a study on the vision system of the picking robot is carried out,and the vision system of the daylily picking robot is built based on machine vision technology.The binocular camera is calibrated by Zhang Zhengyou's calibration method to obtain the parameters of the binocular camera.On this basis,the Bouguet algorithm is used to correct the binocular image so that the binocular image is strictly aligned,and the target area of the daylily is completely segmented by the HSV color model.The adopted method and algorithm can be used as the basis for the research on the vision system of the daylily picking robot Key words Daylily;Machine vision;Binocular images;HSV
·农业信息技术
·60
图2坐标系转换关系
62卷12期
本文采用高帧率USB3.0双目视觉相机，基线为32mm，标配3.6mm镜头，可视清晰目标距离范围分别为20～60cm。

相机标定采用张正友标定方法。

张正友标定方法是采用单平面棋盘格计算相机参数的方法，具有操作简单、不需要高精度标定器械、标定结果精度高等优点，是机器视觉系统常用的标定法。

2.1.2标定步骤
（1）选用标准棋盘格标定板，方格尺寸3cm×3cm。

（2）根据采集图像目标距离相机不同的位置，采集棋盘模板图像，左右相机各得到多幅图像。

（3）标定图像采集原则：标定板放在目标距离中间，标定板占据图像面积的1/4以上面积，标定板垂直、左倾30°、右倾30°、前倾30°、后倾30°五个方向各拍摄4张照片。

（4）将双目图像分割为左目图像与右目图像，作为标定输入。

（5）利用标定工具箱进行标定，根据标定误差调整标定图像，直到满足要求，本文的相机标定误差为0.17pixel。

（6）提取相机标定参数，本文中32mm基线双目相机标定结果包含如下内容。

单目分辨率：1280pixel×720pixel；
左目相机矩阵：
[916.493，0，669.014，0，916.712，369.678，0，0，1]；
左目畸变系数：
[0.0243988，-0.00440557，-0.000608845，-0.000522797，-0.0830352]；
右目相机矩阵：
[918.679，0，648.217，0，919.16，368.18，0，0，1]；
右目畸变系数：
[0.0159601，0.0284314，-0.0000224789，-0.000083074，-0.146425]；
平移向量：[-32.1，0，0]；
旋转矩阵：
[0.999995，-0.00309457，-0.000067387，0.00309462，0.999995，0.000869796，0.000064695，-0.000870001，1]。

2.2黄花菜图像采集
黄花菜的采摘时间有严格要求，过早采摘会导致花蕾小、重量轻、质量低，过晚采摘则导致花蕾绽放、品质不佳。

因此，采摘时间一般控制在花朵开放前几个小时，此时黄花菜花蕾呈金黄色、外形饱满。

黄花菜采摘只能采收未绽放的花蕾，人工采摘都是在清晨或者傍晚夜间等光照强度较低的时间段。

因此，应该按照实际环境情况采集黄花菜图像。

但是光线不足的条件下采集到的图像比较模糊，无法正确区分背景与目标，对机器视觉识别效果的影响较大。

因此，在光照强度低的时候进行人工补光，才能确保采集图像的质量。

根据黄花菜采摘时间的要求，本文采集了不同时间段、多个角度、不同光照条件下的田间黄花菜图像，包括单目图像和双目图像。

采集时间为黄花菜整个采摘期，即6月中旬至7月末，每日采集的时间段为04：30—19：00。

采集的环境条件涵盖了凌晨、上午、中午、晴天、阴天、雨天等不同时段或天气的光照强度。

采集设备包括32mm基线双目相机、补光灯、图像采集器专用支架、室外光照强度、空气温度、空气湿度三因子环境监测传感器、测距卡尺、双目图像采集软件等。

采集对象为田间成熟花蕾，采集原则是目标距离双目相机光心15～80cm范围，共采集田间成熟花蕾图像700组。

图3（封三图2）所示为采集的黄花菜原始图像，图中绿色横线是左目图像与右目图像的横向对比标识线，图像背景包括天空、云朵、车辆、道路等。

2.3黄花菜双目图像校正
由图3可以看出，左图与右图中同一目标点的位置不在同一条标识线上，即不处于图像的同一行。

在理想状态下，双目相机的两个镜头成像面应该是共面行对齐、极点在无限远，理论上双目相机的左图与右图应该具有相同行号。

但是实际图像采集设备不能达到理想双目系统的条件，左目镜头和右目镜头的光心不能完全相互平行。

因此，采集到的图像中左图跟右图中的相同点不能完全一致处于同一条直线上，且由于镜头位置视角、光照、噪声等因素，图像中还存在一些不同时处于两张图中的无效点。

在机器视觉系统中，计算黄花菜同一目标点在左右图像上的对应位置，需要在二维空间上寻找匹配信息，图像搜索计算量很大。

为了提高计算效率，需要对采集到的双目图像进行图像校正，将实际双目系统变换为理想双目系统，使左图与右图图像中的对应点都具有相同的行号，将二维搜索变成一维搜索，大幅降低双目图像的匹配难度和计算量。

通过图像校正处理，双目图像中的像点能实现严格的行对齐，左图与右图中的对应点具有相同的行号。

图像校正是通过改变左右相机的投影变换矩阵，使相机坐标系共面以实现极线对齐。

本文采用Bouguet校正算法[16-18]，基本原
马聪，等黄花菜采摘机器人视觉系统研究62
理是通过像素平面透视变换，使左右图像重投影误差最小，达到双目系统的理想效果。

图4（封三图3）所示为图3（封三图2）图像校正后的结果图，可以看到校正后图像的左图右图对应点处于同一条标识线上。

2.4黄花菜图像分割
双目图像以左目图像为匹配标准，通过对左目图像目标进行提取识别，作为双目图视差计算的基础，因此本文针对校正后的左目图像开展了图像处理。

黄花菜图像包括了背景图像与目标图像，背景图像包含了行人、枝叶及未成熟花苞等干扰因素。

为提高图像处理效率、准确获取目标信息，利用计算机将目标与背景区分，对采集的图像进行背景区分，最大限度降低采集环境对图像处理的影响，提高识别效率，作为后续目标提取和识别的基础。

颜色信息是区分果实与复杂背景常用的特征之一，其原理是按照目标像素阈值范围将图像中所有像素分为目标和背景。

成熟黄花菜颜色在自然光下呈现金黄色，枝叶呈现绿色。

因此，在同样的光照条件下，成熟黄花菜与背景有比较明显的颜色差异，可以通过对背景区域和目标区域的颜色特征进行提取和试验分析，选择最佳色彩空间使背景和目标能有效地分离。

此种方法有利于减少图像处理的计算量，在一定程度上可以减少计算机内存的消耗、提高处理速度。

本文采用HSV颜色模型进行黄花菜目标与背景分割研究。

HSV（Hue,Saturation,Value）也叫六角锥体模型，是RGB色彩空间中的点在倒圆锥体中的表示方法[19-21]，参数分别为色调（H）、饱和度（S）、明度（V）。

H参数表示光谱颜色信息，取值范围为0～360°，红、绿、蓝逆时针相隔120°；S参数表示所选颜色纯度，取值范围为0～1；V参数表示颜色明亮程度，取值范围为0～1。

V=0时，H、S无定义，表示黑色；V=1，S=0，H无定义，表示白色。

将采集到的黄花菜RGB图像转换为HSV图像，如图5（封三图4）所示。

通过对采集的黄花菜图像进行分析，成熟花苞颜色主要呈现金黄色，但是由于图像采集的角度和光线条件不同，黄花菜图像呈现的颜色具有一定的差异性，因此仅寻找金黄色范围目标会造成部分目标缺失或遗漏。

为了保证最大限度完整地分割出黄花菜区域，将颜色分割阈值范围扩大，包括青绿色、金黄色、明黄色等范围内所有目标。

本文分别设置了H、S、V分量阈值，遍历图像所有像素点，保留阈值范围内图像点，阈值范围外的图像点均设置为黑色。

图6（封三图5）所示为图像分割结果，由图6可知，通过颜色判断完整地去除了天空、土壤、车辆等颜色差异很大的背景，绿色枝叶、部分未成熟花苞也被去除，成熟花苞边界完整清晰，能够满足后续目标进一步提取的要求。

3结论与讨论
本文基于机器视觉技术搭建了黄花菜采摘机器人视觉系统，采用张正友标定法对双目相机进行标定，获取了双目相机参数，在此基础上采用Bouguet算法对双目图像进行校正使双目图像严格行对齐，通过HSV颜色模型完整地分割出黄花菜目标区域，采用的方法和算法可作为黄花菜采摘机器人视觉系统研究的基础。

在图像分割过程中，由于光照和拍摄角度原因，部分不成熟花苞、枝叶等颜色与成熟花苞颜色近似，导致图像分割结果图像存在部分不连续图像，后续可通过面积计算判断、外形检测、图像质心计算等方法，进一步研究成熟黄花菜花苞轮廓提取及边界定位方法。

结合本文计算参数，根据已经标定出的双目相机参数计算双目图像视差，开展黄花菜三维空间坐标计算，为智能采摘机器人提供数据基础。

参考文献：
[1]陈东浩.盐池县惠安堡镇黄花产业发展研究[J].山西农
经，2019（9）：56．
[2]常二强.“七须”黄花菜的营养价值与种植前景[J].中国
果菜，2017，37（10）：42-44．
[3]卢芳俨.黄花菜在观光农业中的应用及其栽培技术[J].
福建农业科技，2014（1）：69-70．
[4]陈昕，华超，朱银龙，等.水果采摘机器人末端执行器的
研究进展[J].林业机械与木工设备，2020，48（9）：4-10. [5]ARAD B,BALENDONCK J,BARTH R,et al.Devel-
opment of a sweet pepper harvesting robot[J].WILEY, 2020,37(6):1027-1039.
[6]吕怡秋，杨叶.苹果采摘机械化发展研究[J].南方农机，
2020，51（14）：7-8.
[7]谭涛.蔬果采摘机器人的研究进展与展望[J].现代农业
研究，2020，26（5）：68-69．
[8]LI P,LEE S,HSU H.Review on fruit harvesting
method for potential use of automatic fruit harvesting systems[J].Procedia Engineering,2011,23：351-366.
[9]马聪，陈学东.机器视觉技术在农业领域的应用及发展[J].
宁夏农林科技，2021，62（7）：65-70，2.
[10]唐媛红，刘月云.基于机器视觉的采摘机器人分拣控制
（上接第39页）
服，引导农民进行调整。

如要想多种粮，就要引导农村劳动力外出就业，农户才能将有限的承包地流转出去用于种粮，否则，在劳动力没有出路的情况下，农户宁可种植耗费劳动力多的蔬菜、经济作物增加收入，也不愿意种植效益低但耗费劳力少的粮食。

要确保粮食面积，就要提高种粮的比较效益，使农户、经营主体种粮有利可图。

又如，要压减水稻面积，就要通过水权交易改革，通过做“水”的文章来实现，不可强制命令。

要禁止硒砂瓜种植，就要解决好退出硒砂瓜种植后压砂地的合理利用问题，才能说服农民。

4.4因地制宜做好“以水定植”“以地定植”“以气候
定植”的全面落实工作
水、土、气候资源条件是农业特色优势产业优化调整必须遵守的约束条件，否则，就会导致调整失败。

农业生态良性循环是优化调整的前提和底线，要坚持可持续利用的原则，不能为了短期利益，对土地进行掠夺性利用。

如中部干旱带压砂瓜产业，就是对土地的掠夺性利用，导致不得不全面禁止种植硒砂瓜。

宁夏供港菜基地、南部山区冷凉蔬菜基地也存在掠夺地力或超采地下水的问题，具有不可持续的隐患。

大幅度压减水稻面积存在低洼盐碱地的限制，增加复种指数存在气候条件的制约等。

因此，农业结构调整要坚持因地制宜的原则，既要充分挖掘利用水、土、气候资源的潜力，又要充分尊重水、土、气候条件的约束，全面做好“以水定植”“以地定植”“以气候定植”的落实工作，才能取得优化调整的成功。

4.5对农业特色优势产业进行优化调整
综合分析，引黄灌区应在确保粮食安全的前提下，大力发展以奶牛为主的草畜产业，稳定蔬菜、枸杞等高效经济作物；提高复种指数，加大外购饲草力度，寻求解决人畜、粮草争地矛盾的突破口。

中部干旱带和南部山区在稳定粮食的同时，大力发展滩羊、肉牛为主的草畜产业，在满足灌溉条件的区域发展冷凉蔬菜；大力发展以张杂谷为主的杂粮优势产业，寻求保障粮食安全、增加农民收入的新途径。

参考文献：
[1]赵万余.宁夏固原市肉牛生产现状及粪尿利用走势分
析[J].养殖与饲料，2019（7）：104-106.
[2]于慧黎，李军建.宁夏水资源开发利用对策探析[J].水
利发展研究，2021（1）：50-53.
责任编辑：王银惠
研究[J].农机化研究，2021，43（11）：216-220.
[11]赵源深.西红柿采摘机器人目标识别、定位与控制技
术研究[D].上海：上海交通大学，2018．
[12]郑太雄，江明哲，冯明驰.基于视觉的采摘机器人目标
识别与定位方法研究综述[J].仪器仪表学报，2021，42（9）：28-51.
[13]贾伟宽.基于智能优化的苹果采摘机器人目标识别研
究[D].镇江：江苏大学，2016.
[14]成禹.基于双目视觉的多目标识别与定位方法研究[D].
哈尔滨：哈尔滨理工大学，2021.
[15]许进.基于机器视觉的激光焊缝传感器标定系统研究
[D].哈尔滨：哈尔滨理工大学，2019.
[16]胡国良.基于视觉信息的空间非合作目标近距离位姿
测量技术研究[D].西安：中国科学院（中国科学院西
安光学精密机械研究所），2020.
[17]秦文强.基于双目视觉的植物定位和测量算法研究与
实现[D].呼和浩特：内蒙古大学，2021.
[18]何嘉琦.基于双目视觉测量技术的三维数字图像相
关系统及其应用研究[J].科学技术创新，2021（33）：7-8，9.
[19]汪杰，陈曼龙，李奎，等.基于HSV与形状特征融合的花
椒图像识别[J].中国农机化学报，2021，42（10）：180-185.
[20]刘寿鑫，龙伟，李炎炎，等.基于HSV色彩空间的低照度
图像增强[J].计算机工程与设计，2021，42（9）：2552-2560.
[21]曹义亲，丁要男.基于HSV色彩空间S分量的轨面区域
提取方法[J].南京理工大学学报，2021，45（4）：464-471.
责任编辑：周慧。