一种基于机器视觉的在线自动烟叶等级分选的识别方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911087967.7
(22)申请日 2019.11.08
(71)申请人 杭州安脉盛智能技术有限公司
地址 310000 浙江省杭州市滨江区西兴街
道阡陌路482号智慧e谷B座17层
(72)发明人 王月辉　胡芬　楼阳冰　
(74)专利代理机构 杭州杭诚专利事务所有限公
司 33109
代理人 尉伟敏
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/46(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06T 7/45(2017.01)
G06T 7/60(2017.01)
(54)发明名称一种基于机器视觉的在线自动烟叶等级分选的识别方法(57)摘要本发明涉及烟叶等级分选和机器视觉技术领域，公开了一种基于机器视觉的在线自动烟叶等级分选的识别方法，包括步骤：A）进行烟叶预处理；B）利用机器视觉传感器采集烟叶图像，对烟叶图像进行预处理；C）建立卷积神经网络模型，获得高层次烟叶特征；D）提取烟叶特征，将烟叶特征与高层次烟叶特征进行特征融合，建立由全连接层构成的融合网络；E）将最后一层全连接层的输出聚合成全局特征，将全局特征输入到分类器中，获得烟叶等级分选结果。

本发明利用机器视觉技术采集烟叶图像，并对烟叶图像进行了颜色校正，构建卷积神经网络模型获得高层次烟叶特征，进行了烟叶特征融合，采用融合网络进行烟叶等级识别，
识别准确率高。

权利要求书2页 说明书5页 附图3页CN 111274860 A 2020.06.12
C N 111274860
A
1.一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，包括步骤：
A)进行烟叶预处理，把烟叶铺平展开，并将烟叶依次分散排列；
B)利用机器视觉传感器采集烟叶图像，对烟叶图像进行预处理，将预处理后的烟叶图像作为烟叶样本；
C)建立卷积神经网络模型，利用烟叶样本对卷积神经网络模型进行训练，获得高层次烟叶特征；
D)提取烟叶特征，将烟叶特征与高层次烟叶特征进行特征融合，建立由全连接层构成的融合网络，融合网络最后一层全连接层与分类器相连；
E)将最后一层全连接层的输出聚合成全局特征，将全局特征输入到分类器中，获得烟叶等级分选结果。

2.根据权利要求1所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，步骤B)中对烟叶图像进行预处理中包括采用颜色校正算法对烟叶图像进行颜色校正，获得校正后的烟叶图像I new＝AM*I，I表示校正前的烟叶图像，A为颜色转换矩阵，M为颜色转换模型。

3.根据权利要求1和2所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，所述颜色校正算法为多项式回归法、后向传播网络法和支持向量回归法中的任一种。

4.根据权利要求3所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，步骤C)中所述卷积神经网络模型包含n个卷积层、m个池化层和k个全连接层，所有池化层均采用平均池化，最后一层全连接层与分类器相连。

5.根据权利要求4所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，步骤C)中，还包括计算总样本损失函数，更新卷积神经网络模型的权重值；通过计
算得到损失函数，表示第j个烟叶样本等级的真实值，S j表
示卷积神经网络模型的分类器输出的第j个烟叶样本等级预测值，l表示烟叶等级数目；通
过计算得到总样本损失函数，L i(S，y)表示第i个烟叶样本的损失函数，r表
示烟叶样本总数。

6.根据权利要求5所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，步骤D)中，所述烟叶特征包括颜色特征、几何特征、整体纹理特征和烟叶脉络纹理特征，利用烟叶样本获得烟叶样本的颜色直方图，计算颜色直方图的均值、标准差、峰度和偏度，将颜色直方图的均值、标准差、峰度和偏度作为颜色特征；
利用烟叶样本获得烟叶样本的灰度共生矩阵，计算灰度共生矩阵的ASM能量、对比度、逆差矩和熵，将灰度共生矩阵的ASM能量、对比度、逆差矩和熵作为整体纹理特征；
获得烟叶样本的RGB图像，将RGB图像转为灰度图，灰度图经过高斯平滑处理，计算灰度图的二阶矩得到叶片脉络线，通过叶脉图像模板匹配出全部叶脉线，统计叶片脉络线的个数、总长、最大值及最小值作为烟叶脉络纹理特征；
将烟叶最小外包椭圆的离心率、细长度、矩形度和紧致度作为几何特征。

7.根据权利要求5或6所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，步骤D)中还包括利用PCA算法对烟叶特征进行降维，获得与烟叶等级分选相关性最大的p个烟叶特征。

8.根据权利要求7所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，步骤D)中将烟叶特征与高层次烟叶特征进行特征融合，包括步骤：D1)对训练好的卷积神经网络模型的权重值进行固定；
D2)去掉卷积神经网络模型的分类器；
D3)将去掉分类器后的卷积神经网络模型最后一层全连接层的输出与烟叶特征合并成一列，获得总的特征向量，将总的特征向量作为融合网络的输入。

9.根据权利要求8所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，步骤D)中，所述融合网络包括输入数据层和全连接层，将总的特征向量作为所述融合网络的输入数据层，全连接层之间采用随机失活优化方法，所述融合网络的分类器采用线性支持向量机分类器或softmax分类器。

10.根据权利要求8或9所述的一种基于机器视觉的在线自动烟叶等级分选的识别方法，其特征是，步骤B)中所述图像为RGB图像或HSV图像。

一种基于机器视觉的在线自动烟叶等级分选的识别方法
技术领域
[0001]本发明涉及烟叶等级分选和机器视觉技术领域，尤其是涉及一种基于机器视觉的在线自动烟叶等级分选的识别方法。

背景技术
[0002]机器视觉技术，通过图像摄取装置将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，再根据像素分布和亮度、颜色等信息分析图像中的内容，并得到预定的信息和结果，进而根据判别的结果来控制现场的设备动作。

在烟叶复烤环节的初期需对所收购的烟叶进而二次分级、分选，经过二次分级、分选的烟叶进行装箱、并按所分等级入库，以备后期的复烤工序使用，现在烟叶等级分选都是人工在线眼测，随机性特别大，准确率低，在没有使用任何传感器进行辅助的情况下烟叶分选结果受人的因素比较大，对烟叶后续处理的质量无保证。

[0003]例如，一种在中国专利文献上公开的“一种烟叶分类烘烤工艺”，其公告号CN104161298A，该发明是把鲜烟叶按18个类别进行分类，18个类别分别是下部叶-含水量多、下部叶-水分正常、下部叶-含水量低、下部叶-根系病害、下部叶-营养过旺、下部叶-脱肥早衰、中部叶-含水量多、中部叶-水分正常、中部叶-含水量低、中部叶-根系病害、中部叶-营养过旺、中部叶-脱肥早衰、上部叶-含水量多、上部叶-水分正常、上部叶-含水量低、上部叶-根系病害、上部叶-营养过旺、上部叶-脱肥早衰；每个类别对应一种烘烤温度制度；把各类别烘烤温度制度存储在温度控制仪中供烟农选择。

该发明通过人工进行烟叶等级分选，人为因素影响大，烟叶等级分选的准确率比较低。

发明内容
[0004]本发明是为了解决烟叶等级分选过程人为因素影响大、烟叶等级分选准确率低的问题，提供一种基于机器视觉的在线自动烟叶等级分选的识别方法。

本发明利用机器视觉技术采集烟叶图像，并且进行了烟叶特征融合，构建全局特征，采用基于卷积神经网络模型的方法进行烟叶等级识别，识别准确率高。

[0005]为了实现上述目的，本发明采用以下技术方案：
一种基于机器视觉的在线自动烟叶等级分选的识别方法，包括步骤：
A)进行烟叶预处理，把烟叶铺平展开，并将烟叶依次分散排列；
B)利用机器视觉传感器采集烟叶图像，对烟叶图像进行预处理，将预处理后的烟叶图像作为烟叶样本；
C)建立卷积神经网络模型，利用烟叶样本对卷积神经网络模型进行训练，获得高层次烟叶特征；
D)提取烟叶特征，将烟叶特征与高层次烟叶特征进行特征融合，建立由全连接层构成的融合网络，融合网络最后一层全连接层与分类器相连；
E)将最后一层全连接层的输出聚合成全局特征，将全局特征输入到分类器中，获得烟
叶等级分选结果。

[0006]通过采用卷积神经网络模型对烟叶进行高层次的特征学习，然后采用全连接层构成的融合网络实现烟叶的特征融合，构建烟叶的全局特征，用于烟叶等级分选。

[0007]进一步地，步骤B)中对烟叶图像进行预处理中包括采用颜色校正算法对烟叶图像进行颜色校正，获得校正后的烟叶图像I new＝AM*I，I表示校正前的烟叶图像，A为颜色转换矩阵，M为颜色转换模型。

[0008]采集的图像颜色与采集环境有很大关系，同一个样本在不同的采集环境下得到的图片颜色是不一样的，这就影响了样本之间的比较。

在实际拍照过程中，机器视觉传感器拍摄烟叶受传感器CCD或CMOS、光源和外部光照等干扰，所以需要对采集到的样本进行颜色校正，使得烟叶图像更加接近真值。

[0009]进一步地，颜色校正算法为多项式回归法、后向传播网络法和支持向量回归法中的任一种。

[0010]本发明的颜色校正算法采用多项式回归法、后向传播网络法和支持向量回归法中的任一种，这三种颜色校正算法都是基于监督思想，即通过标准色板对图片进行颜色校正，都需要根据实际问题对参数进行设置。

[0011]进一步地，步骤C)中卷积神经网络模型包含n个卷积层、m个池化层和k个全连接层，所有池化层均采用平均池化，最后一层全连接层与分类器相连。

[0012]卷积神经网络模型层最后一层全连接层与分类器相连，利用分类器输出烟叶等级分选结果。

[0013]进一步地，步骤C)中，还包括计算总样本损失函数，更新卷积神经网络模型的权重
值；通过计算得到损失函数，表示第j个烟叶样本等级的真
实值，S j表示卷积神经网络模型的分类器输出的第j个烟叶样本等级预测值，l表示烟叶等
级数目；通过计算得到总样本损失函数，L i(S，y)表示第i个烟叶样本的损
失函数，r表示烟叶样本总数。

[0014]损失函数是指一个样本的误差，本发明先计算单个样本的损失函数
再将各个样本的损失函数叠加起来，即获得总样本损失函数
[0015]进一步地，步骤D)中，烟叶特征包括颜色特征、几何特征、整体纹理特征和烟叶脉络纹理特征，
利用烟叶样本获得烟叶样本的颜色直方图，计算颜色直方图的均值、标准差、峰度和偏度，将颜色直方图的均值、标准差、峰度和偏度作为颜色特征；
利用烟叶样本获得烟叶样本的灰度共生矩阵，计算灰度共生矩阵的ASM能量、对比度、逆差矩和熵，将灰度共生矩阵的ASM能量、对比度、逆差矩和熵作为整体纹理特征；
获得烟叶样本的RGB图像，将RGB图像转为灰度图，灰度图经过高斯平滑处理，计算灰度
图的二阶矩得到叶片脉络线，通过叶脉图像模板匹配出全部叶脉线，统计叶片脉络线的个数、总长、最大值及最小值作为烟叶脉络纹理特征；
将烟叶最小外包椭圆的离心率、细长度、矩形度和紧致度作为几何特征。

[0016]直方图中的数值都是统计而来，直方图的均值、标准差、峰度和偏度反映了直方图的统计分布特征，本发明利用烟叶样本获得烟叶样本的颜色直方图，将颜色直方图的均值、标准差、峰度和偏度作为颜色特征。

灰度图经过高斯平滑处理，计算灰度图的二阶矩即可以得到叶片脉络线，而后使用叶脉图像的模板进行匹配，获得全部叶脉线，再统计烟叶的叶片脉络线的个数、总长、最大值及最小值作为烟叶脉络纹理特征。

灰度共生矩阵是一种通过研究灰度的空间相关特性来描述纹理的常用方法，ASM能量是灰度共生矩阵元素值的平方和，
计算公式为G(i,j)表示第i行第j列的元素值，h为灰度共生矩阵的
总行数，g为灰度共生矩阵的总列数，ASM能量反映了图像灰度分布均匀程度和纹理粗细度。

对比度直接反映了某个像素值及其领域像素值的亮度的对比情况。

逆差矩反映了图像纹理的同质性，度量图像纹理局部变化的多少，逆差矩值大则说明图像纹理的不同区域间缺少变化，局部非常均匀。

熵是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，表示了图像中纹理的非均匀程度或复杂程度。

几何特征中，细长度为最小外接矩形的长和宽之比，矩形度为烟叶面积与烟叶的最小外接矩形面积之比，紧致度为烟叶面积与烟叶周长之比。

[0017]进一步地，步骤D)中还包括利用PCA算法对烟叶特征进行降维，获得与烟叶等级分选相关性最大的p个烟叶特征。

[0018]PCA算法即主成分分析法，是一种维度约减算法，把高维度数据在损失最小的情况下转换为低维度数据。

提取到的烟叶特征繁多，如果把烟叶特征全部用于模型训练，容易造成过拟合，所以采用PCA算法减少特征数量，使模型泛化能力更强，减少过拟合。

[0019]进一步地，步骤D)中将烟叶特征与高层次烟叶特征进行特征融合，包括步骤：D1)对训练好的卷积神经网络模型的权重值进行固定；
D2)去掉卷积神经网络模型的分类器；
D3)将去掉分类器后的卷积神经网络模型最后一层全连接层的输出与烟叶特征合并成一列，获得总的特征向量，将总的特征向量作为融合网络的输入。

[0020]本发明采用由全连接层构成的融合网络对卷积神经网络模型学习到的高层次烟叶特征和烟叶特征进行融合学习。

[0021]进一步地，步骤D)中，融合网络包括输入数据层和全连接层，将总的特征向量作为融合网络的输入数据层，全连接层之间采用随机失活优化方法，融合网络的分类器采用线性支持向量机分类器或softmax分类器。

[0022]随机失活(dropout)是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将部分权重或输出随机归零，降低节点间的相互依赖性，从而实现神经网络的正则化，提高模型的泛化能力，降低网络的结构风险。

[0023]进一步地，步骤B)中图像为RGB图像或HSV图像。

[0024]机器视觉传感器对色彩可定量测量，CCD或CMOS通过滤波分别感受不同频谱的可见光，形成RGB色彩空间，生成RGB图像。

RGB色彩空间是机器合适的描述类型，然而并不适合
人眼的感受。

本发明选择机器视觉传感器采集的原始RGB图像或将原始RGB图像转换成和人主观感受较为一致的HSV图像作为色彩特征空间，从而提取烟叶特征。

[0025]因此，本发明具有如下有益效果：本发明利用机器视觉技术采集烟叶图像，并对烟叶图像进行了颜色校正，构建卷积神经网络模型获得高层次烟叶特征，并且获得烟叶的颜色特征、纹理特征和几何特征，进行了烟叶特征融合，构建烟叶全局特征，采用融合网络进行烟叶等级识别，识别准确率高。

附图说明
[0026]图1是本发明实施例一的流程框图。

[0027]图2是本发明实施例一对烟叶图像进行颜色校正的流程示意图。

[0028]图3是本发明实施例一特征融合示意图。

[0029]图4是本发明实施例一的烟叶脉络图。

具体实施方式
[0030]下面结合附图与具体实施方式对本发明做进一步的描述。

[0031]实施例一，一种基于机器视觉的在线自动烟叶等级分选的识别方法，如图1所示，包括步骤：
A)进行烟叶预处理，把烟叶铺平展开，并将烟叶依次分散排列；
B)利用机器视觉传感器采集烟叶图像，烟叶图像为RGB图像，对烟叶图像进行预处理，如图2所示，采用多项式回归的颜色校正算法对烟叶图像进行颜色校正，获得校正后的烟叶图像I new＝AM*I，I表示校正前的烟叶图像，A为颜色转换矩阵，M为颜色转换模型。

机器视觉传感器对色彩可定量测量，CCD或CMOS通过滤波分别感受不同频谱的可见光，形成RGB色彩空间，生成RGB图像。

RGB色彩空间是机器合适的描述类型，然而并不适合人眼的感受。

而和人眼观察的比较一致的是HIS或HSV色彩空间，XYZ色彩空间能够构造和设备无关的色彩空间。

通过颜色空间转换将RGB色彩空间转换为HIS、HSV或XYZ色彩空间。

[0032]将预处理后的烟叶图像作为烟叶样本。

[0033]C)建立卷积神经网络模型，卷积神经网络模型包含n个卷积层、m个池化层和k个全连接层，所有池化层均采用平均池化，最后一层全连接层与分类器相连。

利用烟叶样本对卷积神经网络模型进行训练，获得高层次烟叶特征；
步骤C)中，还包括计算总样本损失函数，更新卷积神经网络模型的权重值；通过计算
得到损失函数，表示第j个烟叶样本等级的真实值，S j表示卷积神经网络模型的分类器输出的第j个烟叶样本等级预测值，l表示烟叶等级数目；通过
计算得到总样本损失函数，L i(S，y)表示第i个烟叶样本的损失函数，r表示
烟叶样本总数。

[0034]D)提取烟叶特征，烟叶特征包括颜色特征、几何特征、整体纹理特征和烟叶脉络纹理特征，
利用烟叶样本获得烟叶样本的颜色直方图，计算颜色直方图的均值、标准差、峰度和偏
度，将颜色直方图的均值、标准差、峰度和偏度作为颜色特征；
利用烟叶样本获得烟叶样本的灰度共生矩阵，计算灰度共生矩阵的ASM能量、对比度、逆差矩和熵，将灰度共生矩阵的ASM能量、对比度、逆差矩和熵作为整体纹理特征；
获得烟叶样本的RGB图像，将RGB图像转为灰度图，灰度图经过高斯平滑处理，计算灰度图的二阶矩得到叶片脉络线，通过叶脉图像模板匹配出全部叶脉线，统计叶片脉络线的个数、总长、最大值及最小值作为烟叶脉络纹理特征。

如图4所示，为烟叶的脉络图。

[0035]将烟叶最小外包椭圆的离心率、细长度、矩形度和紧致度作为几何特征。

[0036]利用PCA算法对烟叶特征进行降维，获得与烟叶等级分选相关性最大的p个烟叶特征。

[0037]如图3所示，将降维后的烟叶特征与高层次烟叶特征进行特征融合，包括步骤：D1)对训练好的卷积神经网络模型的权重值进行固定；
D2)去掉卷积神经网络模型的分类器；
D3)将去掉分类器后的卷积神经网络模型最后一层全连接层的输出与烟叶特征合并成一列，获得总的特征向量，将总的特征向量作为融合网络的输入。

[0038]建立由全连接层构成的融合网络，融合网络包括输入数据层和全连接层，将总的特征向量作为融合网络的输入数据层，全连接层之间采用随机失活优化方法，融合网络的分类器采用softmax分类器，融合网络最后一层全连接层与分类器相连。

[0039]E)将最后一层全连接层的输出聚合成全局特征，将全局特征输入到分类器中，获得烟叶等级分选结果。

[0040]本发明利用机器视觉技术采集烟叶图像，并对烟叶图像进行了颜色校正，构建卷积神经网络模型获得高层次烟叶特征，并且获得烟叶的颜色特征、纹理特征和几何特征，进行了烟叶特征融合，构建烟叶全局特征，采用融合网络进行烟叶等级识别，识别准确率高。

[0041]上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明保护范围以内。

图1
图2
图3
图4
说　明　书　附　图3/3页CN 111274860 A 11。