基于多信息融合的籽棉异纤识别分拣系统设计与实现

基于多信息融合的籽棉异纤识别分拣系统设计与实现∗
高雅文王忆如段峥宋金丰张冬张云倪超(南京林业大学,江苏南京210037) Sorting System for Seed Cotton Fiber Based on Multi-information Fusion
由于我国棉花普遍采用手工采摘,露天摊晒,农户分散储运的生产方式,因此棉纤维中夹杂了很多一般性及危害性杂质。

根据新国标GB1103-99-3.8,棉花中的危害性杂质是指“混入棉花中的对棉花加工、使用和棉花质量有严重影响的硬杂物和软杂物”,例如金属、砖石、化学纤维、丝、麻、毛发、塑料绳、布块等,其中最令人困扰的就是异纤,如果清理不彻底,就会严重影响产品质量:纺纱时,纤维小疵点容易使棉纱断头,降低生产效率;织布时,影响布面质量;染色时,纤维和布料染色不均,影响外观。

因此异纤的检测和清除成为国内纺织企业十分关注和亟待解决的一个技术难题。

本文提出一种基于多信息融合的籽棉异纤识别系统,对不同谱段图像进行采集并分析,通过卷积神经网络算法对异纤做出判断。

1方案设计
本系统通过彩色线阵相机,黑白线阵相机以及高光谱成像仪采集图像,并提取所需图像特征量,通过深度学习算法分类器融合多信息,对棉花图像进行分析,最后确定输出结果,有效增强了系统对棉花异纤的识别能力。

算法结构图如图1所示。

图1籽棉异纤图像处理算法结构图
籽棉在采摘运输过程中,不可避免地会掺杂一些尼龙绳、丙纶丝等与棉团颜色相近的杂质,这些杂质在可见光下无法识别,但在制作过程中都会添加荧光增白剂,在紫外光下会产生荧光效应,所以本设计利用紫外光激发荧光成像原理,通过黑白相机来检测例如白色丙纶丝、白纸条
等具有荧光或弱荧光效应的异
纤杂质。

图2为紫外光下的棉花
和异纤。

籽棉由于质量较大,在下落
过程中运动速度相对均匀平稳,
但是也会有翻转,若采用普通相
机,则会在图像边缘产生彩边、
色晕,这会导致在判断异纤时很
容易将彩边、色晕判别为异纤,
造成较大的误识别率和损失。

本
设计使用三棱镜相机通过物理
棱镜分光原理,将光通道分成红绿蓝三个通道,分别投射到三个独立的CMOS传感器上,这样避免了红绿蓝三色光分量的相互干扰,可以避免彩边、色晕,同时使棉花检测精度达到0.24mm,还原度较高,且能够根据籽棉的运动速度做自适应调整。

图3为可见光下的棉花和异纤。

图3可见光下的棉花和异纤
针对透明塑料薄膜、白色薄膜、白色毛发等难识别杂质的剔除,本设计首次使用高光谱和高光谱成像仪进行籽棉异纤的识
摘要:目前国内棉花分拣技术较国外而言还有很大差距,棉花在加工过程中异纤检测效率不高,杂质残留较多。

提出籽棉异纤识别分拣的概念,通过彩色线阵相机、黑白相机、高光谱成像仪在不同光谱环境下对棉花信息进行采集并通过卷积神经网络进行分类识别。

实验结果表明,此分拣系统能够有效地识别异纤,解决棉花异纤含量高的问题。

关键词:籽棉,多信息融合,可见光光谱,紫光光谱,高光谱
Abstract押In this paper熏the concept of seed cotton fiber sorting is proposed.The cotton information is collected by color linear array camera熏black and white camera and hyperspectral imager in different spectral environment and sorted by con⁃volution neural network.The experimental results show that this sorting system can effectively identify the different fiber熏to solve the problem of high content of cotton fiber.
Keywords押seed cotton熏multi-information fusion熏visible light spectrum熏violet
spectrum熏hyperspectral
图2紫外光下的棉花和
异纤
基于多信息融合的籽棉异纤识别分拣系统设计与实现46
∗大学生实践创新训练计划项目(2016NFUSPIT054,基于多光谱图像的籽棉高速异纤识别系统研究);江苏省“六大人才高峰”项目(JXQC-024,籽棉异性纤维精选机关键技术研究)
别和剔除。

但是高光谱成像仪出来的图像噪点大,色彩还原差,因此采用高行频相机确保图像的还原度。

图4为纯棉花和PE 薄膜的光谱图。

图4纯棉花和PE 薄膜的光谱图
图4中,深色线为纯棉花的光谱吸收图,浅色线为透明PE 薄膜的光谱吸收图,从图像可以发现棉花和透明PE 薄膜在1724nm 波长的时候,敏感程度差别明显,由此可见,通过高光谱技术识别棉花和白色或透明PE 薄膜不管是在理论上还是实践中是完全可行的。

2基于卷积神经网络的籽棉异纤分类
卷积神经网络(Constitutional Neural Networks ,CNN )是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。

卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性,其布局更接近于实际的生物神经网络,权值共享降低了网络的复杂性,特别是多维输入向量的图像可以直接输入网络这一特点,避免了特征提取和分类过程中数据重建的复杂度。

本设计中采用卷积神经网络对采集到的籽棉图像中的叶子和异纤进行识别和分类,所用卷积神经网络的结构如图5所示。

图5籽棉异纤识别CNN 框架
有关籽棉异纤识别CNN 框架的详细描述如下:
1)输入。

采用双线性插值算法输入尺寸为100×100的籽棉异纤特征图。

2)C1层。

C1层是卷积层。

为了提取异纤图像的多种特征,本文使用15个5×5的卷积核,使用卷积核对图像进行步长为1的卷积得到15个96×96的异纤特征图。

卷积层的计算表达式为:
F=sigmoid (con (M ,C )+B )
其中,con 表示卷积函数对输入进行卷积,M 为输入数据,C 为卷积核,B 为偏置项。

通过sigmoid 激活函数激活后得到特征图F 。

卷积核的大小数目和步长都会对模型带来很大的影响,卷积核过大需要训练的参数就会很多,过小则不能提取有效的局部特征,本文C1采用的是5×5的卷积核。

C1层需要训练的参数数目为:每个卷积核5×5=25个参数加上一个偏置项,有15个卷积核,共(5×5+1)×15=390个参数。

C1层连接线数为390×(96×96)=2949120。

3)S1层。

S1为子采样层,在此层对C1层的特征图进行池化,本文选取最大池化方法。

将上一层输出的卷积特征划分为若干个2×2的区域,用这些区域的最大值作为池化后的卷积特征,公式为:
S j =maxa i (i ∈R j )
其中S j 表示第j 块池化区域R j 的池化值,池化区元素值a i
就是特征值经过激活函数送入池化区的激活值,i 是池化区每个激活值的编号。

经过池化后,就将C1中96×96的特征图缩小为48×48,减少了训练参数。

4)C2层。

C2层的卷积原理同C1,与C1不同的是,C2是由S1使用2个5×5卷积核卷积得到的,用来提取更多的特征,大小为(48-5+1)×(48-5+1)=44×44。

此时,对于C2上每一个特征点,对应输入的籽棉图像为5×5×2×2=50个像素点。

C2层连接线数为(5×5+1)×(44×44)=50336。

5)第3级卷积层与子采样层的原理和前面的层是一样的,层数的增加能使提取到的特征更加具有表达能力,提高了抽象能力。

而层数过多则会使提取的特征尺寸过小而难以分类,本文采用如图5的CNN 框架。

6)输出层。

输出层是S3的一个全连接层。

当抓取到足以用来识别图片的特征后,接下来的就是如何进行分类。

S3有30×9×9=2430个神经元,输出层的神经元即异纤种类数目,本文中为布条、羽毛、塑料、丙纶丝、白纸条、透明地膜共6个神经元,因此有2430×6=14580个连接。

FPGA 实现深度卷积神经网络流程图如图6所示。

3实验分类结果
实验选取籽棉异纤样本为布条50个,
羽毛52个,塑料65个,丙纶丝52个,白纸条89个,透明地膜50个。

分类结果如表1所示。

表1
籽棉异纤分类结果
(下转第49页
)
图6FPGA 实现深度卷积神经网络流程
图
(上接第47页)
实验结果表明,对不同谱段的杂质本系统的分类识别率都能达到90%以上,其中对有色无荧光效应的布条识别率达到了98%,对其他杂质包括透明地膜的识别率也大都超过95%。

4结束语
本系统提出籽棉异纤识别,很好地弥补了当前国内棉花异纤检测存在的不足。

通过对籽棉中含有的不同异纤进行针对性处理,融合可见光光谱、紫光光谱和高光谱成像技术,采用嵌入式FPGA技术实现卷积神经网络算法,使籽棉异纤的检出率大大提高,解决了困扰中国多年的三丝问题。

本系统稳定性好,可靠性高,在棉籽清理、皮棉清理等领域具有通用性,但是籽棉含杂率高的特点,对系统处理提出了更高的要求。

参考文献
[1]张航,乔曦,李振波,等.皮棉中地膜的高光谱图像分割方法[J].农业
工程学报,2016(13):161-167
[2]张航.基于高光谱成像技术的皮棉中地膜识别方法研究[D].北京:中
国农业大学,2016
[3]王欣.基于机器视觉的棉花伪异性纤维识别研究[D].北京:中国农业
大学,2015
[4]陈铭明.基于FPGA与DSP的棉花异纤检测系统研究[D].南京:南
京理工大学,2015
[5]王小立.基于SCARA型的棉花异纤分拣机器人的研究[D].西安:西
安工程大学,2015
[6]王欣,李道亮,杨文柱,等.基于可见光机器视觉的棉花伪异性纤维识
别方法[J].农业机械学报,2015,46(8):7-14
[7]刘翔,何相呈,苏真伟,等.棉花中白色异性纤维的激光成像快速检测
方法[J].农业工程学报,2014(15):190-196
[8]张得旺,戈文侠,王玉娥.棉花异纤清除机中气阀控制系统的设计[J].纺织器材,2013,40(4):70-72
[9]杨凯.基于DSP的棉花异纤识别系统研究与实现[D].郑州:中原工
学院,2013
[10]张慧,王泽伟,柏延平.棉花异纤清除机的技术现状和发展趋势[J].
纺织导报,2012(5):59-62
[11]Jiang Y熏Li C.mRMR-based feature selection for classifica⁃
tion of cotton foreign matter using hyperspectral imaging眼J演.
Computers&Electronics in Agriculture熏2015熏119押191-200 [12]Zhang H熏Li D.Applications of computer vision techniques
to cotton foreign matter inspection押A review眼J演.Computers& Electronics in Agriculture熏2014熏109穴109雪押59-70 [13]Fang J熏Jiang Y熏Yue J熏et al.A hybrid approach for efficient
detection of plastic mulching films in cotton眼J演.Mathematical &Computer Modelling熏2013熏58穴s3-4雪押834-841 [14]Zhang X熏Li D熏Yang W熏et al.A fast segmentation method for
high-resolution color images of foreign fibers in cotton眼J演.
Computers&Electronics in Agriculture熏2011熏2011穴1雪押71-79 [15]Kaihara M熏Satoh M熏Satoh M.Systematization method for dis⁃
tinguishing plastic groups by using NIR spectroscopy[J].
Journal of Analytical Science.2007熏23穴7雪押921-924
[收稿日期:2017.10.10]
算法,人脸识别模块流程图如图2所示。

图2人脸识别模块工作流程
本系统的人脸检测算法采用Viola等提出的Harr特征的Adaboost人脸检测算法。

算法具体步骤如图3所示。

3客户端程序设计
3.1登录模块
登录模块包括了管理员登录模式和普通用户登录模式,所有用户只有在正确填写用户名及密码,并通过验证的基础上才能进入监控系统,管理员有对用户信息、出入信息、终端信息、故障信息管理的权限。

3.2人员管理模块
人员管理模块可以方便管理员对可信人员的信息进行管理,人员信息包括身份证号码、姓名、性别、邮箱、学号、人脸信息
(包括预先录入的多张人脸图像和人脸特征数据)。

管理员可以方便地对人员信息进行增删除、修改、查询。

3.3异常记录模块
异常记录模块可以方便
管理员查看异常信息,包括
异常人员的监控视频、人脸
信息、出入时间等。

4结束语
与传统的监控系统相
比,本文设计基于人脸识别
的实验室智能监控系统,服
务端与监控端采用Wi-Fi无
线传输方式,避免了有线传
输复杂的布线问题,节省空
间,方便移动。

使用人脸识别
技术,智能扫描出入实验室
人员的人脸信息,大大增强
了监控系统的风险预警能
力。

自动滤除无效监控视频,
大幅度节省了监控视频的存储空间。

参考文献
[1]黄凯奇,陈晓棠,康运锋,等.智能视频监控技术综述[J].计算机学
报,2015,38(6):1093-1118
[2]夏纪冬,刘子龙,韩光鲜.基于Linux平台的智能监控和运动检测系
统[J].电子测量技术,2017,40(3):173-176,191
[3]于威,朱秋煜,高翔,等.基于ARM的多层级联快速人脸检测方法[J].工业控制计算机,2017,30(9):29-31
[4]李玉鹏,宋维,程超伟.基于树莓派的人脸识别考勤系统的开发与实
现[J].单片机与嵌入式系统应用,2016,16(11):28-30,34
[收稿日期:2017.10.10
]图3Adaboost算法流程图。